基于強(qiáng)化學(xué)習(xí)的模擬線路設(shè)計(jì)優(yōu)化

逍遙設(shè)計(jì)自動化

引言
模擬/混合信號(AMS)集成線路設(shè)計(jì)仍然是具有挑戰(zhàn)性的任務(wù)，通常嚴(yán)重依賴設(shè)計(jì)師的專業(yè)知識和反復(fù)手動調(diào)整。為了解決這個(gè)問題，研究人員一直在探索利用機(jī)器學(xué)習(xí)技術(shù)的自動化設(shè)計(jì)方法。本文介紹新穎的開源框架，利用強(qiáng)化學(xué)習(xí)(RL)和圖神經(jīng)網(wǎng)絡(luò)(GNNs)優(yōu)化AMS線路[1]。

9 o7 ^4 d: [- |
框架概述
所提出的框架，如圖1所示，提供了從規(guī)格到布局優(yōu)化模擬線路的端到端解決方案。該框架利用了幾個(gè)開源EDA工具，包括用于原理圖捕獲的Xschem、用于線路仿真的Ngspice和用于布局生成的Magic。
& W- F. i, b1 F
圖1：提出的AMS IC優(yōu)化器框架概述

; u9 ?# g4 m- e1 U" j) s優(yōu)化過程從定義目標(biāo)規(guī)格和線路拓?fù)溟_始。設(shè)計(jì)師將原理圖輸入Xschem，后者導(dǎo)出參數(shù)化的網(wǎng)表�；�于線路原理圖創(chuàng)建定義節(jié)點(diǎn)和邊連接的圖描述。

! j) ?7 Q6 f* I" r, S; _, f該框架采用深度確定性策略梯度(DDPG)作為RL算法，考慮到晶體管尺寸和偏置的連續(xù)動作空間。RL代理使用actor-critic結(jié)構(gòu)，線路圖描述定義了神經(jīng)網(wǎng)絡(luò)。

: A, p; ?) C( G* G, X+ T3 U獎勵(lì)函數(shù)設(shè)計(jì)
獎勵(lì)函數(shù)作為目標(biāo)，指定優(yōu)化目標(biāo)。為了減輕獎勵(lì)稀疏性并提高樣本效率，該框架使用連續(xù)獎勵(lì)函數(shù)：
* `  q4 W( z/ }
! c- M& ~! r" U: g

7 H/ q5 ^' B* K3 e8 S& Y2 [其中，O代表仿真結(jié)果，O*表示期望規(guī)格，β決定最小化或最大化，C是滿足所有硬規(guī)格時(shí)的常數(shù)獎勵(lì)。
2 _4 g; u/ @& n
4 E6 R+ f5 _+ p& m動作和觀察空間
RL代理生成的動作包括器件尺寸和偏置電壓。為了幫助探索，向動作添加均勻分布的噪聲。該框架使用最小-最大反歸一化將有界動作縮放回實(shí)際器件尺寸。
9 q1 w1 k7 z# b1 T  S
2 f* {9 W5 X. \$ n  U8 ^觀察代表從DC工作點(diǎn)分析得到的線路狀態(tài)。每個(gè)元件的觀察是一個(gè)向量，例如，晶體管的SM = [id, gm, gds, Vth, Vdsat, Vds, Vgs]。這些向量堆疊形成觀察矩陣S，然后進(jìn)行歸一化。

圖神經(jīng)網(wǎng)絡(luò)架構(gòu)
該框架利用關(guān)系圖卷積網(wǎng)絡(luò)(RGCNs)作為異構(gòu)圖表示線路。圖3說明了actor和critic網(wǎng)絡(luò)的RGCN架構(gòu)。

圖2：actor和critic網(wǎng)絡(luò)的RGCN架構(gòu)

" S/ H) F, B( y" t2 n  _RGCNs相對于同構(gòu)圖的優(yōu)勢在于允許多種邊類型，每種邊類型都有獨(dú)立的可學(xué)習(xí)權(quán)重矩陣。這在優(yōu)化過程中保留了更多的線路圖知識。
7 @3 l$ l% Q8 ~7 K) i% @
案例研究：優(yōu)化動態(tài)比較器
為了展示框架的能力，作者優(yōu)化了兩種動態(tài)鎖存比較器：StrongARM比較器和雙尾比較器（圖4）。

' i1 D8 m9 D6 _圖3：(a) StrongARM比較器和(b)雙尾比較器的線路原理圖

, u9 e! L5 ]/ F4 x$ O$ b) c9 z優(yōu)化過程考慮了各種規(guī)格，包括時(shí)鐘到Q延遲、每次決策能量、反沖噪聲和輸入?yún)⒖际д{(diào)電壓。該框架包含了一種分析方法，在優(yōu)化過程中快速預(yù)測失調(diào)性能，避免了耗時(shí)的蒙特卡洛仿真。
8 P, [, d  d4 N, s, M4 t9 D* I
優(yōu)化結(jié)果
作者在SKY130技術(shù)節(jié)點(diǎn)進(jìn)行了1000次仿真運(yùn)行，以優(yōu)化這兩種比較器。圖6說明了不同神經(jīng)網(wǎng)絡(luò)函數(shù)近似器的仿真步驟獎勵(lì)演變。
6 k, v" H% L: i+ N" r2 b! I
) I6 x. i5 z/ d; e$ W, a7 _0 v& |4 ~; Z圖4：SKY130中(a) StrongARM比較器和(b)雙尾比較器的不同NN作為函數(shù)近似器的獎勵(lì)與仿真對比
7 ^" n( ?* A  u# u% n6 n
值得注意的是，RGCN在優(yōu)化這兩種比較器時(shí)表現(xiàn)優(yōu)于其他函數(shù)近似器，以更少的迭代達(dá)到更高的獎勵(lì)。優(yōu)化軌跡提供了寶貴的設(shè)計(jì)見解，如圖7和圖8所示。
* `! C# L+ {! ^1 F/ X
圖5：(a) StrongARM比較器和(b)雙尾比較器的仿真結(jié)果優(yōu)化軌跡

) [0 k) h" F  I" P( u- e2 z8 m
: |  s1 C! z' W- R8 b! P. K) S圖6：(a) StrongARM比較器和(b)雙尾比較器的線路參數(shù)優(yōu)化軌跡
- S3 J* K) F0 X  c7 I. Q# ^5 |
3 J4 E5 ?% X! y% v遷移學(xué)習(xí)
該框架在兩種情況下展示了遷移學(xué)習(xí)(TL)能力：

利用SKY130的知識在不同技術(shù)節(jié)點(diǎn)(GF180MCU)優(yōu)化比較器。

利用原理圖級仿真知識優(yōu)化后布局性能。
3 F' _$ l: ?$ q5 ]' [[/ol]
5 m  Y8 q# V2 r1 c; C5 ]' Z圖7和圖8分別說明了StrongARM和雙尾比較器從SKY130到GF180MCU的TL有效性。

* k. Q/ ?0 T3 L% B0 z9 |) k, r圖7：StrongARM比較器的(a)從SKY130到GF180MCU的TL獎勵(lì)與仿真對比和(b)最高獎勵(lì)值與仿真對比
# d) s" _: y5 _8 [2 |

. s8 r( k  c0 V9 q/ e6 s7 M4 ]圖8：雙尾比較器的(a)從SKY130到GF180MCU的TL獎勵(lì)與仿真對比和(b)最高獎勵(lì)值與仿真對比
: X( G- b, [/ Y! S% f. S
對于后布局優(yōu)化，該框架集成了LAYGO2，一個(gè)開源模擬布局生成器。圖9說明了后布局優(yōu)化過程。
  l* P* x; U6 N5 i: k" N) E
圖9：使用LAYGO2自動生成比較器布局
! T+ n6 G- K( s' }
圖10顯示了使用原理圖級仿真遷移學(xué)習(xí)進(jìn)行后布局優(yōu)化的獎勵(lì)演變。

圖10：在SKY130中使用TL的比較器后布局優(yōu)化：(a) StrongARM比較器和(b)雙尾比較器

7 P; ~% K. u. i3 B! B8 r通過后布局提取(PEX)仿真驗(yàn)證了優(yōu)化的比較器布局及其性能，如圖11和圖12所示。

圖11：SKY130中優(yōu)化的StrongARM比較器的PEX仿真結(jié)果

( w+ ], Y0 x/ e# n, e
  h; P" T# j6 D* `圖12：SKY130中優(yōu)化的雙尾比較器的PEX仿真結(jié)果

結(jié)論
本文介紹了基于強(qiáng)化學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)的開源AMS IC優(yōu)化框架。該框架的主要特點(diǎn)包括：
& E. X! b7 c# Z1 Q( J1 T

使用異構(gòu)圖神經(jīng)網(wǎng)絡(luò)(RGCNs)以提高優(yōu)化性能

跨技術(shù)節(jié)點(diǎn)和從原理圖到后布局的遷移學(xué)習(xí)能力

與開源EDA工具集成，實(shí)現(xiàn)端到端設(shè)計(jì)自動化

$ N6 f. x6 n1 Q/ H/ K動態(tài)比較器的案例研究展示了該框架在優(yōu)化復(fù)雜模擬線路方面的有效性，同時(shí)提供了寶貴的設(shè)計(jì)見解。通過利用機(jī)器學(xué)習(xí)技術(shù)和自動化，這種方法有潛力顯著加速AMS IC設(shè)計(jì)過程并提高設(shè)計(jì)質(zhì)量。
" g% {7 h& H$ v$ R" m
隨著AI輔助線路設(shè)計(jì)領(lǐng)域的不斷發(fā)展，像本文介紹的這樣的框架將在使設(shè)計(jì)師能夠更高效和有效地應(yīng)對復(fù)雜模擬設(shè)計(jì)挑戰(zhàn)方面發(fā)揮越來越重要的作用。
3 s5 r1 a5 a/ C& J4 P6 w
參考文獻(xiàn)
[1] Z. Li and A. C. Carusone, "An Open-Source AMS Circuit Optimization Framework Based on Reinforcement Learning - From Specifications to layouts," in IEEE Access, vol. 11, pp. 1-14, 2023, doi: 10.1109/ACCESS.2024.3478832.
7 Z" S- T! g  N9 N) B3 sEND
3 M6 c& `9 v; P& m. |

軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點(diǎn)擊左下角"閱讀原文"馬上申請
$ ?* ]6 G0 t9 l# U. I
0 k/ ?/ z; |! T; e歡迎轉(zhuǎn)載

7 P" e) J9 X- d2 _, s& @轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！
2 G5 x1 I; Y, M  o  E
9 D  E% S, g, C; V4 l+ U! t
4 d" a; ~7 s9 o# ?" W  M


關(guān)注我們

1 Q) {: t5 [* C: j' E$ x4 f! i

5 U$ K/ t' ~5 D4 s 5 z) V" E  Q8 K. [' Q

# X) D3 ^( [4 r" F! M9 q+ E

                     
$ {. B5 [! x! w6 O- [7 ^8 [3 `6 g
3 O$ c7 O9 b: L2 L
2 n( T# s  o+ M1 V
( M% M5 m, f1 Q+ r$ E. n關(guān)于我們：
% p4 w4 K9 d3 B1 Q- {深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
+ [$ ]  }, X$ v$ n: ^
http://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）