人工智能應用中的異構(gòu)集成技術(shù)

逍遙設計自動化

引言
2022年ChatGPT的推出推動了人工智能應用的快速發(fā)展，促使高性能計算系統(tǒng)需求不斷增長。隨著傳統(tǒng)晶體管縮放速度放緩，半導體行業(yè)已轉(zhuǎn)向通過異構(gòu)集成實現(xiàn)系統(tǒng)級縮放。異構(gòu)集成技術(shù)可將不同類型的芯片（chiplet）組合到統(tǒng)一封裝中，提供更好的性能、更低的互連延遲和更高的能源效率，這些對于數(shù)據(jù)密集型人工智能工作負載都非常重要[1]。
' E" h2 A/ t5 J6 m7 b/ P; A" {1 i
( u/ }6 Q2 p2 j6 _9 V; {  a  w+ j0 I
7 y( t% ?6 m' u. C- Z1 P" e現(xiàn)有異構(gòu)集成技術(shù)
8 J. P; w, [6 u/ d% e4 |/ u+ p
圖1展示了異構(gòu)集成技術(shù)的全面發(fā)展概況，從2D到3D架構(gòu)的演進，包括MCM、中介層和先進的3D集成方法。

多種異構(gòu)集成技術(shù)已經(jīng)出現(xiàn)，以滿足不同的系統(tǒng)要求：
多芯片模塊(MCM)：作為最早的2D集成方法之一，MCM將chiplet橫向放置在有機基板上以減少線長。雖然實施簡單，但由于使用傳統(tǒng)有機基板和粗糙的焊料基連接技術(shù)，MCM在互連密度方面存在限制。
中介層架構(gòu)：為克服MCM的局限性，采用玻璃或硅中介層的2.5D架構(gòu)可實現(xiàn)更高的互連密度。通過硅通孔(TSV)技術(shù)和細間距微凸點，可以在堆疊芯片之間實現(xiàn)更高的連接密度。但是，為大型人工智能系統(tǒng)擴展中介層的成本較高。
橋接基解決方案：英特爾的嵌入式多芯片互連橋(EMIB)等技術(shù)在封裝基板中使用局部硅橋?qū)崿F(xiàn)細間距布線。這種方法無需TSV，同時能實現(xiàn)芯片間的高密度連接。
0 ~; x! ]! |0 E4 f+ Q7 D晶圓級封裝：晶圓級封裝技術(shù)通過扇出芯片I/O信號提供高互連密度和減少延遲。但在熱管理和熱膨脹系數(shù)(CTE)失配方面存在挑戰(zhàn)。
8 G# A' s$ R" j: c4 [$ R
三維集成

圖2說明了不同的3D集成方法，展示了從傳統(tǒng)2D SoC到結(jié)合邏輯和存儲器集成的各種3D架構(gòu)的演進。
; G6 g+ D) U# z& o
$ }9 L5 w+ o8 y' B7 o& J3D集成是下一代人工智能系統(tǒng)的重要發(fā)展方向。使用TSV技術(shù)和混合鍵合等先進鍵合技術(shù)，3D堆疊實現(xiàn)了超高的集成密度和帶寬。臺積電等公司通過系統(tǒng)級集成芯片(SoIC)技術(shù)已經(jīng)展示了支持超過20 Tbps帶寬的系統(tǒng)。
2 x! w$ a0 Y' R
3D集成的主要優(yōu)勢：
8 o/ ^: T5 W0 V! k5 ^與傳統(tǒng)方法相比，鍵合密度顯著提高
) ?3 b# v8 ~/ }降低電氣寄生效應和功耗
更高的金屬布線密度
9 ^: D: {, @: p2 p6 u通過更薄的鍵合層改善熱性能
- q9 B, K0 Y! o( a6 Y2 u$ B' D1 K
但仍面臨一些挑戰(zhàn)：
更多堆疊管芯增加了assembly復雜性
熱管理更加困難
1 p5 V6 j+ h" j' ~3 C4 S( O: Y混合鍵合對表面處理要求嚴格
# Y1 b3 b4 o1 Z+ Y  E0 u& e9 P. Q制造成本較高
! a/ G6 {# D) o  v4 R/ w6 o8 R
人工智能硬件的工業(yè)應用

/ H7 r1 {4 V, ^/ {3 S圖3演示了3D-ICE技術(shù)工藝流程，展示了使用二氧化硅封裝和晶圓鍵合集成多個chiplet的步驟。
! v! e4 D8 _* Q2 _9 o6 M
% L9 c* r( Q" Y1 _主要半導體公司已在人工智能加速器產(chǎn)品中采用異構(gòu)集成：
2 D3 n# l" F6 `# ]. B" [. [  wCerebras：WSE-3晶圓級引擎使用臺積電5nm技術(shù)，在單個晶圓上集成4萬億晶體管。
系統(tǒng)可訓練具有24萬億參數(shù)的模型。
& S* K0 w/ Y  B: y& c" k& {NVIDIA：GB200 Grace Blackwell使用臺積電的CoWoS-L封裝技術(shù)組合兩個GPU和一個CPU。
- ~9 \5 I2 C# X4 D目標是處理超過十萬億參數(shù)的大型語言模型，具有384GB內(nèi)存。
0 f1 X. w# d0 ?. s7 lAMD：MI300X封裝同時使用中介層技術(shù)和3D堆疊，結(jié)合GPU chiplet、I/O管芯和192GB HBM內(nèi)存。
1 D2 J3 S  ~+ k, t/ R( |+ {英特爾：Gaudi-3加速器采用EMIB技術(shù)集成計算管芯和128GB HBM內(nèi)存。
$ T$ X0 E& G1 W$ j& u" Y3 m; v
4 Y% C' U( M3 d0 Q# p/ Y新興玻璃封裝技術(shù)
玻璃封裝由于以下優(yōu)勢，在人工智能應用中備受關(guān)注：
通過低介電常數(shù)實現(xiàn)優(yōu)異的信號完整性
! M$ R* s3 x" U( d! Q3 n支持高密度互連
" b& t# l- S& b) h# v7 T% K出色的尺寸穩(wěn)定性
靈活的基板格式選項
與光電集成的兼容性
8 x( S. f( u/ Q3 G1 B) r. U
玻璃的光滑表面使其能夠?qū)崿F(xiàn)非常精細的線條和間距，而其Si-O表面結(jié)構(gòu)促進了與各種材料的良好粘附。玻璃核心封裝還可以通過銅結(jié)構(gòu)和先進的熱界面材料整合熱管理解決方案。

結(jié)論
: y0 A8 n* @5 {/ ^1 a9 ]異構(gòu)集成技術(shù)已超越傳統(tǒng)縮放限制，推進人工智能硬件能力的發(fā)展。從2.5D中介層到先進的3D堆疊和新興的玻璃封裝解決方案，這些方法實現(xiàn)了下一代人工智能系統(tǒng)所需的高帶寬、低延遲和能源效率。在熱管理和制造成本等方面仍存在挑戰(zhàn)，但異構(gòu)集成技術(shù)的持續(xù)創(chuàng)新將滿足人工智能應用不斷增長的需求。
8 b. F  O2 z7 t2 K5 a; }
' B8 {% Y4 k, U$ Q' O+ e參考文獻
[1] M. Manley et al., "Heterogeneous Integration Technologies for Artificial Intelligence Applications," IEEE Journal on Exploratory Solid-State Computational Devices and Circuits, vol. 10, pp. 89-97, 2024, doi: 10.1109/JXCDC.2024.3484958.
0 }* M5 u* {# D2 \- @; F- P3 `
+ l) l! Y8 J5 d, p; sEND

+ f# y' F/ F( Q) @
# |4 W' p. e+ V' N- [2 P軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應用，PIC Studio都可提升您的工作效能。
. k  Y0 a" i6 n0 R' _$ `點擊左下角"閱讀原文"馬上申請

歡迎轉(zhuǎn)載
( ^. z# _( K. s' c) _/ M
; V3 W5 c: g  D- ^9 ^7 V- _. {  i& e轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！
( d# H0 d; K5 T! n
+ @7 _. X" l/ ]5 J

$ @; @  o) y' V

' v) C5 O  s8 k- R8 b. L' r# x關(guān)注我們
9 u! E7 Z6 ~4 r! s0 `+ H
& E9 k$ _4 {$ G6 h$ L$ K8 l0 ^# `

/ z. o7 G0 I  ?

' @; q0 T4 }! s, x' B# F

: N: C9 K/ {: m  r- J* i- m. ?/ c

                     

) G, f, D7 d! X
( F# a' [7 @- a, d: }
# W" g' ^& }6 u* y關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導體芯片設計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設計和仿真軟件，提供成熟的設計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設計與仿真。我們提供特色工藝的半導體芯片集成電路版圖、IP和PDK工程服務，廣泛服務于光通訊、光計算、光量子通信和微納光子器件領域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務。
. o( U! [/ ~0 N" N/ h* |: m
1 H% {7 k4 P# a; p# ]4 Dhttp://www.latitudeda.com/
3 J8 }  v$ `6 x! D（點擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）