人工智能應(yīng)用中的異構(gòu)集成技術(shù)

逍遙設(shè)計(jì)自動(dòng)化

引言
2022年ChatGPT的推出推動(dòng)了人工智能應(yīng)用的快速發(fā)展，促使高性能計(jì)算系統(tǒng)需求不斷增長。隨著傳統(tǒng)晶體管縮放速度放緩，半導(dǎo)體行業(yè)已轉(zhuǎn)向通過異構(gòu)集成實(shí)現(xiàn)系統(tǒng)級縮放。異構(gòu)集成技術(shù)可將不同類型的芯片（chiplet）組合到統(tǒng)一封裝中，提供更好的性能、更低的互連延遲和更高的能源效率，這些對于數(shù)據(jù)密集型人工智能工作負(fù)載都非常重要[1]。
4 n* B- X8 ~0 w  F% F6 |- Y4 ]* w

( B3 ?( }: C, s+ y' L* c現(xiàn)有異構(gòu)集成技術(shù)

  W7 n. p, n. |& k  Q, b' W% X, @圖1展示了異構(gòu)集成技術(shù)的全面發(fā)展概況，從2D到3D架構(gòu)的演進(jìn)，包括MCM、中介層和先進(jìn)的3D集成方法。
" R/ V0 |: p( k+ V) X
& O# ?# U$ Y" q' R/ \9 _7 }0 A多種異構(gòu)集成技術(shù)已經(jīng)出現(xiàn)，以滿足不同的系統(tǒng)要求：
多芯片模塊(MCM)：作為最早的2D集成方法之一，MCM將chiplet橫向放置在有機(jī)基板上以減少線長。雖然實(shí)施簡單，但由于使用傳統(tǒng)有機(jī)基板和粗糙的焊料基連接技術(shù)，MCM在互連密度方面存在限制。
中介層架構(gòu)：為克服MCM的局限性，采用玻璃或硅中介層的2.5D架構(gòu)可實(shí)現(xiàn)更高的互連密度。通過硅通孔(TSV)技術(shù)和細(xì)間距微凸點(diǎn)，可以在堆疊芯片之間實(shí)現(xiàn)更高的連接密度。但是，為大型人工智能系統(tǒng)擴(kuò)展中介層的成本較高。
0 [2 a* z0 h6 o5 N( K- r橋接基解決方案：英特爾的嵌入式多芯片互連橋(EMIB)等技術(shù)在封裝基板中使用局部硅橋?qū)崿F(xiàn)細(xì)間距布線。這種方法無需TSV，同時(shí)能實(shí)現(xiàn)芯片間的高密度連接。
% M% D% Z# ?9 U8 q" [+ R晶圓級封裝：晶圓級封裝技術(shù)通過扇出芯片I/O信號提供高互連密度和減少延遲。但在熱管理和熱膨脹系數(shù)(CTE)失配方面存在挑戰(zhàn)。
9 R" k$ J% g) Z8 E
三維集成

6 t: Z/ @* I( {圖2說明了不同的3D集成方法，展示了從傳統(tǒng)2D SoC到結(jié)合邏輯和存儲(chǔ)器集成的各種3D架構(gòu)的演進(jìn)。

2 g0 c6 D  a# H8 |7 ^3D集成是下一代人工智能系統(tǒng)的重要發(fā)展方向。使用TSV技術(shù)和混合鍵合等先進(jìn)鍵合技術(shù)，3D堆疊實(shí)現(xiàn)了超高的集成密度和帶寬。臺(tái)積電等公司通過系統(tǒng)級集成芯片(SoIC)技術(shù)已經(jīng)展示了支持超過20 Tbps帶寬的系統(tǒng)。
: I0 r, y+ n- V8 B# B
! y% P3 @) ?+ |. G5 P$ E3D集成的主要優(yōu)勢：
與傳統(tǒng)方法相比，鍵合密度顯著提高
降低電氣寄生效應(yīng)和功耗
, W# S0 S) Q$ N. v3 b8 u1 k& F# e4 Y更高的金屬布線密度
7 W: s9 l! c. J3 G. {) `! I通過更薄的鍵合層改善熱性能

# G- z$ S  b3 A7 N# y8 Z  _; H! r但仍面臨一些挑戰(zhàn)：
# Y' R+ _* I3 ^2 O4 z0 z3 I- \更多堆疊管芯增加了assembly復(fù)雜性
% u/ _+ @0 ]6 M熱管理更加困難
混合鍵合對表面處理要求嚴(yán)格
% u; q0 N. E9 n9 ~! ?) _7 i制造成本較高

人工智能硬件的工業(yè)應(yīng)用

圖3演示了3D-ICE技術(shù)工藝流程，展示了使用二氧化硅封裝和晶圓鍵合集成多個(gè)chiplet的步驟。
/ s& e2 H( r" c) _. x! V
" N- P) @, T% n  m5 e主要半導(dǎo)體公司已在人工智能加速器產(chǎn)品中采用異構(gòu)集成：
2 I& q& j0 y" H9 j0 @Cerebras：WSE-3晶圓級引擎使用臺(tái)積電5nm技術(shù)，在單個(gè)晶圓上集成4萬億晶體管。
系統(tǒng)可訓(xùn)練具有24萬億參數(shù)的模型。
NVIDIA：GB200 Grace Blackwell使用臺(tái)積電的CoWoS-L封裝技術(shù)組合兩個(gè)GPU和一個(gè)CPU。
( U9 W3 b2 }/ T目標(biāo)是處理超過十萬億參數(shù)的大型語言模型，具有384GB內(nèi)存。
+ c! V. d1 G: H8 zAMD：MI300X封裝同時(shí)使用中介層技術(shù)和3D堆疊，結(jié)合GPU chiplet、I/O管芯和192GB HBM內(nèi)存。
! |$ B& ^- s$ o" F! ^英特爾：Gaudi-3加速器采用EMIB技術(shù)集成計(jì)算管芯和128GB HBM內(nèi)存。
# b* V  R' H4 U; j
0 V2 z* o+ l# g: D! ]5 |- L新興玻璃封裝技術(shù)
玻璃封裝由于以下優(yōu)勢，在人工智能應(yīng)用中備受關(guān)注：
$ L2 D! Q2 Y0 t4 [& G通過低介電常數(shù)實(shí)現(xiàn)優(yōu)異的信號完整性
% b' m& T! K( Q) ^# g% o1 ^支持高密度互連
出色的尺寸穩(wěn)定性
/ C: C9 E0 v- j- X+ c靈活的基板格式選項(xiàng)
與光電集成的兼容性
5 f+ Q( ~- G5 z% O& z7 w5 N: |1 K
玻璃的光滑表面使其能夠?qū)崿F(xiàn)非常精細(xì)的線條和間距，而其Si-O表面結(jié)構(gòu)促進(jìn)了與各種材料的良好粘附。玻璃核心封裝還可以通過銅結(jié)構(gòu)和先進(jìn)的熱界面材料整合熱管理解決方案。
  J: v/ @9 E- q: @% [
& X' ?. F4 V4 B) N% X2 N$ A結(jié)論
5 G" Q/ O; \  [1 x異構(gòu)集成技術(shù)已超越傳統(tǒng)縮放限制，推進(jìn)人工智能硬件能力的發(fā)展。從2.5D中介層到先進(jìn)的3D堆疊和新興的玻璃封裝解決方案，這些方法實(shí)現(xiàn)了下一代人工智能系統(tǒng)所需的高帶寬、低延遲和能源效率。在熱管理和制造成本等方面仍存在挑戰(zhàn)，但異構(gòu)集成技術(shù)的持續(xù)創(chuàng)新將滿足人工智能應(yīng)用不斷增長的需求。
$ m- `' Z% \* o
參考文獻(xiàn)
2 ]7 T! p, N; g[1] M. Manley et al., "Heterogeneous Integration Technologies for Artificial Intelligence Applications," IEEE Journal on Exploratory Solid-State Computational Devices and Circuits, vol. 10, pp. 89-97, 2024, doi: 10.1109/JXCDC.2024.3484958.

END


3 c' u* J0 r. Q3 a/ ]軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點(diǎn)擊左下角"閱讀原文"馬上申請

* V, p0 t5 _9 o8 ], \( W6 S歡迎轉(zhuǎn)載
& l4 \' `" }6 s! @) n$ @/ S
轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！
$ a2 q: h' T: l' z2 g+ u. T6 |

* P, g+ c6 {2 ^0 b5 O! X
& b) R, [4 T0 `0 T; V
$ Q& Y! ?1 [- n7 [. H% \8 g* X
5 ~0 f% h7 U6 `4 C) J, `8 C  q3 p關(guān)注我們

1 I* o- h  G* o5 u* V3 D

0 S& }  G+ `+ [8 P* X& q1 r5 X + o% d+ q, ]/ C

                     
3 Y" r$ h- P+ O. y: W3 J) K' {

4 \/ H, T) R! S) Q7 y
關(guān)于我們：
! t. \% R: ~4 v, K( G深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
$ x0 {4 l( j9 C* G" u/ W
; \+ q! V' E& H% R6 qhttp://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）