OCP2024 | 新一代人工智能服務(wù)器設(shè)計(jì)

逍遙設(shè)計(jì)自動(dòng)化

引言
1 t8 [$ R4 B: _8 Y在人工智能和機(jī)器學(xué)習(xí)快速發(fā)展的背景下，對(duì)專用硬件基礎(chǔ)設(shè)施的需求持續(xù)增長(zhǎng)。本文探討了創(chuàng)新的服務(wù)器設(shè)計(jì)方法，針對(duì)現(xiàn)代GPU工作負(fù)載進(jìn)行優(yōu)化，這些內(nèi)容來自Nebius AI在定制服務(wù)器解決方案方面的突破性發(fā)展[1]。

; L) L! _, J% \7 s
4 k2 d) v+ `3 ]% H) a1 `服務(wù)器架構(gòu)的演進(jìn)
+ J2 u+ [0 v) v4 w- ^8 {傳統(tǒng)服務(wù)器設(shè)計(jì)在托管現(xiàn)代GPU時(shí)面臨諸多局限性，特別是在AI工作負(fù)載方面。主要挑戰(zhàn)包括散熱效率低下、部署程序復(fù)雜以及固件專有限制。這些限制推動(dòng)了對(duì)專用解決方案的需求。
( e1 a4 ~; X* v4 a$ C% w- W  K
3 c# d: G% w* q& L針對(duì)AI工作負(fù)載的高級(jí)服務(wù)器規(guī)格
2 a4 K& A" }% v- M5 y新一代AI服務(wù)器引入了革命性的規(guī)格設(shè)計(jì)，專門用于高性能計(jì)算。這些服務(wù)器與最新的NVIDIA HGX H100/H200 GPU兼容，同時(shí)在散熱、可訪問性和維護(hù)方面融入多項(xiàng)創(chuàng)新。

2 l' c$ V+ Z& B) {圖1：全面的服務(wù)器規(guī)格，展示與NVIDIA HGX H100/H200的兼容性、免工具安裝功能和先進(jìn)的散熱系統(tǒng)設(shè)計(jì)。

革命性的無線纜設(shè)計(jì)
現(xiàn)代服務(wù)器設(shè)計(jì)中最顯著的創(chuàng)新之一是消除了主板和GPU組件之間的傳統(tǒng)線纜連接。這一進(jìn)步解決了多個(gè)長(zhǎng)期困擾服務(wù)器維護(hù)和可靠性的問題。


4 n& C) N3 U) e圖2：傳統(tǒng)線纜連接與新型無線纜設(shè)計(jì)的對(duì)比，突出顯示改進(jìn)的可靠性和維護(hù)優(yōu)勢(shì)。

優(yōu)化的散熱架構(gòu)
8 O3 x  _) ?1 q  K8 C8 u散熱管理在服務(wù)器設(shè)計(jì)中仍是核心因素，尤其是對(duì)于高性能AI工作負(fù)載。新設(shè)計(jì)實(shí)現(xiàn)了一個(gè)復(fù)雜的散熱系統(tǒng)，為CPU和GPU組件設(shè)置獨(dú)立區(qū)域。
+ H5 @, }6 V; t: Z2 [! h9 S: z+ k
圖3：先進(jìn)的散熱系統(tǒng)設(shè)計(jì)，具有獨(dú)立風(fēng)扇控制系統(tǒng)的分離式CPU和GPU區(qū)域。
, y" o8 C, G* n* d
; ]) U: ?0 p/ T4 {性能和效率指標(biāo)
$ g4 v4 M, S( u9 t通過比較性能指標(biāo)，特別是在不同運(yùn)行溫度下的功耗，清晰地展示了這些設(shè)計(jì)創(chuàng)新的效果。

, A. V* [: Z$ z# Q6 {圖4：不同進(jìn)氣溫度下Nebius HGX與標(biāo)準(zhǔn)19" HGX服務(wù)器的功耗比較。

維護(hù)和可訪問性特點(diǎn)
現(xiàn)代服務(wù)器設(shè)計(jì)優(yōu)先考慮維護(hù)便利性和組件快速訪問，顯著減少停機(jī)時(shí)間和運(yùn)營(yíng)成本。
: \% h) }0 h# a1 K  i
" `' K- l* N/ o圖5：免工具設(shè)計(jì)特點(diǎn)，實(shí)現(xiàn)快速組件訪問和維護(hù)程序。
" i$ G0 ^/ h: }6 o
總擁有成本優(yōu)勢(shì)
( T; ]1 U0 n/ ?這些設(shè)計(jì)創(chuàng)新的綜合效果轉(zhuǎn)化為顯著的總擁有成本（TCO）優(yōu)勢(shì)。通過各種優(yōu)化實(shí)現(xiàn)了資本支出和運(yùn)營(yíng)支出的雙重優(yōu)勢(shì)：
2 o1 e- g* y5 j7 a3 R
- ^6 S9 ~5 [. F圖6：總擁有成本優(yōu)勢(shì)的全面分析，包括資本支出和運(yùn)營(yíng)支出的優(yōu)勢(shì)。
( M/ F5 I1 v8 b& [7 l
% X% K8 d8 g0 a; A' b9 t8 e未來發(fā)展和應(yīng)用
這里概述的服務(wù)器設(shè)計(jì)原則正在擴(kuò)展到各種用例，包括推理和閃存存儲(chǔ)應(yīng)用。這些發(fā)展展示了新架構(gòu)的多樣性和可擴(kuò)展性。

  Y; c; n: B& ^; L: K5 q圖7：完整服務(wù)器系列概述，展示從ML/AI到計(jì)算和存儲(chǔ)的各種應(yīng)用。
) R' l0 [& w5 _* i; c
結(jié)論
用于AI工作負(fù)載的服務(wù)器設(shè)計(jì)進(jìn)步代表了數(shù)據(jù)中心基礎(chǔ)設(shè)施的突破。通過解決散熱管理、維護(hù)和組件集成等關(guān)鍵挑戰(zhàn)，這些新設(shè)計(jì)正在為AI計(jì)算基礎(chǔ)設(shè)施的性能和效率制定新標(biāo)準(zhǔn)。隨著組織繼續(xù)擴(kuò)展AI運(yùn)營(yíng)，這些專用解決方案將在快速發(fā)展的技術(shù)環(huán)境中變得更加重要。
, t6 }. _9 T( g3 |7 I: _8 T
參考文獻(xiàn)
[1] Fedorov and I. Znamenskiy, "Designing in-house server solution for hosting modern GPUs," Nebius AI, Tech. Rep. 5436, Oct. 2024.

END

" w/ b0 [  X2 p
軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
. h+ ^, R7 H* u9 t6 N點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)
8 q5 C8 `. V$ V
# ^0 d2 h! g- T2 y/ L! _) N歡迎轉(zhuǎn)載
% E0 R5 j4 V0 {' m* {( i7 @# L' m
0 G: x" M' ]: |轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！
% j0 t% @+ j+ }6 w2 O: ?, Q8 s9 _* @

( i* t! \- u' n3 N


關(guān)注我們
2 w2 B5 T' t8 ^

; L) ~6 h% M( S( E8 Y

1 p' I) U6 S2 G/ u

                     
% F$ A$ m- O" ?( a( o

! }5 w% d6 R/ Z, t
關(guān)于我們：
深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。

; `, ]" J1 V3 a5 n5 ~http://www.latitudeda.com/
（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）