理解緊密耦合異構(gòu)系統(tǒng)中的內(nèi)存操作：Grace Hopper超級芯片指南

逍遙設(shè)計自動化

引言
高性能計算（HPC）和人工智能（AI）領(lǐng)域因異構(gòu)系統(tǒng)而發(fā)生了巨大變革，特別是那些集成了GPU的系統(tǒng)。隨著工作負(fù)載越來越受內(nèi)存限制，優(yōu)化系統(tǒng)內(nèi)部的通信延遲和帶寬變得極為重要。NVIDIA Grace Hopper超級芯片（GH200）代表了緊密耦合異構(gòu)系統(tǒng)的重大進步，提供了統(tǒng)一的地址空間和對系統(tǒng)所有主內(nèi)存的透明細(xì)粒度訪問。

8 [# h0 W! s* n. g+ d3 I本文將探討Quad GH200節(jié)點的架構(gòu)（這是瑞士國家超級計算中心Alps超級計算機的基本構(gòu)建塊），并提供有關(guān)如何優(yōu)化這一尖端系統(tǒng)內(nèi)存操作的見解[1]。

* o* E8 K; \, d+ _! }
+ @' Q; X0 I! r* U架構(gòu)概述
( X3 H% v5 C/ ~( _3 u/ CQuad GH200節(jié)點由四個GH200超級芯片組成，每個超級芯片結(jié)合了一個Grace CPU和一個Hopper GPU。這些單元通過NVLink和緩存一致性互連全面互聯(lián)。讓我們來看看關(guān)鍵組件：

% q4 r' q4 X7 Y" g' `4 N' W圖1：Quad GH200節(jié)點的架構(gòu)
$ Z- J$ |/ [+ W
如圖1所示，每個GH200超級芯片具有以下特點：
/ o3 s0 Y2 d- j. ]: p

一個Grace CPU，有72個Arm Neoverse V2核心

一個Hopper GPU，有132個流式多處理器（SMs）

96GB的HBM3內(nèi)存（4000 GB/s帶寬）

128GB的LPDDR5內(nèi)存（500 GB/s帶寬）

GH200單元通過以下方式互連：
% z3 ~! k- }$ a8 Q

NVLink：每個方向150 GB/s（總共900 GB/s）

Grace互連：每個方向150 GB/s

NVLink-C2C（C2C）：每個方向450 GB/s（總共900 GB/s）

每個節(jié)點還通過單獨的網(wǎng)絡(luò)接口卡連接到Slingshot網(wǎng)絡(luò)，每個方向提供25 GB/s（總共200 GB/s）的節(jié)點間通信。
: F  M" W/ f$ A% s! z  @; U) b
內(nèi)存層次結(jié)構(gòu)和NUMA
Quad GH200系統(tǒng)呈現(xiàn)出復(fù)雜的內(nèi)存層次結(jié)構(gòu)，具有非統(tǒng)一內(nèi)存訪問（NUMA）特性。
6 k8 i! }7 C4 ^& c0 I( A! p# O每個GH200由兩個NUMA節(jié)點組成：

與Grace親和的LPDDR5內(nèi)存

與Hopper親和的HBM3內(nèi)存
  @3 `& T& {6 R[/ol]
% p# D: `" Z: i; o' s7 T總的來說，一個Quad GH200節(jié)點有八個NUMA節(jié)點，四個與Grace CPU相關(guān)（NUMA 0-3），四個與Hopper GPU相關(guān)（NUMA 4, 12, 20, 28）。
6 m( B9 ?5 f9 X5 m: |1 z7 Q
理解數(shù)據(jù)路徑
9 `5 s0 ~) {8 v' l4 ?  H為了優(yōu)化內(nèi)存操作，理解不同類型操作的數(shù)據(jù)路徑非常重要。讓我們來看看讀取、寫入和復(fù)制操作：

圖2：Hopper操作的數(shù)據(jù)路徑
6 c0 q0 T( h1 b
圖2說明了Hopper GPU執(zhí)行的讀取、寫入和復(fù)制操作的數(shù)據(jù)路徑。
注意：

本地HBM訪問具有最短的路徑和最高的帶寬（4000 GB/s）

跨C2C互連的操作限制在450 GB/s

復(fù)制操作可能需要多次互連遍歷，影響可達到的帶寬

) V, Y" g1 ], N8 M; _內(nèi)存操作基準(zhǔn)測試
為了理解Quad GH200系統(tǒng)的性能特征，我們將檢查各種微基準(zhǔn)測試的結(jié)果：
/ D) D' U( J( Q9 _1. 讀取和寫入操作：
# V& q! r+ M  N9 H- s) P/ x! I
, H% D% A, @# P5 s& p$ Z0 V圖3：讀取和寫入吞吐量
! R/ |. W1 a7 x: F9 }
圖3顯示了Grace和Hopper在不同類型內(nèi)存上進行讀取和寫入操作的吞吐量，包括空閑條件下和C2C互連負(fù)載下的情況。
. @& f0 p8 o4 u5 b, T; H主要觀察：
3 W8 W" R/ L7 d; x

Hopper通常在本地內(nèi)存訪問時更好地利用C2C互連

跨越C2C和NVLink的操作會產(chǎn)生顯著開銷

在負(fù)載下，對HBM的寫入受影響最大，特別是對Grace而言

7 i0 b, ?) z' M' v! G2. 復(fù)制操作：
9 O! r+ p2 r* G1 U% {2 T+ R
! F  c, l' }3 S% Y1 n0 l) J圖4：復(fù)制吞吐量

圖4說明了Grace和Hopper在不同源和目標(biāo)內(nèi)存類型之間進行復(fù)制操作的吞吐量。
! s) C- T! u! F6 `值得注意的發(fā)現(xiàn)：
/ S% S) m5 M" w  y& C* z. c7 S7 _

內(nèi)存?zhèn)鬏敶嬖诓粚ΨQ性（例如，Grace在從本地內(nèi)存復(fù)制到對等GH200時達到更高的吞吐量）

Hopper在跨越多個互連時通常能更有效地利用可用帶寬
5 p# }% N4 [" U5 u
# w* q2 }1 ]8 P+ D! O3. 延遲：
5 t4 Y" t" M8 [/ P
4 r* P; P6 W6 \+ D5 S圖5：主內(nèi)存訪問延遲

) F$ H9 G/ @$ Z/ B8 X6 H7 M圖5顯示了Grace和Hopper的主內(nèi)存訪問延遲。有趣的是，跨越C2C互連的訪問（Grace到HBM和Hopper到DDR）表現(xiàn)出相似的延遲。
9 @- p& t) @" K; \4 v& a
優(yōu)化應(yīng)用程序
+ B4 c" p4 k. h1 `1 k6 `- G1 h4 N理解這些性能特征對于在Quad GH200系統(tǒng)上優(yōu)化應(yīng)用程序非常重要。讓我們來看一些示例工作負(fù)載及其基于內(nèi)存放置的性能：
1. GEMM（通用矩陣乘法）：

/ I4 j$ B' B3 t/ D8 Q8 z1 {7 N圖6：GEMM性能
' ]0 w+ B& k* f6 b% ~
圖6顯示了矩陣放置在不同內(nèi)存位置的GEMM操作性能。主要要點：
0 v: {! D8 I& m( J+ O- t

HBM放置對于最佳性能至關(guān)重要，特別是對于使用Tensor Cores的數(shù)據(jù)類型

即使將一個矩陣移出HBM也可能顯著影響性能
4 a% d/ f0 e# k/ p( I+ \3 G" o
$ Q5 B' o0 |3 G- `2. LLM（大型語言模型）推理：

圖7：LLM推理時間

圖7顯示了不同模型和內(nèi)存分配的LLM推理時間。觀察結(jié)果：
- |9 p1 S  R9 ]! u: w& w

內(nèi)存訪問速度對吞吐量起著根本作用

HBM分配提供最佳性能，而對等內(nèi)存訪問顯著影響推理時間
( {4 n5 c! _3 A8 n* b1 g7 V/ Z, K
3. NCCL（NVIDIA集體通信庫）操作：
7 M- ?  l$ p6 w2 k- w
* z2 U3 B) S! F# f) f0 n圖8：NCCL All Reduce和All Gather性能

圖8說明了節(jié)點內(nèi)All Reduce和All Gather操作的性能。關(guān)鍵點：

超級芯片局部性比使用的內(nèi)存類型更重要

同一GH200內(nèi)存大大優(yōu)于對等訪問

  H3 _- v  V" k, x5 E( K) F9 w最佳實踐和建議
$ I. b0 p$ ?! C4 P( O1 @* s- D基于從這些基準(zhǔn)測試和應(yīng)用程序示例中獲得的見解，以下是在Quad GH200系統(tǒng)上優(yōu)化內(nèi)存操作的一些最佳實踐：

優(yōu)先使用HBM：盡可能將性能關(guān)鍵數(shù)據(jù)放在本地HBM內(nèi)存中，特別是對于GPU密集型工作負(fù)載。

最小化跨GH200訪問：盡量將數(shù)據(jù)保持在執(zhí)行計算的GH200單元本地，因為對等內(nèi)存訪問會導(dǎo)致顯著的性能損失。

謹(jǐn)慎利用統(tǒng)一內(nèi)存：雖然統(tǒng)一內(nèi)存簡化了編程，但要注意與顯式內(nèi)存管理相比的性能特征。

考慮內(nèi)存?zhèn)鬏數(shù)牟粚ΨQ性：在設(shè)計數(shù)據(jù)移動模式時，要考慮不同內(nèi)存類型之間復(fù)制操作的不對稱性。

優(yōu)化集體操作：對于使用NCCL或類似庫的應(yīng)用程序，專注于超級芯片局部性以最大化性能。

分析和迭代：使用分析工具識別應(yīng)用程序中的內(nèi)存訪問模式，并根據(jù)系統(tǒng)的性能特征迭代優(yōu)化數(shù)據(jù)放置。
[/ol]
結(jié)論
  A" b' J6 B) i+ LQuad GH200節(jié)點為HPC和AI工作負(fù)載提供了強大的計算能力和內(nèi)存帶寬。然而，要充分利用其潛力，開發(fā)人員必須理解其復(fù)雜的內(nèi)存層次結(jié)構(gòu)并相應(yīng)地優(yōu)化數(shù)據(jù)放置。通過遵循本文概述的最佳實踐并仔細(xì)考慮不同內(nèi)存操作的性能特征，可以顯著提高在這一先進異構(gòu)系統(tǒng)上應(yīng)用程序的效率。

; a: q, r1 g% d& F5 a7 S2 E9 ?參考文獻
[1] L. Fusco et al., "Understanding Data Movement in Tightly Coupled Heterogeneous Systems: A Case Study with the Grace Hopper Superchip," arXiv preprint arXiv:2408.11556v2, Aug. 2024.

END
( e( W- W+ Q2 {, j" ^8 K6 \+ q

4 u+ n% H" W" o  t, J3 ^軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
$ F0 k! B/ O# ]' l6 C. q/ \0 g點擊左下角"閱讀原文"馬上申請

歡迎轉(zhuǎn)載

轉(zhuǎn)載請注明出處，請勿修改內(nèi)容和刪除作者信息！

6 U- U; z+ ?8 t* ^. N9 Z  a
  F5 j  v8 w; d4 l& z
6 p5 j0 \% i% H9 d

關(guān)注我們
) {3 T$ O; ?4 i
% _) J  R6 R! J0 F5 J0 M

/ L- ^0 S. N4 G4 o , J" V. i: o# u  s. `) [; j

. D8 |+ m" ^& L9 [/ d) i$ e

& @2 b5 y6 v, d4 C. c* U6 m ) o1 s( f3 k, e1 g* K3 t

                     

+ D, q1 R1 r0 V. w) j$ ^
3 U; C  E6 b0 [! Z& T' G1 v8 [
( b+ j7 k. l+ M關(guān)于我們：
, x, @3 x" c% Z% p深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計自動化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計和仿真軟件，提供成熟的設(shè)計解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對光電芯片、微機電系統(tǒng)、超透鏡的設(shè)計與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
# S" h4 g# ~/ S& S9 ~. d! B8 L
http://www.latitudeda.com/
（點擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）