|
引言
. }5 X- M4 P9 E) v近年來,計(jì)算能力的需求急劇增長(zhǎng),主要由ChatGPT等大型語(yǔ)言模型(LLMs)的日益復(fù)雜性推動(dòng)。這些模型模仿人類認(rèn)知,用于各種任務(wù),需要龐大的計(jì)算資源。隨著模型復(fù)雜度呈指數(shù)級(jí)增長(zhǎng),傳統(tǒng)計(jì)算系統(tǒng)難以跟上。本文探討新興的神經(jīng)形態(tài)計(jì)算領(lǐng)域及其在信息處理方面的潛力,重點(diǎn)關(guān)注光電子技術(shù)在這一新范式中的作用[1]。6 {( L8 n2 C3 |
( i8 o ]7 a' s! m) E+ f7 b理解神經(jīng)形態(tài)計(jì)算
( c& j, E" _2 C3 G6 Z1 L8 p神經(jīng)形態(tài)計(jì)算旨在硬件和軟件中模仿人腦的結(jié)構(gòu)和功能。與傳統(tǒng)計(jì)算機(jī)分離內(nèi)存和處理單元不同,神經(jīng)形態(tài)系統(tǒng)整合了這些功能,類似于我們大腦中的神經(jīng)元和突觸。這種方法有幾個(gè)優(yōu)勢(shì):能源效率:人腦執(zhí)行極其復(fù)雜的計(jì)算,僅消耗約20瓦的功率。神經(jīng)形態(tài)系統(tǒng)旨在實(shí)現(xiàn)類似的效率。并行處理:與大腦類似,神經(jīng)形態(tài)計(jì)算機(jī)可以同時(shí)執(zhí)行多項(xiàng)操作,而不是順序執(zhí)行。適應(yīng)性:這些系統(tǒng)可以學(xué)習(xí)并適應(yīng)新信息,類似于我們的大腦形成新的神經(jīng)連接。內(nèi)存計(jì)算:通過結(jié)合存儲(chǔ)和處理,神經(jīng)形態(tài)系統(tǒng)可以減少在獨(dú)立內(nèi)存和處理單元之間傳輸數(shù)據(jù)所浪費(fèi)的能源。
y2 [- A/ N h! ^[/ol]; ~5 q& Q2 O7 M: l2 Z
' F i j" T4 h) T% M/ @( J3 m; d
hxxfcmkjlef64090411656.jpg (341.36 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
hxxfcmkjlef64090411656.jpg
昨天 03:27 上傳
8 v% S3 U, j8 |/ r! L
圖1:SpiNNcloud具有48個(gè)節(jié)點(diǎn)板的機(jī)架,是擁有100億個(gè)神經(jīng)元的神經(jīng)形態(tài)計(jì)算機(jī)的一部分。 P, V8 ^+ ]+ q/ w2 b. x* B
# q/ V" j, z- M) r0 b
神經(jīng)形態(tài)硬件的興起. r! L% p- f* F6 L# n% a& N; ^
幾家公司和研究機(jī)構(gòu)正在開發(fā)神經(jīng)形態(tài)硬件:' [2 @6 f7 Z; ]
1. 英特爾的Loihi 2:英特爾第二代神經(jīng)形態(tài)芯片每個(gè)芯片支持約100萬(wàn)個(gè)神經(jīng)元。2022年,研究人員發(fā)現(xiàn)英特爾的神經(jīng)形態(tài)硬件在深度學(xué)習(xí)任務(wù)中的能源效率是傳統(tǒng)芯片的16倍。
2 q* T7 Q& Y. g2 l) m
m4s2xlfochw64090411756.jpg (133.38 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
m4s2xlfochw64090411756.jpg
昨天 03:27 上傳
$ U: |1 ~! ]1 j% O+ }0 M' X# `" o4 H圖2:英特爾的神經(jīng)形態(tài)硬件,在執(zhí)行深度學(xué)習(xí)任務(wù)時(shí)顯示出比傳統(tǒng)芯片高16倍的能源效率。7 ?' E% n+ t9 D) H
+ F' V' I! V$ M. \6 c# e- }2. SpiNNcloud Systems的SpiNNaker2:2024年5月宣布的這個(gè)系統(tǒng)擁有超過69,000個(gè)互連微芯片,總計(jì)超過100億個(gè)神經(jīng)元。每個(gè)芯片包含152個(gè)基于ARM的處理器核心,每個(gè)核心支持至少1,000個(gè)神經(jīng)元。: h, r* _$ @+ Y& g8 z* Z
7 ], R2 j ~9 \0 p$ J% {3. 桑迪亞國(guó)家實(shí)驗(yàn)室:2024年,桑迪亞擁有一個(gè)由英特爾構(gòu)建的11.5億神經(jīng)元系統(tǒng),由1,152個(gè)Loihi 2芯片組成。該系統(tǒng)的神經(jīng)元數(shù)量約等于貓頭鷹大腦,正用于探索神經(jīng)形態(tài)計(jì)算的潛在應(yīng)用并開發(fā)算法。6 t( g, c. e2 F3 o1 H x$ ?% t
: O6 }. N6 E y. N7 f0 k; u
nrtscf2q4nl64090411856.jpg (124.91 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
nrtscf2q4nl64090411856.jpg
昨天 03:27 上傳
+ t! G9 s$ n- C& |+ `
圖3:桑迪亞計(jì)算研究人員檢查由1,152個(gè)英特爾Loihi 2芯片組成的新型11.5億神經(jīng)元神經(jīng)形態(tài)系統(tǒng)。% J# W" w, g1 |4 O# m8 d5 N
0 a/ x' W& ?& S$ w8 B3 l2 i% @光電子技術(shù)在神經(jīng)形態(tài)計(jì)算中的作用- `+ ]$ y) h1 A8 ~* _1 N
隨著神經(jīng)形態(tài)系統(tǒng)的擴(kuò)大,組件之間快速和高能效的連接變得至關(guān)重要。這就是光電子技術(shù)發(fā)揮作用的地方。光電子技術(shù)為神經(jīng)形態(tài)計(jì)算提供了幾個(gè)優(yōu)勢(shì):高速互連:光連接可以以接近光速的速度在長(zhǎng)距離傳輸數(shù)據(jù),克服了電互連的限制。能源效率:特別是在較長(zhǎng)距離上,光信號(hào)消耗的功率比電信號(hào)少。帶寬密度:光互連可以實(shí)現(xiàn)比電連接更高的帶寬密度。/ D% s# t6 i9 j& t( i
[/ol]
3 i' J7 h P8 Z0 W! Z+ h5 ~) ^3 r/ ?7 e6 u( I$ F" d
5wx5bv2agk364090411956.jpg (123.75 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
5wx5bv2agk364090411956.jpg
昨天 03:27 上傳
6 v- m7 N" s% ?2 w3 F E4 O8 K$ K2 N6 m
圖4:英特爾的光計(jì)算互連,將光電子集成芯片與電子集成線路co-package的chiplet,能夠以4Tb/s的速度傳輸和接收數(shù)據(jù)。
& K. `0 k. x6 s& Z9 S# e3 O& S7 o
; R3 f' j% C. f- w- J4 a1 g0 k6 q+ L J英特爾的光計(jì)算互連
1 j6 {# f, m2 p/ [* }, \2 D3 I英特爾開發(fā)了光計(jì)算互連,將光電子集成線路與電子集成線路結(jié)合。這項(xiàng)技術(shù)提供了幾個(gè)好處:更高的帶寬密度:co-package設(shè)計(jì)允許更高的數(shù)據(jù)傳輸率。提高功率效率:光信號(hào)在長(zhǎng)距離傳輸中消耗更少的功率。長(zhǎng)距離通信:光信號(hào)可以傳輸數(shù)百米而不會(huì)顯著衰減。
8 l6 i/ [& Y, c2 {$ V% t7 U1 e[/ol]
) E, W v2 Z9 P8 g' l0 L英特爾計(jì)劃將使用的波長(zhǎng)數(shù)量從8增加到16,將線速率從32增加到128 Gb/s,并將光纖對(duì)數(shù)量從8翻倍到16。預(yù)計(jì)這些改進(jìn)將在未來十年內(nèi)將帶寬從4 Tb/s提高到64 Tb/s。
) y* P. p; f Z, C
- @) u3 s% e3 d: KHPE的光電子神經(jīng)形態(tài)加速器
7 S$ n; ?' r, r惠普企業(yè)(HPE)正在開發(fā)一種將光電子技術(shù)與憶阻器技術(shù)結(jié)合的神經(jīng)形態(tài)加速器。該系統(tǒng)的主要特點(diǎn)包括:
/ M b7 L* V2 x( S) W) T憶阻器激光器:這種器件可以電子方式改變其發(fā)射波長(zhǎng),并在斷電后保持該調(diào)整,模仿生物突觸的功能。基于波長(zhǎng)的數(shù)據(jù)存儲(chǔ):信息被編碼在光的波長(zhǎng)中,允許高效的數(shù)據(jù)存儲(chǔ)和處理。硅基光電子上的化合物半導(dǎo)體:這個(gè)平臺(tái)能夠?qū)⒓す馄、光檢測(cè)器、放大器和調(diào)制器集成到單片線路中。
( z j: i; J+ P2 |6 Q P7 e' s6 L
這種光電子方法的優(yōu)勢(shì)包括降低延遲、提高功率效率和固有的并行性。HPE計(jì)劃今年向DARPA提交原型,并計(jì)劃在五年內(nèi)基于這項(xiàng)技術(shù)開發(fā)商業(yè)神經(jīng)形態(tài)計(jì)算機(jī)。! T0 Y) n! G7 B2 x
/ f) f( }; B: f
神經(jīng)形態(tài)計(jì)算的應(yīng)用
" B2 e2 y; j9 I; b神經(jīng)形態(tài)系統(tǒng)有潛力在各種應(yīng)用中表現(xiàn)出色:
1 \9 N. ]9 d! }大型語(yǔ)言模型:支持像ChatGPT這樣的AI模型的日益復(fù)雜性。優(yōu)化問題:解決復(fù)雜的調(diào)度和物流挑戰(zhàn),例如航空公司航班重新安排。科學(xué)模擬:模擬熱傳遞、氣體擴(kuò)散和核聚變反應(yīng)等現(xiàn)象。成像:提高醫(yī)療保健中圖像分析的速度和準(zhǔn)確性。金融建模:改進(jìn)風(fēng)險(xiǎn)評(píng)估和市場(chǎng)預(yù)測(cè)。
! J# u$ @9 e/ Y
4 O$ t2 |6 R5 R/ c$ r0 d挑戰(zhàn)和未來方向5 J4 z1 L( N7 \5 x1 D% S% ^
盡管神經(jīng)形態(tài)計(jì)算顯示出巨大潛力,但仍需解決幾個(gè)挑戰(zhàn):7 A: d5 M; I" n d; K. t
算法開發(fā):創(chuàng)建能夠充分利用神經(jīng)形態(tài)硬件獨(dú)特架構(gòu)的軟件。可擴(kuò)展性:開發(fā)高效連接和協(xié)調(diào)大量人工神經(jīng)元的方法。理解大腦功能:隨著我們對(duì)大腦如何編碼和處理信息的認(rèn)知改進(jìn),神經(jīng)形態(tài)設(shè)計(jì)可能需要相應(yīng)進(jìn)化。與現(xiàn)有系統(tǒng)集成:在異構(gòu)系統(tǒng)中找到神經(jīng)形態(tài)加速器和傳統(tǒng)計(jì)算組件之間的正確平衡。
8 P# w3 j) O8 \3 T5 q4 H$ s4 _& u
- l3 Y8 K" n7 `計(jì)算的未來可能是異構(gòu)的,專用加速器與傳統(tǒng)CPU和GPU一起工作。神經(jīng)形態(tài)系統(tǒng)可能成為這個(gè)生態(tài)系統(tǒng)的重要組成部分,處理從類腦處理中受益的特定類型問題。, F9 _. }, v/ ~$ B: `
. Z7 D/ O, Q5 L1 N0 z$ i
結(jié)論
. ?! R y( x$ X2 u# B神經(jīng)形態(tài)計(jì)算代表了處理信息方式的范式轉(zhuǎn)變。通過模仿大腦的結(jié)構(gòu)和功能,這些系統(tǒng)提供了在能源效率、適應(yīng)性和并行處理能力方面實(shí)現(xiàn)顯著改進(jìn)的潛力。將光電子技術(shù)集成到神經(jīng)形態(tài)架構(gòu)中進(jìn)一步增強(qiáng)了這些優(yōu)勢(shì),有可能克服傳統(tǒng)電互連的限制。
$ x: n( _' o' e6 Y$ d$ X% e4 `; n- g: F
隨著這一領(lǐng)域研究的進(jìn)展,可以預(yù)期神經(jīng)形態(tài)系統(tǒng)將在解決復(fù)雜計(jì)算挑戰(zhàn)方面發(fā)揮越來越重要的作用,從支持先進(jìn)的AI模型到解決各行業(yè)的優(yōu)化問題。雖然傳統(tǒng)計(jì)算仍將有其地位,但神經(jīng)形態(tài)計(jì)算的興起和光電子技術(shù)的結(jié)合可能預(yù)示著計(jì)算能力的新時(shí)代。
3 z1 I- J( I- O, X) a% q
" {0 S2 d* k. g0 c# f* S; `參考文獻(xiàn)0 e* k1 o4 {. y
[1] H. Hogan, "The rise of brain-like computers and the role of photonics," SPIE Photonics Focus, Sep./Oct. 2024. [Online]. Available: https://spie.org/news/photonics-focus/septoct-2024/building-brainlike-computers#_=_. P( ^9 y6 r7 n) C: y* {3 [5 q2 d
END. P+ G1 F7 j9 G$ R1 }' `
8 | @! @/ A3 g- O' {+ V
3 T1 e6 E9 V( @0 R8 M" U
軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無(wú)論是研究還是商業(yè)應(yīng)用,PIC Studio都可提升您的工作效能。
; F0 V; J% A' N點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng). U5 c- P' Y% ?% L5 q4 Q7 V
m) l( m, Y( _6 [; l* o: N. N
歡迎轉(zhuǎn)載
2 m( O2 ]# a9 A1 h9 i( o4 U6 O8 K5 @/ i
轉(zhuǎn)載請(qǐng)注明出處,請(qǐng)勿修改內(nèi)容和刪除作者信息!
/ O9 J0 W6 W! A) B* z1 j9 g0 |0 U0 C3 C
* p0 Z3 s) y4 t% a; X& y) V
+ p9 q/ r- w9 z2 N3 F6 O9 h
d1hstlpcjme64090412056.gif (16.04 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
d1hstlpcjme64090412056.gif
昨天 03:27 上傳
7 F4 p7 a! \ m" m# Y" ~5 G
4 v& b9 o6 N( U9 }2 C
關(guān)注我們6 G- q% d2 y- ^" k" N" f/ Q
& A" t; y; U D7 s
2 _0 M& H) ?7 v
pfn3bej03ke64090412156.png (31.33 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
pfn3bej03ke64090412156.png
昨天 03:27 上傳
# w. C- f& P8 _$ P1 y. J% a |
6 x9 a( F5 V4 ^ [8 G1 l1 R: U
izga3q5lg5364090412256.png (82.79 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
izga3q5lg5364090412256.png
昨天 03:27 上傳
! d" p6 S( ^7 o! {
|
% [$ R7 c. X; n3 V9 W3 c, j/ ?5 `
vgkquissgn364090412356.png (21.52 KB, 下載次數(shù): 0)
下載附件
保存到相冊(cè)
vgkquissgn364090412356.png
昨天 03:27 上傳
" X; S) V2 E' G9 P: C9 d
| / c2 B s. O* }; I
- [ `5 D* I1 {. }& V* X- p% E
5 T+ I* x9 z" u8 x2 k6 t
7 _! G3 r! J4 X
關(guān)于我們:9 o1 z9 a) m- Q5 _% ^5 K
深圳逍遙科技有限公司(Latitude Design Automation Inc.)是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化(EDA)的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件,提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio,分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù),廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作,推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展,致力于為客戶提供前沿技術(shù)與服務(wù)。& F2 l" E5 P3 N) Q. i3 v. u0 T
! z, E3 Y% t) x! {1 a, j8 j9 \
http://www.latitudeda.com/: F0 ]% x9 H3 t# _4 _8 v, J( Q4 z
(點(diǎn)擊上方名片關(guān)注我們,發(fā)現(xiàn)更多精彩內(nèi)容) |
|