文｜半導(dǎo)體產(chǎn)業(yè)縱橫
?近年來，隨著AI應(yīng)用場(chǎng)景的爆發(fā)式增長，AI算法對(duì)算力的需求急劇上升，這一增速已顯著超越了摩爾定律所預(yù)測(cè)的硬件性能提升速度。傳統(tǒng)的計(jì)算芯片，在計(jì)算資源、處理時(shí)延以及功耗控制方面，逐漸顯現(xiàn)出難以滿足AI高并行計(jì)算需求的局限性。
在智能芯片領(lǐng)域，傳統(tǒng)的馮·諾依曼架構(gòu)以計(jì)算為核心，處理器與存儲(chǔ)器之間的物理分離導(dǎo)致了大規(guī)模數(shù)據(jù)頻繁遷移，這進(jìn)一步限制了AI芯片的整體性能。因此，傳統(tǒng)芯片架構(gòu)面臨著“存儲(chǔ)墻”、“功耗墻”及“算力墻”等嚴(yán)峻挑戰(zhàn)，難以滿足AI應(yīng)用對(duì)于低時(shí)延、高能效以及高可擴(kuò)展性的迫切需求。
針對(duì)上述一系列問題，業(yè)內(nèi)給出了一種名為“存算一體”的解決方案。
那么到底什么是“存儲(chǔ)墻”、“功耗墻”和“編譯墻”？存算一體芯片是什么？它又是如何解決這些問題的？存算一體技術(shù)的出現(xiàn)給產(chǎn)業(yè)界帶來了哪些驚喜？
01、芯片發(fā)展面前的三堵墻
首先一起了解一下什么是“存儲(chǔ)墻”。
存儲(chǔ)墻指的是內(nèi)存性能嚴(yán)重限制CPU性能發(fā)揮的現(xiàn)象。在過去的20多年中，處理器的性能以每年大約55%速度快速提升，而內(nèi)存性能的提升速度則只有每年10%左右。
長期累積下來，不均衡的發(fā)展速度造成了當(dāng)前內(nèi)存的存取速度嚴(yán)重滯后于處理器的計(jì)算速度，內(nèi)存瓶頸導(dǎo)致高性能處理器難以發(fā)揮出應(yīng)有的功效，這對(duì)日益增長的高性能計(jì)算形成了極大的制約。這種嚴(yán)重阻礙處理器性能發(fā)揮的內(nèi)存瓶頸命名為"內(nèi)存墻"，也叫“存儲(chǔ)墻”。
伴隨著“存儲(chǔ)墻”問題同時(shí)出現(xiàn)的，是大量能耗消耗在了數(shù)據(jù)傳輸過程中，導(dǎo)致芯片的能效比顯著降低，即“功耗墻”問題。
“功耗墻”的問題主要是因?yàn)殡S著計(jì)算系統(tǒng)對(duì)內(nèi)存帶寬需求的不斷增加，以及對(duì)更高容量和更快訪問速度的追求，傳統(tǒng)DRAM和其他類型內(nèi)存的功耗急劇上升，最終會(huì)達(dá)到一個(gè)無法通過簡(jiǎn)單增加功率預(yù)算來解決的臨界點(diǎn)。
這一方面是因?yàn)閿?shù)據(jù)從DRAM搬運(yùn)到CPU需要跨過多個(gè)層級(jí)的存儲(chǔ)層次，包括L1、L2、L3緩存。有研究表明：在特定情況下，將1比特?cái)?shù)據(jù)從DRAM搬運(yùn)到CPU所消耗的能量比在CPU上處理這個(gè)比特所需的能量還要高幾倍到幾十倍。
根據(jù)英特爾的研究表明，當(dāng)半導(dǎo)體工藝達(dá)到 7nm 時(shí)，數(shù)據(jù)搬運(yùn)功耗高達(dá) 35pJ/bit，占總功耗的63.7%。數(shù)據(jù)傳輸造成的功耗損失越來越嚴(yán)重，限制了芯片發(fā)展的速度和效率。
“編譯墻”問題隱于二者之中，極短時(shí)間下的大量數(shù)據(jù)搬運(yùn)使得編譯器無法在靜態(tài)可預(yù)測(cè)的情況下對(duì)算子、函數(shù)、程序或者網(wǎng)絡(luò)做整體的優(yōu)化，手動(dòng)優(yōu)化又消耗了大量時(shí)間。
過去，憑借先進(jìn)制程不斷突破，這三座“大山”的弊病還能通過快速提升的算力來彌補(bǔ)。
但一個(gè)殘酷的現(xiàn)實(shí)是，過去數(shù)十年間，通過工藝制程的提升改善芯片算力問題的“老辦法”正在逐步失效——摩爾定律正在走向物理極限，HBM、3D DRAM、更好的互聯(lián)等傳統(tǒng)“解法”也“治標(biāo)不治本”，晶體管微縮越來越難，提升算力性能兼具降低功耗這條路越走越艱辛。
隨著大模型時(shí)代來臨，激增的數(shù)據(jù)計(jì)算，無疑進(jìn)一步放大了“三道墻”的影響。
而存算一體技術(shù)的出現(xiàn)，是對(duì)上述難題的有力回應(yīng)。
02、存算一體，帶來了哪些驚喜？
從存算一體技術(shù)的原理來看，存算一體的核心是將存儲(chǔ)功能與計(jì)算功能融合在同一個(gè)芯片上，直接利用存儲(chǔ)單元進(jìn)行數(shù)據(jù)處理——通過修改“讀”電路的存內(nèi)計(jì)算架構(gòu)，可以在“讀”電路中獲取運(yùn)算結(jié)果，并將結(jié)果直接“寫”回存儲(chǔ)器的目的地址，不再需要在計(jì)算單元和存儲(chǔ)單元之間進(jìn)行頻繁的數(shù)據(jù)轉(zhuǎn)移，消除了數(shù)據(jù)搬移帶來的消耗，極大降低了功耗，大幅提升計(jì)算效率。
正因此，存算一體技術(shù)可以有效地克服馮·諾依曼架構(gòu)瓶頸。
那么存算一體技術(shù)憑借其技術(shù)優(yōu)勢(shì)，在實(shí)際應(yīng)用中都可以帶來哪些效能提升？
存算一體芯片在特定領(lǐng)域可以提供更大算力（1000TOPS以上）和更高能效（超過10-100TOPS/W），明顯超越現(xiàn)有ASIC算力芯片。存算一體技術(shù)還可以通過使用存儲(chǔ)單元參與邏輯計(jì)算提升算力，這等效于在面積不變的情況下規(guī)?；黾佑?jì)算核心數(shù)。
在能耗控制方面，存算一體技術(shù)可以通過減少不必要的數(shù)據(jù)搬運(yùn)將能耗降低至之前的1/10~1/100。提升了計(jì)算效率、降低了功耗，存算一體自然也能帶來更好的成本回報(bào)。
03、存算一體技術(shù)的分類
根據(jù)存儲(chǔ)與計(jì)算的距離遠(yuǎn)近，將廣義存算一體的技術(shù)方案分為三大類，分別是近存計(jì)算（Processing Near Memory, PNM）、存內(nèi)處理 （Processing In Memory, PIM）和存內(nèi)計(jì)算（Computing in Memory, CIM）。
近存計(jì)算是一種較為成熟的技術(shù)路徑。它利用先進(jìn)的封裝技術(shù)，將計(jì)算邏輯芯片和存儲(chǔ)器封裝到一起，通過減少內(nèi)存和處理單元之間的路徑，實(shí)現(xiàn)高I/O密度，進(jìn)而實(shí)現(xiàn)高內(nèi)存帶寬以及較低的訪問開銷。近存計(jì)算主要通過2.5D、3D堆疊等技術(shù)來實(shí)現(xiàn)，廣泛應(yīng)用于各類CPU和GPU上。
存內(nèi)處理則主要側(cè)重于將計(jì)算過程盡可能地嵌入到存儲(chǔ)器內(nèi)部。這種實(shí)現(xiàn)方式旨在減少處理器訪問存儲(chǔ)器的頻率，因?yàn)榇蟛糠钟?jì)算已經(jīng)在存儲(chǔ)器內(nèi)部完成。這種設(shè)計(jì)有助于消除馮·諾依曼瓶頸帶來的問題，提高數(shù)據(jù)處理速度和效率。
存內(nèi)計(jì)算同樣是將計(jì)算和存儲(chǔ)合二為一的技術(shù)。它有兩種主要思路。第一種思路是通過電路革新，讓存儲(chǔ)器本身就具有計(jì)算能力。這通常需要對(duì)SRAM或者M(jìn)RAM等存儲(chǔ)器進(jìn)行改動(dòng)，以在數(shù)據(jù)讀出的解碼器等地方實(shí)現(xiàn)計(jì)算功能。這種方法的能效比通常較高，但計(jì)算精度可能受限。
其中，近存計(jì)算和存內(nèi)計(jì)算是目前存算一體技術(shù)實(shí)現(xiàn)的主流路徑。大廠們對(duì)存算一體架構(gòu)的需求是實(shí)用且落地快，而作為最接近工程落地的技術(shù)，近存計(jì)算成為大廠們的首選。近存計(jì)算的典型代表是AMD的Zen系列CPU。
04、存儲(chǔ)介質(zhì)的三種主要選擇
存算一體芯片的存儲(chǔ)介質(zhì)主要可分為兩大類：一種是易失性存儲(chǔ)器，即在正常關(guān)閉系統(tǒng)或者突然性、意外性關(guān)閉系統(tǒng)的時(shí)候，數(shù)據(jù)會(huì)丟失，如SRAM和DRAM等。
另一種是非易失性存儲(chǔ)器，在上述情況下數(shù)據(jù)不會(huì)丟失，如傳統(tǒng)的閃存NOR Flash 和 NAND Flash，以及新型存儲(chǔ)器：阻變存儲(chǔ)器RRAM（ReRAM）、磁性存儲(chǔ)器MRAM、鐵變存儲(chǔ)器FRAM（FeRAM）、相變存儲(chǔ)器PCRAM（PCM）等。
那么，該如何選擇合適的技術(shù)路徑，這些技術(shù)路徑又有何特點(diǎn)、壁壘和優(yōu)勢(shì)呢？
從器件工藝成熟度來看，SRAM、DRAM和Flash都是成熟的存儲(chǔ)技術(shù)。
Flash屬于非易失性存儲(chǔ)器件，具有低成本優(yōu)勢(shì)，一般適合小算力場(chǎng)景；DRAM成本低，容量大，但是可用的eDRAM IP核工藝節(jié)點(diǎn)不先進(jìn)，讀取延遲也大，且需要定期刷新數(shù)據(jù)；SRAM在速度方面具有極大優(yōu)勢(shì)，有幾乎最高的能效比，容量密度略小，在精度增強(qiáng)后可以保證較高精度，一般適用于云計(jì)算等大算力場(chǎng)景。
在制程工藝方面，SRAM可以在先進(jìn)工藝上如5nm上制造，DRAM和Flash可在10-20nm工藝上制造。
在電路設(shè)計(jì)難度上，存內(nèi)計(jì)算DRAM > 存內(nèi)計(jì)算SRAM > 存內(nèi)計(jì)算Flash。在存內(nèi)計(jì)算方面，SRAM和DRAM更難設(shè)計(jì)，它們是易失性存儲(chǔ)器，工藝偏差會(huì)大幅度增加模擬計(jì)算的設(shè)計(jì)難度，F(xiàn)lash是非易失存儲(chǔ)器，他的狀態(tài)是連續(xù)可編程的，可以通過編程等方式來校準(zhǔn)工藝偏差，從而提高精度。而近存計(jì)算的設(shè)計(jì)相對(duì)簡(jiǎn)單，可采用成熟的存儲(chǔ)器技術(shù)和邏輯電路設(shè)計(jì)技術(shù)。
除成熟的存儲(chǔ)技術(shù)外，學(xué)術(shù)界也比較關(guān)注各種RRAM在神經(jīng)網(wǎng)絡(luò)計(jì)算中的引入。RRAM使用電阻調(diào)制來實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)，讀出電流信號(hào)而非傳統(tǒng)的電荷信號(hào)，可以獲得較好的線性電阻特性。但目前RRAM工藝良率爬坡還在進(jìn)行中，而且依然需要面對(duì)非易失存儲(chǔ)器固有的可靠性問題，因此目前還主要用于端側(cè)小算力和邊緣AI計(jì)算。
05、存算一體芯片的適用場(chǎng)景有哪些？
小算力場(chǎng)景：邊緣側(cè)對(duì)成本、功耗、時(shí)延、開發(fā)難度非常敏感
中早期的存算一體芯片算力較小，從小算力1TOPS開始往上走，解決的是音頻類、健康類及低功耗視覺終端側(cè)應(yīng)用場(chǎng)景，AI落地的芯片性能及功耗問題。比如：AIoT的應(yīng)用。
眾所周知，碎片化的AIoT市場(chǎng)對(duì)先進(jìn)工藝芯片的需求并不強(qiáng)烈，反而更青睞低成本、低功耗、易開發(fā)的芯片。
存算一體正是符合這一系列要求的芯片。
首先，存算一體技術(shù)能夠減少數(shù)據(jù)在存儲(chǔ)單元和計(jì)算單元之間的移動(dòng)，從而顯著降低能耗。例如，傳統(tǒng)架構(gòu)中，大量的數(shù)據(jù)傳輸會(huì)消耗大量能量，而存算一體架構(gòu)可以避免這種不必要的能耗，使得像電池供電的物聯(lián)網(wǎng)設(shè)備能夠更長時(shí)間地運(yùn)行。
其次，通過減少數(shù)據(jù)傳輸和提高集成度，存算一體技術(shù)可以降低芯片的制造成本。對(duì)于大規(guī)模部署的 AIoT 設(shè)備來說，成本的降低有助于更廣泛的應(yīng)用推廣。
最后，存算一體芯片還可以大幅提高運(yùn)算速度并節(jié)省空間，而這兩項(xiàng)也是給AIoT應(yīng)用帶來助力的兩大因素。
大算力場(chǎng)景：GPU在算力和能效上都無法同時(shí)與專用加速芯片競(jìng)爭(zhēng)
目前云計(jì)算算力市場(chǎng)，GPU的單一架構(gòu)已經(jīng)不能適應(yīng)不同AI計(jì)算場(chǎng)景的算法離散化特點(diǎn)，如在圖像、推薦、NLP領(lǐng)域有各自的主流算法架構(gòu)。
隨著存算一體芯片算力不斷提升，使用范圍逐漸擴(kuò)展到大算力應(yīng)用領(lǐng)域。針對(duì)大算力場(chǎng)景>100TOPS，在無人車、泛機(jī)器人、智能駕駛，云計(jì)算領(lǐng)域提供高性能大算力和高性價(jià)比的產(chǎn)品。
此外，存算一體芯片還有一些其他延伸應(yīng)用，比如感存算一體、類腦計(jì)算等。
隨著技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的不斷拓展，存內(nèi)計(jì)算將在未來發(fā)揮更加重要的作用，推動(dòng)算力新時(shí)代的發(fā)展。然而，存內(nèi)計(jì)算技術(shù)仍面臨一些挑戰(zhàn)和問題。例如，存算一體器件的研發(fā)需要突破關(guān)鍵技術(shù)難題，提高性能和可靠性；同時(shí)，存內(nèi)計(jì)算系統(tǒng)的設(shè)計(jì)和優(yōu)化也需要充分考慮實(shí)際應(yīng)用需求，提高系統(tǒng)的可擴(kuò)展性和靈活性等。
存算一體芯片大規(guī)模落地的時(shí)刻尚未明確，但這一天的到來值得我們期待。技術(shù)的演進(jìn)從不停止，市場(chǎng)的需求也在不斷變化，當(dāng)各種條件成熟之際，或許就是存算一體芯片大放異彩之時(shí)。