文｜半導體產業(yè)縱橫

存儲器，包括DRAM（動態(tài)隨機存取存儲器）和NAND（閃存），一直是半導體行業(yè)的重要組成部分，存儲器市場的增長為半導體產業(yè)帶來了新的增長點，推動了半導體產業(yè)的進一步發(fā)展。特別是近年來隨著以ChatGPT為代表的生成式人工智能（AI）技術的不斷發(fā)展和普及，也推動了存儲器市場的發(fā)展，尤其是新型存儲技術，如HBM、QLC SSD等。

眾所周知，計算能力是AI時代至關重要的一環(huán)，但實際上很多人都會忽略存儲在AI生命周期中發(fā)揮的重要作用，特別是隨著生成式AI的爆火，包括圖像、視頻、音頻在內的非結構化數(shù)據(jù)都會呈現(xiàn)出指數(shù)級增長的態(tài)勢，也自然會激發(fā)出新的存儲需求。根據(jù)IDC的調研結果，預計到2028年，全球將產出394ZB的數(shù)據(jù)，其中AIGC領域的數(shù)據(jù)產出尤為突出，屆時，AI圖像和視頻生成將增長167倍。

在此基礎上，存儲逐漸成為了AI發(fā)展的瓶頸。近年來，存內計算被業(yè)界廣為關注，但卻始終卡在商業(yè)化上。而就在近日，三星電子和 SK 海力士正在合作標準化 LPDDR6-PIM 內存產品。該合作伙伴關系旨在加快專門用于人工智能（AI）的低功耗存儲器標準化。而這也有望推動存內計算的商業(yè)化。

01、存算一體加速AI運算

眾所周知，算法、數(shù)據(jù)和算力（芯片）是人工智能發(fā)展的三大核心要素，其中芯片是決定人工智能是否能夠最終落地的根基。隨著ChatGPT，GPT-4等大模型研究的不斷深入，模型結構日趨復雜，數(shù)據(jù)量與計算量大幅增長。與此同時，隨著摩爾定律的逐漸失效，芯片制造工藝演進相對放緩。算法發(fā)展與硬件發(fā)展之間存在矛盾，如何高效地利用復雜算法處理海量數(shù)據(jù)成為當前人工智能領域的重要挑戰(zhàn)。

究其原因，芯片作為人工智能的基石，正遭遇著嚴重的“馮·諾依曼架構瓶頸”。在馮·諾伊曼架構中，計算與內存是分離的，計算單元從內存中讀取數(shù)據(jù)，計算完成后再存回內存。特別是隨著人工智能等對性能要求極高的場景爆發(fā)，傳統(tǒng)的馮·諾依曼架構的短板開始凸顯，例如功耗墻、性能墻、內存墻的問題。同時，由于器件尺寸微縮逐漸逼近物理極限，單純通過工藝來進一步提升芯片性能的技術路徑逐漸受阻，芯片發(fā)展面臨著“工藝墻”問題。

為了解決上述問題，國內外學術界和產業(yè)界從架構、工藝、集成等多個維度展開了諸多研究，探索后摩爾時代新一代芯片技術。例如，數(shù)據(jù)流架構芯片實現(xiàn)流式計算，在處理AI類大規(guī)模數(shù)據(jù)時可以實現(xiàn)遠高于馮·諾依曼架構的吞吐率；可重構芯片技術通過軟件定義硬件電路結構，從而實現(xiàn)高靈活性與高能效計算；晶圓級芯片通過先進工藝技術擴展芯片面積來提高算力；三維芯片通過3D集成封裝技術，將多個芯片在垂直方向上進行堆疊來實現(xiàn)高帶寬與高算力；存算一體芯片則通過器件–架構–電路–工藝的協(xié)同創(chuàng)新，實現(xiàn)存儲與計算的融合一體化，從根源上突破馮·諾依曼架構瓶頸。

基于存算一體芯片的架構特點，一方面可以大幅降低數(shù)據(jù)搬運開銷，突破“存儲墻”與“功耗墻”；另一方面，基于其大規(guī)模并行運算特點，可以在相對落后的工藝節(jié)點下實現(xiàn)比肩先進工藝的性能，從而在一定程度上緩解工藝微縮壓力。此外，存算一體技術也可以方便地與其他技術進行結合，如可重構芯片技術、晶圓級芯片技術、三維集成技術等。因此，存算一體芯片被認為是后摩爾時代最重要的芯片技術方向之一。

存算一體有三種主流技術路徑：近存計算（PNM）、存內處理（PIM）、存內計算（CIM）。

近存計算的優(yōu)勢在于減少數(shù)據(jù)移動和提高緩存效率，適合于需要大規(guī)模并行處理和優(yōu)化內存帶寬的應用。存內處理的優(yōu)勢在于數(shù)據(jù)密集型應用和能效優(yōu)化，適合于需要快速數(shù)據(jù)處理和減少能耗的應用。存內計算的優(yōu)勢在于特定領域的高并行性計算和定制硬件優(yōu)化，適合于需要高度專業(yè)化和定制化解決方案的應用。

02、巨頭的存內計算布局

存算一體的概念最早可以追溯到1969年，斯坦福研究所的Kautz等人首次將存儲和邏輯整合，提出“l(fā)ogic-in-memory”方案。后續(xù)研究人員在芯片電路結構、計算架構與系統(tǒng)應用等方面開展了一系列研究。但受限于電路設計復雜度與工藝難度，后續(xù)的大部分研究本質上實現(xiàn)的是“近存計算”，仍然需要把數(shù)據(jù)從內存中讀取出來之后再就近進行計算。

目前業(yè)界比較典型的方案是通過3D封裝和高帶寬內存等技術來縮短存儲器和處理器之前的距離，并提高數(shù)據(jù)帶寬。目前，近存計算技術相對比較成熟，已經實現(xiàn)了規(guī)?；慨a。以AMD、Intel、三星、海力士等企業(yè)為代表的半導體龍頭企業(yè)均已發(fā)布基于高帶寬內存技術(HBM)和2.5D/3D封裝技術的近存計算芯片。

例如，三星最新發(fā)布的HBM3 Icebolt 技術采用近存計算架構， 通過 12層10 nm級DRAM堆疊，實現(xiàn)了高達6.4 Gbps處理速度和高達819 GB/s的帶寬。但本質上，近存計算技術仍然是存算分離的馮·諾依曼架構。

近年來，大數(shù)據(jù)驅動應用發(fā)展迅猛，數(shù)據(jù)量呈現(xiàn)指數(shù)級暴增。研究者們考慮賦予內存一定的計算能力，從而減少數(shù)據(jù)移動，降低計算機系統(tǒng)運行能耗，實現(xiàn)存儲和計算融合一體化的“存內計算”架構成為了產業(yè)界的研究熱點。2021年開始，存內計算相關產品逐步落地，包括三星、海力士、TSMC在內的國際巨頭以及Mythic等公司經過技術沉淀，已經開始試產存內計算芯片。

2021年12月，阿里巴巴旗下達摩院計算技術實驗室成功研發(fā)全球首款基于DRAM的3D鍵合堆疊存算一體AI芯片，號稱在特定AI場景中，該芯片性能提升10倍以上，能效比提升高達300倍。

2021年，三星展示了基于HBM2-PIM技術的存內計算芯片，該處理器可以提供最高達1.2 TFLOPS的嵌入式計算能力，從而使內存芯片本身能夠執(zhí)行通常由CPU，GPU，ASIC，或FPGA處理的工作。2022年，三星更是對AMD Instinct MI100計算卡進行了改造，加入了HBM-PIM芯片，構建了一個大型計算系統(tǒng)。該系統(tǒng)在使用訓練語言模型算法T5時，性能提高了2.5倍，功耗降低至原來的2.67分之一，充分展示了PIM技術的巨大潛力。此外，為了驗證MoE（混合專家系統(tǒng)）模型，三星使用96個配備了HBM-PIM的MI-100 GPU來構建HBM-PIM集群。在MoE模型中，與HBM相比，HBM-PIM GPU的性能提高了一倍，能效提高了三倍。

2023年，在Hot Chips 2023會議上，三星電子公布了HBM（高帶寬存儲器）-PIM（存內計算）和LPDDR（低功耗雙倍速率動態(tài)隨機存取存儲器）-PIM最新的的研究成果。其中，LPDDR-PIM將移動DRAM與PIM相結合，可在移動設備中直接進行數(shù)據(jù)的處理和計算。由于它是針對移動設備開發(fā)的產品，因此它的帶寬（102.4GB/s）也較低。但功耗卻節(jié)省了72%。三星重注PIM技術，力圖在AI應用中超越SK海力士。

另一個存儲大廠SK海力士也不甘落后。2022年，SK 海力士宣布，開發(fā)出了公司首款基于PIM技術的產品 – GDDR6-AiM的樣本。GDDR6-AiM是將計算功能添加到數(shù)據(jù)傳輸速度為16Gbps的GDDR6內存的產品。與傳統(tǒng)DRAM相比，將GDDR6-AiM 與 CPU、GPU 相結合的系統(tǒng)可在特定計算環(huán)境中將演算速度提高至最高16倍。在性能大幅提升的同時，采用PIM技術的GDDR6-AiM的工作電壓為1.25V，與GDDR6的1.35V相比降低明顯。此外，PIM技術的應用減少了內芯片與CPU、GPU的數(shù)據(jù)傳輸往來，從而降低了CPU及GPU的能耗，借此GDDR6-AiM成功使功耗降低80%。

此外，TSMC也展示了其在SRAM、ReRAM、PCM、STT-MRAM等多種器件上實現(xiàn)存內計算的探索成果。美國處理器公司Mythic推出M1076處理器，采用模擬存內計算方案，存儲介質為Flash，在40nm制程工藝下實現(xiàn)25TOPS的算力與3W的功耗；2022年國內知存科技推出首款量產存內計算SOC芯片WTM2101，采用模擬存算計算范式，以Flash為介質，在40nm成熟工藝下以2.6x3.2mm2極小封裝實現(xiàn)了50Gops的高算力，功耗低至5uA。已商用至智能可穿戴設備中2023年后摩智能推出鴻途H30芯片，采用數(shù)字存算計算范式，以SRAM為介質，實現(xiàn)256TOPS的算力與35W的功耗。WTM2101也是全球首顆也是實現(xiàn)百萬級量產商用的存內計算芯片。存內計算產業(yè)化初見成果，越來越多的存內計算產品落地。

03、PIM技術需要標準化推動

雖然各家都早已布局PIM技術，但卻始終徘徊在商業(yè)化門口，其中的重要原因之一便是各家企業(yè)根據(jù)各自的標準開發(fā)產品，導致概念和規(guī)范存在差異，行業(yè)難以采用通用標準。

三星電子和SK海力士正在合作推動LPDDR6-PIM內存的標準化。這種合作旨在加快專門用于人工智能的低功耗存儲器標準化進程。兩家公司已經確定建立聯(lián)盟，以使下一代存儲器符合這一趨勢。他們正在與聯(lián)合電子設備工程委員會（JEDEC）進行標準化工作，討論確定每項標準的具體規(guī)格。

首先，標準化可以提升兼容性和互操作性。通過標準化，不同廠商生產的PIM設備可以在同一系統(tǒng)中無縫協(xié)作，減少因兼容性問題導致的系統(tǒng)故障或性能下降。這有助于促進技術的廣泛應用和普及。

其次，標準化有助于降低成本。標準化可以減少研發(fā)成本和時間，因為不同的設備制造商可以共享和利用已有的標準，避免重復開發(fā)。此外，標準化還能促進規(guī)模經濟，降低生產成本，從而使得PIM技術更加普及和實惠

PIM芯片大規(guī)模落地的時刻尚未明確，但這一天的到來值得我們期待。技術的演進從不停止，市場的需求也在不斷變化，當各種條件成熟之際，或許就是存算一體芯片大放異彩之時。如今標準化迫在眉睫，也意味著條件即將成熟。