文｜半導體產(chǎn)業(yè)縱橫
一位業(yè)內(nèi)人士表示，“‘半導體游戲規(guī)則’可能在10年內(nèi)改變，區(qū)別存儲半導體和邏輯半導體可能變得毫無意義”。
HBM4，魅力為何如此？
01、技術(shù)的突破
2023年，在AI技術(shù)應用的推動下，數(shù)據(jù)呈現(xiàn)出爆炸式的增長，大幅度推升了算力需求。據(jù)悉，在AI大模型領(lǐng)域，未來AI服務器的主要需求將從訓練側(cè)向推理側(cè)傾斜。而根據(jù)IDC的預測，到2026年，AIGC的算力62.2%將作用于模型推理。同時，預計到2025年，智能算力需求將達到當前的100倍。
據(jù)悉，自2015年以來，從HBM1到HBM3e各種更新和改進中，HBM在所有迭代中都保留了相同的1024位(每個堆棧)接口，即具有以相對適中的時鐘速度運行的超寬接口。然而，隨著內(nèi)存?zhèn)鬏斔俾室蟛粩嗵岣?，尤其是在DRAM單元的基礎(chǔ)物理原理沒有改變的情況下，這一速度將無法滿足未來AI場景下的數(shù)據(jù)傳輸要求。為此，下一代HBM4需要對高帶寬內(nèi)存技術(shù)進行更實質(zhì)性的改變，即從更寬的2048位內(nèi)存接口開始。
接口寬度從每堆棧1024位增加到每堆棧2048位，將使得HBM4具備的變革意義。
當前，生成式人工智能已經(jīng)成為推動DRAM市場增長的關(guān)鍵因素，與處理器一起處理數(shù)據(jù)的HBM的需求也必將增長。未來，隨著AI技術(shù)不斷演進，HBM將成為數(shù)據(jù)中心的標準配置，而以企業(yè)應用為重點場景的存儲卡供應商期望提供更快的接口。
根據(jù)DigiTimes援引Seoul Economy的消息：下一代HBM4內(nèi)存堆棧將采用2048位內(nèi)存接口。
將接口寬度從每堆棧1024位增加到每堆棧2048位將是HBM內(nèi)存技術(shù)所見過的最大變化。自2015年以來，從HBM1到HBM3e各種更新和改進中，HBM在所有迭代中都保留了相同的1024位(每個堆棧)接口。
采用2048位內(nèi)存接口，理論上也可以使傳輸速度再次翻倍。例如，英偉達的旗艦Hopper H100 GPU，搭配的六顆HBM3達到6144-bit位寬。如果內(nèi)存接口翻倍到2048位，英偉達理論上可以將芯片數(shù)量減半到三個，并獲得相同的性能。
回顧HBM發(fā)展歷史，由于物理限制，使用HBM1的顯卡的內(nèi)存上限為4GB。然而，隨著時間的推移，SK海力士和三星等HBM制造商已經(jīng)改進了HBM的缺點。
HBM2將潛在速度提高了一倍，達到每個堆棧256GB/s，最大容量達到8GB。2018年，HBM2進行了一次名為HBM2E的小更新，進一步將容量限制提高到24GB，并帶來了另一次速度提升，最終達到峰值時的每芯片460GB/s。
當HBM3推出時，速度又翻了一番，允許每個堆棧最大819GB/s。更令人印象深刻的是，容量增加了近三倍，從24GB增加到64GB。和HBM2E一樣，HBM3看到了另一個中期升級，HBM3E，它將理論速度提高到每堆棧1.2 TB/s。
在此過程中，HBM在消費級顯卡中逐漸被更便宜的GDDR內(nèi)存所取代。HBM越發(fā)成為成為數(shù)據(jù)中心的標準配置，以企業(yè)應用為重點場景的存儲卡供應商們期望提供更快的接口。
有機遇就有挑戰(zhàn)
目前，HBM主要是放置CPU/GPU的中介層上，并使用1024bit接口連接到邏輯芯片。SK海力士目標是將HBM4直接堆疊在邏輯芯片上，完全消除中介層。HBM4很可能與現(xiàn)有半導體完全不同，散熱問題也隨之而來。因此，要想為邏輯+存儲這一集成體散熱，可能需要非常復雜的方法，液冷和浸沒式散熱或是解決方案。
HBM主要是通過硅通孔技術(shù)進行芯片堆疊，以增加吞吐量并克服單一封裝內(nèi)帶寬的限制，將數(shù)個DRAM裸片像樓層一樣垂直堆疊。在HBM4技術(shù)實現(xiàn)上，一個模塊中堆疊更多的內(nèi)存芯片的技術(shù)復雜性必然將進一步提高，主要難題在于需要增加硅通孔數(shù)量并縮小凸塊間距。
例如為了生產(chǎn) HBM4 內(nèi)存堆棧（包括 16-Hi 堆棧），三星需要完善 SangJoon Hwang 提到的幾項新技術(shù)。其中一項技術(shù)稱為 NCF（非導電薄膜），是一種聚合物層，可保護 TSV 的焊接點免受絕緣和機械沖擊。另一種是 HCB（混合銅鍵合），這是一種鍵合技術(shù)，使用銅導體和氧化膜絕緣體代替?zhèn)鹘y(tǒng)焊料，以最大限度地減少 DRAM 器件之間的距離，并實現(xiàn) 2048 位接口所需的更小的凸塊。這不是一項簡單的工作。
02、入局
三星電子的技術(shù)團隊執(zhí)行副總裁兼 DRAM 產(chǎn)品主管 SangJoon Hwang在公司博客文章中寫道“展望未來，HBM4 預計將于 2025 年推出，其技術(shù)針對正在開發(fā)的高熱性能進行了優(yōu)化，例如非導電薄膜 (NCF) 組裝和混合銅接合 (HCB)，”。
盡管三星預計 HBM4 將于 2025 年推出，但其生產(chǎn)可能會在 2025-2026 年開始，因為業(yè)界需要為該技術(shù)做大量準備。與此同時，三星將為客戶提供數(shù)據(jù)傳輸速率為 9.8 GT/s 的 HBM3E 內(nèi)存堆棧，每個堆棧的帶寬為 1.25 TB/s。
在封裝技術(shù)方面，三星采用了無凸點鍵合技術(shù)。無凸點鍵合是一種先進的封裝技術(shù)，它將芯片與芯片之間直接進行連接，無需使用傳統(tǒng)的微凸點鍵合。這種技術(shù)可以顯著提高內(nèi)存的I/O速度和可靠性，同時降低了制造成本。
三星在無凸點鍵合技術(shù)上的突破得益于其在封裝領(lǐng)域的深厚積累和技術(shù)積累。通過不斷研發(fā)和創(chuàng)新，三星成功地將無凸點鍵合技術(shù)應用到HBM4內(nèi)存的生產(chǎn)中，實現(xiàn)了銅層與銅層之間的直接互連。這種直接互連的方式可以大幅度提高內(nèi)存的傳輸速度和穩(wěn)定性，同時降低了功耗。
三星在HBM4內(nèi)存技術(shù)的發(fā)展中展現(xiàn)了強大的研發(fā)實力和技術(shù)創(chuàng)新能力。通過工藝學習和封裝技術(shù)的創(chuàng)新，三星成功地將FinFET立體晶體管和無凸點鍵合技術(shù)應用到HBM4內(nèi)存的生產(chǎn)中。這些新技術(shù)的應用使得HBM4內(nèi)存具有更高的性能、更低的功耗和更低的制造成本。
今年早些時候，美光透露“HBMNext”內(nèi)存將于 2026 年左右出現(xiàn)，提供 32GB 至 64GB 之間的每堆棧容量以及每堆棧 2 TB/s 或更高的峰值帶寬，較 HBM3E 的每堆棧 1.2 TB/s 顯著增加。要構(gòu)建 64GB 堆棧，需要具有 32GB 內(nèi)存設備的 16-Hi 堆棧。盡管 HBM3 規(guī)范也支持 16-Hi 堆棧，但到目前為止還沒有人宣布此類產(chǎn)品，而且看起來如此密集的堆棧只會通過 HBM4 進入市場。
11月，據(jù)韓媒中央日報（Joongang.co.kr）報道，韓國內(nèi)存芯片大廠SK海力士正計劃攜手英偉達（NVIDIA）開發(fā)全新的GPU，擬將其新一代的高帶寬內(nèi)存（HBM4）與邏輯芯片堆疊在一起，這也將是業(yè)界首創(chuàng)。SK海力士已與英偉達等半導體公司針對該項目進行合作，據(jù)報道當中的先進封裝技術(shù)有望委托臺積電，作為首選代工廠。
SK海力士目標是將未來的HBM4以3D堆疊的形式堆疊在英偉達、AMD等公司的邏輯芯片上，預計該HBM4內(nèi)存堆棧將采用2048位接口。
圖：SK海力士HBM4計劃連接方式（來源：韓國中央日報）
外媒Tom’s Hardware指出，這種設計與AMD V-Cache類似，后者將一小塊L3緩存（cache）直接放在CPU頂部，新技術(shù)則是則將GPU所有HBM內(nèi)存放在GPU頂部或幾個芯片的頂部。
這種技術(shù)優(yōu)點是縮小封裝尺寸、提高容量和性能，但散熱將是最大問題。比如采用V-Cache的AMD CPU，必須降低TDP和主頻，以補償3D cache產(chǎn)生的額外熱量，像英偉達H100這種數(shù)據(jù)中心GPU，需要80-96GB的HBM，在容量和熱量與V-cache完全難比擬。現(xiàn)在一塊計算中心計算卡的功耗可能是幾百瓦，即便只是HBM部分也相當耗電，要做好散熱可能需要非常復雜的方式。
另外，選擇這種集成方法也將改變芯片的設計和制造方式，存儲器與邏輯芯片將采用相同的工藝技術(shù)，而且會在同一間晶圓廠生產(chǎn)，確保最終的性能。如果僅考慮DRAM的成本，那么確實會有較大幅度的增長，所以各方都還沒有真正認真考慮這一方案。
據(jù)了解，SK海力士正在與包括英偉達在內(nèi)的芯片設計公司討論HBM4集成設計方案。SK海力士和英偉達可能從一開始就進行了合作，而且會選擇在臺積電生產(chǎn)，將使用晶圓鍵合技術(shù)將SK海力士的HBM4堆疊在邏輯芯片上。
此前，SK海力士的一位負責人曾強調(diào)，“最關(guān)鍵的作用是制造工廠（FAB）和封裝部門之間的緊密溝通，因為HBM需要在后處理方面進行先發(fā)制人的投資?！彼a充道：“SK海力士已經(jīng)能夠開發(fā)出與競爭對手不同的封裝技術(shù)，并從合作伙伴那里獲得長期獨家的關(guān)鍵材料?！?/p>
面對三星的競爭，SK海力士并不擔心。“雖然三星電子可以通過同時提供存儲器和邏輯芯片工藝來引領(lǐng)HBM領(lǐng)域。”但SK海力士的一位負責人表示，“客戶不希望一家公司占據(jù)主導地位，他們目前重視英偉達、臺積電和SK海力士之間的合作?！?/p>