正在閱讀:

AI缺芯,英偉達賣斷貨

掃一掃下載界面新聞APP

AI缺芯,英偉達賣斷貨

“壟斷”AI芯片的英偉達。

圖片來源:Unsplash-Christian Wiediger

文|鋅財經(jīng) 孫鵬越

編輯|大風

8月8日,全球計算機業(yè)內(nèi)最重要的圓桌會議,世界計算機圖形學會議SIGGRAPH正式召開。

NVIDIA創(chuàng)始人兼CEO黃仁勛出席,并帶來了新一代英偉達超級AI芯片GH200。黃仁勛對自己的新旗艦產(chǎn)品非常有自信,將GH200稱為“世界上最快的內(nèi)存”。

在如今的AI市場,英偉達是堪稱“運轉(zhuǎn)整個AI世界的中心”。不論是OpenAI還是谷歌、META、百度、騰訊、阿里巴巴,所有的生成式AI都極度依賴英偉達的AI芯片來訓練。

并且,據(jù)媒體報道,英偉達AI芯片H100在2023年8月的市場總需求可能在43.2萬張左右,而目前一張H100芯片在Ebay上的價格甚至炒到了4.5萬美元,折合人民幣超過了30萬元。

40多萬張芯片缺口,單價4.5萬美元,總價輕輕松松上數(shù)百萬美元。

英偉達,正在經(jīng)歷一場比“挖礦時代”更瘋狂的市場浪潮。

AI芯片,一張難求

所謂的AI芯片,其實是圖形處理器(GPU),主要作用是幫助運行訓練和部署人工智能算法所涉及的無數(shù)計算。

也就是說,生成式AI的種種智能表現(xiàn),均來自于無數(shù)GPU的堆砌。使用的芯片越多,生成式AI就越智能。

OpenAI對GPT-4訓練細節(jié)守口如瓶,但據(jù)媒體猜測,GPT-4至少需要8192張H100芯片,以每小時2美元的價格,在約55天內(nèi)可以完成預訓練,成本約為2150萬美元(1.5億人民幣)。

據(jù)微軟高管透露,為ChatGPT提供算力支持的AI超級計算機,是微軟在2019年投資10億美元建造一臺大型頂尖超級計算機,配備了數(shù)萬個英偉達A100 GPU,還配備了60多個數(shù)據(jù)中心總共部署了幾十萬個英偉達GPU輔助。

ChatGPT所需要的AI芯片并不是固定的,而是逐次遞增。ChatGPT越聰明,背后的代價是所需算力越來越多。據(jù)摩根士丹利預測,到了GPT-5大概需要使用2.5萬個GPU,約是GPT-4的三倍之多。

如果想滿足OpenAI、谷歌等一系列AI產(chǎn)品的需求,那么就相當于英偉達一家公司為全世界的AI產(chǎn)品供芯,這對于英偉達的產(chǎn)能是個極大的考驗。

雖然英偉達正在開足馬力生產(chǎn)AI芯片,但據(jù)媒體報道,小型和大型云提供商的大規(guī)模H100集群容量即將耗盡,H100的“嚴重缺貨問題”至少會持續(xù)到2024年底。

目前,英偉達作用于AI市場的芯片主要分為H100和A100兩種,H100是旗艦款產(chǎn)品,從技術(shù)細節(jié)來說,H100比A100在16位推理速度大約快3.5倍,16位訓練速度大約快2.3倍。

不論是H100還是A100,全部都是由臺積電合作生產(chǎn),就使得H100的生產(chǎn)受到了限制。有媒體稱,每一張H100從生產(chǎn)到出廠大約需要半年的時間,生產(chǎn)效率非常的緩慢。

英偉達曾表示它們在2023年下半年,提高對AI芯片的供應能力,但沒有提供任何定量的信息。

不少公司和求購者都在呼吁,要求英偉達加大對晶圓廠的生產(chǎn)數(shù)量,不只和臺積電合作,而是把更多的訂單交給三星和英特爾。

更快的訓練速度

如果沒辦法提高產(chǎn)能,那么最好的解決辦法就是推出性能更高的芯片,以質(zhì)取勝。

于是乎,英偉達開始頻頻推出新款GPU用來提升AI訓練能力。先是在今年3月,英偉達發(fā)布了H100 NVL GPU、L4 Tensor Core GPU、L40 GPU、NVIDIA Grace Hopper四款AI芯片,以滿足生成式AI們?nèi)找嬖鲩L的算力需求。

在上一代還未量產(chǎn)上市,英偉達又在8月8日世界計算機圖形學會議SIGGRAPH上,由黃仁勛發(fā)布了H100的升級版,GH200。

據(jù)了解,全新GH200 Grace Hopper Superchip基于72核Grace CPU,配備480GB ECC LPDDR5X內(nèi)存以及GH100計算GPU,搭配141GB HBM3E內(nèi)存,采用6個24GB堆棧,使用6144位存儲器接口。

GH200最大的黑科技,就是作為世界上第一款配備HBM3e內(nèi)存的芯片,能夠?qū)⑵浔镜谿PU內(nèi)存增加50%。而這也是專門對人工智能市場做的“特定升級”,因為頂級生成式AI往往尺寸巨大卻內(nèi)存容量有限。

據(jù)公開資料顯示,HBM3e內(nèi)存是SK海力士的第五代高帶寬內(nèi)存,是一種新型的高帶寬內(nèi)存技術(shù),可以在更小的空間內(nèi)提供更高的數(shù)據(jù)傳輸速率。它的容量為141GB,帶寬為每秒5TB,能分別達到H100的1.7倍和1.55倍。

從7月份發(fā)布以來,SK海力士就成為GPU市場的寵兒,領先于直接競爭對手英特爾Optane DC和三星的Z-NAND閃存芯片。

值得一提的是,SK海力士一直以來都是英偉達的合作伙伴之一,從HBM3內(nèi)存開始,英偉達絕大部分產(chǎn)品都是采用SK海力士的產(chǎn)品。但SK海力士對于AI芯片所需要的內(nèi)存一直產(chǎn)能堪憂,英偉達不止一次的要求SK海力士提高產(chǎn)能。

一個難產(chǎn)大戶遇上另一個難產(chǎn)大戶,不由讓人擔心GH200的產(chǎn)能。

NVIDIA官方表示,GH200與當前一代產(chǎn)品H100相比,內(nèi)存容量高出3.5倍,帶寬高出3倍;并且,HBM3e內(nèi)存將使下一代GH200運行AI模型的速度比當前模型快3.5倍。

比H100運行AI模型的速度快3.5倍,是否意味著,1張GH200就能相當于3.5張H100?一切都還得實踐操作才能得知。

但目前來說,可以肯定的一點就是,作為AI市場的最大供應商,英偉達進一步鞏固了自己領先位置,并和AMD和英特爾拉大了差距。

英偉達的對手們

面對43萬張AI芯片缺口,沒有一家公司不動心。尤其是英偉達的最大競爭對手AMD和英特爾,不會放任其一個人獨吞整個市場。

今年6月14日,AMD董事會主席、CEO蘇姿豐密集地發(fā)布了多款AI軟硬件新品,包括針對大語言模型設計的AI芯片,MI300X。正式拉開在AI市場,對英偉達的正面挑戰(zhàn)。

在硬件參數(shù)上,AMD MI300X擁有多達13顆小芯片,總共包含1460億個晶體管,配置128GB的HBM3內(nèi)存。其HBM密度為英偉達H100的2.4倍,帶寬為英偉達H100的1.6倍,意味著可加快生成式AI的處理速度。

但可惜的是,這款旗艦AI芯片并沒有現(xiàn)貨,只是預計將于2023年Q4季度全面量產(chǎn)。

而另一競爭對手英特爾,則在2019年就以約20億美元的價格收購了人工智能芯片制造商HABANA實驗室,進軍AI芯片市場。

今年8月,在英特爾最近的財報電話會議上,英特爾首席執(zhí)行官Pat Gelsinger表示,英特爾正在研發(fā)下一代Falcon Shores AI超算芯片,暫定名為Falcon Shores 2,該芯片預計將于2026年發(fā)布。

除了Falcon Shores 2之外,英特爾還推出AI芯片Gaudi2,已經(jīng)開始銷售,而Gaudi3則正在開發(fā)中。

只是可惜的是,Gaudi2芯片規(guī)格并不高,難以實現(xiàn)對英偉達H100和A100發(fā)起挑戰(zhàn)。

除了國外半導體巨頭們大秀肌肉,開始了“芯片競爭”之外,國內(nèi)的半導體公司也開始了對AI芯片的研發(fā)。

其中,昆侖芯AI加速卡RG800、天數(shù)智芯的天垓100加速卡、燧原科技第二代訓練產(chǎn)品云燧T20/T21,均表示能夠具有支持大模型訓練的能力。

在這場以算力為標準,以AI大模型為戰(zhàn)場的芯片之爭,英偉達作為AI市場的最大贏家之一,已經(jīng)在芯片設計和市場占比等方面展示出它的強大。

但國產(chǎn)AI芯片雖然稍稍落后,但研發(fā)和擴展市場的腳步從未停止,未來值得期待

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

英偉達

8.6k
  • 美股三大指數(shù)收盤均漲超1%,道指創(chuàng)10月下旬以來最大單周跌幅
  • 英偉達收購AI創(chuàng)企Run:ai獲歐盟批準

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

AI缺芯,英偉達賣斷貨

“壟斷”AI芯片的英偉達。

圖片來源:Unsplash-Christian Wiediger

文|鋅財經(jīng) 孫鵬越

編輯|大風

8月8日,全球計算機業(yè)內(nèi)最重要的圓桌會議,世界計算機圖形學會議SIGGRAPH正式召開。

NVIDIA創(chuàng)始人兼CEO黃仁勛出席,并帶來了新一代英偉達超級AI芯片GH200。黃仁勛對自己的新旗艦產(chǎn)品非常有自信,將GH200稱為“世界上最快的內(nèi)存”。

在如今的AI市場,英偉達是堪稱“運轉(zhuǎn)整個AI世界的中心”。不論是OpenAI還是谷歌、META、百度、騰訊、阿里巴巴,所有的生成式AI都極度依賴英偉達的AI芯片來訓練。

并且,據(jù)媒體報道,英偉達AI芯片H100在2023年8月的市場總需求可能在43.2萬張左右,而目前一張H100芯片在Ebay上的價格甚至炒到了4.5萬美元,折合人民幣超過了30萬元。

40多萬張芯片缺口,單價4.5萬美元,總價輕輕松松上數(shù)百萬美元。

英偉達,正在經(jīng)歷一場比“挖礦時代”更瘋狂的市場浪潮。

AI芯片,一張難求

所謂的AI芯片,其實是圖形處理器(GPU),主要作用是幫助運行訓練和部署人工智能算法所涉及的無數(shù)計算。

也就是說,生成式AI的種種智能表現(xiàn),均來自于無數(shù)GPU的堆砌。使用的芯片越多,生成式AI就越智能。

OpenAI對GPT-4訓練細節(jié)守口如瓶,但據(jù)媒體猜測,GPT-4至少需要8192張H100芯片,以每小時2美元的價格,在約55天內(nèi)可以完成預訓練,成本約為2150萬美元(1.5億人民幣)。

據(jù)微軟高管透露,為ChatGPT提供算力支持的AI超級計算機,是微軟在2019年投資10億美元建造一臺大型頂尖超級計算機,配備了數(shù)萬個英偉達A100 GPU,還配備了60多個數(shù)據(jù)中心總共部署了幾十萬個英偉達GPU輔助。

ChatGPT所需要的AI芯片并不是固定的,而是逐次遞增。ChatGPT越聰明,背后的代價是所需算力越來越多。據(jù)摩根士丹利預測,到了GPT-5大概需要使用2.5萬個GPU,約是GPT-4的三倍之多。

如果想滿足OpenAI、谷歌等一系列AI產(chǎn)品的需求,那么就相當于英偉達一家公司為全世界的AI產(chǎn)品供芯,這對于英偉達的產(chǎn)能是個極大的考驗。

雖然英偉達正在開足馬力生產(chǎn)AI芯片,但據(jù)媒體報道,小型和大型云提供商的大規(guī)模H100集群容量即將耗盡,H100的“嚴重缺貨問題”至少會持續(xù)到2024年底。

目前,英偉達作用于AI市場的芯片主要分為H100和A100兩種,H100是旗艦款產(chǎn)品,從技術(shù)細節(jié)來說,H100比A100在16位推理速度大約快3.5倍,16位訓練速度大約快2.3倍。

不論是H100還是A100,全部都是由臺積電合作生產(chǎn),就使得H100的生產(chǎn)受到了限制。有媒體稱,每一張H100從生產(chǎn)到出廠大約需要半年的時間,生產(chǎn)效率非常的緩慢。

英偉達曾表示它們在2023年下半年,提高對AI芯片的供應能力,但沒有提供任何定量的信息。

不少公司和求購者都在呼吁,要求英偉達加大對晶圓廠的生產(chǎn)數(shù)量,不只和臺積電合作,而是把更多的訂單交給三星和英特爾。

更快的訓練速度

如果沒辦法提高產(chǎn)能,那么最好的解決辦法就是推出性能更高的芯片,以質(zhì)取勝。

于是乎,英偉達開始頻頻推出新款GPU用來提升AI訓練能力。先是在今年3月,英偉達發(fā)布了H100 NVL GPU、L4 Tensor Core GPU、L40 GPU、NVIDIA Grace Hopper四款AI芯片,以滿足生成式AI們?nèi)找嬖鲩L的算力需求。

在上一代還未量產(chǎn)上市,英偉達又在8月8日世界計算機圖形學會議SIGGRAPH上,由黃仁勛發(fā)布了H100的升級版,GH200。

據(jù)了解,全新GH200 Grace Hopper Superchip基于72核Grace CPU,配備480GB ECC LPDDR5X內(nèi)存以及GH100計算GPU,搭配141GB HBM3E內(nèi)存,采用6個24GB堆棧,使用6144位存儲器接口。

GH200最大的黑科技,就是作為世界上第一款配備HBM3e內(nèi)存的芯片,能夠?qū)⑵浔镜谿PU內(nèi)存增加50%。而這也是專門對人工智能市場做的“特定升級”,因為頂級生成式AI往往尺寸巨大卻內(nèi)存容量有限。

據(jù)公開資料顯示,HBM3e內(nèi)存是SK海力士的第五代高帶寬內(nèi)存,是一種新型的高帶寬內(nèi)存技術(shù),可以在更小的空間內(nèi)提供更高的數(shù)據(jù)傳輸速率。它的容量為141GB,帶寬為每秒5TB,能分別達到H100的1.7倍和1.55倍。

從7月份發(fā)布以來,SK海力士就成為GPU市場的寵兒,領先于直接競爭對手英特爾Optane DC和三星的Z-NAND閃存芯片。

值得一提的是,SK海力士一直以來都是英偉達的合作伙伴之一,從HBM3內(nèi)存開始,英偉達絕大部分產(chǎn)品都是采用SK海力士的產(chǎn)品。但SK海力士對于AI芯片所需要的內(nèi)存一直產(chǎn)能堪憂,英偉達不止一次的要求SK海力士提高產(chǎn)能。

一個難產(chǎn)大戶遇上另一個難產(chǎn)大戶,不由讓人擔心GH200的產(chǎn)能。

NVIDIA官方表示,GH200與當前一代產(chǎn)品H100相比,內(nèi)存容量高出3.5倍,帶寬高出3倍;并且,HBM3e內(nèi)存將使下一代GH200運行AI模型的速度比當前模型快3.5倍。

比H100運行AI模型的速度快3.5倍,是否意味著,1張GH200就能相當于3.5張H100?一切都還得實踐操作才能得知。

但目前來說,可以肯定的一點就是,作為AI市場的最大供應商,英偉達進一步鞏固了自己領先位置,并和AMD和英特爾拉大了差距。

英偉達的對手們

面對43萬張AI芯片缺口,沒有一家公司不動心。尤其是英偉達的最大競爭對手AMD和英特爾,不會放任其一個人獨吞整個市場。

今年6月14日,AMD董事會主席、CEO蘇姿豐密集地發(fā)布了多款AI軟硬件新品,包括針對大語言模型設計的AI芯片,MI300X。正式拉開在AI市場,對英偉達的正面挑戰(zhàn)。

在硬件參數(shù)上,AMD MI300X擁有多達13顆小芯片,總共包含1460億個晶體管,配置128GB的HBM3內(nèi)存。其HBM密度為英偉達H100的2.4倍,帶寬為英偉達H100的1.6倍,意味著可加快生成式AI的處理速度。

但可惜的是,這款旗艦AI芯片并沒有現(xiàn)貨,只是預計將于2023年Q4季度全面量產(chǎn)。

而另一競爭對手英特爾,則在2019年就以約20億美元的價格收購了人工智能芯片制造商HABANA實驗室,進軍AI芯片市場。

今年8月,在英特爾最近的財報電話會議上,英特爾首席執(zhí)行官Pat Gelsinger表示,英特爾正在研發(fā)下一代Falcon Shores AI超算芯片,暫定名為Falcon Shores 2,該芯片預計將于2026年發(fā)布。

除了Falcon Shores 2之外,英特爾還推出AI芯片Gaudi2,已經(jīng)開始銷售,而Gaudi3則正在開發(fā)中。

只是可惜的是,Gaudi2芯片規(guī)格并不高,難以實現(xiàn)對英偉達H100和A100發(fā)起挑戰(zhàn)。

除了國外半導體巨頭們大秀肌肉,開始了“芯片競爭”之外,國內(nèi)的半導體公司也開始了對AI芯片的研發(fā)。

其中,昆侖芯AI加速卡RG800、天數(shù)智芯的天垓100加速卡、燧原科技第二代訓練產(chǎn)品云燧T20/T21,均表示能夠具有支持大模型訓練的能力。

在這場以算力為標準,以AI大模型為戰(zhàn)場的芯片之爭,英偉達作為AI市場的最大贏家之一,已經(jīng)在芯片設計和市場占比等方面展示出它的強大。

但國產(chǎn)AI芯片雖然稍稍落后,但研發(fā)和擴展市場的腳步從未停止,未來值得期待

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。