華泰證券:DeepSeek有望加速模型訓(xùn)練與CUDA解耦

2月21日消息,華泰證券研究認(rèn)為,DeepSeek在V3中使用了相比CUDA更底層的PTX 來(lái)優(yōu)化硬件算法,PTX是CUDA編譯的中間代碼,在CUDA和最終機(jī)器碼之間起到橋梁作用。而NSA則使用了OpenAl提出的Triton編程語(yǔ)言高效編寫(xiě)GPU代碼,Triton的底層可調(diào)用CUDA,也可調(diào)用其他GPU語(yǔ)言,包括AMD的rocm以及國(guó)產(chǎn)算力芯片語(yǔ)言,如寒武紀(jì)的思元590芯片和海光信息的深算一號(hào)(DCU)內(nèi)置的HYGON ISA指令集。LLM的訓(xùn)練短期內(nèi)雖未完全脫離CUDA 生態(tài),但DeepSeek NSA的推出使其初步呈現(xiàn)出與CUDA解耦的趨勢(shì),并為后續(xù)適配更多類(lèi)型的算力芯片奠定基礎(chǔ)。以異騰為代表的國(guó)產(chǎn)算力已經(jīng)很好的適配了DeepSeek-R1 等國(guó)產(chǎn)模型,并取得了高效推理的效果,華泰證券認(rèn)為,伴隨海外算力的受限,針對(duì)國(guó)產(chǎn)算力的優(yōu)化或?qū)⒂谐掷m(xù)進(jìn)展,值得重視。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。

華泰證券

4.4k
  • 華泰證券:險(xiǎn)資繼續(xù)增配紅利股
  • 華泰證券(601688.SH):2024年年報(bào)凈利潤(rùn)為153.51億元、同比較去年同期上漲20.40%

发布评论

您至少需输入5个字

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下载界面新闻

微信公众号

微博