字節(jié)跳動豆包大模型團(tuán)隊開源一項MoE架構(gòu)優(yōu)化技術(shù)

界面快報 · 來源：界面新聞

字節(jié)跳動豆包大模型團(tuán)隊近日開源一項名為COMET的MoE架構(gòu)優(yōu)化技術(shù)，可將大模型訓(xùn)練效率提升1.7倍。論文顯示，該技術(shù)已實際應(yīng)用于字節(jié)的萬卡集群訓(xùn)練，實現(xiàn)數(shù)百萬GPU小時訓(xùn)練算力的節(jié)省。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文，侵權(quán)必究。

字節(jié)跳動

5k
  • 字節(jié)啟動Top Seed大模型頂尖人才計劃2026屆校招
  • 字節(jié)AI產(chǎn)品據(jù)悉調(diào)整：貓箱負(fù)責(zé)人離職，星繪并入豆包

評論

暫無評論哦，快來評價一下吧！