界面新聞?dòng)浾?| 崔鵬
界面新聞編輯 | 宋佳楠
11月5日，騰訊混元宣布開源兩款最新的大模型產(chǎn)品，分別是MoE架構(gòu)的大語言模型“Hunyuan-Large（混元Large）”，以及3D生成大模型“Hunyuan3D-1.0”，兩者都支持企業(yè)開發(fā)者精調(diào)和部署，同時(shí)上線HuggingFace和Github等技術(shù)社區(qū)，供開發(fā)者免費(fèi)商用。
在騰訊口中，混元Large是目前開源領(lǐng)域參數(shù)規(guī)模最大、效果最好的MoE模型，而混元3D生成大模型則是業(yè)界首個(gè)同時(shí)支持文字、圖像生成3D的開源大模型，這兩個(gè)模型均為騰訊自研，在架構(gòu)、算法、數(shù)據(jù)等方面有所創(chuàng)新。
談及外界關(guān)注的開閉源之爭，騰訊機(jī)器學(xué)習(xí)平臺(tái)總監(jiān)康戰(zhàn)輝表示，騰訊不急于為了開源而開源，本次開源的模型都是自己內(nèi)部業(yè)務(wù)已經(jīng)在用的模型。
但騰訊方面也強(qiáng)調(diào)，未來將繼續(xù)加大開源力度，堅(jiān)持自主可控，同時(shí)還將開源部分大模型工程框架（AnglePTM和AngleHCF），試圖讓行業(yè)開發(fā)者和企業(yè)能以更低成本使用這些開源大模型。
堅(jiān)持MoE架構(gòu)，押寶合成數(shù)據(jù)
據(jù)騰訊介紹，混元Large模型總參數(shù)量為389B，激活參數(shù)量52B。它采用的MoE（Mixture of Experts）混合專家模型是目前國內(nèi)外主流的大模型結(jié)構(gòu)。
今年年初，混元大模型在國內(nèi)率先采用MoE架構(gòu)，性能比上一代Dense模型提升50%。隨后騰訊連續(xù)推出基于MoE架構(gòu)的多模態(tài)理解大模型以及基礎(chǔ)模型“混元turbo”。
在模型訓(xùn)練層面，騰訊混元Large構(gòu)建了覆蓋數(shù)十個(gè)類目的中英文合成數(shù)據(jù)。合成數(shù)據(jù)也是今年行業(yè)比較流行的概念，主要解決自然數(shù)據(jù)越來越不夠用的問題。
康戰(zhàn)輝表示，全球目前擁有的自然數(shù)據(jù)可能會(huì)在2026年被全部用完，在未來的大模型訓(xùn)練過程中，合成數(shù)據(jù)的占比會(huì)越來越高，所以高質(zhì)量的合成數(shù)據(jù)非常關(guān)鍵，騰訊混元在這方面有一定優(yōu)勢。
混元Large模型想要對(duì)外展現(xiàn)的另一個(gè)重點(diǎn)是它的長文能力。其基于公開數(shù)據(jù)構(gòu)建了一套覆蓋長文閱讀理解、多文檔摘要總結(jié)和長文邏輯推理領(lǐng)域的數(shù)據(jù)集企鵝卷軸（PenguinScrolls），用來解決長文領(lǐng)域測評(píng)數(shù)據(jù)集缺乏、方法不夠客觀等問題。這套企鵝卷軸評(píng)測集也將同步對(duì)外開放。
目前，混元Large模型的長文能力已經(jīng)在“騰訊元寶”上應(yīng)用，最大支持256K上下文，相當(dāng)于一本《三國演義》的內(nèi)容長度。
本次騰訊推出的另一款開源模型——Hunyuan3D-1.0則瞄準(zhǔn)現(xiàn)有的3D生成模型在生成速度和泛化能力上存在不足的問題，強(qiáng)調(diào)泛化能力和可控性，能重建大到建筑、小到工具、花草的各類尺度物體，幫助開發(fā)者自動(dòng)化生產(chǎn)3D資產(chǎn)。
騰訊混元3D生成大模型的首批開源模型包含輕量版和標(biāo)準(zhǔn)版，其中輕量版據(jù)稱10秒就能生成高質(zhì)量3D資產(chǎn)，包含模型權(quán)重、推理代碼、模型算法等完整模型，可供開發(fā)者、研究者等各類用戶免費(fèi)使用。
目前，3D生成相關(guān)技術(shù)已經(jīng)在騰訊內(nèi)部大量業(yè)務(wù)中應(yīng)用，包括UGC 3D創(chuàng)作、商品素材合成、游戲3D資產(chǎn)生成等場景。
持續(xù)不斷的開閉源之爭
今年4月份，百度創(chuàng)始人李彥宏在公開場合表示，開源模型會(huì)越來越落后。沒多久，阿里云首席技術(shù)官周靖人隔空回應(yīng)稱，開源對(duì)全球技術(shù)和生態(tài)的貢獻(xiàn)毋庸置疑，已經(jīng)沒有再討論的必要。
這番針鋒相對(duì)的言論引發(fā)了國內(nèi)大模型行業(yè)關(guān)于開源和閉源孰優(yōu)孰劣的激烈討論。
從國內(nèi)現(xiàn)狀來看，阿里和騰訊等云大廠更傾向于開源模型路線，而月之暗面和智譜AI等創(chuàng)業(yè)公司選擇的是閉源路線。
開閉源之爭，看似是技術(shù)路線存在分歧，背后更重要的是對(duì)商業(yè)價(jià)值的考量。
對(duì)于頭部大廠而言，大模型的訓(xùn)練成本投入在可接受范圍之內(nèi)，商業(yè)模式的重心放在云服務(wù)層面，希望通過拓展大模型客戶的方式，來提升自家云服務(wù)的訂單量和市場份額。創(chuàng)業(yè)公司絕大部分研發(fā)投入來自于外部融資，自然對(duì)大模型本身的盈利能力有較高的需求。
閉源大模型目前主要依靠API（應(yīng)用程序編程接口）調(diào)用來向開發(fā)者收費(fèi)，在C端（消費(fèi)級(jí)業(yè)務(wù)）則主要依靠會(huì)員費(fèi)來變現(xiàn)，Kimi和豆包都是如此。
雖然業(yè)內(nèi)關(guān)于開閉源的討論持續(xù)不斷，但從目前市面上的產(chǎn)品表現(xiàn)來看，李彥宏當(dāng)初預(yù)言的那句“開源模型會(huì)越來越落后”尚未成真。康戰(zhàn)輝更是宣稱，Hunyuan-Large大模型要比目前業(yè)內(nèi)所有同行的開源模型效果更好。
根據(jù)騰訊方面給出的公開測評(píng)結(jié)果，混元Large在CMMLU、MMLU、CEval、MATH等多學(xué)科綜合評(píng)測集以及中英文NLP任務(wù)、代碼和數(shù)學(xué)等維度，都超過了Llama3.1、Mixtral等主流開源大模型。
康戰(zhàn)輝還表示，騰訊的開源大模型不但要在中文領(lǐng)域領(lǐng)先，希望在英文領(lǐng)域也能保持領(lǐng)先，未來還將發(fā)布更多開源模型產(chǎn)品。
騰訊是否能實(shí)現(xiàn)上述目標(biāo)仍是一個(gè)問號(hào)，但可以預(yù)見的是，在未來很長一段時(shí)間內(nèi)，國產(chǎn)大模型行業(yè)都將處于開源和閉源共存的模式，彼此之間的競爭只會(huì)越來越激烈。