界面新聞?dòng)浾?| 伍洋宇
界面新聞編輯 | 文姝琪
時(shí)隔一周，零一萬(wàn)物再次更新其千億參數(shù)閉源大模型Yi-Large的動(dòng)態(tài)，這次是榜單成績(jī)。
5月21日，零一萬(wàn)物表示，在LMSYS盲測(cè)競(jìng)技場(chǎng)最新排名中，Yi-Large總榜排名世界模型第7。在總榜上，GPT系列占了前十中的四位，以機(jī)構(gòu)排序，零一萬(wàn)物位于OpenAI，Google和Anthropic之后。
此外，其中文分榜排名與GPT4o并列第一（嚴(yán)格來(lái)說(shuō)分?jǐn)?shù)更低一些），編程能力（Coding）和長(zhǎng)提問(wèn)（Long query）位列第二。
LMSYS Org是一個(gè)針對(duì)大型語(yǔ)言模型（LLMs）的研究組織，其發(fā)布的大語(yǔ)言模型評(píng)估排行榜也被稱為大模型匿名競(jìng)技場(chǎng)。榜單會(huì)讓大量用戶輸入問(wèn)題，并由不同模型生成回答，用戶在不知道模型與答案對(duì)應(yīng)關(guān)系的情況下根據(jù)答案質(zhì)量進(jìn)行投票，從而對(duì)模型進(jìn)行評(píng)估。
此次刷新的“Chatbot Arena”是LMSYS排行榜的主要基準(zhǔn)之一，使用Elo評(píng)級(jí)方法（一項(xiàng)基于統(tǒng)計(jì)學(xué)原理的評(píng)價(jià)體系）進(jìn)行計(jì)算結(jié)果，這一場(chǎng)全球用戶投票數(shù)超過(guò)1170萬(wàn)。
這次成績(jī)之所以被零一萬(wàn)物重視，一方面是因?yàn)樗菄?guó)內(nèi)大模型領(lǐng)域唯一進(jìn)入前十的公司（智譜GLM4、阿里Qwen Max、Qwen 1.5也參與了這次盲測(cè)），但客觀來(lái)看，它不能完全驗(yàn)證自己是國(guó)內(nèi)第一的說(shuō)法，因?yàn)閲?guó)內(nèi)參賽選手僅有三家。
另一方面在于排在Yi-Large前面的大模型都是萬(wàn)億參數(shù)級(jí)別，而Yi-Large以千億參數(shù)量級(jí)達(dá)成了相近的表現(xiàn)?！?/span>如果我們有10倍GPU，我們的萬(wàn)億模型完全可以達(dá)到第一名。”零一萬(wàn)物創(chuàng)始人兼CEO李開復(fù)表示。
事實(shí)上，大模型曾因刷榜亂象廣受爭(zhēng)議，大量榜單由于題目缺乏動(dòng)態(tài)性、可針對(duì)性刷題等問(wèn)題，已經(jīng)喪失了一部分公信力。對(duì)此，零一萬(wàn)物模型負(fù)責(zé)人黃文灝表示，團(tuán)隊(duì)之所以強(qiáng)調(diào)LMSYS的排名價(jià)值，是因?yàn)榭粗仄漕}目動(dòng)態(tài)隨機(jī)、基于用戶打分等機(jī)制帶來(lái)的客觀性。
而關(guān)于用戶輸出的“prompt”（提示詞）在專業(yè)水平上是否不如專業(yè)評(píng)測(cè)集，黃文灝的理解是，一方面，盲測(cè)競(jìng)技場(chǎng)的方式更貼近用戶真實(shí)使用場(chǎng)景，這是其主要價(jià)值所在；另一方面，LMSYS也有“hard prompt”部分，這一板塊對(duì)于模型智力其實(shí)提出了很高挑戰(zhàn)。
除去榜單本身傳遞出來(lái)的技術(shù)信息，這背后還呈現(xiàn)出中美大模型領(lǐng)域差距等更宏大長(zhǎng)遠(yuǎn)的議題。
李開復(fù)表示，團(tuán)隊(duì)尊重美國(guó)在科技領(lǐng)域的創(chuàng)造性，但后發(fā)有后發(fā)的優(yōu)勢(shì)。“中國(guó)人的聰明、勤奮、努力是不容忽視的。”他指出，零一萬(wàn)物用一年時(shí)間把過(guò)去幾年的技術(shù)差距縮短到目前的6個(gè)月（在榜單上超過(guò)了6個(gè)月前更新的海外大模型），“6個(gè)月的差別我覺得不是很大，這是以一個(gè)不可思議的超級(jí)速度在追趕。”
在追趕問(wèn)題上，李開復(fù)多次提到了算力局限問(wèn)題，但算力對(duì)模型發(fā)展的限制客觀存在，當(dāng)世界第一梯隊(duì)已經(jīng)處于領(lǐng)先位置，并且擁有更深厚的資源，國(guó)內(nèi)大模型公司可以采取什么戰(zhàn)術(shù)？
在李開復(fù)看來(lái)，這件事本質(zhì)上可以分為兩個(gè)方向，一是“把一張GPU擠出更多的價(jià)值”（主要指提高M(jìn)FU，模型FLOPs利用率），二是優(yōu)化模型表現(xiàn)，這涉及數(shù)據(jù)配比、如何引入多模態(tài)等技術(shù)細(xì)節(jié)，“我覺得我們?cè)?/span>這方面是不輸于美國(guó)。”他說(shuō)。
對(duì)于行業(yè)趨勢(shì)，零一萬(wàn)物繞不開的就是當(dāng)前已經(jīng)開展的B端（企業(yè)端）服務(wù)“價(jià)格戰(zhàn)”。
此前，李開復(fù)明確表示，不應(yīng)在行業(yè)內(nèi)按照ofo的燒錢打法重蹈覆轍。但接連幾日以來(lái)，字節(jié)跳動(dòng)旗下豆包大模型宣布降價(jià)，其通用模型pro-32k的推理輸入價(jià)格僅為0.0008元/千Tokens，比行業(yè)便宜近一半；隨即，阿里云通義千問(wèn)主力模型Qwen-Long的API輸入價(jià)格直降97%降至0.0005元/千Tokens；百度文心大模型也宣布兩款主力模型ENIRE Speed和ENIRE Lite免費(fèi)。
李開復(fù)表示已經(jīng)關(guān)注到這一現(xiàn)象，但他認(rèn)為零一萬(wàn)物目前定價(jià)合理，且團(tuán)隊(duì)也在花很大精力進(jìn)行降價(jià)?！?/span>行業(yè)每年降低10倍推理成本是可以期待的，而且也應(yīng)該是必然發(fā)生的?！彼f(shuō)。
但他堅(jiān)持認(rèn)為價(jià)格戰(zhàn)是一個(gè)“雙輸”的打法，大模型公司不會(huì)這樣不理智。當(dāng)他認(rèn)定自己的技術(shù)值得的時(shí)候，就會(huì)堅(jiān)持一個(gè)合適的價(jià)格，而絕不會(huì)靠貼錢、賠錢去做生意。
“如果你再問(wèn)，以后可能中國(guó)就是這么卷，大家寧可賠光通輸也不讓你贏，那我們就走外國(guó)市場(chǎng)?！崩铋_復(fù)表示。