文｜硅兔賽跑 Xuushan

編輯｜蔓蔓周

今天，OpenAI藏了許久的“Strawberry”模型終于發(fā)布了！

連OpenAI的CEO Sam Altman都在社交平臺X上提到自己等不及了，并直言：“這是 o1，我們迄今為止最強(qiáng)大的模型系列?！?/p>

OpenAI o1是一個(gè)全新的系列模型，和GPT系列模型相比有兩大不同：第一，該系列模型是在思考之后回答用戶問題，輸出高質(zhì)量的內(nèi)容，而非迅速回應(yīng)無效回答。第二，o1系列更擅長推理，推理能力大幅提升，尤其擅長準(zhǔn)確生成和調(diào)試復(fù)雜代碼。目前OpenAI并未全面對用戶開放o1系列模型，僅開放了o1-preview和o1-mini版本供用戶使用。同時(shí)，OpenAI還發(fā)布了o1-mini模型，該模型推理速度更快，且成本更低，o1-mini比o1-preview便宜80%，更擅長編碼等推理性內(nèi)容，但不擅長語言、通用知識類內(nèi)容。OpenAI最后提到發(fā)布o(jì)1系列并不意味放棄GPT系列模型，他們將繼續(xù)開發(fā)和發(fā)布GPT系列模型。讓人意外的是，OpenAI此次還披露了o1系列研發(fā)的參與者。該項(xiàng)目由Jakub Pachocki、Jerry Tworek（overall）、Liam Fedus、Lukasz Kaiser、Mark Chen、Szymon Sidor、Wojciech Zaremba領(lǐng)導(dǎo)，核心貢獻(xiàn)者有51位。

o1模型發(fā)布后，一些曾參與到o1模型內(nèi)測的用戶或者剛剛體驗(yàn)了o1模型的用戶給出了更多的看法。以O(shè)penAI的研發(fā)人員為代表的工程師多數(shù)都在夸贊AI思考鏈的強(qiáng)大。但同時(shí)，硅谷里也有人發(fā)出了不同的聲音，認(rèn)為o1很多測試并沒有得到科學(xué)界認(rèn)證。比如說，紐約大學(xué)教授、美國知名AI學(xué)者Gary Marcus認(rèn)為o1法學(xué)考試能力有夸大嫌疑，其真實(shí)能力有待檢驗(yàn)。

讓大模型學(xué)會(huì)思考？o1將思考過程透明化

我們看到o1系列模型與GPT系列模型明顯不同之處，在于o1有“思考鏈”了。這里面有兩個(gè)值得注意的地方。一是，OpenAI嘗試讓利用大規(guī)模強(qiáng)化學(xué)習(xí)算法“教會(huì)”模型有效思考，像人類一樣。OpenAI主要通過強(qiáng)化學(xué)習(xí)，讓o1學(xué)會(huì)思考其思路鏈并改進(jìn)其思考路線。o1逐漸學(xué)會(huì)識別不同的思考鏈模式，并且能夠糾正思考路線錯(cuò)誤。同時(shí)，它還學(xué)會(huì)將棘手步驟分解為更簡單步驟。此外，它還能學(xué)會(huì)在一個(gè)思考模式不起作用時(shí)，嘗試不同思考鏈解決?！斑@個(gè)過程極大地提高了模型的推理能力?！監(jiān)penAI說道。二是，OpenAI發(fā)現(xiàn)隨著強(qiáng)化學(xué)習(xí)的增加（訓(xùn)練時(shí)間計(jì)算）和思考時(shí)間的增加（測試時(shí)間計(jì)算），o1的性能會(huì)持續(xù)提高。

這時(shí)候，新的問題又?jǐn)[在了OpenAI面前——AI的思考過程到底要不要顯示出來？OpenAI認(rèn)為如果展示AI的思考鏈能夠幫助人類讀懂AI的思考，并且避免AI“背叛”人類，更好地監(jiān)視AI的安全性。同時(shí)，OpenAI也提到希望模型能夠自由地以未改變的形式表達(dá)其思想，而非受到“政策合規(guī)性以及用戶偏好”的訓(xùn)練。從硅兔君目前測試的o1-mini模型來看，OpenAI最終還是為o1模型選擇了透明化其思考過程。這一下，不少網(wǎng)友都跑去提出許多奇奇怪怪的問題，就為了想看看AI在想什么。目前，o1模型還在早期測試階段，其o1-preview模型也僅支持文字輸入，輸入方式相比GPT-4更單一。不過，OpenAI提到未來希望添加瀏覽、文件和圖片上傳等功能。現(xiàn)在，ChatGPT Plus和Team用戶將能夠在ChatGPT中的模型選擇器中直接選擇訪問o1模型。每周能夠給o1-preview發(fā)生30條消息，給o1-mini發(fā)送50條消息。符合API等級5的開發(fā)人員現(xiàn)在可以開始使用API中的兩種模型進(jìn)行產(chǎn)品原型設(shè)計(jì)，速率限制為20RPM。但目前o1模型的API不包括函數(shù)調(diào)用、流式傳輸、對系統(tǒng)消息的支持和其他功能。ChatGPT Enterprise和Edu用戶將從下周開始使用這兩種模型。

OpenAI o1模型：數(shù)理化強(qiáng)者，推理能力翻倍提升

o1在幾個(gè)ML基準(zhǔn)測試中，都表現(xiàn)出當(dāng)下最先進(jìn)的水平。尤其是在啟用視覺感知功能后，o1在MMMU上的得分為78.2%，成為第一個(gè)與人類專家相媲美的模型。OpenAI測試結(jié)果顯示，OpenAI o1在競爭性編程問題（Codeforces）中排名第 89 位，在美國數(shù)學(xué)奧林匹克 (AIME) 預(yù)選賽中躋身美國前500名學(xué)生之列，并在物理、生物和化學(xué)問題 (GPQA) 基準(zhǔn)測試中超越人類博士級水平。在絕大多數(shù)的推理能力較強(qiáng)的任務(wù)中，o1的表現(xiàn)明顯優(yōu)于GPT-4o。

o1在廣泛基準(zhǔn)測試中都比GPT-4o有所改進(jìn)，該項(xiàng)測試共54至57個(gè)測試方向，圖中顯示了7個(gè)子類別，可以看到o1全方面強(qiáng)于GPT-4o 。

同時(shí)，OpenAI還評估了AIME的數(shù)學(xué)表現(xiàn)，AIME 是一項(xiàng)旨在挑戰(zhàn)美國最聰明的高中數(shù)學(xué)學(xué)生的考試。在2024年的AIME考試中，GPT-4o平均僅解決了12% (1.8/15) 的問題。o1拿下了13.9 的分?jǐn)?shù)使其躋身全國前500名學(xué)生之列，并超過了美國數(shù)學(xué)奧林匹克的分?jǐn)?shù)線。OpenAI還在GPQA測試上對o1進(jìn)行了評估。這是一個(gè)很難的考試，主要測試化學(xué)、物理和生物學(xué)方面的專業(yè)知識。為了將模型與人類進(jìn)行比較，OpenAI招募了具有博士學(xué)位的專家來回答 GPQA測試的問題。OpenAI發(fā)現(xiàn)o1的表現(xiàn)超過了那些人類專家，成為第一個(gè)在這個(gè)基準(zhǔn)上做到這一點(diǎn)的模型。這些結(jié)果并不意味著o1在各方面都比博士更有能力——只是意味著該模型在解決一些博士需要解決的問題方面更熟練。OpenAI還模擬了Codeforces主辦的競爭性編程競賽，以展示該模型的編碼技能。這個(gè)評估與競賽規(guī)則非常接近，允許提交10份作品。GPT-4o的Elo評級為(3 分)（808 分），位于人類競爭對手的第11個(gè)百分位。該模型遠(yuǎn)遠(yuǎn)超過了 GPT-4o 和 o1——它的 Elo評級為1807分，表現(xiàn)優(yōu)于93%的競爭對手。

除了考試和學(xué)術(shù)基準(zhǔn)之外，OpenAI還選擇了一些用戶測試了對o1-preview和 GPT-4o的偏好。在這次評估中，人類訓(xùn)練師看到了對o1-preview和GPT-4o 提示的匿名回答，并投票選出他們更喜歡的回答。在數(shù)據(jù)分析、編碼和數(shù)學(xué)等推理能力較強(qiáng)的類別中，o1-preview的受歡迎程度遠(yuǎn)遠(yuǎn)高于GPT-4o。然而，o1-preview在某些自然語言任務(wù)上并不受歡迎，這表明它并不適合所有場景。

o1還顯著提升了AI推理的最新水平。OpenAI期望這些新的推理能力將提高模型與人類價(jià)值觀和原則相結(jié)合的能力。OpenAI相信o1及其后續(xù)產(chǎn)品將在科學(xué)、編碼、數(shù)學(xué)和相關(guān)領(lǐng)域解鎖更多的AI新應(yīng)用。

OpenAI o1-mini：小巧、便宜、高效，但不擅長語言

OpenAI o1-mini是OpenAI推出一款經(jīng)濟(jì)高效的推理模型。該模型主要為一些需要推理而無需通用世界知識的應(yīng)用程序服務(wù)。簡單來說，OpenAI o1-mini模型小巧、便宜、高效，但是對通用知識了解不多。

o1-mini在預(yù)訓(xùn)練期間針對STEM推理進(jìn)行了優(yōu)化。在使用與o1相同的高計(jì)算強(qiáng)化學(xué)習(xí) (RL) 管道進(jìn)行訓(xùn)練后，o1-mini在許多有用的推理任務(wù)上實(shí)現(xiàn)了相當(dāng)不錯(cuò)的性能，同時(shí)成本效率顯著提高。

比如說，在AI和推理基準(zhǔn)測試中，o1-mini的表現(xiàn)優(yōu)于o1-preview 和o1。

在高中AIME數(shù)學(xué)競賽中，o1-mini（70.0%）與o1（74.4%）相當(dāng)，同時(shí)價(jià)格便宜得多，且成績優(yōu)于o1-preview（44.6%）。o1-mini的得分（約 11/15 個(gè)問題）大約位列美國高中生前 500 名。

在Codeforces競賽網(wǎng)站上，o1-mini的Elo得分為1650，與o1（1673）不相上下，且高于o1-preview（1258）。該模型的Elo得分處于Codeforces平臺上競爭程序員中第86個(gè)百分位左右。o1-mini在 HumanEval編碼基準(zhǔn)和高中級網(wǎng)絡(luò)安全奪旗挑戰(zhàn)賽 (CTF) 中也表現(xiàn)出色。

響應(yīng)速度方面，OpenAI比較了GPT-4o、o1-mini和o1-preview對一個(gè)單詞推理問題的回答。雖然GPT-4o回答不正確，但o1-mini和o1-preview都回答正確，而且o1-mini得出答案的速度快了大約3-5倍。

但語言明顯是o1-mini模型的弱項(xiàng)。OpenAI讓人類評分員用同一開放性自然語言提問o1-mini和GPT-4o，測試問題以及測試方法與他們測試o1-preview與GPT-4o的方法相同。與o1-preview類似，在推理能力較強(qiáng)的領(lǐng)域，o1-mini比GPT-4o更受歡迎，但在以語言為中心的領(lǐng)域，o1-mini 并不比 GPT-4o更受歡迎。

整體看來， o1-mini專注于STEM推理能力，其關(guān)于日期、傳記和生活常識等非STEM主題的事實(shí)知識可與GPT-4o mini等小型 LLM 相媲美，但與GPT-4o仍有一定差距。

OpenAI介紹道：“我們將在未來版本中改進(jìn)這些限制，并嘗試將模型擴(kuò)展到 STEM之外的其他模態(tài)和專業(yè)?！?/p>