界面新聞記者 | 查沁君
面向數(shù)學(xué)領(lǐng)域的大模型也要來了。
5月5日，學(xué)而思表示正在進行自研數(shù)學(xué)大模型的研發(fā)，命名為MathGPT，面向全球數(shù)學(xué)愛好者和科研機構(gòu)，以數(shù)學(xué)領(lǐng)域的解題和講題算法為核心，將于年內(nèi)推出基于該自研大模型的產(chǎn)品級應(yīng)用。
據(jù)學(xué)而思透露，MathGPT為公司核心項目，由CTO田密負(fù)責(zé)，今年春節(jié)前，已啟動相應(yīng)的團隊建設(shè)、數(shù)據(jù)、算力準(zhǔn)備和技術(shù)研發(fā)，目前已取得階段性成果。此外，該公司還啟動了美國硅谷團隊建設(shè)，將成立一支海外算法和工程團隊，在全球范圍內(nèi)招募優(yōu)秀的人工智能專家加入。
自年初以來，美國OpenAI研發(fā)的大語言模型ChatGPT在全球引發(fā)熱潮，國內(nèi)百度、阿里也相繼發(fā)布了各自的大模型產(chǎn)品，MathGPT與這些大語言模型（Large Language Model簡稱LLM）有何差異？
“通用語言模型更像一個‘文科生’，在語言翻譯、摘要、理解和生成等任務(wù)上有出色表現(xiàn)，但在數(shù)學(xué)問題的解決、講解、問答和推薦方面則存在明顯不足?！睂W(xué)而思解釋，比如解答數(shù)學(xué)問題經(jīng)常出錯，生成內(nèi)容冗余，有些數(shù)學(xué)問題雖然能解決，但方法更偏成年人，無法針對適齡孩子的知識結(jié)構(gòu)和認(rèn)知水平做適配。
“這種不足是由LLM模型自身特點決定的?！睂W(xué)而思AI團隊負(fù)責(zé)人介紹，LLM大模型來自對海量語言文本的訓(xùn)練，因此最擅長語言處理。行業(yè)內(nèi)偏向基于LLM大模型做閱讀、寫作類應(yīng)用，但如果想要在數(shù)學(xué)能力上有突破，就需要研發(fā)新的大模型。
5月4日，好未來（NYSE：TAL）CTO田密在其個人抖音號上討論了關(guān)于大模型的一個本質(zhì)話題，也為MathGPT的推出埋下伏筆。即未來到底是一個通用大模型一統(tǒng)天下，還是各個領(lǐng)域的大模型百花齊放？
他提到，通用大模型的觀點是，LLM大型語言模型的參數(shù)還會不斷提升，參與訓(xùn)練的語料會越來越大，越來越多元，泛化能力和遷徙學(xué)習(xí)的能力會不斷增強。LLM也很快會從文本升級到多模態(tài)，如圖片、語音、視頻。領(lǐng)域大模型在一個超級強大的通用大模型前是守不住的，未來一定會到達(dá)AGI通用大模型一統(tǒng)天下。
而領(lǐng)域大模型派的觀點是，一個通用大模型再強大，也很難在每個領(lǐng)域都能拿到最佳效果。很多領(lǐng)域存在數(shù)據(jù)壁壘和行業(yè)know-how（企業(yè)內(nèi)部的技術(shù)訣竅、專業(yè)知識、獨家配方，屬于無形資產(chǎn)的商業(yè)秘密），大模型還是得和領(lǐng)域知識深度結(jié)合，加上足夠多的領(lǐng)域數(shù)據(jù)來訓(xùn)練。
“一個大模型搞定一切的思路也許并不是最經(jīng)濟的解法，模型參數(shù)過大，訓(xùn)練和推理的成本都會數(shù)量級的提升。”田密認(rèn)為，一個通用大模型作為交互接口，然后用Toolformer（可以自學(xué)使用工具的語言模型）的思路，根據(jù)具體的任務(wù)，自動調(diào)用對應(yīng)的領(lǐng)域模型獲得結(jié)果，這種模型組合的方式性價比更高。
他還提到，美國支持通用大模型終局的人更多，而國內(nèi)支持領(lǐng)域大模型終局的人更多。
學(xué)而思AI團隊負(fù)責(zé)人介紹，數(shù)學(xué)、醫(yī)學(xué)等垂直領(lǐng)域，對AI的需求是準(zhǔn)確、清晰、具備強大的邏輯推理能力，且容錯率低，通用大模型目前的性能表現(xiàn)還無法在上述領(lǐng)域取得突破，未來是否可能取得突破尚不清晰。
以數(shù)學(xué)領(lǐng)域為例，目前市場上有幾個主要流派。比如Google收購的Photomath、微軟數(shù)學(xué)、Mathway、專注數(shù)學(xué)計算的WolframAlpha等產(chǎn)品，主要利用非LLM的傳統(tǒng)AI技術(shù)加上數(shù)據(jù)庫的方式解決數(shù)學(xué)問題。
走AGI路線的公司則嘗試讓通用LLM“更懂?dāng)?shù)學(xué)”，比如GPT4在數(shù)學(xué)任務(wù)上比之前的3.5版本性能更好，谷歌旗下的Minerva模型也專門針對數(shù)學(xué)問題進行調(diào)優(yōu)。學(xué)而思選擇了另一條路，不基于現(xiàn)有LLM做微調(diào)和接口調(diào)用、不做通用LLM，而是自研基于專業(yè)領(lǐng)域的“數(shù)學(xué)大模型”。
如何利用大語言模型服務(wù)各行各業(yè)是當(dāng)下社會的焦點問題。
比如在教育領(lǐng)域，Duolingo（NASDAQ：DUOL）、Quizlet、可汗學(xué)院等產(chǎn)品主要和OpenAI合作，在GPT大模型上做微調(diào)和接口調(diào)用，增強原有的產(chǎn)品體驗。
今年3月，美國課外輔導(dǎo)在線教育平臺Chegg（NYSE:CHGG）宣布推出自己的人工智能聊天機器人CheggMate，該產(chǎn)品旨在使用新技術(shù)提供更多輔導(dǎo)、即時反饋和個性化學(xué)習(xí)，由OpenAI最新人工智能模型GPT-4支持。
但Chegg首席執(zhí)行官Dan Rosensweig日前在一季度財報電話會議上稱：“自3月以來，我們發(fā)現(xiàn)學(xué)生對ChatGPT的興趣大幅飆升。我們認(rèn)為它正在對我們的新客戶增長率產(chǎn)生影響?！彪S后，該公司股價于本周二盤中一日暴跌48.41%，收盤價為9.08美元/股。
早在今年2月，網(wǎng)易有道（NYSE：DAO）曾被傳其AI技術(shù)團隊已投入到ChatGPT同源技術(shù)AIGC（AI Generated Content人工智能自動生成內(nèi)容）在教育場景的落地研發(fā)中。該公司后來向界面教育證實了這一消息，并表示去年底嘗試AIGC在教育場景中的落地應(yīng)用，包括但不限于AI口語老師、中文作文打分和評價等。
5月5日，就在學(xué)而思預(yù)告MathGPT的同一天，網(wǎng)易有道視頻號首次公開基于“子曰”大模型開發(fā)的AI口語老師介紹視頻，“子曰”為該公司自研的教育場景下的類ChatGPT模型。不同于以往AI單調(diào)的機械發(fā)音，AI口語老師更像是一位真實的“老師”在與學(xué)生對話。
另據(jù)科大訊飛（002230.SZ）此前透露，5月6日將推出應(yīng)用于教育類智能硬件AI學(xué)習(xí)機，該公司近期已開啟星火認(rèn)知大模型內(nèi)測。
網(wǎng)易有道總裁金磊也曾提到，單純的AI技術(shù)并不能夠創(chuàng)造足夠的價值，只有與業(yè)務(wù)場景結(jié)合的技術(shù)才能真的解決用戶問題，帶來價值。
“雖然我們在討論人工智能技術(shù)，但是僅人工智能技術(shù)本身是做不出一個產(chǎn)品的。”在金磊看來，傳統(tǒng)的CPU機器已經(jīng)無法承載深度學(xué)習(xí)時代的巨大計算量的需求，知識獲?。ㄓ?xùn)練）和提供服務(wù)本身都依賴巨大的算力，大數(shù)據(jù)和大模型帶來了對算力的更高要求。
金磊提到，AI技術(shù)落地在以智能設(shè)備為代表的端側(cè)應(yīng)用時，又涉及模型壓縮、蒸餾、量化等多項相關(guān)技術(shù)的持續(xù)探索，結(jié)合針對硬件設(shè)備的深度優(yōu)化，也推動著適合深度學(xué)習(xí)的AI芯片的快速發(fā)展，當(dāng)機器翻譯的質(zhì)量達(dá)到了應(yīng)用的門檻并且能夠產(chǎn)生商業(yè)價值以后，一大批垂直領(lǐng)域的優(yōu)化定制需求大量涌現(xiàn)，如何實現(xiàn)低成本的模型定制也成為算法和算力側(cè)都需要關(guān)注的重要問題。
在大語言模型不斷進化的浪潮下，不同的技術(shù)路線選擇孰優(yōu)孰劣，仍有待討論和驗證。學(xué)而思自研獨立的MathGPT大模型是否成立，是否能夠超越通用模型在數(shù)學(xué)任務(wù)上的表現(xiàn)，是否更匹配不同人群的數(shù)學(xué)學(xué)習(xí)場景，還需要在實踐中尋找答案。