界面新聞?dòng)浾?| 姜菁玲
公眾對(duì)ChatGPT的關(guān)注充分點(diǎn)燃了人工智能行業(yè)對(duì)大模型的熱情。
兩個(gè)月來(lái)，百度宣布加碼“文心一言”，原美團(tuán)聯(lián)合創(chuàng)始人王慧文親自組建大模型創(chuàng)業(yè)團(tuán)隊(duì)，出門(mén)問(wèn)問(wèn)創(chuàng)始人李志飛宣布將全力投入大模型創(chuàng)業(yè)。一時(shí)間，“大模型創(chuàng)業(yè)”成為人工智能圈的熱詞。
“ChatGPT的火爆就像一盞燈點(diǎn)亮了街區(qū)，吸引了許多人的目光。但要讓這燈進(jìn)入千家萬(wàn)戶(hù)，我們還需要關(guān)注背后發(fā)電機(jī)以及電網(wǎng)，也就是大模型和相關(guān)技術(shù)生態(tài)?！敝窃囱芯吭涸洪L(zhǎng)黃鐵軍在接受媒體采訪(fǎng)時(shí)表示。
智源研究院成立于2018年，是一家人工智能領(lǐng)域的非盈利性研發(fā)機(jī)構(gòu)，在科技部和北京市委市政府的指導(dǎo)和支持下，由北京市科委和海淀區(qū)政府推動(dòng)成立。智源研究院希望搭建一個(gè)高效有活力的AI研發(fā)平臺(tái)，致力于人工智能領(lǐng)域發(fā)展政策、學(xué)術(shù)思想、理論基礎(chǔ)、頂尖人才與產(chǎn)業(yè)生態(tài)的五大源頭創(chuàng)新。
在大模型領(lǐng)域，智源是國(guó)內(nèi)最早進(jìn)行大模型研究的科研機(jī)構(gòu)之一，曾經(jīng)推出全球最大的超大規(guī)模智能模型“悟道2.0”。
大模型通過(guò)同一模型完成多場(chǎng)景任務(wù)，成為支撐無(wú)數(shù)智能應(yīng)用的基礎(chǔ)平臺(tái)，使得人工智能技術(shù)的大規(guī)模應(yīng)用變?yōu)榭赡?，加速了智能時(shí)代的真正到來(lái)。而一個(gè)大模型背后需要大數(shù)據(jù)、大算力以及強(qiáng)算法作為支持，訓(xùn)練大模型往往成本高昂且對(duì)技術(shù)要求極高。
為了幫助進(jìn)一步降低大模型開(kāi)發(fā)和研究門(mén)檻，2月28日，智源研究院對(duì)外發(fā)布與多家企業(yè)、高校和科研機(jī)構(gòu)共建的大模型技術(shù)開(kāi)源體系FlagOpen （飛智），包括大模型算法、模型、數(shù)據(jù)、工具、評(píng)測(cè)等重要組成部分，旨在建設(shè)大模型領(lǐng)域的“Linux”。
FlagOpen配套了六個(gè)模塊，分別是FlagAI、FlagPerf、FlagEval、FlagData、FlagStudio和FlagBoot：
FlageAI集成了很多主流大模型算法技術(shù)，以及多種大模型并行處理和訓(xùn)練加速技術(shù)，并支持微調(diào)。
FlagPerf搭建的AI硬件評(píng)測(cè)體系，支持多種深度學(xué)習(xí)框架，可及時(shí)跟進(jìn)最新主流模型評(píng)測(cè)需求，便于AI芯片廠商插入底層支撐工具，且不以排名為核心目標(biāo)。
FlagEval是覆蓋多個(gè)模態(tài)領(lǐng)域、包含評(píng)測(cè)維度的評(píng)測(cè)工具，首先開(kāi)放的是近期很火的多模態(tài)領(lǐng)域-CLIP系列模型評(píng)測(cè)工具，支持多語(yǔ)言多任務(wù)、開(kāi)箱即用。
FlagData數(shù)據(jù)工具開(kāi)源項(xiàng)目集成包含清洗、標(biāo)注、壓縮、統(tǒng)計(jì)分析等功能在內(nèi)的多個(gè)數(shù)據(jù)處理工具與算法。此前，智源研究院已經(jīng)構(gòu)建了WuDaoCorpora語(yǔ)料庫(kù)。
FlagStudio是文生圖、文生音樂(lè)等藝術(shù)創(chuàng)作相關(guān)的開(kāi)源項(xiàng)目集合，集合的算法和模型更貼合中文場(chǎng)景，當(dāng)前主要提供智源研究院文生圖相關(guān)能力的應(yīng)用。
FlagBoot是基于Scala開(kāi)發(fā)的輕量級(jí)高并發(fā)微服務(wù)框架，默認(rèn)完全異步，且沒(méi)有宏、隱式轉(zhuǎn)換等晦澀難懂的代碼。極少的代碼量便于開(kāi)發(fā)者輕易了解背后邏輯，而后進(jìn)行自定義修改。
基于FlagOpen，國(guó)內(nèi)外開(kāi)發(fā)者可以快速開(kāi)啟各種大模型的嘗試、開(kāi)發(fā)和研究工作，企業(yè)可以低門(mén)檻進(jìn)行大模型研發(fā)。同時(shí)，F(xiàn)lagOpen大模型技術(shù)開(kāi)源體系正逐步實(shí)現(xiàn)對(duì)多種深度學(xué)習(xí)框架、多種AI芯片的完整支持，支撐AI大模型軟硬件生態(tài)的百花齊放。未來(lái)，F(xiàn)lagOpen也將支撐全球AI企業(yè)、機(jī)構(gòu)基于FlagOpen構(gòu)建AI大模型軟件發(fā)行版本、平臺(tái)、商業(yè)軟件等。
黃鐵軍告訴界面新聞?dòng)浾?，企業(yè)選擇開(kāi)源項(xiàng)目的驅(qū)動(dòng)力并不是開(kāi)源帶來(lái)的成本降低，而是問(wèn)題與風(fēng)險(xiǎn)的降低?！俺晒Φ拈_(kāi)源項(xiàng)目由許多方共同維護(hù)，不會(huì)因?yàn)閱我黄髽I(yè)的問(wèn)題導(dǎo)致整個(gè)開(kāi)源軟件出現(xiàn)問(wèn)題。同時(shí)，由于維護(hù)方眾多，開(kāi)源軟件所出現(xiàn)的問(wèn)題往往比閉源軟件更快被發(fā)現(xiàn)和解決?！?/p>
黃鐵軍還提到，當(dāng)前深度學(xué)習(xí)階段的人工智能系統(tǒng)具有難以透徹理解的技術(shù)特性，智能時(shí)代不應(yīng)封閉、必須開(kāi)放、最好開(kāi)源，特別是作為基礎(chǔ)平臺(tái)的大模型需要全面開(kāi)源、接受監(jiān)督，才能得到信任、采納和廣泛應(yīng)用。
智源在大模型領(lǐng)域深耕多年。黃鐵軍稱(chēng)，選擇現(xiàn)在公布FlagOpen開(kāi)源體系的另一個(gè)原因，也是因?yàn)榇竽Ｐ偷幕鸨?qū)使下，許多沒(méi)有接觸過(guò)大模型的初創(chuàng)團(tuán)隊(duì)開(kāi)始嘗試自己訓(xùn)練模型?！凹热挥羞@么多人想做這件事，我們?cè)谶@個(gè)時(shí)候開(kāi)源出來(lái)，是想給予我們的經(jīng)驗(yàn)，讓他們更加順利往前走?！?/p>
“但大模型創(chuàng)業(yè)需要想清楚到底要做什么，終究還是要落到產(chǎn)品。”黃鐵軍強(qiáng)調(diào)，目前創(chuàng)業(yè)的火熱一方面是好事，體現(xiàn)出（做大模型）這件事的重要性，但另一方面需要警惕在沒(méi)想清楚的情況下就盲目投入，可能會(huì)帶來(lái)算力等重復(fù)性的資源浪費(fèi)，產(chǎn)生泡沫問(wèn)題。