文|智東西 ZeR0
編輯|漠影
智東西3月15日報(bào)道，最近幾天，大模型和生成式AI領(lǐng)域可謂是群英薈萃，進(jìn)展連連。上周，國內(nèi)首個(gè)可供體驗(yàn)的類ChatGPT模型海豚AI助手上線，邀請公眾參與測試。本周又有多項(xiàng)重要進(jìn)展令人應(yīng)接不暇。
本周二，由清華技術(shù)成果轉(zhuǎn)化的公司智譜AI推出了基于千億基座模型的ChatGLM，初具問答和對話功能，現(xiàn)已開啟邀請制內(nèi)測，并將逐步擴(kuò)大內(nèi)測范圍。（內(nèi)測申請網(wǎng)址：chatglm.cn）
同期，智譜AI還開源了GLM系列模型的中英雙語對話模型ChatGLM-6B，支持在單張消費(fèi)級顯卡上進(jìn)行推理使用。
Georgi Gerganov最近也做了個(gè)能在蘋果M1/M2芯片上跑Meta開源大型語言模型LLaMA的項(xiàng)目llama.cpp。此前Meta聲稱LLaMA-13B在大多數(shù)基準(zhǔn)測試中的表現(xiàn)優(yōu)于GPT-3（175B）。
斯坦福大學(xué)亦于周二發(fā)布了一個(gè)由LLaMA微調(diào)的全新開源模型Alpaca，訓(xùn)練3小時(shí)，性能媲美GPT-3.5，而訓(xùn)練成本不到600美元。其中在8個(gè)80GB A100上訓(xùn)練了3個(gè)小時(shí)成本不到100美元，生成數(shù)據(jù)使用OpenAI API的成本不到500美元。
這兩個(gè)項(xiàng)目都得到了圖靈獎得主、深度學(xué)習(xí)三巨頭之一、Meta首席AI科學(xué)家楊立昆（Yann LeCun）的轉(zhuǎn)發(fā)支持。
同日，谷歌宣布開放大型語言模型PaLM的API，幫助企業(yè)“從簡單的自然語言提示中生成文本、圖像、代碼、視頻、音頻等”。谷歌還推出了一款與PaLM API搭配使用的新應(yīng)用MakerSuite，用戶可以用它迭代提示、使用合成數(shù)據(jù)擴(kuò)充數(shù)據(jù)集、輕松調(diào)整自定義模型。
大模型及生成式AI的研發(fā)與應(yīng)用，正肉眼可見地?zé)狒[起來。
01 類ChatGPT產(chǎn)品海豚AI助手上線公開可體驗(yàn)
上周，海豚團(tuán)隊(duì)宣布已成功開發(fā)了國內(nèi)首個(gè)可供體驗(yàn)的類ChatGPT模型，并將其發(fā)布到了公開平臺，歡迎公眾參與測試。
海豚團(tuán)隊(duì)介紹道，海豚AI助手是一款類似于ChatGPT大語言模型的AI產(chǎn)品，具有幫助用戶獲取知識、高效寫作、輔助決策的功能。智東西分別對三項(xiàng)功能進(jìn)行了體驗(yàn)。
獲取知識方面，海豚會根據(jù)用戶的提問，自動搜索相關(guān)文獻(xiàn)并提供詳細(xì)的解釋和解答，相比傳統(tǒng)搜索引擎更加快捷和準(zhǔn)確。海豚還支持對于一些特定領(lǐng)域的深度探索，比如醫(yī)療、法律、金融等。比如你可以問它疾病的癥狀、法律條文的解釋、金融產(chǎn)品的分析等等。
高效寫作方面，海豚能夠自動生成文本，幫助用戶撰寫作文、論文、郵件、演講稿等，并能夠?yàn)橛脩籼峁懽鹘ㄗh和優(yōu)化方案，還可以為用戶提供各種寫作模板和格式化工具。
輔助決策方面，海豚可以自動為用戶提供相關(guān)的數(shù)據(jù)和分析結(jié)果，并為用戶提供決策建議和優(yōu)化方案；還可以為用戶提供各種決策模型和工具。下圖是海豚AI助手針對“6歲小孩怎么學(xué)習(xí)計(jì)算機(jī)編程”問題給出的回答。
據(jù)介紹，海豚團(tuán)隊(duì)擁有自主研發(fā)的NLP大模型，對話機(jī)器人等核心技術(shù)，并通過軟硬結(jié)合的方式，將AI助手融入到“手機(jī)”、“機(jī)器人”、“車載”、“家居”四大場景中，為用戶提供日常生活所需的全方位服務(wù)。
其團(tuán)隊(duì)成員主要由畢業(yè)于清華大學(xué)、南京大學(xué)、加州大學(xué)伯克利分校、香港中文大學(xué)等知名高校，以及工作于IBM、騰訊、華為等國內(nèi)外IT公司的資深員工組成。
02 千億參數(shù)對話模型啟動內(nèi)測：多輪聊天流暢，能寫稿能編程
由清華大學(xué)計(jì)算機(jī)系技術(shù)成果轉(zhuǎn)化而來的公司智譜AI，現(xiàn)已開啟ChatGLM線上模型的內(nèi)測。用戶需要使用邀請碼進(jìn)行注冊，也可以填寫基本信息申請內(nèi)測。
智東西也對ChatGLM的多輪對話、內(nèi)容生成、輔助編程等能力進(jìn)行體驗(yàn)。
問它《流浪地球》講了什么，回答基本無誤。
在提供建議上，它也是個(gè)合格的助手。
讓它給AIGC創(chuàng)新峰會寫個(gè)開場白，成文速度飛快，指出錯誤后能迅速修改。
寫一個(gè)能在MacBook上跑的貪吃蛇游戲程序也不在話下：
ChatGLM線上模型的能力提升主要來源于獨(dú)特的千億基座模型GLM-130B。它采用了不同于BERT、GPT-3以及T5的GLM架構(gòu)，是一個(gè)包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型。
智譜AI致力于打造新一代認(rèn)知智能通用模型，提出了Model as a Service（MaaS）的市場理念，于2021年合作研發(fā)了雙語千億級超大規(guī)模預(yù)訓(xùn)練模型GLM-130B，主導(dǎo)構(gòu)建了高精度通用知識圖譜，把兩者有機(jī)融合為數(shù)據(jù)與知識雙輪驅(qū)動的認(rèn)知引擎，并基于此千億基座模型打造ChatGLM。
2022年11月，斯坦福大學(xué)大模型中心對全球30個(gè)主流大模型進(jìn)行了全方位的評測，GLM-130B是亞洲唯一入選的大模型。在與OpenAI、Google Brain、微軟、英偉達(dá)、Meta AI的各大模型對比中，評測報(bào)告顯示GLM-130B在準(zhǔn)確性和惡意性指標(biāo)上與GPT-3 175B（davinci）接近或持平。
GLM團(tuán)隊(duì)在博客文章中坦言，ChatGLM距離國際頂尖大模型研究和產(chǎn)品還有一定差距，他們將持續(xù)研發(fā)并開源更新版本的ChatGLM和相關(guān)模型。
智譜AI也推出了認(rèn)知大模型平臺Bigmodel.ai，形成AIGC產(chǎn)品矩陣，包括高效率代碼模型CodeGeeX、高精度文圖生成模型CogView等，提供智能API服務(wù)。
03 62億參數(shù)對話模型已開源支持單卡推理
除了開啟ChatGLM內(nèi)測外，智譜AI還將支持中英雙語問答的對話語言模型ChatGLM-6B開源，并針對中文進(jìn)行了優(yōu)化。
該模型基于General Language Model（GLM）架構(gòu)，具有62億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級的顯卡上進(jìn)行本地部署（INT4量化級別下最低只需6GB顯存）。
ChatGLM-6B使用了和ChatGLM相同的技術(shù)，針對中文問答和對話進(jìn)行了優(yōu)化，具備較好的對話與問答能力。以下是其對話效果的一些示例：
經(jīng)過約1T標(biāo)識符的中英雙語訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾⑷祟惙答亸?qiáng)化學(xué)習(xí)等技術(shù)的加持，62億參數(shù)的ChatGLM-6B雖然規(guī)模不及千億模型，但大大降低了推理成本，提升了效率，并且已經(jīng)能生成相當(dāng)符合人類偏好的回答。
具體來說，ChatGLM-6B具備以下特點(diǎn)：
（1）充分的中英雙語預(yù)訓(xùn)練：在1:1比例的中英語料上訓(xùn)練了1T的token量，兼具雙語能力。
（2）優(yōu)化的模型架構(gòu)和大?。何LM-130B訓(xùn)練經(jīng)驗(yàn)，修正了二維RoPE位置編碼實(shí)現(xiàn)，使用傳統(tǒng)FFN結(jié)構(gòu)。62億的參數(shù)大小，使研究者和個(gè)人開發(fā)者自己微調(diào)和部署ChatGLM-6B成為可能。
（3）較低的部署門檻：FP16半精度下，需要至少13GB的顯存進(jìn)行推理，結(jié)合模型量化技術(shù)，這一需求可以進(jìn)一步降低到10GB（INT8）和6GB（INT4），使模型可部署在消費(fèi)級顯卡上。
（4）更長的序列長度：相比GLM-10B（序列長度1024），序列長度達(dá)2048，支持更長對話和應(yīng)用。
（5）人類意圖對齊訓(xùn)練：使用監(jiān)督微調(diào)、反饋?zhàn)灾?、人類反饋?qiáng)化學(xué)習(xí)等方式，使模型初具理解人類指令意圖的能力。輸出格式為markdown，方便展示。
不過由于ChatGLM-6B模型的容量較小，不可避免的存在一些局限和不足，包括：
（1）相對較弱的模型記憶和語言能力：在面對事實(shí)性知識任務(wù)時(shí)，可能會生成不正確的信息，也不太擅長邏輯類問題（如數(shù)學(xué)、編程）的解答。
（2）可能會產(chǎn)生有害說明或有偏見的內(nèi)容：ChatGLM-6B只是一個(gè)初步與人類意圖對齊的語言模型，可能會生成有害、有偏見的內(nèi)容。
（3）較弱的多輪對話能力：上下文理解能力還不夠充分，在面對長答案生成和多輪對話的場景時(shí)，可能會出現(xiàn)上下文丟失和理解錯誤的情況。
感興趣的開發(fā)者可以下載ChatGLM-6B，基于它進(jìn)行研究和（非商用）應(yīng)用開發(fā)。GLM團(tuán)隊(duì)希望能和開源社區(qū)研究者和開發(fā)者一起，推動大模型研究和應(yīng)用在中國的發(fā)展。
04 在蘋果M1/M2芯片上跑LLaMA
Georgi Gerganov近日公布了一個(gè)沒有專用GPU也能跑Meta大模型LLaMA的項(xiàng)目llama.cpp。
在基于蘋果M1芯片的Mac上運(yùn)行LLaMA涉及多個(gè)步驟，感興趣的朋友可以參見教程（ https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/）。
在基于M1/M2芯片的64GB MacBook Pro上跑擁有70億參數(shù)和130億參數(shù)的LLaMA大模型可參見（https://til.simonwillison.net/llms/llama-7b-m2）。
如圖所示，在M1/M2 MacBook電腦上跑LLaMA 70B大模型，輸入提示詞“登月第一個(gè)人是”，得到上述結(jié)果，從阿姆斯特朗登月的年齡、中間名和日期來看，沒有出現(xiàn)明顯的事實(shí)性錯誤。
研發(fā)人員Artem Andreenko說，他已在4GB RAM Raspberry Pi 4上成功運(yùn)行LLaMA 7B 模型。盡管速度很慢，大約10秒/token，但這展現(xiàn)了在便宜的硬件上運(yùn)行強(qiáng)大認(rèn)知pipelines的可能。
05 斯坦福開源模型Alpaca：性能媲美GPT-3.5，成本不到600美元
斯坦福大學(xué)在本周二發(fā)布了一個(gè)由LLaMA微調(diào)的全新開源指令跟隨模型Alpaca，僅供研究使用，禁止用于任何商業(yè)用途。
該模型通過在52k生成指令上對LLaMA 7B進(jìn)行微調(diào)實(shí)現(xiàn)，性能表現(xiàn)得像OpenAI GPT-3.5（text-davinci-003），而訓(xùn)練成本不到600美元，因此便于復(fù)制及廣泛部署。
該團(tuán)隊(duì)的目標(biāo)是構(gòu)建一個(gè)簡單的模型/訓(xùn)練程序，讓學(xué)者們可以用有限的資源進(jìn)行研究和改進(jìn)。
具體而言，Alpaca模型使用來自LLaMA 7B模型的監(jiān)督學(xué)習(xí)進(jìn)行了微調(diào)，基于來自O(shè)penAI text-davinci-003的52K指令跟隨示例。
該團(tuán)隊(duì)從自生成指令種子集中的175個(gè)人工編寫的指令-輸出對開始，然后提示text-davinci-003使用種子集作為上下文示例生成更多的指令，通過簡化生成pipeline來改進(jìn)自生成指令方法，并顯著降低了成本。
其數(shù)據(jù)生成過程產(chǎn)生了52K獨(dú)特指令和相應(yīng)的輸出，使用OpenAI API的成本不到500美元。
在配備了這個(gè)指令跟隨數(shù)據(jù)集之后，該研究團(tuán)隊(duì)使用Hugging Face的訓(xùn)練框架，利用完全分片數(shù)據(jù)并行和混合精度訓(xùn)練等技術(shù)，對LLaMA模型進(jìn)行了微調(diào)。在8個(gè)80GB A100上對7B LLaMA模型進(jìn)行微調(diào)需要3個(gè)小時(shí)，這在大多數(shù)云計(jì)算供應(yīng)商上花費(fèi)的成本不到100美元。
Alpaca團(tuán)隊(duì)正在發(fā)布其訓(xùn)練配方和數(shù)據(jù)，并打算后續(xù)發(fā)布模型權(quán)重。
06 谷歌開放PaLM API 推出生成式AI新平臺
本周二，谷歌宣布開放大型語言模型PaLM API，幫助企業(yè)“從簡單的自然語言提示中生成文本、圖像、代碼、視頻、音頻等”。下圖是生成式AI在谷歌文檔中幫助撰寫職位描述的示例。
谷歌還推出了一款與PaLM API搭配使用的新應(yīng)用MakerSuite，用戶可以用它迭代提示、使用合成數(shù)據(jù)擴(kuò)充數(shù)據(jù)集、輕松調(diào)整自定義模型。
計(jì)算密集型的訓(xùn)練和部署工作由谷歌云處理。同時(shí)，谷歌在其幫助企業(yè)訓(xùn)練和部署機(jī)器學(xué)習(xí)模型的Vertex AI平臺中擴(kuò)大對生成式AI的支持，允許用戶訪問由Google Research及DeepMind構(gòu)建的更多模型，未來還將能利用開源和第三方系統(tǒng)。
此外，谷歌推出一個(gè)生成式AI新平臺Generative AI App Builder，允許開發(fā)人員快速發(fā)布新體驗(yàn)，包括機(jī)器人、聊天界面、自定義搜索引擎、數(shù)字助理等。開發(fā)者可以通過API訪問谷歌的基礎(chǔ)模型，并可以使用開箱即用的模板在幾分鐘或幾小時(shí)內(nèi)快速啟動生成式應(yīng)用的創(chuàng)建。
07 結(jié)語：生成式AI熱潮正洶涌而來
毋庸置疑，大模型及生成式AI領(lǐng)域正變得越來越熱鬧，相關(guān)的研發(fā)與創(chuàng)意正噴涌而出。
我們既看到科研團(tuán)隊(duì)站在開源模型的肩膀上，研發(fā)出更廉價(jià)易得、能跑在消費(fèi)級硬件上同時(shí)性能媲美GPT-3.5的大模型，又看到谷歌等科技巨頭試圖將更多AI工具及服務(wù)供給企業(yè)級用戶。
生成式AI時(shí)代的大幕已然拉開，盡情享受吧！