文|三易生活
如今，人工智能毫無疑問已經(jīng)是科技行業(yè)最為熱門的賽道之一，甚至幾乎所有叫得上名號的科技企業(yè)都卷入了這場競賽。而在AI大模型的相關(guān)市場競爭中，除了底層的算法、架構(gòu)外，“語料”則是一個被反復(fù)提及的關(guān)鍵要素。但圍繞“語料”這一AI大模型的生產(chǎn)資料，在過去一年間，整合行業(yè)也上演了一系列光怪陸離的故事。
那么訓(xùn)練AI大模型的語料從何而來呢？自然是從書籍、報刊、雜志、視頻、音頻、代碼等，一系列凝聚了人類智慧的產(chǎn)物中來，但是由于AI不是人類，他們認識世界的方式與人類不同，所以蘊含在這些作品中的信息還需要經(jīng)過一道處理工序，才能轉(zhuǎn)化為可以被AI大模型利用的語料，而這就是所謂的“數(shù)據(jù)標注”了。
比如OpenAI旗下的ChatGPT，就是靠著2美元時薪的海外外包數(shù)據(jù)清洗人員，完成了史無前例的1750億參數(shù)量、45TB的訓(xùn)練數(shù)據(jù)。
如果把人工智能比作一棟大樓，那么標注的數(shù)據(jù)就是一塊塊的磚，如果將人工智能比作一碗飯，那么標注的數(shù)據(jù)自然也就是大米了。從某種意義上來說，現(xiàn)階段的人工智能在實質(zhì)上其實就是字面上的意義，也就是50%的人工+50%的智能。如果沒有人工數(shù)據(jù)標注的存在，那么當下的AI大模型競爭恐怕是要直接“熄火”。
有鑒于此，谷歌方面近期表示要讓人工智能更智能一些。
日前，Google Research的最新研究提出了AI反饋強化學(xué)習(xí)（RLAIF），用來代替基于人類反饋的強化學(xué)習(xí)（RLHF）。事實上，RLHF正是ChatGPT等同類產(chǎn)品表現(xiàn)出比Siri等上一代人工智能產(chǎn)品更聰明，表達更接近人類的關(guān)鍵驅(qū)動因素之一，它可以借助人類反饋信號來直接優(yōu)化語言模型，數(shù)據(jù)標注人員則通過給大模型產(chǎn)出的結(jié)果打分，由他們來負責(zé)判斷大模型生成的文本是否優(yōu)質(zhì)（迎合人類偏好）。
根據(jù)谷歌方面的研究結(jié)果顯示，RLAIF可以在不依賴人類標注員的情況下，產(chǎn)生與RLHF相當?shù)母倪M效果。具體來說，當被要求直接比較RLAIF與RLHF的結(jié)果時，人類對兩者的偏好大致相同，同時RLAIF和RLHF都優(yōu)于傳統(tǒng)的監(jiān)督微調(diào)（SFT）基線策略。這也就意味著谷歌的研究證明了用AI訓(xùn)練AI大模型并非空話，也代表著如今的人工智能行業(yè)很有可能會迎來一次大規(guī)模的洗牌。
眾所周知，語料是AI大模型的基礎(chǔ)，而AI大模型之所以比以往的同類產(chǎn)品表現(xiàn)得更“聰明”，單純就是因為語料的規(guī)模更大。例如GPT-3就擁有的1750億的參數(shù)量、45TB的訓(xùn)練數(shù)據(jù)，GPT-4的參數(shù)規(guī)模則達到了驚人的1.8萬億。但要將基礎(chǔ)數(shù)據(jù)轉(zhuǎn)化為AI可識別的語料，無疑是個巨大的工程。
數(shù)據(jù)標注就是把各種圖片、文本、視頻等數(shù)據(jù)集打上標簽，成為計算機可以理解識別的技術(shù)。這一工作在2007年之前是由程序員來負責(zé)完成，但畢竟有限的程序員群體與AI對于語料的無止境需求極其不匹配，所以這也導(dǎo)致了AI在本世紀第二個十年以前一直都曲高和寡。直到2007年，計算機科學(xué)家李飛飛通過亞馬遜眾包平臺雇傭了167個國家共計5萬人，來給10億張圖片篩選、排序、打標簽，最終構(gòu)建了ImageNet數(shù)據(jù)集。
自此之后，大量科技企業(yè)發(fā)現(xiàn)數(shù)據(jù)標注并不需要程序員來參與，只要是受過一定教育的普通人即可完成，這也成為了為什么AI在近十年來突飛猛進的原因之一。其實數(shù)據(jù)標注從某種意義上來說，就與流水線上工人干的活沒什么區(qū)別，而對著電腦屏幕根據(jù)給定的規(guī)則來給數(shù)據(jù)打上各式各樣的標注這一工作，完全可以稱得上是“賽博搬磚”。
相關(guān)廠商顯然不會將自己寶貴的人力資源浪費在這樣機械化的工作上，所以數(shù)據(jù)標注目前基本就是一個以外包為主導(dǎo)的行業(yè)，并且通過BPO的形式將數(shù)據(jù)標注工作交付給外包公司，確實也在一定程度上為AI廠商節(jié)約了成本，但從客觀上來說，數(shù)據(jù)標注本身還是很費錢的。雖然0.25元/條是過去兩年數(shù)據(jù)標注行業(yè)的均價，但別看單價沒多少，可數(shù)以億計的規(guī)模就直接讓數(shù)據(jù)集的總價變得可觀了起來。
看到這里，有的朋友可能會有這樣的疑問，如果谷歌提出的RLAIF真的可行，數(shù)據(jù)標注人員是不是要失業(yè)了？畢竟數(shù)據(jù)標注人員一天能完成800到1000條的數(shù)據(jù)標注就已經(jīng)是優(yōu)秀水平了，但比起不眠不休、不會疲勞的AI，血肉構(gòu)成的人類還是沒得比。更有效率、更穩(wěn)定的情況下，一旦再證明了RLAIF的效果不輸RLHF，人類進行數(shù)據(jù)標注顯然將會不再有經(jīng)濟性。
如果單純從商業(yè)層面出發(fā)，RLAIF肯定要比RLHF更好，但問題是AI廠商作為人類社會的一份子，同樣也具有社會性，并且AI廠商打造的大模型不僅要有性能，更重要的是還要合規(guī)。如今ChatGPT、New Bing在性能上比它們剛亮相時有所衰退的原因，已經(jīng)不僅僅來自用戶的體感，更得到了研究人員的證實。
其實這一現(xiàn)象并非是因為OpenAI、微軟的技術(shù)退步了，反而是兩者技術(shù)迭代的結(jié)果，因為他們必須要在AI倫理問題上合規(guī)。由此也衍生出了一個控制AI的概念“AI對齊”，即要求AI系統(tǒng)的目標要與人類的價值觀與利益對齊，不會產(chǎn)生意外的有害后果，比如說暴力、歧視等。例如現(xiàn)在向文心一言提出幫你想一個罵人的話，文心一言就只會直接回答，“作為一個人工智能語言模型，我不會提供或使用任何形式的臟話或粗俗語言。”
但問題也就來了，網(wǎng)絡(luò)上大家互相攻擊的言論可謂是數(shù)不勝數(shù)，文心一言怎么可能會做不到罵人呢？但它確實可以很“正能量”，這其實就是“AI對齊”在發(fā)揮作用?？蓮娦凶孉I遵守人類的價值觀本身就是反直覺的，在微軟研究院發(fā)布的一篇論文中就已經(jīng)證實，對AI大模型所進行的任何AI對齊行為，都會損失大模型的準確性和性能。
所以現(xiàn)在的情況，就是谷歌提出的RLAIF本質(zhì)上是剝離了AI大模型訓(xùn)練中的人類參與，但這與“AI對齊”的思路是相悖的。雖然在谷歌的相關(guān)論文中，RLAIF與人類判斷呈現(xiàn)出高度相似，但目前在圍繞AI的爭議如此巨大的情況下，真的有企業(yè)敢于去用RLAIF來代替RLHF嗎？