文 | DoNews 李熙
編輯 | 楊博丞
人盡皆知：過去的科幻文學家預言了潛艇、衛(wèi)星、人工智能等后世科技里程碑。然而科幻文學家們的預言中，其實應驗的烏鴉嘴不比正面成就少，比如DDOS網絡攻擊、個人生物信息盜竊、和人工智能模型的退化。
2023年2月，美國華裔科幻文學家特德·姜發(fā)表文章稱：ChatGPT等大語言模型，實質是對互聯(lián)網語料庫的有損模糊壓縮，如同JPEG格式之于原始高清圖片。
按特德·姜的觀點，用大語言模型生成的文本來訓練新的模型，如同反復以JPEG格式存儲同一圖像，每次都會丟失更多的信息，最終成品質量只會越來越差。大語言模型生成的文本在網絡上發(fā)布得越多，信息網絡本身就變得越發(fā)模糊、難以獲取有效真實信息。
2023年6月中，牛津、劍橋、倫敦帝國學院、愛丁堡大學、多倫多大學等高校的AI研究者發(fā)布的論文預印本《遞歸之詛咒：用生成數(shù)據訓練會使模型遺忘》在業(yè)界流傳開來。論文中用實驗結果證明了特德·姜的預言：用AI生成數(shù)據訓練新的AI，最終會讓新的AI模型退化以至崩潰。
一、“糞口循環(huán)”9次，就能讓大語言模型崩潰
這些研究者們發(fā)現(xiàn)，在訓練新的神經網絡AI模型時，使用大語言模型生成的內容作為訓練數(shù)據集，會導致訓練出的模型出現(xiàn)不可逆轉的缺陷，即使模型最初的基礎架構原始數(shù)據來自真實世界的實際數(shù)據。研究者們將這一新模型的退化過程與結果稱為“模型崩潰”。
按論文所述，不管受訓的新模型功能是以文字生成文字還是以圖片生成圖片，只要使用其他模型生成的內容來訓練，這個過程是不可避免的，即使模型處在近乎理想狀態(tài)的長時間學習條件亦如此。
論文一作伊利亞·蘇瑪利沃夫（Ilia Shumailov）稱，AI生成數(shù)據中的錯誤會極快沉淀，最終導致從生成數(shù)據中學習的模型進一步錯誤地感知現(xiàn)實。
“模型崩潰”分為早期與晚期兩種。在早期時，被喂生成數(shù)據的AI模型會開始失去原初數(shù)據分布的信息；在晚期，被喂生成數(shù)據的AI模型會吐出完全不符合現(xiàn)實、不相關原初底層數(shù)據的結果。
而且與癥狀類似的“災難性遺忘”不同，“模型崩潰”的AI一直保有對之前學習過的原初底層數(shù)據的記憶，但極其固執(zhí)，錯誤會千篇一律且難以矯正，模型將持續(xù)甚至強化將錯誤結果認為是正確的結論。
論文中“模型崩潰”過程的示意圖
研究者們先用小模型試驗起，用相同模型生成的數(shù)據訓練同一模型。以此方法在高斯混合模型（GMM）上實驗，拿AI分辨人工生成的不同正態(tài)分布。結果是在如此訓練50次后模型開始出錯到無法分辨原初底層數(shù)據。訓練到兩千次后，模型的錯誤結果收斂到每次基本雷同毫無變化。
以同樣方法訓練變分自編碼器（VAE）模型，訓練5次后模型開始出錯，10次后模型的錯誤結果開始與原初底層數(shù)據無關，20次后錯誤結果就開始收斂至基本雷同。
以上的小模型的原初數(shù)據量小，或許易于迷惑。研究者再用現(xiàn)在商用廣泛的OPT-125m文本生成模型實驗，此模型由Meta 公司開發(fā)，參數(shù)量1.25億。研究者先用有1億詞元的“維基文本庫2”數(shù)據集喂給模型，跑出同樣詞元量的生成結果數(shù)據集。再用生成結果數(shù)據集反復訓練OPT-125m模型。
結果是，在研究者輸入提示詞之后，起初的OPT-125m模型吐出的是帶有亂碼但大體成文的語句。被如此訓練1次的大模型吐出的是帶有瞎編內容的幻覺性文本，但仍然成文。被如此訓練7次的大模型吐出的是完全與初始提示詞無關的文本，9次后大模型的生成文本就是完全不知所云的車轱轆話。
二、“模型崩潰”，是因為AI與生俱來的的統(tǒng)計特性
“模型崩潰”的原因其實并不難懂。概言之，與特德·姜、馬斯克這些名人們嘲笑生成式AI的說辭很相近：這些大模型本質上是高端統(tǒng)計學應用，離“智能”的實質還差得遠。
用AI生成內容來訓練AI的話，無可避免就會踩進“統(tǒng)計近似值偏差”的坑里。實質是高端統(tǒng)計程序的神經網絡模型們，天然會高估、過于重視大概率的通常值，也會低估、過于忽視小概率的非常值。
這些模型生成的結果無法規(guī)避以上缺陷，持續(xù)用來再訓練新模型，數(shù)據的多樣性會越來越小、符合真實的正確度會越來越有限、“近似值擬合”會越來越嚴重。用研究者的話來說，用AI生成數(shù)據來訓練新的AI，是在毒化模型對真實世界的認知。
用論文作者之一羅斯·安德森（Ross Anderson）的話說，這就如同用莫扎特作品來訓練AI，結果會得出一個風格類似莫扎特但缺乏靈氣的“薩列尼”模型。再用“薩列尼”模型的作品訓練新的模型，如此反復五六次后，最終模型的音樂作品既不會有莫扎特的風格也不會有莫扎特的靈光。
除了這一主因外，“函數(shù)近似值誤差”也會為“模型崩潰”推波助瀾。任何神經網絡AI在本質都算是有限的通用函數(shù)近似器，但總會出現(xiàn)函數(shù)近似值過度表達或不充分表達帶來的結果不精確。
理論上來說，“統(tǒng)計近似值偏差”與“函數(shù)近似值誤差”并不必然會帶來惡果，有少許可能，這些偏差恰好會消除真實數(shù)據中的噪音值，讓AI模型的生成結果更符合真實數(shù)據分布。然而更大的可能是，這些誤差會放大、加乘數(shù)據噪音。
在羅斯·安德森的個人博客中，有人評論這是熱力學中的熵、生物學中的近親繁殖退化，在AI界的復現(xiàn)。
三、模型生成內容充斥網絡后，真人數(shù)據將成AI維生必需
對于業(yè)界，此發(fā)現(xiàn)再次凸顯了真實人類創(chuàng)造的數(shù)據的稀缺性。羅斯·安德森戲稱，在海洋布滿不可降解塑料垃圾、空氣里充滿二氧化碳排放物后，互聯(lián)網以后也會被大語言模型生成的低質量結果污染。反過來說，真實人類創(chuàng)造的數(shù)據如同潔凈的空氣與飲水，是日后生成式AI必須依賴的維生補給。
在如此背景下，不難理解為何推特與Reddit這些用戶活躍的社交媒體紛紛取消應用程序接口扒數(shù)據的權限。這些社交媒體上的真人互動內容都是以后越來越值錢的不可再生資源，馬斯克們是絕不愿繼續(xù)免費讓OpenAI們拿去用的。
數(shù)據饑渴的AI公司們，現(xiàn)在兩種繼續(xù)發(fā)掘高質量數(shù)據的辦法都在用。
一是扒完當代互聯(lián)網數(shù)據后，繼續(xù)扒古舊文本與圖像數(shù)據。保存了遠至兩百年前書籍掃描件的“互聯(lián)網檔案館”，在5月底稱網站之前短暫崩潰，是因為托管在亞馬遜云服務器上的數(shù)十個虛擬接口做出了每秒數(shù)萬次的數(shù)據查詢請求，導致網站無法承載。
二是老實花錢買。北京時間6月17日0點，《金融時報》獨家報道，稱最近數(shù)月內，谷歌、OpenAI、微軟等公司在與新聞業(yè)界的大企業(yè)，如新聞集團(News Corp)、紐約時報和衛(wèi)報在內的出版商接觸，尋求AI訓練數(shù)據材料的持續(xù)來源并避免未來的版權糾紛。
雖然商洽還在早期階段，但信源透露出的信息是AI巨頭企業(yè)們愿意為作為AI 模型訓練數(shù)據的新聞內容向媒體巨頭們支付定期訂閱費用，媒體巨頭們開出的價位是年均500-2000萬美元。