文|新火種 文子
編輯|小迪
如果全世界只有一家公司能趕超OpenAI,那谷歌應(yīng)該是第一。
最近,谷歌重磅發(fā)布了一篇論文報告,里面提出了一種名為“模型竊取”的技術(shù)。通過模型竊取技術(shù),谷歌成功破解了ChatGPT基礎(chǔ)模型Ada和Babbage的投影矩陣,甚至連內(nèi)部隱藏維度的關(guān)鍵信息也是直接破獲,分別是1024和2048。
這一發(fā)現(xiàn)猶如一記重磅炸彈,在AI界引發(fā)了強烈的震動。誰也沒想到,號稱“CloseAI”的OpenAI竟然也會被竊取模型機密的一天。
更恐怖的是,這種模型竊取技術(shù)還非常簡單。只要你擁有ChatGPT這類封閉大模型的API,就可以通過API接口,發(fā)送不到2000次經(jīng)過精心設(shè)計好的查詢,然后去分析它生成的輸出,就可以逐步推斷出模型的內(nèi)部結(jié)構(gòu)和參數(shù)。
雖然這種方法不能完全復(fù)制原始模型,但已經(jīng)足以竊取它的部分能力。而且這種攻擊非常高效,不需要用太多的成本,就可以拿到模型的關(guān)鍵信息。
按照谷歌的調(diào)用次數(shù)來看,僅僅只需要不到20美金(約合150元人民幣)的成本,就可以完成模型竊取的操作,并且這種方法同樣適用于GPT-3.5和GPT-4。
換句話說,就是不費吹灰之力獲得了一個大模型理解自然語言的能力,還能用來構(gòu)建一個性能相近的“山寨版”模型,既省事又省錢。
反觀OpenAI,被競爭對手低價破解模型機密,真的坐得住嗎?坐不住。截至目前,OpenAI已經(jīng)修改了模型API,有心人想復(fù)現(xiàn)谷歌的操作是不可能了。
值得一提的是,谷歌研究團隊中就有一位OpenAI研究員。不過作為正經(jīng)安全研究,他們在提取模型最后一層參數(shù)之前就已經(jīng)征得OpenAI同意,而在攻擊完成后,也刪除了所有相關(guān)數(shù)據(jù)。
但不管怎么說,谷歌的實驗足以證明一點,哪怕OpenAI緊閉大門也并不保險。
大模型全面受挫,敲響開閉源警鐘
既然封閉的大模型都無法幸免,開源的大模型又會如何呢?
基于這一點,谷歌針對不同規(guī)模和結(jié)構(gòu)的開源模型進(jìn)行了一系列實驗,比如GPT-2的不同版本和LLaMA系列模型。
要知道,GPT-2是一個開源的預(yù)訓(xùn)練語言模型,分為小型模型(117M)和大型模型(345M)兩種。而在對GPT-2的攻擊中,谷歌通過分析模型的最終隱藏激活向量并執(zhí)行SVD發(fā)現(xiàn),盡管GPT-2小型模型理論上具有768個隱藏單元,但實際上只有757個有效的隱藏單元在起作用。
這也就意味著GPT-2可能在實際使用中,并沒有充分利用其設(shè)計的全部能力,或者在訓(xùn)練過程中某些維度的重要性不如其他維度。
此外,谷歌還研究了模型中的一種叫做“歸一化層”的東西對于攻擊的影響。一般來說,歸一化層的作用是讓訓(xùn)練更加穩(wěn)定,從而提升模型的表現(xiàn)。然而谷歌發(fā)現(xiàn),即使模型加入了歸一化層,攻擊的效果也并沒有減弱。這說明即使考慮了現(xiàn)代深度學(xué)習(xí)模型中常見的復(fù)雜結(jié)構(gòu),攻擊方法也依然有效。
為了進(jìn)一步驗證攻擊的范圍,谷歌還將目光瞄向更大、更復(fù)雜的LLaMA模型。它是由Meta發(fā)布的大語言系列模型,完整的名字是Large Language Model Meta AI,可以說LLaMA是目前全球最活躍的AI開源社區(qū)。
通過對LLaMA系列模型進(jìn)行攻擊,谷歌成功地從這些模型中提取了嵌入投影層的維度信息。值得注意的是,即使在這些模型采用先進(jìn)的技術(shù),如混合精度訓(xùn)練和量化,攻擊依然能夠成功,這表明攻擊方法的普適性和魯棒性。
可以說,谷歌給閉源和開源兩大領(lǐng)域同時敲響了一記警鐘。
AI三巨頭對線,2024誰輸誰贏?
從嚴(yán)格意義上來講,OpenAI、谷歌、Meta就是爭奪AGI圣杯的三大巨頭。
其中,Meta和OpenAI完全相反,前者走的是開源路線,而后者主要打造閉源模型。但谷歌和他們完全不一樣,閉源與開源雙線作戰(zhàn),閉源對抗OpenAI,開源對抗Meta。
在人工智能領(lǐng)域里,谷歌可以算是開源大模型的鼻祖。今天幾乎所有的大語言模型,都是基于谷歌在2017年發(fā)布的Transformer論文,這篇論文顛覆了整個自然語言處理領(lǐng)域的研究范式。而市面上最早的一批開源AI模型,也是谷歌率先發(fā)布的BERT和T5。
然而,隨著OpenAI在2022年底發(fā)布閉源模型ChatGPT,谷歌也開始調(diào)整其策略,逐漸轉(zhuǎn)向閉源模型。這一轉(zhuǎn)變使得開源大模型的領(lǐng)導(dǎo)地位被Meta的LLaMA所取代,后來又有法國的開源大模型公司Mistra AI走紅,尤其是其MoE模型備受行業(yè)追捧。
直到谷歌今年再次發(fā)布開源大模型Gemma,已經(jīng)比Meta的LLaMA整整晚了一年。
很顯然,Gemma這次的發(fā)布標(biāo)志著谷歌在大模型戰(zhàn)略上的巨大轉(zhuǎn)變,這一舉動意味著谷歌開始兼顧開源和閉源的新策略,而其背后的目的也是顯而易見。
眾所周知,當(dāng)前大模型領(lǐng)域的競爭已經(jīng)形成了一種錯綜復(fù)雜的打壓鏈格局。其中OpenAI牢牢站在鏈條頂端,而它所打壓的恰恰是那些有潛力追趕上它的競爭對手,比如谷歌和Anthropic。而Mistral作為一股新興力量,估計也正在被列入其中。
如果非要排列一個打壓鏈條,那可以歸結(jié)為:OpenAI→Google &Anthropic &Mistral→ Meta→其它大模型公司。
可以說,無論在閉源還是開源領(lǐng)域,谷歌都沒能確立絕對的領(lǐng)先地位。
所以這也不難理解,為什么有專業(yè)人士會認(rèn)為,谷歌選擇在此時重返開源賽場,是被迫的。谷歌之所以開源主打的是性能最強大的小規(guī)模模型,就是希望腳踢M(jìn)eta和Mistral;而閉源主打的是規(guī)模大的效果最好的大模型,就是為了希望盡快追上OpenAI。
但無論如何,在未來的對壘格局里,谷歌已經(jīng)先發(fā)制人,成功將壓力給到OpenAI和Meta。
這一次,關(guān)鍵在于OpenAI和Meta該如何應(yīng)對。