正在閱讀:

AI搜索花式翻車,谷歌居然又栽在了數(shù)據(jù)清洗上

掃一掃下載界面新聞APP

AI搜索花式翻車,谷歌居然又栽在了數(shù)據(jù)清洗上

谷歌從AI賽道領(lǐng)跑者的位置逐漸“掉隊(duì)”了。

圖片來(lái)源:界面新聞 匡達(dá)

文|三易生活

此前在5月15日舉行的I/O開(kāi)發(fā)者大會(huì)上,谷歌CEO納德拉向外界正式介紹了AI搜索功能AI Overviews(AI概覽)。在谷歌Gemini大模型de 驅(qū)動(dòng)下,AI Overviews能夠在谷歌搜索的頁(yè)面頂部總結(jié)提煉用戶查詢內(nèi)容的概要。在許多業(yè)內(nèi)人士看來(lái),AI Overviews無(wú)疑是谷歌搜索引擎上線25年以來(lái)最大的一次革新,以至于谷歌方面敢于宣稱該功能將重新定義搜索體驗(yàn)。

但遺憾的是,搶先體驗(yàn)了AI Overviews的美國(guó)用戶對(duì)于“重新定義搜索體驗(yàn)”持不同意見(jiàn)。例如The Verge的記者Kylie Robison就在文章中諷刺了AI Overviews的翻車。她在文中舉了一個(gè)例子,就是當(dāng)用戶查詢?nèi)绾螌⒅ナ亢团_餅胚粘在一起的時(shí)候,AI Overviews的回答是,“加點(diǎn)膠水”。盡管膠水確實(shí)可以解決粘連問(wèn)題,但這極有可能是Gemini出現(xiàn)了“幻覺(jué)”(Hallucination)所導(dǎo)致的結(jié)果。

AI大模型會(huì)出現(xiàn)“幻覺(jué)”,這如今幾乎是人盡皆知的事情,谷歌公司發(fā)言人Meghann Farnsworth似乎也是按照Gemini因“幻覺(jué)”翻車來(lái)解釋的。他表示,“這些錯(cuò)誤來(lái)自通常非常罕見(jiàn)的查詢,不能代表大多數(shù)人的體驗(yàn)”。但神通廣大的網(wǎng)友很快給出了AI Overviews會(huì)回答“在披薩上涂膠水”的理由,因?yàn)檫@個(gè)回答實(shí)際上來(lái)源于一個(gè)名為“fucksmith”的Reddit用戶在11年前發(fā)的帖子。

AI Overviews會(huì)采納Reddit用戶的帖子來(lái)作為回答并不奇怪,因?yàn)楣雀枧cReddit在AI搜索上是有合作的。

AI Overviews的前身是Search Generative Experience(SGE),它是谷歌推出的一種實(shí)驗(yàn)性版本的搜索引擎。在美國(guó)谷歌選擇了Reddit作為合作伙伴,為用戶提供更精準(zhǔn)、及時(shí)的搜索解答。其實(shí)使用Reddit的數(shù)據(jù)并不奇怪,可問(wèn)題是谷歌為什么會(huì)采信這種明顯出現(xiàn)常識(shí)錯(cuò)誤的數(shù)據(jù)。

所以最有可能的解釋,是谷歌在數(shù)據(jù)清洗上出現(xiàn)了紕漏,以至于讓“有毒”的數(shù)據(jù)進(jìn)入了Gemini的數(shù)據(jù)集。如果事實(shí)果真如此,那么在某種意義上就證明了谷歌為了在AI賽道追趕OpenAI,已經(jīng)急功近利到走火入魔的地步。因?yàn)樵诖酥埃雀柙诖竽P偷臄?shù)據(jù)清洗上已經(jīng)翻車過(guò)一次。

去年年末、也就是Gemini上線不久后,就有國(guó)內(nèi)網(wǎng)友發(fā)現(xiàn)用中文向Gemini Pro提問(wèn)時(shí),Gemini Pro會(huì)直接表示自己是百度的文心一言。緊接著在更多的網(wǎng)友提問(wèn)下,Gemini Pro一會(huì)認(rèn)為自己是小愛(ài)同學(xué),一會(huì)又承認(rèn)自己是悟道大模型開(kāi)發(fā)團(tuán)隊(duì)北京智源做的。

對(duì)此,當(dāng)時(shí)業(yè)內(nèi)人士的主流觀點(diǎn),是谷歌在訓(xùn)練數(shù)據(jù)上大概率使用了百度文心一言的輸出結(jié)果,以此來(lái)蒸餾自家的Gemini Pro。要知道,OpenAI已經(jīng)證實(shí)了大模型的“幻覺(jué)”問(wèn)題和數(shù)據(jù)質(zhì)量息息相關(guān),數(shù)據(jù)投毒攻擊(Data Poisoning Attack)也已經(jīng)是一個(gè)AI領(lǐng)域不可回避的問(wèn)題。

根據(jù)研究人員在HITCon安全會(huì)議上的演講顯示,只需要“污染”不到0.7%數(shù)據(jù)就可以完全繞過(guò)防御,進(jìn)而全面降低大模型輸出內(nèi)容的準(zhǔn)確率。用謊言去驗(yàn)證謊言得到的一定是謊言,如果數(shù)據(jù)集中的參數(shù)本身就有問(wèn)題,那么得到的回答自然就會(huì)是錯(cuò)漏百出。因此數(shù)據(jù)清洗一直以來(lái)都是AI廠商最為重要的工作之一,幾乎所有的大模型都會(huì)加入數(shù)個(gè)糾錯(cuò)和屏蔽措施,避免數(shù)據(jù)庫(kù)遭受有毒信息的污染。

更為關(guān)鍵的是,谷歌可是做搜索引擎起家的,而搜索引擎的核心技術(shù)就包括了數(shù)據(jù)清洗,將爬蟲(chóng)抓取的數(shù)據(jù)中存在的缺失值、異常值(離群點(diǎn))、重復(fù)值去除,就都是數(shù)據(jù)清洗的一部分。結(jié)果他們?cè)贏I業(yè)務(wù)上卻接二連三地因?yàn)閿?shù)據(jù)清洗問(wèn)題翻車,這顯然不是個(gè)正常的現(xiàn)象。

反常背后必然有原因,在許多海外網(wǎng)友看來(lái),谷歌從AI賽道領(lǐng)跑者的位置滑落,進(jìn)而不得不追趕OpenAI的現(xiàn)實(shí),可能導(dǎo)致了他們變得如此急躁。

過(guò)去一年間,AI初創(chuàng)企業(yè)Perplexity就被視為是谷歌的挑戰(zhàn)者,而這家公司被投資者看中的原因也很簡(jiǎn)單,因?yàn)樗龅氖茿I搜索。并且就在此次I/O開(kāi)發(fā)者大會(huì)舉行前,OpenAI也被曝出將要做AI搜索來(lái)挑戰(zhàn)谷歌,因此AI Overviews更像是谷歌對(duì)于Perplexity和OpenAI的回?fù)??;蛘哒f(shuō)在此次I/O開(kāi)發(fā)者大會(huì)上,谷歌無(wú)論如何都得展現(xiàn)出自己對(duì)AI搜索的態(tài)度,即便沒(méi)有AI Overviews、也得有AI abstract。

只不過(guò)急功近利必然是有代價(jià)的,用戶使用搜索引擎是希望尋求答案,可AI Overviews給出的答案卻是偏頗的,這無(wú)疑就是在動(dòng)搖大眾對(duì)于谷歌搜索的信任。作為這家公司最為核心的產(chǎn)品,谷歌搜索應(yīng)該是穩(wěn)健的,但現(xiàn)在谷歌卻把一個(gè)實(shí)驗(yàn)性質(zhì)的功能直接推向數(shù)以十億計(jì)的用戶,這不是急功近利又是什么?

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。

谷歌

5.6k
  • 谷歌在芬蘭購(gòu)地,推進(jìn)云計(jì)算和數(shù)據(jù)基礎(chǔ)設(shè)施擴(kuò)建計(jì)劃
  • 谷歌回應(yīng)加拿大反壟斷機(jī)構(gòu)起訴:期待在法庭上陳述觀點(diǎn)

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

AI搜索花式翻車,谷歌居然又栽在了數(shù)據(jù)清洗上

谷歌從AI賽道領(lǐng)跑者的位置逐漸“掉隊(duì)”了。

圖片來(lái)源:界面新聞 匡達(dá)

文|三易生活

此前在5月15日舉行的I/O開(kāi)發(fā)者大會(huì)上,谷歌CEO納德拉向外界正式介紹了AI搜索功能AI Overviews(AI概覽)。在谷歌Gemini大模型de 驅(qū)動(dòng)下,AI Overviews能夠在谷歌搜索的頁(yè)面頂部總結(jié)提煉用戶查詢內(nèi)容的概要。在許多業(yè)內(nèi)人士看來(lái),AI Overviews無(wú)疑是谷歌搜索引擎上線25年以來(lái)最大的一次革新,以至于谷歌方面敢于宣稱該功能將重新定義搜索體驗(yàn)。

但遺憾的是,搶先體驗(yàn)了AI Overviews的美國(guó)用戶對(duì)于“重新定義搜索體驗(yàn)”持不同意見(jiàn)。例如The Verge的記者Kylie Robison就在文章中諷刺了AI Overviews的翻車。她在文中舉了一個(gè)例子,就是當(dāng)用戶查詢?nèi)绾螌⒅ナ亢团_餅胚粘在一起的時(shí)候,AI Overviews的回答是,“加點(diǎn)膠水”。盡管膠水確實(shí)可以解決粘連問(wèn)題,但這極有可能是Gemini出現(xiàn)了“幻覺(jué)”(Hallucination)所導(dǎo)致的結(jié)果。

AI大模型會(huì)出現(xiàn)“幻覺(jué)”,這如今幾乎是人盡皆知的事情,谷歌公司發(fā)言人Meghann Farnsworth似乎也是按照Gemini因“幻覺(jué)”翻車來(lái)解釋的。他表示,“這些錯(cuò)誤來(lái)自通常非常罕見(jiàn)的查詢,不能代表大多數(shù)人的體驗(yàn)”。但神通廣大的網(wǎng)友很快給出了AI Overviews會(huì)回答“在披薩上涂膠水”的理由,因?yàn)檫@個(gè)回答實(shí)際上來(lái)源于一個(gè)名為“fucksmith”的Reddit用戶在11年前發(fā)的帖子。

AI Overviews會(huì)采納Reddit用戶的帖子來(lái)作為回答并不奇怪,因?yàn)楣雀枧cReddit在AI搜索上是有合作的。

AI Overviews的前身是Search Generative Experience(SGE),它是谷歌推出的一種實(shí)驗(yàn)性版本的搜索引擎。在美國(guó)谷歌選擇了Reddit作為合作伙伴,為用戶提供更精準(zhǔn)、及時(shí)的搜索解答。其實(shí)使用Reddit的數(shù)據(jù)并不奇怪,可問(wèn)題是谷歌為什么會(huì)采信這種明顯出現(xiàn)常識(shí)錯(cuò)誤的數(shù)據(jù)。

所以最有可能的解釋,是谷歌在數(shù)據(jù)清洗上出現(xiàn)了紕漏,以至于讓“有毒”的數(shù)據(jù)進(jìn)入了Gemini的數(shù)據(jù)集。如果事實(shí)果真如此,那么在某種意義上就證明了谷歌為了在AI賽道追趕OpenAI,已經(jīng)急功近利到走火入魔的地步。因?yàn)樵诖酥?,谷歌在大模型的?shù)據(jù)清洗上已經(jīng)翻車過(guò)一次。

去年年末、也就是Gemini上線不久后,就有國(guó)內(nèi)網(wǎng)友發(fā)現(xiàn)用中文向Gemini Pro提問(wèn)時(shí),Gemini Pro會(huì)直接表示自己是百度的文心一言。緊接著在更多的網(wǎng)友提問(wèn)下,Gemini Pro一會(huì)認(rèn)為自己是小愛(ài)同學(xué),一會(huì)又承認(rèn)自己是悟道大模型開(kāi)發(fā)團(tuán)隊(duì)北京智源做的。

對(duì)此,當(dāng)時(shí)業(yè)內(nèi)人士的主流觀點(diǎn),是谷歌在訓(xùn)練數(shù)據(jù)上大概率使用了百度文心一言的輸出結(jié)果,以此來(lái)蒸餾自家的Gemini Pro。要知道,OpenAI已經(jīng)證實(shí)了大模型的“幻覺(jué)”問(wèn)題和數(shù)據(jù)質(zhì)量息息相關(guān),數(shù)據(jù)投毒攻擊(Data Poisoning Attack)也已經(jīng)是一個(gè)AI領(lǐng)域不可回避的問(wèn)題。

根據(jù)研究人員在HITCon安全會(huì)議上的演講顯示,只需要“污染”不到0.7%數(shù)據(jù)就可以完全繞過(guò)防御,進(jìn)而全面降低大模型輸出內(nèi)容的準(zhǔn)確率。用謊言去驗(yàn)證謊言得到的一定是謊言,如果數(shù)據(jù)集中的參數(shù)本身就有問(wèn)題,那么得到的回答自然就會(huì)是錯(cuò)漏百出。因此數(shù)據(jù)清洗一直以來(lái)都是AI廠商最為重要的工作之一,幾乎所有的大模型都會(huì)加入數(shù)個(gè)糾錯(cuò)和屏蔽措施,避免數(shù)據(jù)庫(kù)遭受有毒信息的污染。

更為關(guān)鍵的是,谷歌可是做搜索引擎起家的,而搜索引擎的核心技術(shù)就包括了數(shù)據(jù)清洗,將爬蟲(chóng)抓取的數(shù)據(jù)中存在的缺失值、異常值(離群點(diǎn))、重復(fù)值去除,就都是數(shù)據(jù)清洗的一部分。結(jié)果他們?cè)贏I業(yè)務(wù)上卻接二連三地因?yàn)閿?shù)據(jù)清洗問(wèn)題翻車,這顯然不是個(gè)正常的現(xiàn)象。

反常背后必然有原因,在許多海外網(wǎng)友看來(lái),谷歌從AI賽道領(lǐng)跑者的位置滑落,進(jìn)而不得不追趕OpenAI的現(xiàn)實(shí),可能導(dǎo)致了他們變得如此急躁。

過(guò)去一年間,AI初創(chuàng)企業(yè)Perplexity就被視為是谷歌的挑戰(zhàn)者,而這家公司被投資者看中的原因也很簡(jiǎn)單,因?yàn)樗龅氖茿I搜索。并且就在此次I/O開(kāi)發(fā)者大會(huì)舉行前,OpenAI也被曝出將要做AI搜索來(lái)挑戰(zhàn)谷歌,因此AI Overviews更像是谷歌對(duì)于Perplexity和OpenAI的回?fù)?。或者說(shuō)在此次I/O開(kāi)發(fā)者大會(huì)上,谷歌無(wú)論如何都得展現(xiàn)出自己對(duì)AI搜索的態(tài)度,即便沒(méi)有AI Overviews、也得有AI abstract。

只不過(guò)急功近利必然是有代價(jià)的,用戶使用搜索引擎是希望尋求答案,可AI Overviews給出的答案卻是偏頗的,這無(wú)疑就是在動(dòng)搖大眾對(duì)于谷歌搜索的信任。作為這家公司最為核心的產(chǎn)品,谷歌搜索應(yīng)該是穩(wěn)健的,但現(xiàn)在谷歌卻把一個(gè)實(shí)驗(yàn)性質(zhì)的功能直接推向數(shù)以十億計(jì)的用戶,這不是急功近利又是什么?

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。