編譯｜巴比特資訊 Benj Edwards

在過(guò)去的幾個(gè)月里，像 ChatGPT 這樣的人工智能聊天機(jī)器人已經(jīng)吸引了全世界的注意力，因?yàn)樗鼈兡軌蛞灶?lèi)似人類(lèi)的方式就幾乎任何話題進(jìn)行交談。但它們也有一個(gè)嚴(yán)重的缺點(diǎn)：它們可以輕易地提出令人信服的虛假信息，使它們成為不可靠的事實(shí)信息來(lái)源和潛在的誹謗來(lái)源。

為什么 AI 聊天機(jī)器人會(huì)胡編亂造，我們是否能夠完全信任它們的輸出？我們?cè)儐?wèn)了幾位專(zhuān)家，并深入研究了這些人工智能模型的工作原理，以找到答案。

“幻覺(jué)”：人工智能中的一個(gè)重要術(shù)語(yǔ)

人工智能聊天機(jī)器人，如 OpenAI 的 ChatGPT，依賴(lài)于一種稱(chēng)為“大型語(yǔ)言模型”(LLM）的人工智能來(lái)生成它們的響應(yīng)。LLM 是一種計(jì)算機(jī)程序，經(jīng)過(guò)數(shù)百萬(wàn)文本源的訓(xùn)練，可以閱讀并生成“自然語(yǔ)言”文本語(yǔ)言，就像人類(lèi)自然地寫(xiě)作或交談一樣。不幸的是，它們也會(huì)犯錯(cuò)。

在學(xué)術(shù)文獻(xiàn)中，人工智能研究人員經(jīng)常將這些錯(cuò)誤稱(chēng)為“幻覺(jué)”（hallucinations）。但是，隨著這個(gè)話題成為主流，這個(gè)標(biāo)簽的爭(zhēng)議也越來(lái)越大，因?yàn)橛行┤苏J(rèn)為它把人工智能模型擬人化了（暗示它們有類(lèi)似人類(lèi)的特征），或者在不應(yīng)該暗示這一點(diǎn)的情況下賦予它們代理（暗示它們可以做出自己的選擇）。商業(yè) LLM 的創(chuàng)造者也可能利用幻覺(jué)作為借口，將錯(cuò)誤的輸出歸咎于 AI 模型，而不是為輸出本身負(fù)責(zé)。

不過(guò)，生成式 AI 太新了，我們需要從現(xiàn)有的想法中借用隱喻來(lái)向更廣泛的公眾解釋這些高度技術(shù)性的概念。在這種情況下，我們覺(jué)得術(shù)語(yǔ)“虛構(gòu)”（confabulation）雖然同樣不完美，但比“幻覺(jué)”更好。在人類(lèi)心理學(xué)中，當(dāng)某人的記憶有一個(gè)缺口，而大腦在無(wú)意欺騙他人的情況下令人信服地填補(bǔ)其余部分時(shí)，就會(huì)出現(xiàn)“虛構(gòu)”。ChatGPT 的工作方式與人腦不同，但“虛構(gòu)”一詞可以說(shuō)是一個(gè)更好的比喻，因?yàn)橛幸粋€(gè)創(chuàng)造性的填補(bǔ)空白的原則在起作用，我們將在下文進(jìn)行探討。

“虛構(gòu)”的問(wèn)題

當(dāng)人工智能機(jī)器人產(chǎn)生可能誤導(dǎo)、誤傳或誹謗的虛假信息時(shí)，這是一個(gè)大問(wèn)題。最近，《華盛頓郵報(bào)》報(bào)道了一位法律教授，他發(fā)現(xiàn) ChatGPT 將他列入了一份對(duì)某人進(jìn)行過(guò)性騷擾的法律學(xué)者名單。但這件事從未發(fā)生過(guò) -- 是 ChatGPT 編造的。同一天，Ars 報(bào)道了一位澳大利亞市長(zhǎng)，據(jù)稱(chēng)他發(fā)現(xiàn) ChatGPT 聲稱(chēng)他被判定犯有賄賂罪并被判處監(jiān)禁，這也完全是捏造的。

ChatGPT 推出后不久，人們就開(kāi)始宣稱(chēng)搜索引擎的終結(jié)。然而，與此同時(shí)，ChatGPT 的許多虛構(gòu)的例子開(kāi)始在社交媒體上流傳。人工智能機(jī)器人發(fā)明了不存在的書(shū)籍和研究，教授沒(méi)有寫(xiě)過(guò)的出版物，虛假的學(xué)術(shù)論文，虛假的法律引用，不存在的 Linux 系統(tǒng)功能，不真實(shí)的零售吉祥物，以及沒(méi)有意義的技術(shù)細(xì)節(jié)。

然而，盡管 ChatGPT 傾向于隨意撒些小謊，但與直覺(jué)相反的是，它對(duì)虛構(gòu)的抵抗才是我們今天談?wù)撍脑?。一些?zhuān)家指出，ChatGPT 在技術(shù)上比 vanilla GPT-3（其前身模型）有所改進(jìn)，因?yàn)樗梢跃芙^回答一些問(wèn)題或讓你知道它的答案可能不準(zhǔn)確。

大型語(yǔ)言模型專(zhuān)家、Scale AI 的提示工程師 Riley Goodside 說(shuō)：“ChatGPT 成功的一個(gè)主要因素是，它成功地抑制了虛構(gòu)，使許多常見(jiàn)問(wèn)題都不引人注意?！薄芭c它的前輩相比，ChatGPT 明顯不太容易編造東西?！?/p>

如果用作頭腦風(fēng)暴工具，ChatGPT 的邏輯跳躍和虛構(gòu)可能會(huì)導(dǎo)致創(chuàng)造性突破。但當(dāng)用作事實(shí)參考時(shí)，ChatGPT 可能會(huì)造成真正的傷害，OpenAI 也知道這一點(diǎn)。

在該模型推出后不久，OpenAI 首席執(zhí)行官 Sam Altman 在推特上說(shuō)：“ChatGPT 有很大的局限性，但在某些方面足夠好，足以造成一種偉大的誤導(dǎo)性印象?，F(xiàn)在依靠它來(lái)做任何重要的事情都是錯(cuò)誤的。這是進(jìn)步的預(yù)覽；我們?cè)诜€(wěn)健性和真實(shí)性方面還有很多工作要做。”在后來(lái)的一條推文中，他寫(xiě)道：“它確實(shí)知道很多東西，但危險(xiǎn)的是，它在相當(dāng)大的一部分時(shí)間里是自信而錯(cuò)誤的?！?/p>

這是怎么回事呢？

ChatGPT 如何運(yùn)作

為了理解像 ChatGPT 或 Bing Chat 這樣的 GPT 模型是如何虛構(gòu)信息的，我們必須知道 GPT 模型是如何運(yùn)作的。雖然 OpenAI 還沒(méi)有發(fā)布 ChatGPT、Bing Chat 甚至 GPT-4 的技術(shù)細(xì)節(jié)，但我們確實(shí)可以看到 2020 年介紹其前身 GPT-3 的研究論文。

研究人員通過(guò)使用一個(gè)被稱(chēng)為“無(wú)監(jiān)督學(xué)習(xí)”的過(guò)程來(lái)建立（訓(xùn)練）像 GPT-3 和 GPT-4 這樣的大型語(yǔ)言模型，這意味著他們用來(lái)訓(xùn)練模型的數(shù)據(jù)沒(méi)有被特別注釋或標(biāo)記。在這個(gè)過(guò)程中，模型被輸入大量的文本（數(shù)以百萬(wàn)計(jì)的書(shū)籍、網(wǎng)站、文章、詩(shī)歌、成績(jī)單和其他來(lái)源），并反復(fù)嘗試預(yù)測(cè)每個(gè)單詞序列中的下一個(gè)單詞。如果模型的預(yù)測(cè)接近實(shí)際的下一個(gè)詞，神經(jīng)網(wǎng)絡(luò)就會(huì)更新其參數(shù)以加強(qiáng)導(dǎo)致該預(yù)測(cè)的模式。

相反，如果預(yù)測(cè)不正確，該模型就會(huì)調(diào)整其參數(shù)以提高其性能并再次嘗試。這種試錯(cuò)的過(guò)程，通過(guò)一種叫做“反向傳播”的技術(shù)，使模型能夠從錯(cuò)誤中學(xué)習(xí)，并在訓(xùn)練過(guò)程中逐漸改善其預(yù)測(cè)結(jié)果。

因此，GPT 學(xué)會(huì)了數(shù)據(jù)集中的單詞和相關(guān)概念之間的統(tǒng)計(jì)關(guān)聯(lián)。有些人，如 OpenAI 首席科學(xué)家 Ilya Sutskever，認(rèn)為 GPT 模型甚至比這更進(jìn)一步，建立了一種內(nèi)部現(xiàn)實(shí)模型，因此可以更準(zhǔn)確地預(yù)測(cè)下一個(gè)最佳標(biāo)記，但這個(gè)想法是有爭(zhēng)議的。GPT 模型如何在其神經(jīng)網(wǎng)絡(luò)內(nèi)得出下一個(gè) token 的確切細(xì)節(jié)仍不確定。

在當(dāng)前的 GPT 模型浪潮中，這種核心訓(xùn)練（現(xiàn)在通常稱(chēng)為“預(yù)訓(xùn)練”）只發(fā)生一次。之后，人們可以在”推理模式“中使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，這讓用戶(hù)可以將輸入信息輸入到訓(xùn)練好的網(wǎng)絡(luò)中并得到一個(gè)結(jié)果。在推理過(guò)程中，GPT 模型的輸入序列總是由人類(lèi)提供，它被稱(chēng)為“提示”（prompt）。提示決定了模型的輸出，即使稍微改變一下提示，也會(huì)極大改變模型產(chǎn)生的結(jié)果。

例如，如果您提示 GPT-3“Mary had a”，它通常會(huì)用“l(fā)ittle lamb.”來(lái)完成句子。這是因?yàn)樵?GPT-3 的訓(xùn)練數(shù)據(jù)集中可能有數(shù)以千計(jì)的“Mary had a little lamb”的例子。但是，如果你在提示中添加更多的上下文，例如“In the hospital, Mary had a,”，結(jié)果就會(huì)改變，并返回“嬰兒”或“一系列檢測(cè)”等詞。

這就是 ChatGPT 的有趣之處，因?yàn)樗辉O(shè)定為與代理對(duì)話，而不僅僅是一個(gè)直接的文本完成工作。在 ChatGPT 的情況下，輸入提示是你與 ChatGPT 的整個(gè)對(duì)話，從你的第一個(gè)問(wèn)題或聲明開(kāi)始，包括在模擬對(duì)話開(kāi)始前提供給 ChatGPT 的任何具體指示。在這一過(guò)程中，ChatGPT 對(duì)它和你所寫(xiě)的一切都保持一個(gè)運(yùn)行中的短期記憶（稱(chēng)為“上下文窗口”），當(dāng)它與你“交談”時(shí)，它試圖將對(duì)話的記錄作為一個(gè)文本完成任務(wù)來(lái)完成。

此外，ChatGPT 與普通的 GPT-3 不同，因?yàn)樗€接受了人類(lèi)編寫(xiě)的對(duì)話記錄的訓(xùn)練。OpenAI 在其最初的 ChatGPT 發(fā)布頁(yè)面中寫(xiě)道：“我們使用有監(jiān)督的微調(diào)訓(xùn)練了一個(gè)初始模型：人類(lèi) AI 訓(xùn)練員提供了他們扮演雙方角色的對(duì)話——用戶(hù)和 AI 助手?！薄拔覀冏屌嘤?xùn)師可以訪問(wèn)模型編寫(xiě)的建議，以幫助它們撰寫(xiě)回復(fù)?！?/p>

ChatGPT 還使用一種稱(chēng)為“從人類(lèi)反饋中強(qiáng)化學(xué)習(xí)”或 RLHF 的技術(shù)，對(duì) ChatGPT 進(jìn)行了比 GPT-3 更嚴(yán)格的調(diào)整，在這種技術(shù)中，人類(lèi)評(píng)分者根據(jù)偏好對(duì) ChatGPT 的回答進(jìn)行排序，然后將這些信息反饋到模型中。通過(guò) RLHF, OpenAI 能夠在模型中灌輸避免回答許多它不能可靠回答的問(wèn)題的目標(biāo)。這使得 ChatGPT 能夠以比基本模型以更少的虛構(gòu)產(chǎn)生連貫的反應(yīng)。但是不準(zhǔn)確的地方仍然存在。

為什么 ChatGPT 會(huì)進(jìn)行虛構(gòu)

本質(zhì)上，GPT 模型的原始數(shù)據(jù)集中沒(méi)有任何東西能將事實(shí)與虛構(gòu)分開(kāi)。這種指導(dǎo)來(lái)自于：a）數(shù)據(jù)集中準(zhǔn)確內(nèi)容的普遍性；b）人類(lèi)對(duì)結(jié)果中事實(shí)信息的識(shí)別；或者 c）來(lái)自人類(lèi)的強(qiáng)化學(xué)習(xí)指導(dǎo)，強(qiáng)調(diào)某些事實(shí)的反應(yīng)。

LLMs 的行為仍然是一個(gè)活躍的研究領(lǐng)域。甚至創(chuàng)建這些 GPT 模型的研究人員仍在發(fā)現(xiàn)該技術(shù)令人驚訝的特性，這些特性在最初開(kāi)發(fā)時(shí)無(wú)人預(yù)測(cè)到。GPT 能夠做許多我們現(xiàn)在看到的有趣事情，如語(yǔ)言翻譯、編程和下棋，一度讓研究人員感到驚訝（要了解早期的情況，請(qǐng)查看 2019 年的 GPT-2 研究論文并搜索“surprising”一詞）。

因此，當(dāng)我們問(wèn)及 ChatGPT 為什么會(huì)進(jìn)行虛構(gòu)時(shí)，很難找出一個(gè)準(zhǔn)確的技術(shù)答案。而且，由于神經(jīng)網(wǎng)絡(luò)權(quán)重存在一個(gè)“黑匣子”的因素，所以在一個(gè)復(fù)雜的提示下，很難（如果不是不可能）預(yù)測(cè)它們的確切輸出。盡管如此，我們還是知道一些虛構(gòu)發(fā)生的基本原因。

理解 ChatGPT 的虛構(gòu)能力的關(guān)鍵是理解它作為預(yù)測(cè)機(jī)器的角色。當(dāng) ChatGPT 虛構(gòu)時(shí)，它正在尋找數(shù)據(jù)集中不存在的信息或分析，并用聽(tīng)起來(lái)合理的詞來(lái)填補(bǔ)空白。ChatGPT 特別擅長(zhǎng)編造東西，因?yàn)樗仨毺幚淼臄?shù)據(jù)量非常大，而且它收集單詞上下文的能力非常好，這有助于它將錯(cuò)誤信息無(wú)縫地放置到周?chē)奈谋局小?/p>

“我認(rèn)為思考虛構(gòu)的最好方法是思考大型語(yǔ)言模型的本質(zhì)：它們唯一知道怎么做的事情是根據(jù)統(tǒng)計(jì)概率，根據(jù)訓(xùn)練集選擇下一個(gè)最好的單詞，”軟件開(kāi)發(fā)人員 Simon Willison 說(shuō)，他經(jīng)常就這個(gè)主題撰寫(xiě)文章。

在 2021 年的一篇論文中，來(lái)自牛津大學(xué)和 OpenAI 的三位研究人員確定了像 ChatGPT 這樣的 LLM 可能產(chǎn)生的兩大類(lèi)虛假信息。第一種來(lái)自于其訓(xùn)練數(shù)據(jù)集中不準(zhǔn)確的源材料，如常見(jiàn)的錯(cuò)誤概念（例如，“吃火雞會(huì)讓人昏昏欲睡”）。第二種情況來(lái)自于對(duì)其訓(xùn)練材料（數(shù)據(jù)集）中不存在的特定情況的推斷；這屬于前述的“幻覺(jué)”標(biāo)簽。

GPT 模型是否進(jìn)行胡亂猜測(cè)是基于人工智能研究人員稱(chēng)之為“溫度”的屬性，它通常被描述為“創(chuàng)造力”設(shè)置。如果創(chuàng)造力設(shè)置得高，模型就會(huì)胡亂猜測(cè)；如果設(shè)置得低，它就會(huì)根據(jù)其數(shù)據(jù)集確定性地吐出數(shù)據(jù)。

最近，在 Bing Chat 工作的微軟員工 Mikhail Parakhin 在推特上談到了 Bing Chat 的幻覺(jué)傾向以及造成這種情況的原因?！边@就是我之前試圖解釋的：幻覺(jué) = 創(chuàng)造力，“他寫(xiě)道?！彼噲D利用它所掌握的所有數(shù)據(jù)產(chǎn)生字符串的最高概率的延續(xù)。很多時(shí)候它是正確的。有時(shí)人們從未產(chǎn)生過(guò)這樣的延續(xù)?！?/p>

Parakhin 說(shuō)，那些瘋狂的創(chuàng)造性跳躍是使 LLM 有趣的原因?！蹦憧梢糟Q制幻覺(jué)，但這超級(jí)無(wú)聊，“他寫(xiě)道?！盵它] 總是回答‘我不知道’，或者只讀搜索結(jié)果中存在的內(nèi)容（有時(shí)也不正確）?，F(xiàn)在缺少的是語(yǔ)調(diào)：在這些情況下，它不應(yīng)該聽(tīng)起來(lái)如此自信“。

當(dāng)涉及到微調(diào)像 ChatGPT 這樣的語(yǔ)言模型時(shí)，平衡創(chuàng)造性和準(zhǔn)確性是一個(gè)挑戰(zhàn)。一方面，提出創(chuàng)造性回應(yīng)的能力使 ChatGPT 成為產(chǎn)生新想法或解開(kāi)作者瓶頸的強(qiáng)大工具。這也使模型聽(tīng)起來(lái)更人性化。另一方面，當(dāng)涉及到產(chǎn)生可靠的信息和避免虛構(gòu)時(shí)，源材料的準(zhǔn)確性至關(guān)重要。在這兩者之間找到適當(dāng)?shù)钠胶馐钦Z(yǔ)言模型發(fā)展的一個(gè)持續(xù)的挑戰(zhàn)，但這是產(chǎn)生一個(gè)既有用又值得信賴(lài)的工具所必須的。

此外還有壓縮問(wèn)題。在訓(xùn)練過(guò)程中，GPT-3 考慮了 PB 級(jí)的信息，但得到的神經(jīng)網(wǎng)絡(luò)的大小只是它的一小部分。在一篇被廣泛閱讀的《紐約客》文章中，作者 Ted Chiang 稱(chēng)這是一張“模糊的網(wǎng)絡(luò) JPEG”。這意味著大部分事實(shí)訓(xùn)練數(shù)據(jù)會(huì)丟失，但 GPT-3 通過(guò)學(xué)習(xí)概念之間的關(guān)系來(lái)彌補(bǔ)這一點(diǎn)，之后它可以使用這些概念重新制定這些事實(shí)的新排列。就像一個(gè)記憶力有缺陷的人憑著對(duì)某件事情的直覺(jué)工作一樣，它有時(shí)會(huì)把事情弄錯(cuò)。當(dāng)然，如果它不知道答案，它也會(huì)給出它最好的猜測(cè)。

我們不能忘記提示在虛構(gòu)中的作用。在某些方面，ChatGPT 是一面鏡子：你給它什么，它就回給你什么。如果你給它提供虛假的信息，它就會(huì)傾向于同意你的觀點(diǎn)，并沿著這些思路”思考“。這就是為什么在改變主題或遇到不需要的反應(yīng)時(shí)，用新的提示開(kāi)始是很重要的原因。ChatGPT 是概率性的，這意味著它在本質(zhì)上是部分隨機(jī)的。即使是相同的提示，它的輸出也會(huì)在不同的時(shí)段發(fā)生變化。

所有這些都導(dǎo)致了一個(gè)結(jié)論，一個(gè) OpenAI 也同意的結(jié)論：目前設(shè)計(jì)的 ChatGPT 并不是一個(gè)可靠的事實(shí)信息來(lái)源，因此不能信任它?！盋hatGPT 對(duì)某些事情來(lái)說(shuō)是很好的，比如疏通作家的障礙或想出創(chuàng)造性的想法，“人工智能公司 Hugging Face 的研究員和首席道德科學(xué)家 Dr. Margaret Mitchell 說(shuō)。“它不是為事實(shí)而建的，因此也不會(huì)是事實(shí)。就是這么簡(jiǎn)單。”

虛構(gòu)能被解決嗎？

盲目相信 AI 聊天機(jī)器人的世代是一個(gè)錯(cuò)誤，但隨著底層技術(shù)的改進(jìn)，這種情況可能會(huì)改變。自 11 月發(fā)布以來(lái)，ChatGPT 已經(jīng)升級(jí)了幾次，一些升級(jí)包括準(zhǔn)確性的提高以及拒絕回答它不知道答案的問(wèn)題的能力。

那么，OpenAI 計(jì)劃如何使 ChatGPT 更加準(zhǔn)確？在過(guò)去幾個(gè)月里，我們就這個(gè)問(wèn)題多次聯(lián)系 OpenAI，但沒(méi)有得到任何回應(yīng)。但我們可以從 OpenAI 發(fā)布的文件和關(guān)于該公司試圖引導(dǎo) ChatGPT 與人類(lèi)工作者接軌的新聞報(bào)道中拉出線索。

如前所述，ChatGPT 如此成功的原因之一是使用 RLHF 的廣泛培訓(xùn)。正如 OpenAI 所解釋的那樣，" 為了使我們的模型更安全、更有幫助、更一致，我們使用了一種現(xiàn)有的技術(shù)，稱(chēng)為從人類(lèi)反饋中強(qiáng)化學(xué)習(xí)（RLHF）。在我們的客戶(hù)向 API 提交的提示中，我們的標(biāo)簽人員提供了所需模型行為的演示，并對(duì)我們模型的幾個(gè)輸出進(jìn)行排名。然后我們使用這些數(shù)據(jù)對(duì) GPT-3 進(jìn)行微調(diào)?！?/p>

OpenAI 的 Sutskever 認(rèn)為，通過(guò) RLHF 進(jìn)行額外的訓(xùn)練可以解決幻覺(jué)問(wèn)題。Sutskever 在本月早些時(shí)候接受《福布斯》采訪時(shí)說(shuō)：“我非常希望，通過(guò)簡(jiǎn)單地改進(jìn)人類(lèi)反饋步驟中的后續(xù)強(qiáng)化學(xué)習(xí)，我們可以教會(huì)它不要產(chǎn)生幻覺(jué)?！?/p>

他繼續(xù)說(shuō)道：

我們現(xiàn)在做事的方式是雇人來(lái)教我們的神經(jīng)網(wǎng)絡(luò)如何行動(dòng)，教 ChatGPT 如何行動(dòng)。你只要和它互動(dòng)，它就會(huì)根據(jù)你的反應(yīng)，推斷出，哦，這不是你想要的。你對(duì)它的輸出不滿(mǎn)意。因此，輸出不是很好，下次應(yīng)該做一些不同的事情。我認(rèn)為這種方法很有可能完全解決幻覺(jué)問(wèn)題。

就這一問(wèn)題也有其他不同聲音。Meta 公司的首席人工智能科學(xué)家 Yann LeCun 認(rèn)為，幻覺(jué)問(wèn)題不會(huì)被使用 GPT 架構(gòu)的當(dāng)前一代 LLM 所解決。但有一種迅速出現(xiàn)的方法，可能會(huì)給使用當(dāng)前架構(gòu)的 LLM 帶來(lái)很大的準(zhǔn)確性。

Goodside 說(shuō)：“在提高 LLM 的事實(shí)性方面，研究得最積極的方法之一是檢索增強(qiáng) -- 向模型提供外部文件作為來(lái)源和支持性背景”。他解釋說(shuō)，通過(guò)這種技術(shù)，研究人員希望教會(huì)模型使用像谷歌這樣的外部搜索引擎，“像人類(lèi)研究人員那樣在它們的答案中引用可靠的來(lái)源，并減少對(duì)模型訓(xùn)練期間學(xué)到的不可靠的事實(shí)性知識(shí)的依賴(lài)?！?/p>

Bing Chat 和 Google Bard 已經(jīng)通過(guò)引入網(wǎng)絡(luò)搜索做到了這一點(diǎn)，很快，支持瀏覽器的 ChatGPT 版本也將如此。此外，ChatGPT 插件旨在用它從外部來(lái)源（如網(wǎng)絡(luò)和專(zhuān)門(mén)的數(shù)據(jù)庫(kù)）檢索的信息來(lái)補(bǔ)充 GPT-4 的訓(xùn)練數(shù)據(jù)。這種增強(qiáng)類(lèi)似于有百科全書(shū)的人會(huì)比沒(méi)有百科全書(shū)的人更準(zhǔn)確地描述事實(shí)。

此外，也許可以訓(xùn)練像 GPT-4 這樣的模型，讓它意識(shí)到自己何時(shí)在編造事情并進(jìn)行相應(yīng)的調(diào)整。Mitchell 說(shuō)：“人們可以做一些更深入的事情，讓 ChatGPT 和類(lèi)似的東西從一開(kāi)始就更加真實(shí)，包括更復(fù)雜的數(shù)據(jù)管理，以及使用一種類(lèi)似于 PageRank 的方法，將訓(xùn)練數(shù)據(jù)與‘信任’分?jǐn)?shù)聯(lián)系起來(lái)……當(dāng)它對(duì)回應(yīng)不那么有信心時(shí)，還可以對(duì)模型進(jìn)行微調(diào)以對(duì)沖風(fēng)險(xiǎn)?！?/p>

因此，雖然 ChatGPT 目前因虛構(gòu)問(wèn)題陷入困境，但未來(lái)可能還有出路，為了一個(gè)開(kāi)始依賴(lài)這些工具作為基本助手（無(wú)論好壞）的世界，事實(shí)可靠性的改善不會(huì)很快到來(lái)。