文｜巴比特資訊  

你還在感嘆生成式AI 帶來的革命性改變？感嘆 GPT-4 的強(qiáng)大？還在猜測 GPT-5 會有哪些新功能？OpenAI 已經(jīng)看到了更遠(yuǎn)的地方，而且已經(jīng)在行動。

OpenAI團(tuán)隊(duì)昨天發(fā)布了他們的最新動向，成立了一個(gè)新團(tuán)隊(duì) Superalignment，由 Ilya Sutskever（OpenAI 聯(lián)合創(chuàng)始人兼首席科學(xué)家）和 Jan Leike（對齊負(fù)責(zé)人）共同領(lǐng)導(dǎo)。這是一個(gè)關(guān)于超級智能（Superintelligence）的團(tuán)隊(duì)，專注于超級智能對齊問題研究。OpenAI 聲稱將在未來四年內(nèi)將 20% 的計(jì)算資源用于解決超級智能對齊問題，足以見得 OpenAI 的重視程度。

什么是超級智能（Superintelligence）？

超級智能是指一種擁有超越人類智能的智能系統(tǒng)，它不僅僅是簡單的計(jì)算機(jī)程序，而是一個(gè)智能體，具有認(rèn)知能力、情感能力、自我意識和意圖等特征，能夠獨(dú)立思考、判斷和決策，甚至在一定程度上能夠超越人類的智能。超級智能的概念是相對于目前的人工智能系統(tǒng)而言的，它是指一種更加先進(jìn)的人工智能，能夠在更廣泛的領(lǐng)域和復(fù)雜環(huán)境中應(yīng)用。

目前，超級智能仍然是一個(gè)理論上的概念，尚未被實(shí)現(xiàn)。實(shí)現(xiàn)超級智能需要解決許多技術(shù)上的問題，包括機(jī)器學(xué)習(xí)、自然語言處理、計(jì)算機(jī)視覺、推理和決策等方面的挑戰(zhàn)。另外，超級智能的出現(xiàn)也會帶來許多倫理、社會和政治等方面的問題，如超級智能的控制權(quán)、安全和隱私等問題。

超級智能是一種令人興奮和引人注目的概念，因?yàn)樗軌蛟诟鱾€(gè)領(lǐng)域產(chǎn)生各種重要的應(yīng)用，比如醫(yī)療診斷、新藥研發(fā)、智能交通、自動化生產(chǎn)和安全防御等。同時(shí)，超級智能也具備一些風(fēng)險(xiǎn)和挑戰(zhàn)，如果失去控制，可能會對人類帶來巨大的威脅。

實(shí)現(xiàn)超級智能需要解決許多技術(shù)上的問題。其中最重要的問題之一是如何讓智能系統(tǒng)擁有自主學(xué)習(xí)的能力，即不斷從數(shù)據(jù)和經(jīng)驗(yàn)中學(xué)習(xí)新知識和技能，從而不斷提高自己的智能水平。同時(shí)，超級智能還需要具備強(qiáng)大的推理、決策和創(chuàng)新能力，能夠自主思考和解決各種復(fù)雜問題。

“當(dāng)我們接近超級智能時(shí)”，我們需要更多地考慮人工智能的存在風(fēng)險(xiǎn)?！瞬?/p>

超級智能將在十年內(nèi)成為現(xiàn)實(shí)？至少 OpenAI 如此認(rèn)為

OpenAI認(rèn)為，超級智能將是人類發(fā)明的最具影響力的技術(shù)，可以幫助我們解決世界上許多最重要的問題。 但超級智能的巨大力量也可能非常危險(xiǎn)，并可能導(dǎo)致人類喪失權(quán)力，甚至導(dǎo)致人類滅絕。雖然超級智能現(xiàn)在看來還很遙遠(yuǎn)，但我們相信它可能在十年內(nèi)實(shí)現(xiàn)。

如何解決超級智能存在的風(fēng)險(xiǎn)？

超級智能雖然能量巨大，但風(fēng)險(xiǎn)同樣巨大。OpenAI表示，管理這些風(fēng)險(xiǎn)將需要新的治理機(jī)構(gòu)并解決超級智能協(xié)調(diào)的問題，即如何確保人工智能系統(tǒng)比人類聰明得多但同時(shí)還能遵循人類意圖？

OpenAI并沒有給出答案，他們認(rèn)為人類目前無法可靠地監(jiān)督那些比人類還聰明的人工智能系統(tǒng)，當(dāng)前的對齊技術(shù)無法擴(kuò)展到超級智能，因此需要尋求新的科學(xué)技術(shù)突破。

不過，OpenAI解決超級智能對齊問題的路徑已經(jīng)很明確，即建立一個(gè)大致達(dá)到人類水平的自動對齊研究員，提高人工智能系統(tǒng)從人類反饋中學(xué)習(xí)并協(xié)助人類評估人工智能的能力。 目標(biāo)是建立一個(gè)足夠?qū)R的人工智能系統(tǒng)，可以幫助我們解決所有其他對齊問題。

在去年，OpenAI 已經(jīng)發(fā)布一篇闡明他們關(guān)于對齊研究路線的博文：

https://openai.com/blog/our-approach-to-alignment-research

OpenAI 的新團(tuán)隊(duì) Superalignment 這個(gè)團(tuán)隊(duì)將由頂尖機(jī)器學(xué)習(xí)研究人員和工程師組成的團(tuán)隊(duì)，目標(biāo)是在四年內(nèi)解決超級智能對齊的核心技術(shù)挑戰(zhàn)，包括開發(fā)新方法到擴(kuò)大規(guī)模再到部署。

OpenAI首席科學(xué)家 Ilya Sutskever已經(jīng)將超級智能對齊問題作為核心研究重點(diǎn)。超級智能對齊從根本上來說是一個(gè)機(jī)器學(xué)習(xí)問題，OpenAI 正在招募優(yōu)秀的機(jī)器學(xué)習(xí)專家。

參考資料：https://openai.com/blog/introducing-superalignment