文丨穆斯塔法·蘇萊曼（DeepMind聯(lián)合創(chuàng)始人、微軟人工智能CEO） 邁克爾·巴斯卡爾（ 作家、數(shù)字出版人、咨詢顧問和企業(yè)家 ）

（本文節(jié)選自作者新書《浪潮將至：技術(shù)、權(quán)力與未來的沖擊》。界面新聞獲授權(quán)刊發(fā)。）

人類的歷史就是一部災(zāi)難史

在某種程度上，人類的歷史就是一部災(zāi)難史。大流行病廣泛存在。其中有兩場大流行病曾導(dǎo)致世界上多達30%的人口死亡：6世紀(jì)的查士丁尼瘟疫和14世紀(jì)的黑死病。1300年，英格蘭的人口約為700萬，但到了1450年，由于瘟疫的肆虐，人口銳減到僅剩200萬。

當(dāng)然，災(zāi)難也可能是人為造成的。一戰(zhàn)和二戰(zhàn)分別導(dǎo)致全球約1%和3%的人口死亡。隨著原子彈的出現(xiàn)，人類現(xiàn)在擁有了足以多次毀滅地球上所有生命的致命力量。過去需要數(shù)年甚至數(shù)十年才可能發(fā)生的災(zāi)難性事件，現(xiàn)在只需按下按鈕，便可在幾分鐘內(nèi)發(fā)生。

隨著新的技術(shù)浪潮逼近，我們又朝著潛在的災(zāi)難邁出了一大步。風(fēng)險的上限顯著提升，同時，那些企圖釋放災(zāi)難性力量的人所擁有的途徑也大幅增加。我們將從國家的脆弱性和國家職能所面臨的威脅出發(fā)，展開更廣泛的討論，并進一步設(shè)想：在技術(shù)遏制無法實現(xiàn)的情況下，人類世界遲早會發(fā)生什么。

這些技術(shù)中的絕大多數(shù)都將用于有益目的。雖然它們的風(fēng)險是我討論的焦點，但我們必須記住，這些技術(shù)也將日復(fù)一日地改善無數(shù)人的生活。我們探討的是幾乎沒人愿意看到的極端情況，尤其是開發(fā)這些工具的人所不愿看到的。然而，即使這些情況僅代表極罕見的應(yīng)用案例，我們也不能忽視它們。在新的技術(shù)浪潮下，不法分子有可能造成嚴(yán)重破壞，引發(fā)大規(guī)模的不穩(wěn)定。請想象一下，當(dāng)任何一個具備一定能力的實驗室或黑客都能合成復(fù)雜的DNA鏈時，我們離災(zāi)難性事件還有多遠？

最終，隨著史上最具影響力的技術(shù)滲入我們生活的方方面面，極端情況的發(fā)生概率也將大幅提升。一定會出現(xiàn)一些問題，其嚴(yán)峻程度和擴散速度都將與技術(shù)所蘊含的巨大能力相當(dāng)。新技術(shù)浪潮的4個特征預(yù)示著，如果不在各個層面采取強有力的遏制措施，那么像人為策劃的流行病這樣的災(zāi)難性后果將比以往任何時候都更可能發(fā)生。

這是不可接受的。然而，這里存在一個困境：人們同樣難以接受那些最為穩(wěn)妥的技術(shù)遏制方案，因為它們可能會將我們引向?qū)Ｖ浦髁x和反烏托邦的道路。

一種可能性是，社會轉(zhuǎn)向技術(shù)驅(qū)動的全面監(jiān)控模式。這種強制執(zhí)行的機制，旨在應(yīng)對那些難以控制或根本不受控制的技術(shù)。這是以犧牲自由為代價來換取安全。另一種可能性是，人們選擇徹底遠離技術(shù)前沿。這種情況不大可能發(fā)生，而且這顯然并非我們所尋求的解決方案。從理論上講，能夠應(yīng)對這一關(guān)乎人類未來命運的困境的唯一實體，正是民族國家體系。我們需要它來遏制技術(shù)力量，而這一體系正在這些技術(shù)力量的沖擊下面臨崩塌的風(fēng)險。

隨著時間的推移，這些技術(shù)的影響將迫使人類在災(zāi)難與反烏托邦的兩種極端之間探尋一條中間道路。這已成為我們這個時代的根本性困境。

關(guān)于即將到來的技術(shù)浪潮所帶來的風(fēng)險，人工智能領(lǐng)域的隱患尤其引人關(guān)注，而其風(fēng)險仍在不斷攀升。一旦軍隊實現(xiàn)全面自動化，沖突的發(fā)生門檻將會顯著降低。戰(zhàn)爭可能因某些永遠難以明確的原因而意外觸發(fā)，人工智能系統(tǒng)在檢測到特定行為模式或威脅時，可能會立即以勢不可當(dāng)?shù)牧α孔龀龇磻?yīng)。可以說，這樣的戰(zhàn)爭將呈現(xiàn)出一種完全陌生的性質(zhì)，它容易迅速升級，并帶來前所未有的毀滅性后果。

正是基于這樣的邏輯，我常聽到這類聲音：“通用人工智能是人類所面臨的最大風(fēng)險！它將毀滅世界！”然而，當(dāng)被追問那將是怎樣的場景，那一切將如何發(fā)生、有多么危險時，人們開始回避，給出含糊不清的回答。他們認(rèn)為，人工智能可能會占用所有計算資源，將整個世界變成一臺龐大的計算機；隨著人工智能不斷增強，必須認(rèn)真思考和減輕那些最極端情況的影響。然而，在我們能夠做到這些之前，很多問題可能已經(jīng)發(fā)生。

在未來10年里，人工智能將成為歷史上最強大的力量放大器。這就是為什么它將引發(fā)大規(guī)模的權(quán)力重新分配。它將成為人類進步的最大加速器，但也將為戰(zhàn)爭和事故、恐怖組織、專制政府、權(quán)力過度擴張的公司以及公然盜竊和故意破壞等危害行為提供助力。設(shè)想一個能夠輕松通過現(xiàn)代圖靈測試卻用于災(zāi)難性目的的通用人工智能。先進的人工智能和合成生物學(xué)技術(shù)不僅能為那些致力于尋找新能源或研發(fā)改善生命的藥物的組織所用，也可能成為像特德·卡欽斯基這樣的恐怖分子的工具。

人工智能既極具價值，又充滿危險，因為它正是人性的最好與最壞方面的延伸。作為一種基于學(xué)習(xí)的技術(shù)，它能夠持續(xù)適應(yīng)、不斷探索，生成全新的策略與見解，這些可能遠遠超出以往的人工智能的考慮范圍。無論是要求它提出切斷淡水供應(yīng)的方法、讓股市崩潰、觸發(fā)核戰(zhàn)爭，還是設(shè)計出終極病毒，它都能做到。相較于設(shè)想的巨型回形針場景或奇異的科技惡魔，我更擔(dān)憂的是在未來10年內(nèi)，人工智能將會放大哪些現(xiàn)有的力量。

如果未能遏制即將到來的技術(shù)浪潮，災(zāi)難的降臨就是遲早的事。

一種自我強化的“人工智能專政”

阻止災(zāi)難發(fā)生顯然是緊迫之事。災(zāi)難越大，利害關(guān)系越大，對對策的需求也越大。如果災(zāi)難的威脅變得過于嚴(yán)峻，那么政府可能會得出結(jié)論，即阻止災(zāi)難的唯一方法是嚴(yán)格控制技術(shù)的各個方面。這將確保沒有任何東西逃過安全警戒線，沒有任何失控的人工智能或人造病毒能夠被制造、被泄漏，甚至被研究。

技術(shù)已滲透到我們文明的方方面面，因此，監(jiān)控技術(shù)就意味著監(jiān)控一切。每個實驗室、工廠、服務(wù)器，每段新代碼，每串合成的DNA，每個企業(yè)和大學(xué)，每個隱匿在森林小屋中的生物黑客，每個龐大的匿名數(shù)據(jù)中心，無一例外。面對即將到來的技術(shù)浪潮所帶來的前所未有的復(fù)雜局面，為了遏制潛在的災(zāi)難，我們必須采取前所未有的應(yīng)對措施。這不僅要求對一切進行嚴(yán)密監(jiān)控，還需要保留在必要時制止一切的能力。

一定會有人提出這樣的觀點：我們應(yīng)該讓權(quán)力集中到極端程度，構(gòu)建全景式的監(jiān)控體系，對人類生活的方方面面做出細致安排，以確保大流行病或人工智能失控等情況永遠不會發(fā)生。許多國家會逐漸說服自己，真正實現(xiàn)這一目標(biāo)的唯一途徑就是實施我們在上一章中所描述的那種全面監(jiān)控，即由強大技術(shù)支持的全面控制。這無疑打開了通往反烏托邦世界的大門。事實上，面對潛在的災(zāi)難，對某些人而言，反烏托邦的結(jié)果可能會被視為一種解脫。

這些提議目前仍處于邊緣地位，特別是在西方社會。然而，在我看來，它們受到更廣泛的關(guān)注只是時間問題。即將到來的技術(shù)浪潮為反烏托邦式的統(tǒng)治提供了動機和手段，即在穩(wěn)步增加的數(shù)據(jù)搜集和強制措施的支持下，形成一種自我強化的“人工智能專政”。

只要出現(xiàn)巨大的災(zāi)難，人們就會呼吁建立極端的監(jiān)控設(shè)施，以防未來再次發(fā)生類似事件。當(dāng)技術(shù)出現(xiàn)問題時，技術(shù)限制和打壓措施會在多久后出現(xiàn)呢？在可能面臨災(zāi)難的壓力下，誰又能有效地反對這些措施呢？監(jiān)控式的反烏托邦機制會在多久后生根發(fā)芽，并進一步擴散和深化呢？隨著局部的技術(shù)失敗案例不斷累積，加強控制的呼聲也會越來越高。而隨著控制的加強，權(quán)力的制衡往往會被削弱，這將改變總體的社會趨勢，為進一步的權(quán)力干預(yù)鋪平道路。最終，社會將逐漸進入技術(shù)反烏托邦狀態(tài)。

自由與安全之間的權(quán)衡是一個古老的兩難困境。

我認(rèn)為，一個完全透明且基于精細監(jiān)控的壓制性社會，不過是另一種失敗形態(tài)。在這種情境下，即將到來的技術(shù)浪潮不會將人類引向繁榮，而是引向繁榮的反面。每一項強制性的、帶有偏見和不公平的技術(shù)應(yīng)用都將被肆意放大。人們來之不易的權(quán)利和自由將被剝奪，而對許多國家來說，國家自決權(quán)也難免會受到損害。這次被放大的不再是國家的脆弱性，而是徹頭徹尾的壓迫。如果我們避免災(zāi)難的方式是建立這樣的反烏托邦社會，那么這根本不是一個可以接受的方式。

災(zāi)難威脅和對安全的渴望將持續(xù)推動人們朝著反烏托邦方向前進。每一場技術(shù)浪潮都曾為社會秩序帶來系統(tǒng)性的沖擊。不過迄今為止，以往的技術(shù)浪潮尚未帶來廣泛且系統(tǒng)性的全球災(zāi)難風(fēng)險。但即將到來的技術(shù)浪潮與此前截然不同，這可能促使人類采取一種反烏托邦式的應(yīng)對方案。

有人認(rèn)為我們已深陷壓制性局面，我想說，與未來可能的景象相比，我們目前的處境根本不算什么。我們當(dāng)前的路徑并非唯一的反烏托邦路徑，還有諸多其他潛在的反烏托邦路徑。然而，目前這一路徑似乎與即將到來的技術(shù)浪潮及其伴隨的政治挑戰(zhàn)和潛在的災(zāi)難性后果直接相關(guān)。這并非一個抽象的思想實驗。我們必須直面以下問題：技術(shù)背后的推動力強大而不可阻擋，人類是否應(yīng)該暫緩技術(shù)的飛速發(fā)展？我們是否應(yīng)該拒絕技術(shù)的無節(jié)制發(fā)展？盡管這種想法看起來不太可能實現(xiàn)，但現(xiàn)在，我們是否應(yīng)該給技術(shù)按下一個暫停鍵？

停滯：另一種災(zāi)難

數(shù)百年來，技術(shù)的持續(xù)發(fā)展似乎使社會得以掙脫歷史規(guī)律的桎梏。然而，認(rèn)為歷史的動態(tài)演變已經(jīng)停滯不前是一種誤解。21世紀(jì)的文明固然與瑪雅文明大相徑庭，但龐大且渴望權(quán)力的上層建筑、眾多的人口、能源供應(yīng)以及文明發(fā)展的硬性限制依然存在；它們所帶來的影響只是被暫時抑制了。

假設(shè)存在一種情況，即技術(shù)的驅(qū)動力能夠被有效遏制。那么，在這種情況下，我們能否全面暫停技術(shù)的發(fā)展？答案是否定的，絕對不可能。

現(xiàn)代文明只有依靠持續(xù)的技術(shù)發(fā)展才能兌現(xiàn)其承諾。社會體系存在的前提是能夠確保長期的經(jīng)濟增長，這依賴于新技術(shù)的發(fā)明和推廣。無論是我們期望以更低的成本享受更多的消費，在不增加稅收負(fù)擔(dān)的情況下獲得更多的公共服務(wù)，還是我們認(rèn)為可以在不斷提高生活質(zhì)量的同時無限制地破壞環(huán)境，國家與公民之間的契約（可以說是最重要的契約）也都建立在技術(shù)的基礎(chǔ)之上。

正如我們所討論過的，開發(fā)新技術(shù)是應(yīng)對地球面臨的重大挑戰(zhàn)的關(guān)鍵所在。沒有新技術(shù)的支持，我們將難以克服這些挑戰(zhàn)。人力和物質(zhì)資源的消耗成本不容忽視。我們目前所擁有的技術(shù)組合雖然在很多方面令人驚嘆，但并沒有明顯的跡象表明它們能夠可持續(xù)地以發(fā)達國家的標(biāo)準(zhǔn)支持超過80億的人口。這一點可能對一些人來說難以接受，但值得強調(diào)的是，在不引入新技術(shù)的情況下，解決氣候變化問題，或維持不斷提高的生活和醫(yī)療水平，或改善教育和職業(yè)機會，都是不可能實現(xiàn)的。

假設(shè)暫停技術(shù)發(fā)展是可能的，那么從某種意義上說，這將意味著一種安全保障。首先，它將限制新的災(zāi)難性風(fēng)險的出現(xiàn)。然而，這并不意味著我們能成功避開反烏托邦的局面。相反，隨著21世紀(jì)的社會日益顯現(xiàn)出脆弱性和不可持續(xù)性，技術(shù)的暫?？赡軙l(fā)另一種形式的反烏托邦。如果沒有新技術(shù)的支持，一切遲早都會陷入停滯，甚至可能徹底崩潰。

鑒于人口和資源限制，僅僅為了維持現(xiàn)有生活水平，我們可能就需要將全球生產(chǎn)率提高2~3倍。然而，對世界上大部分人來說，僅僅維持現(xiàn)有生活水平仍然是不可接受的。許多國家的兒童死亡率比發(fā)達國家要高出12倍。當(dāng)然，即使只是保持當(dāng)前的生活水平，也不僅僅意味著人口和資源方面的壓力，還將加劇氣候緊急狀況。

請注意：停滯不前本身就是災(zāi)難。

這不僅關(guān)乎餐廳勞動力短缺或電池價格昂貴的問題。這意味著現(xiàn)代生活的方方面面都存在崩潰的風(fēng)險，從而帶來一系列深遠影響，并與眾多本已棘手的問題相互交織。我認(rèn)為，人們往往低估了我們的生活方式在多大程度上依賴于持續(xù)的技術(shù)進步。歷史的先例—幾乎是每個過往文明的常態(tài)，都清晰地揭示了這一點。在最好的情況下，停滯不前預(yù)示著未來的衰??；但更可能的情況是，它將導(dǎo)致令人擔(dān)憂的崩潰。有些人可能會說，停滯意味著第三種極端情況，使我們面對一個巨大的三難困境。在我看來，這個觀點并不成立。首先，到目前為止，這種路徑是最不可能的選擇。其次，即使這種情況真的發(fā)生了，它也只是以另一種形式呈現(xiàn)了前面所提到的困境。暫停技術(shù)發(fā)展并非解決之道；其只會導(dǎo)向另一種形態(tài)的反烏托邦，另一種形式的災(zāi)難。

即使存在可能性，試圖阻止即將到來的技術(shù)浪潮的想法也并不受歡迎。維持現(xiàn)有生活水平已然離不開技術(shù)，更不用說提高生活水平了。同時，防止社會崩潰也需要技術(shù)的支持。對技術(shù)說“不”的代價可能關(guān)乎人類的生死存亡。然而，無論我們以何種態(tài)度面對技術(shù)，其都伴隨著重大風(fēng)險和潛在負(fù)面效應(yīng)。

這就是我們面臨的巨大困境。

接下來，我們該怎么辦？

從核時代和數(shù)字時代開始，這一困境逐漸凸顯。1955 年，在生命的最后階段，數(shù)學(xué)家約翰·馮·諾依曼撰寫了一篇名為《我們能在技術(shù)中幸存嗎？》的論文。他的觀點與本書的主旨不謀而合，他認(rèn)為全球社會“深陷迅速成熟的危機之中—這場危機的根源在于技術(shù)進步所必需的環(huán)境已經(jīng)變得過于狹隘且缺乏有序組織”。在論文的結(jié)尾部分，馮·諾依曼將生存視為“一種可能性”，仿佛他正身處自己設(shè)計的計算機所造成的“蘑菇云” 陰霾之下?！凹夹g(shù)性風(fēng)險沒有任何‘解藥’，”他提到，“任何試圖為當(dāng)前爆炸式的進步尋找自動安全通道的嘗試都將是徒勞的。”

在技術(shù)構(gòu)建方面，我并非唯一一個既想享受技術(shù)帶來的諸多益處，又想消除相關(guān)風(fēng)險的人。有些人會嘲笑這種野心，認(rèn)為它是一種典型的硅谷式狂妄自大。但是我始終堅信技術(shù)仍是改善我們世界和生活的主要驅(qū)動力。盡管技術(shù)帶來了諸多危害、缺陷和意外后果，但總體而言，它的貢獻迄今為止仍是較大的。畢竟，即便是技術(shù)的最嚴(yán)厲批評者，也不會拒絕使用熱水壺、服用阿司匹林、觀看電視和乘坐地鐵。對于每一支槍，技術(shù)提供了一劑救命的青霉素；對于每一條錯誤信息，技術(shù)也協(xié)助揭露真相。

然而，不知為何，自馮·諾依曼的時代以來，我和許多人開始對技術(shù)發(fā)展的長期軌跡感到憂慮。我擔(dān)心的是，技術(shù)呈現(xiàn)出了一種其凈收益可能會急劇轉(zhuǎn)變?yōu)樨?fù)值的可能性，而我們卻無法阻止這種轉(zhuǎn)變，我們陷入了一種無能為力的困境。

沒有人能確切預(yù)知這一切將如何展開。由于該困境涉及的因素廣泛，其具體結(jié)果的規(guī)模和性質(zhì)都難以預(yù)測和估量。然而，我堅信，在未來幾十年里，社會繁榮、監(jiān)視與災(zāi)難威脅之間的權(quán)衡狀態(tài)將變得更加尖銳。即使是健康狀況最好的國家體系，也難以應(yīng)對這樣的困境。

這是人類作為“技術(shù)人”所面臨的終極挑戰(zhàn)。

如果這本書對技術(shù)的態(tài)度有些自相矛盾，顯得部分積極，部分消極，那是因為這種看似矛盾的觀點恰恰是對我們當(dāng)前處境最為誠實的評估。我們的曾祖父母若是在世，定會對我們今日世界的富足感到驚嘆，但他們也會對這個世界的脆弱性與危險性感到震驚。隨著新技術(shù)浪潮的到來，我們正面臨著一個真正的威脅，面臨一系列潛在的災(zāi)難性后果—這樣的風(fēng)險甚至關(guān)乎人類的生死存亡。技術(shù)同時代表了人類最好和最壞的方面。任何片面的觀點都不足以被稱為對技術(shù)的客觀審視。唯一合理的技術(shù)認(rèn)識論便是同時認(rèn)識到技術(shù)的正負(fù)兩面。

在過去的10年里，這一困境越發(fā)凸顯，擺脫它的任務(wù)也變得更加緊迫。審視現(xiàn)實世界，技術(shù)遏制似乎難以實現(xiàn)。然而，考慮到那些可能的后果，另一件事情也同樣顯而易見：為了所有人的利益，我們必須讓遏制成為可能。

（文章僅代表作者觀點。責(zé)編郵箱：yanguihua@jiemian.com。）