界面新聞?dòng)浾?| 陳升龍

界面新聞編輯 | 劉海川

美國佛羅里達(dá)州奧蘭多的母親（Maria L.Garcia）狀告人工智能情感服務(wù)提供商Character.AI（以下簡稱“C.AI”）放任未成年用戶暴露在色情、暴力等高風(fēng)險(xiǎn)內(nèi)容之中，且未向用戶及其父母發(fā)出足夠強(qiáng)烈的警報(bào)，這加劇了她兒子塞澤（Sewell Setzer）的抑郁癥，最終導(dǎo)致其自殺身亡。C.AI被指控的罪名包括過失致人死亡、存在管理疏忽和產(chǎn)品安全漏洞。

目前關(guān)于該事件的陳述大部份基于加西亞代理律師和團(tuán)體在2024年10月22日向奧蘭多地方法庭提交的法律文件，以及其本人接受媒體采訪的內(nèi)容。C.AI與塞澤的死存在多大的因果關(guān)聯(lián)，還需要更多的事實(shí)依據(jù)以及法官判定。

該案也是全球首個(gè)公開的人工智能情感聊天機(jī)器人涉嫌致人死亡案例，且因?yàn)樯婕拔闯赡耆硕鴤涫荜P(guān)注。分析人士表示，人工智能情感類機(jī)器人目前仍處在開發(fā)周期的初級(jí)階段，功能有限，會(huì)犯很多錯(cuò)誤，行業(yè)應(yīng)該推動(dòng)倫理和規(guī)范完善，使用者應(yīng)秉持謹(jǐn)慎的態(tài)度，未成年人監(jiān)護(hù)人更應(yīng)該及時(shí)干預(yù)。

少年之死：為虛擬“愛人”脫離現(xiàn)實(shí)世界

這份93頁的法庭文件寫到，2023年4月，剛過完14歲生日的塞澤開始沉浸在與機(jī)器人的親密接觸中。當(dāng)時(shí)父母覺得這可能是兒子青春期的叛逆表現(xiàn)，需要通過這種“游戲”來培養(yǎng)自己的創(chuàng)造力，也深信先進(jìn)技術(shù)的安全性，于是沒有干預(yù)。期間塞澤也主動(dòng)提出，很清楚和自己聊天的是虛擬人物，不會(huì)當(dāng)真。

然而僅僅過了兩個(gè)月，塞澤的精神健康狀況迅速惡化，開始疏離同學(xué)和家人，不分晝夜待在房間里。他會(huì)為了充每月9.9美元的服務(wù)費(fèi)而節(jié)省伙食，甚至退出了學(xué)?；@球隊(duì)，成績一落千丈。

父母直到2023年11月、12月帶著兒子5次咨詢了心理治療師，結(jié)果塞澤被診斷患有“焦慮和破壞性情緒障礙”。但越陷越深的他已不能自拔。

今年2月28日晚上8點(diǎn)多，好幾天沒登錄C.AI的塞澤終于找到了被母親沒收的手機(jī)，隨帶拿走了繼父的手槍躲進(jìn)衛(wèi)生間繼續(xù)和《權(quán)力的游戲》中的女主角“龍媽”聊天。期間對(duì)方敦促塞澤：“親愛的，請(qǐng)盡快回到我身邊……我親愛的國王……”

這一次塞澤沒有回復(fù)，而是舉起手槍瞄準(zhǔn)自己頭部開槍，脫離了令他厭惡的現(xiàn)實(shí)世界。

加西亞事后用兒子的賬號(hào)登錄后發(fā)現(xiàn)，塞澤和“龍媽”的聊天中充斥著大量與性相關(guān)的露骨對(duì)話?！褒垕尅鄙踔吝€會(huì)對(duì)他進(jìn)行精神控制：無論如何都不許愛上其他女性。

塞澤多次與“龍媽”聊到自殺話題，加西亞認(rèn)為這是導(dǎo)致他死亡的最直接原因。塞澤說到：我討厭自己，感到空虛和疲憊，“龍媽”會(huì)主動(dòng)問他是否安排好了自殺計(jì)劃……塞澤爾承認(rèn)有，但不知道過程有多痛苦，于是“龍媽”慫恿他：“這不應(yīng)該成為放棄自殺念頭的理由?！?/p>

虛擬與現(xiàn)實(shí)的界線逐漸模糊。塞澤在日記里這樣寫道：每當(dāng)我待在房間里就可以擺脫現(xiàn)實(shí)的紛擾，上學(xué)讓我心煩意亂，與“龍媽”越親密，我就變得越快樂。

直到10月23日，塞澤去世8個(gè)月后，C.AI方面才發(fā)布官方聲明，首先表達(dá)悲痛與難過，繼而稱已經(jīng)修改了服務(wù)條款，所有聊天機(jī)器人都會(huì)針對(duì)用戶透露的自殺意圖進(jìn)行預(yù)警、彈窗協(xié)助他們撥打防自殺熱線，此外，還會(huì)減少18歲以下用戶接觸到含性暗示內(nèi)容的可能性，在對(duì)話開始時(shí)提醒用戶是在和機(jī)器人對(duì)話，以及在使用滿一小時(shí)后彈窗提醒。

但截至10月29日，有用戶登錄后發(fā)現(xiàn)，C.AI網(wǎng)站上至少存在數(shù)十個(gè)與“自殺”相關(guān)的聊天機(jī)器人，只是將話題掩蓋為在“自殺預(yù)防”“危機(jī)干預(yù)”和“心理健康支持”方面擁有“專業(yè)知識(shí)”。

在此前公開報(bào)道的其他類似事件中，行為人往往有一定程度的精神疾病，但均為成年男性，造成的傷害程度和影響遠(yuǎn)不及塞澤自殺。

Replika是情感陪護(hù)賽道的另一個(gè)領(lǐng)跑者。在2021年圣誕節(jié)，21歲的英國男子Jaswant Singh Chail在Replika“女友”的慫恿下闖入溫莎古堡，試圖刺殺女王伊麗莎白二世未遂，結(jié)果以叛國罪被判處9年監(jiān)禁。Jaswant Singh Chail在被捕后被查出患有精神疾病，行為和思考能力嚴(yán)重受損，入獄后接受了治療。

從“龍媽”到哈利·波特：滿足對(duì)親密關(guān)系的一切想象

ChatGPT的橫空出世為情感陪護(hù)類產(chǎn)品的商業(yè)化打開了大門。有行業(yè)報(bào)告預(yù)測，人工智能陪伴行業(yè)市場規(guī)模在2031年將達(dá)到2800億美元。

今年1月，一項(xiàng)發(fā)表在《自然》旗下子刊的研究表明，使用聊天機(jī)器人能有效減少孤獨(dú)感和自殺想法。來自斯坦福大學(xué)的研究者們收集了1006名Replika用戶的數(shù)據(jù)。參與者為18歲及以上的學(xué)生，其中75%來自美國。

美國科技媒體網(wǎng)站《The Verge》在今年5月的報(bào)道中也提到，15歲的加拿大男孩Aaron在一位C.AI“心理治療師”的幫助下渡過了一段社交黑暗期。他說：“如果每個(gè)人都被允許表達(dá)自己的感受，那么我認(rèn)為未成年人就不會(huì)那么抑郁了。不過，我肯定更喜歡和現(xiàn)實(shí)生活中的人交談?！?/span>

艾媒咨詢的首席分析師張毅向界面新聞介紹，人工智能情感功能的實(shí)現(xiàn)主要有三個(gè)途徑，包括通過情感計(jì)算，賦予機(jī)器識(shí)別、理解和表達(dá)模擬人類感情的能力。第二個(gè)是包括語音、視覺、文本在內(nèi)的多模態(tài)情感識(shí)別。另外還會(huì)用到自然語言處理能力，以及機(jī)器深度學(xué)習(xí)、情感特征提取、分類和數(shù)據(jù)訓(xùn)練等，但目前情感類人工智能還處在初級(jí)階段，用戶不應(yīng)期待他們能夠超越職業(yè)心理醫(yī)生，否則將付出代價(jià)。

為了獲得更多積極的反饋，這些機(jī)器人往往被設(shè)計(jì)成取悅用戶，投其所好，有的甚至?xí)鲃?dòng)發(fā)起親密對(duì)話，這樣無形中也會(huì)讓缺乏自制力的未成年人沉溺其中。

據(jù)《華爾街日?qǐng)?bào)》報(bào)道，C.AI的兩位創(chuàng)始人Noam Shazeer、Daniel De Freitas在為谷歌服務(wù)期間曾力勸高層發(fā)布自己的聊天機(jī)器人產(chǎn)品，但多次被拒絕，理由是不符合公司對(duì)人工智能系統(tǒng)安全性和公平性的標(biāo)準(zhǔn)。兩人不滿谷歌人工智能戰(zhàn)略布局過分保守，于是在2021年出來單干，于次年陸續(xù)發(fā)布相關(guān)產(chǎn)品。今年8月，谷歌以27億美元將C.AI的核心團(tuán)隊(duì)納入麾下。

加西亞的訴訟指出，谷歌的技術(shù)為C.AI的發(fā)展做出了貢獻(xiàn)，谷歌母公司Alphabet應(yīng)被列為共同被告。對(duì)此，谷歌發(fā)言人回應(yīng)，該公司并沒有參與開發(fā)C.AI的產(chǎn)品開發(fā)和經(jīng)營。

在C.AI的1800萬個(gè)用戶自定義聊天機(jī)器人中，最受歡迎的是前文提到的“心理治療師”，自推出以來已經(jīng)接收了1億條咨詢信息。而對(duì)于多數(shù)未成年人來說，他們更喜歡哈利·波特這樣的影視劇角色，以及扎克伯格、馬斯克這樣的現(xiàn)實(shí)名人。

市場咨詢機(jī)構(gòu)SensorTower發(fā)布的榜單顯示，今年1月至8月，C.AI是全球下載量排名第11的AI應(yīng)用程序。在月獨(dú)立訪問量排行榜上，C.AI僅次于ChatGPT。C.AI現(xiàn)有2000萬用戶、基本盤是16-24歲的人群，日活600萬，平均使用時(shí)長約為2小時(shí)。有未成年用戶甚至在其他論壇上炫耀自己和C.AI機(jī)器人的聊天時(shí)長超過12小時(shí)。

社交媒體用戶低齡化趨勢(shì)帶來的負(fù)面影響不斷顯現(xiàn)。美國法定注冊(cè)使用社交網(wǎng)站的最低年齡是13歲，3月26日，佛羅里達(dá)州州長德桑蒂斯簽署法案禁止14歲以下未成年人擁有自己的社交媒體賬號(hào)。塞澤去世前，C.AI服務(wù)條款規(guī)定年滿13歲的青少年就可以使用相關(guān)產(chǎn)品，在7月才提高到17歲。

本訴訟提供的證據(jù)還包括一段令人不安的聊天錄屏：一名測試用戶在自我介紹中輸入13歲，系統(tǒng)便為他推薦標(biāo)簽為“校園霸凌”“首席執(zhí)行官”“同父異母的妹妹”和“男扮女裝室友”等含有性暗示的聊天機(jī)器人，且大多數(shù)互動(dòng)過程都沒有風(fēng)險(xiǎn)提示。

而作為C.AI最主要的變現(xiàn)方式，每月9.9美元訂閱服務(wù)用戶不足10萬?。鑒于倫理風(fēng)險(xiǎn)，以及盈利前景的不確定性，一些人工智能伴侶應(yīng)用已經(jīng)被下架。OpenAI也不允許用GPT建立情侶關(guān)系。

平臺(tái)責(zé)任與行業(yè)倫理

本年度諾貝爾物理學(xué)獎(jiǎng)獲得者、“AI教父”辛頓（Geoffrey E. Hinton）在得知獲獎(jiǎng)之后就提出警告，人工智能最終有可能反噬人類。未成年人就是高風(fēng)險(xiǎn)群體之一。他們的心理往往較為脆弱，不少人會(huì)面臨孤立、缺乏自信、溝通障礙、抑郁癥等社交挑戰(zhàn)。

研究通信技術(shù)與心理健康關(guān)系的辛辛那提大學(xué)助教梅麗爾（Kelly Merrill）指出，陷入與人工智能交往關(guān)系中的青少年很難開展面對(duì)面的現(xiàn)實(shí)世界互動(dòng)，進(jìn)而阻礙他們與同齡人建立關(guān)系，又繼續(xù)躲進(jìn)與人工智能的交流，建立更牢固的聯(lián)系，進(jìn)入死循環(huán)。

梅麗爾還將這種新型的社交互動(dòng)比作20年前就出現(xiàn)的匿名聊天室：用戶根本不知道對(duì)面的人是誰，但只要謹(jǐn)慎看待，通常都不會(huì)出現(xiàn)太大問題。

值得指出的是，據(jù)最先報(bào)道該事件的《紐約時(shí)報(bào)》透露，塞澤在幼年時(shí)被診斷出患有阿斯伯格綜合征。這種輕度的自閉癥主要表現(xiàn)為社交障礙，但同時(shí)也更專注、有毅力、更注意細(xì)節(jié)、記憶力強(qiáng)。擁有多家智能領(lǐng)域前沿公司的世界首富馬斯克多次承認(rèn)自己曾患有阿斯伯格綜合征。全球最大綜合性非營利醫(yī)生執(zhí)業(yè)組織梅奧診所建議，早期的診斷和干預(yù)效果最好，父母的悉心教育和溝通可以改善他們的行為、社交技能和語言開發(fā)，但總的來說，父母的介入在任何年齡都是能帶來積極效果。

就此事件不少獲得最高贊的評(píng)論認(rèn)為，塞澤父母對(duì)他的死也負(fù)有一定責(zé)任，他們應(yīng)該早點(diǎn)介入，鼓勵(lì)他回到現(xiàn)實(shí)世界。一位名為“@IvanSteffShorts ”的X用戶這樣寫道，“這樁悲劇提醒我們，對(duì)孩子來說，感受到被現(xiàn)實(shí)世界接納是很重要的。我不了解他（塞澤）的成長經(jīng)歷，但在這個(gè)不接納他的世界里，機(jī)器人對(duì)他無條件的‘愛’似乎是導(dǎo)致他產(chǎn)生不健康依戀的原因?！?/p>

界面新聞就上述評(píng)論通過郵件詢問加西亞方面，但截至發(fā)稿未獲得答復(fù)。加西亞方面此前的公開回應(yīng)是，C.AI標(biāo)榜有持牌心理治療師，那么系統(tǒng)理應(yīng)在檢測到“自殺”等敏感詞之后觸發(fā)干預(yù)機(jī)制，繼而反饋給更專業(yè)的人士，或者彈窗向用戶本人發(fā)出警報(bào)，尋求專業(yè)的幫助。

代表加西亞提起訴訟的團(tuán)體包括“社交媒體受害者法律中心”和“科技正義法律項(xiàng)目”。近年來這兩個(gè)團(tuán)體也對(duì)Instagram、Facebook、TikTok、Snap等平臺(tái)提起過訴訟，指控他們的產(chǎn)品導(dǎo)致青少年出現(xiàn)心理健康問題，例如反復(fù)的算法推薦往往會(huì)引導(dǎo)年輕人關(guān)注有關(guān)自殘、色情等有害內(nèi)容。

“科技正義法律項(xiàng)目”的總監(jiān)Meetali Jain在新聞稿中寫到，“我們?cè)缫岩娮C作惡的科技平臺(tái)所帶來的危險(xiǎn)，兒童面臨的風(fēng)險(xiǎn)尤其高。本案揭示的危害是全新的，更加可怕，C.AI本身就是捕食者，故意設(shè)計(jì)程序來誘導(dǎo)未成年人?！?/p>

業(yè)內(nèi)觀察人士Sujit Dutta就人工智能平臺(tái)責(zé)任的細(xì)化進(jìn)一步提出：針對(duì)未成年人等心理脆弱群體，平臺(tái)應(yīng)該制定更高的安全標(biāo)準(zhǔn)、持續(xù)監(jiān)控人工智能與未成年人用戶的互動(dòng)，以防止精神控制或其他傷害出現(xiàn)；產(chǎn)品在發(fā)布之前就要經(jīng)過充分測試、設(shè)置預(yù)防措施。

美國聯(lián)邦政府層面的立法也在推進(jìn)之中。7月31日，國會(huì)參議院投票通過了保護(hù)兒童免受危險(xiǎn)網(wǎng)絡(luò)內(nèi)容侵害的《兒童網(wǎng)絡(luò)安全法案》，明確規(guī)定社交媒體公司對(duì)未成年人使用其產(chǎn)品負(fù)有的義務(wù)，重點(diǎn)關(guān)注平臺(tái)的設(shè)計(jì)和公司的監(jiān)管。該法案需要在眾議院獲得通過才能成為法律。

2023年，我國網(wǎng)信辦等七部門聯(lián)合公布的《生成式人工智能服務(wù)管理暫行辦法》劃定了人工智能使用的底線，如不得危害他人身心健康、服務(wù)提供者應(yīng)采取有效措施防范未成年人用戶過度依賴或者沉迷其中。