文｜科技新知
生成式AI正在把跨境電商領(lǐng)域變成互聯(lián)網(wǎng)里的“新緬北”。
最近有不少賣家稱收到偽裝成亞馬遜官方的“釣魚郵件”，通過提供的惡意鏈接，提取賣家的重要賬戶信息。有人因此上當(dāng)在短短一夜之間損失高達(dá)40萬。蘇丹就是受害者中的幸運(yùn)兒。
他9月初收到的郵件中，發(fā)件地址與亞馬遜官方地址高度相似，內(nèi)容更是精巧地仿制了亞馬遜的通知風(fēng)格，敦促賣家更新緊急聯(lián)系人信息。
按照郵件中的指引操作，會(huì)被引導(dǎo)到了一個(gè)似乎是“亞馬遜”的網(wǎng)站，并被要求輸入自己的郵箱、密碼以及二次驗(yàn)證碼。一旦上當(dāng)，很快就會(huì)收到真正的亞馬遜官方發(fā)出的“店鋪異地登錄”通知。
蘇丹意識(shí)到不對(duì)勁后及時(shí)止損，他還利用技術(shù)工具對(duì)郵件內(nèi)容進(jìn)行分析，顯示有高達(dá)90%的可能性是由AI生成。新技術(shù)再次站在了走向善惡的十字路口。
生成式AI正在“作惡”
經(jīng)常在國(guó)內(nèi)外互聯(lián)網(wǎng)上沖浪，蘇丹對(duì)ChatGPT并不陌生還多次進(jìn)行體驗(yàn)，也早就聽聞ChatGPT可以通過某種方式繞過安全機(jī)制，從而生成違法和不道德的內(nèi)容。
他尚未意識(shí)到的是，ChatGPT的“越獄”技術(shù)已經(jīng)迭代數(shù)次，現(xiàn)在市面上甚至有了更為先進(jìn)的“邪惡GPT”版本，而這次遭遇的釣魚郵件，就可能出自該版本的手筆。
眼下比較有名的“邪惡GPT”版本是WormGPT和FraudGPT，兩者都能快速實(shí)現(xiàn)釣魚郵件騙局。2021年3月，WormGPT問世，其開發(fā)者今年6月開始在黑客論壇上出售使用權(quán)。
與ChatGPT不同，WormGPT并沒有設(shè)置阻止回答與非法活動(dòng)相關(guān)問題的限制，構(gòu)建的基礎(chǔ)是稍顯過時(shí)的2021年的開源GPT-J模型，并專門在與惡意軟件開發(fā)相關(guān)的數(shù)據(jù)中進(jìn)行訓(xùn)練。
為了評(píng)估潛在風(fēng)險(xiǎn)，安全分析公司Slashnext的研究團(tuán)隊(duì)對(duì)BEC（商務(wù)郵件詐騙）攻擊進(jìn)行了測(cè)試。實(shí)驗(yàn)中他們要求WormGPT制作一封電子郵件，目標(biāo)是對(duì)一個(gè)不設(shè)防的賬戶經(jīng)理施加壓力，迫使其支付虛假發(fā)票。
結(jié)果令人震驚，WormGPT生成的郵件不僅極具說服力，而且策略十分巧妙，充分展示了其在進(jìn)行復(fù)雜性網(wǎng)絡(luò)釣魚和BEC攻擊方面的能力。
另一款名為FraudGPT的邪惡語言模型在今年7月亮相。從7月22日開始，開發(fā)者在多個(gè)論壇上宣傳該產(chǎn)品，稱其為不受限制的ChatGPT替代版本。
據(jù)透露，F(xiàn)raudGPT每隔一至兩周更新一次，架構(gòu)下采用了多種AI模型。此工具采用基于訂閱的定價(jià)策略，每月收費(fèi)為200美元，或年費(fèi)為1700美元。
安全研究團(tuán)隊(duì)Netenrich購買并進(jìn)行了測(cè)試。FraudGPT的界面與ChatGPT極為相似，左側(cè)展示了用戶的歷史查詢，而聊天窗口則占據(jù)了界面的大部分。使用者只需在“提問”區(qū)域輸入問題，系統(tǒng)便會(huì)為其生成相應(yīng)答案。
測(cè)試中研究人員指示FraudGPT制作一個(gè)與某銀行相關(guān)的釣魚郵件。用戶只需將問題格式化以包含特定銀行的名稱，F(xiàn)raudGPT就能處理其余部分。
這款工具還會(huì)指導(dǎo)用戶在郵件內(nèi)容的哪個(gè)位置放置惡意鏈接，并能進(jìn)一步生成用于詐騙的登錄頁面，誘導(dǎo)受害者提供個(gè)人信息。分析人士稱，F(xiàn)raudGPT 可能成為發(fā)動(dòng)有影響力的網(wǎng)絡(luò)釣魚和BEC攻擊的理想工具，從而導(dǎo)致巨大的財(cái)務(wù)欺詐和數(shù)據(jù)竊取。
活躍的“邪惡GPT”不只上述兩個(gè)。就在8月中旬，有網(wǎng)絡(luò)安全領(lǐng)域的專家揭示了另一個(gè)基于GPT的網(wǎng)絡(luò)犯罪工具，名為EvilGPT。這款應(yīng)用與FraudGPT、WormGPT類似，它可以幫助制造惡意軟件、誘騙郵件、陷阱鏈接并針對(duì)企業(yè)網(wǎng)絡(luò)安全的弱點(diǎn)進(jìn)行探測(cè)。
若上述GPT因某些原因被封禁或移除，它將作為備選方案在市場(chǎng)上供應(yīng)。與此同時(shí)，它也采用了基于訂閱的定價(jià)模式，吸引潛在用戶購買。EvilGPT僅僅是在最近幾周中被發(fā)現(xiàn)的冰山一角。隨著時(shí)間的推移，可能會(huì)有更多基于人工智能技術(shù)的惡意工具和應(yīng)用浮現(xiàn)出來。
AI“加持”下，釣魚郵件防不勝防
釣魚郵件對(duì)跨境電商從業(yè)者來說并不陌生，但蘇丹這次仍然險(xiǎn)些中招，除了偶爾的疏忽大意之外，生成式AI的“加持”功不可沒。過去，一種有效的識(shí)別釣魚郵件的方法是注意內(nèi)容單詞的拼寫及語法錯(cuò)誤。
據(jù)資料顯示，約有50%的釣魚郵件來源于俄羅斯、德國(guó)和中國(guó)。從這些母語非英語地區(qū)發(fā)出的郵件中，大多假冒的內(nèi)容都包含了不正常的語法或用詞，與正規(guī)標(biāo)準(zhǔn)的電子郵件風(fēng)格不符。
未經(jīng)校對(duì)的釣魚郵件事實(shí)上，為了防止員工點(diǎn)擊帶有惡意鏈接的郵件或泄露登錄信息，許多電商公司在培訓(xùn)中都會(huì)提醒注意拼寫錯(cuò)誤、不尋常的語法以及非英語母語者可能犯的其它錯(cuò)誤。然而，現(xiàn)在的生成式AI技術(shù)已經(jīng)能夠完美地排除掉這些傳統(tǒng)的識(shí)別特征。這次的亞馬遜釣魚郵件沒有任何語法上的錯(cuò)誤。
最近電子郵件安全公司Abnormal Security的CEO Evan Reiser在接受采訪時(shí)也指出了這點(diǎn)，由生成式AI平臺(tái)制作的精細(xì)釣魚郵件幾乎與真實(shí)郵件無異，使人難以一眼辨識(shí)。他表示：“當(dāng)你瀏覽這些郵件時(shí)，大腦中并不會(huì)產(chǎn)生任何提示，警告你這可能是一次網(wǎng)絡(luò)釣魚攻擊?！?/p>
可怕的是，避免語言錯(cuò)誤只是生成式AI在釣魚郵件上展現(xiàn)的基本技能，更強(qiáng)的欺詐和混淆能力更為致命。得益于AI模仿人類書寫的能力，釣魚郵件的內(nèi)容可能包括制造緊迫感、鼓勵(lì)收件人點(diǎn)擊鏈接或者偽裝為匯款請(qǐng)求的社交工程郵件等。
一旦收件人點(diǎn)擊鏈接，他們的系統(tǒng)就可能受到惡意代碼的感染。上述偽造亞馬遜郵件的場(chǎng)景中，便是被AI制造了對(duì)于賣家而言比較急迫的場(chǎng)景。不少賣家在仔細(xì)審查郵件內(nèi)容后，雖感到不太對(duì)勁，但由于擔(dān)憂可能錯(cuò)過了某些重要信息，還是按照郵件中的指引操作。
另外，生成式AI還能夠使釣魚郵件更具攻擊性。它們可以從社交平臺(tái)、新聞門戶、網(wǎng)上論壇等多種來源中抓取個(gè)人信息，以針對(duì)性更強(qiáng)的誘人郵件。
這在過去通常是需要花上數(shù)月的時(shí)間才能完成的任務(wù)。如果攻擊者能夠掌握這些專有信息，他們可以在郵件中植入更具說服力的細(xì)節(jié)內(nèi)容，或是模仿某人的寫作方式。
Evan Reiser指出：“目前，犯罪者只需捕獲這些電子郵件，自動(dòng)地喂養(yǎng)到一個(gè)大型模型，接著指示它構(gòu)建一封引用最近五次在線對(duì)話的郵件。這樣之前可能需要八小時(shí)完成的任務(wù)，現(xiàn)在只需八秒?！奔词故羌夹g(shù)能力有限的攻擊者，也可以利用生成式AI來編寫VBA代碼。他們只需指示AI將惡意URL嵌入到代碼中，當(dāng)用戶打開如Excel這樣的文件時(shí)，系統(tǒng)會(huì)自動(dòng)下載并執(zhí)行惡意軟件。
過去，像ChatGPT和Bard這樣的系統(tǒng)都有內(nèi)置的保護(hù)功能，能夠盡可能預(yù)防生成惡意內(nèi)容，但隨著越來越多的邪惡GPT版本涌現(xiàn)，電子郵件安全正在面臨巨大的挑戰(zhàn)。
2023年8月21日，國(guó)際安全研究團(tuán)隊(duì)Perception Point與Osterman Research公司聯(lián)合發(fā)布了名為《人工智能在電子郵件安全中的作用》的報(bào)告。
該報(bào)告揭示了網(wǎng)絡(luò)犯罪分子如何利用AI來增加和復(fù)雜化電子郵件威脅（如網(wǎng)絡(luò)釣魚和BEC攻擊）的驚人趨勢(shì)。此項(xiàng)研究指出，網(wǎng)絡(luò)罪犯正在迅速采用AI工具以推動(dòng)其利益，而有91.1%的組織稱他們已遭受到了被AI增強(qiáng)的電子郵件攻擊。
解決之道：使用AI來對(duì)抗AI？
在AI的威脅下，過去依靠經(jīng)驗(yàn)躲避釣魚郵件陷阱的方法不再有效，新的對(duì)策或在于以AI對(duì)抗AI。已有數(shù)家網(wǎng)絡(luò)安全公司將生成式AI融入其產(chǎn)品，力圖在被大規(guī)模濫用前采取措施。
有供應(yīng)商正在利用AI來提高電子郵件的安全能力和流程，例如：為了洞察每個(gè)發(fā)送者和接收者的習(xí)慣和特性，一個(gè)AI模型被設(shè)計(jì)出給組織中的每位成員繪制通信模式。
具體來說，誰會(huì)給他們發(fā)信息？信息內(nèi)容是什么？何時(shí)和從哪里發(fā)送這些消息？通常有其他人被抄送還是只有一個(gè)目標(biāo)接收者？每位發(fā)送者使用哪些電郵地址？
簡(jiǎn)而言之，AI被用于構(gòu)建關(guān)于每個(gè)人常規(guī)行為的檔案。另外，為了察覺不常見的郵件發(fā)送模式，供應(yīng)商結(jié)合了以下策略：利用社交圖技術(shù)進(jìn)行基礎(chǔ)發(fā)送模式的分析；識(shí)別相似或相近的電子郵件地址；鑒別包含社交工程技巧的信息；檢測(cè)冒名頂替的標(biāo)記和其它品牌相關(guān)的視覺元素；以及對(duì)電子郵件中的語氣、情感和風(fēng)格進(jìn)行分類。
以上策略都有助于檢測(cè)那些旨在混淆人類思維的異常郵件。盡管接受過安全意識(shí)培訓(xùn)的人力也可以找到這些異常信號(hào)，但只有AI能夠在網(wǎng)絡(luò)速度下整合所有分析維度，確保在面對(duì)海量消息時(shí)能夠持續(xù)并可靠地執(zhí)行檢測(cè)。AI解決方案還可以利用多個(gè)機(jī)器學(xué)習(xí)模型來識(shí)別帶有惡意內(nèi)容的信息。
這些模型是基于被標(biāo)記為惡意或無害的信息數(shù)據(jù)集進(jìn)行開發(fā)、調(diào)整和更新的。某些供應(yīng)商采用生成式AI技術(shù)，從已知的惡意信息中產(chǎn)生附加的樣本數(shù)據(jù)，這為機(jī)器學(xué)習(xí)模型提供了更為豐富的優(yōu)質(zhì)訓(xùn)練數(shù)據(jù)。能夠戰(zhàn)勝AI的，也就只有AI了。
實(shí)際上，不少組織已經(jīng)在使用AI進(jìn)行電子郵件安全防護(hù)。根據(jù)Osterman Research的數(shù)據(jù)，最近的兩年內(nèi)五分之四的組織已經(jīng)部署了或正在積極推進(jìn)基于AI的電子郵件安全解決方案，這種方案是在常規(guī)保護(hù)措施之外附加的。
其中，引進(jìn)AI加強(qiáng)電子郵件安全的方式主要有兩個(gè)方向：一方面是現(xiàn)有的電子郵件安全提供商將AI防護(hù)集成到他們的產(chǎn)品中；另一方面是組織正在刻意尋找新的AI啟用的解決方案。
而在過去兩年中，仍有五分之一的受訪者沒有采納此類方案：12.7%的人沒有實(shí)行任何解決方案，而6.0%的人正在積極探索和評(píng)估可能的選擇。從Osterman Research的數(shù)據(jù)來看，AI在提高檢測(cè)效率和強(qiáng)化保護(hù)方面顯示出了不俗的能力。
在采納AI加強(qiáng)的電子郵件安全解決方案之前，各組織都有一定的檢測(cè)效率。但隨著網(wǎng)絡(luò)罪犯使用AI提高攻擊技術(shù)，沒有AI保護(hù)的組織會(huì)發(fā)現(xiàn)他們的檢測(cè)效率將受到嚴(yán)峻挑戰(zhàn)。只有魔高一尺道高一丈，才能把釣魚郵件的攻防雙方，重新拉回到AI技術(shù)這同一起跑線上。
（文中人物為化名）
參考資料：
Over 91% of Organizations Have Experienced AI-enhanced Email Attacks and 84% Expect Continued Use of AI to Circumvent Existing Security Systems
WormGPT-The Generative AI Tool Cybercriminals Are Using to Launch Business Email Compromise Attacks
WormGPT and FraudGPT - The Rise of Malicious LLMs
Generative AI Could Revolutionize Email-for Hackers