文｜巴比特資訊
AI 驅(qū)動的圖像生成正在蓬勃發(fā)展，這是有充分理由的：它有趣且易于使用。雖然這些模型帶來了新的創(chuàng)意可能性，但它們可能會引起人們對不良行為者潛在濫用的擔(dān)憂，這些不良行為者可能會故意生成圖像來欺騙人們。即使是為了好玩而創(chuàng)作的圖像也可能會像病毒一樣傳播并可能誤導(dǎo)人們。
例如，今年早些時候，教皇方濟各穿著一件華麗的白色蓬松夾克的圖片在網(wǎng)上瘋傳，特朗普被逮捕的照片引發(fā)熱議。這些圖像不是真實的照片，但很多人都被愚弄了，因為沒有任何明確的指標(biāo)來區(qū)分這些內(nèi)容是由生成式 AI 創(chuàng)建的。
Meta 研究人員近日發(fā)布了一篇新的研究論文和技術(shù)代碼，詳細(xì)介紹了一種為 AI 圖片添加隱形水印的技術(shù)，用于區(qū)分開源生成式 AI 模型何時創(chuàng)建的圖像。隱形水印將信息合并到數(shù)字內(nèi)容中。這些水印肉眼看不見，但可以通過算法檢測到——即使人們重新編輯了圖像。雖然圍繞水印還有其他研究方向，但許多現(xiàn)有方法在生成 AI 圖像后創(chuàng)建水印。
據(jù) Everypixel Journal 報道，用戶已經(jīng)使用三個開源存儲庫的模型創(chuàng)建了超過 110 億張圖像。在這種情況下，只需刪除生成水印的行即可刪除不可見水印。Stable Signature 提出了一種方法來避免水印被刪除。
01、Stable Signature 方法的工作原理
論文地址：
https://arxiv.org/abs/2303.15435
Github 地址：
https://github.com/facebookresearch/stable_signature
Stable Signature 通過將水印扎根于模型中，并使用可追溯到圖像創(chuàng)建位置的水印，消除了刪除水印的可能性。
讓我們通過下面的圖表來看看這個過程是如何工作的。
Alice 訓(xùn)練了一個主生成模型。在分發(fā)之前，她對模型的一小部分（稱為解碼器）進行了微調(diào)，從而為 Bob 生成給定的水印。該水印可以標(biāo)識型號版本、公司、用戶等。
Bob 收到他的模型版本并生成圖像。生成的圖像將帶有 Bob 的水印。Alice 或第三方可以對它們進行分析，看看圖像是否是由使用生成式 AI 模型的 Bob 生成的。
這通過兩步來實現(xiàn)：
1. 聯(lián)合訓(xùn)練兩個卷積神經(jīng)網(wǎng)絡(luò)。一種將圖像和隨機消息編碼為水印圖像，另一種則從水印圖像的增強版本中提取消息。目標(biāo)是使編碼和提取的消息匹配。訓(xùn)練后，只保留水印提取器。
2. 對生成模型的潛在解碼器進行微調(diào)以生成包含固定簽名的圖像。在此微調(diào)過程中，會對批量圖像進行編碼、解碼和優(yōu)化，以最大限度地減少提取的消息與目標(biāo)消息之間的差異，并保持感知圖像質(zhì)量。這種優(yōu)化過程快速有效，只需要小批量和很短的時間即可獲得高質(zhì)量的結(jié)果。
02、評估 Stable Signature 的性能
我們知道人們喜歡分享和轉(zhuǎn)發(fā)圖像。如果 Bob 與 10 個朋友分享了他創(chuàng)建的圖像，然后每個朋友又與另外 10 個朋友分享了該圖像，結(jié)果會怎樣？在此期間，有人可能會更改圖像，例如裁剪、壓縮或更改顏色。研究人員構(gòu)建了Stable Signature以應(yīng)對這些變化。無論人們?nèi)绾无D(zhuǎn)換圖像，原始水印都可能保留在數(shù)字?jǐn)?shù)據(jù)中，并且可以追溯到創(chuàng)建它的生成模型。
研究人員發(fā)現(xiàn) Stable Signature 相對于被動檢測方法的兩大優(yōu)勢：
首先，能夠控制和減少誤報的產(chǎn)生，當(dāng)將人類生成的圖像誤認(rèn)為是 AI 生成的圖像時，就會發(fā)生誤報。考慮到在線共享的非 AI 生成圖像的盛行，這一點至關(guān)重要。例如，最有效的現(xiàn)有檢測方法可以發(fā)現(xiàn)大約 50% 的編輯生成圖像，但仍會產(chǎn)生大約 1/100 的誤報率。換句話說，在每天接收 10 億張圖像的用戶生成內(nèi)容平臺上，大約 1000 萬張圖像將被錯誤標(biāo)記，從而僅檢測到一半的 AI 生成圖像。
另一方面，Stable Signature 以 1e-10 的誤報率（可以設(shè)置為特定的期望值）以相同的精度檢測圖像。此外，這種水印方法允許追蹤同一模型的不同版本的圖像——這是被動技術(shù)無法實現(xiàn)的能力。
03、如果一個大模型經(jīng)過了微調(diào)，Stable Signature 如何檢測到微調(diào)版本生成的圖像？
AI 大模型的一種常見做法是采用基礎(chǔ)模型并對其進行微調(diào)，以處理有時甚至為一個人量身定制的特定用例。例如，可以向模型顯示 Alice 的狗的圖像，然后 Alice 可以要求模型生成她的狗在海灘的圖像。這是通過 DreamBooth、Textual Inversion 和 ControlNet 等方法完成的。這些方法作用于潛在模型級別，并且不會更改解碼器。這意味著我們的水印方法不受這些微調(diào)的影響。
總體而言，Stable Signature 與矢量量化圖像建模（如 VQGAN）和潛在擴散模型（如 Stable Diffusion）配合良好。由于這種方法不修改擴散生成過程，因此它與上述流行模型兼容。通過一些調(diào)整，穩(wěn)定簽名也可以應(yīng)用于其他建模方法。
04、AI 水印真的靠譜嗎？
通過添加隱形水印的方式來識別 AI 生成圖像的技術(shù)最近受到很多爭議。Google DeepMind 最近宣布針對圖像生成推出一種添加水印的工具 SynthID，同時識別 AI 生成的圖像。通過掃描圖像中的數(shù)字水印，SynthID 可以評估圖像是由 Imagen 模型生成的可能性。
但 AI 水印是否能夠被輕易去除？據(jù)外媒 Engadget、Wired 等報道，美國馬里蘭大學(xué)的一個研究小組對 AI 生成內(nèi)容的“數(shù)字水印”技術(shù)可靠性進行研究，發(fā)現(xiàn)這一技術(shù)可被輕易破解。
該校計算機科學(xué)教授 Soheil Feizi 面對 AI 生成圖像的水印現(xiàn)狀時直言不諱：“目前我們沒有任何可靠的水印技術(shù)，我們破解了所有的水印?！?/p>
在測試過程中，研究人員可輕松避開現(xiàn)有的水印方法，并發(fā)現(xiàn)在非 AI 生成的圖像上添加“假水印”更為容易。同時，該團隊還開發(fā)出了一種“幾乎無法”從圖像中去除的水印技術(shù)，且不會完全損害圖像的知識產(chǎn)權(quán)。
AI 水印這種方式仍舊不過成熟，并不能成為百分百有效的工具。我們需要期待未來能夠出現(xiàn)新的技術(shù)來為生成式 AI 圖像保駕護航，避免虛假圖片泛濫，避免版權(quán)侵害。
參考資料：
https://ai.meta.com/blog/stable-signature-watermarking-generative-ai/