文 | 藍媒匯 陶然
編輯 | 魏曉
歲末年初，蘋果加快了在大模型領(lǐng)域的步伐。
上個月，蘋果先是推出了名為Ferret的多模態(tài)大語言模型，圖像處理技術(shù)堪稱驚艷；而后又發(fā)布了一篇題為《閃存中的大型語言模型：在有限內(nèi)存下高效的大型語言模型推理》的論文，直指大模型落地iPhone等“內(nèi)存有限”設(shè)備的方法。
進入新年，Siri助手將搭載生成式模型Ajax的消息，再次不脛而走。
去年六月和九月的兩次重要發(fā)布會，蘋果分別掏出了早有傳聞的XR項目和iPhone系列的慣例年更，前者市場反響平平，后者擠牙膏被批像是被“卡脖子”了，硅谷All in大模型之時，蘋果官方對人工智能這一年度熱詞始終閉口不談。
公司CEO庫克曾解釋道，蘋果有計劃在更多產(chǎn)品中加入AI，但要“深思熟慮”。
現(xiàn)如今，也許是想好了，也許是技術(shù)突破了，留了一手的蘋果，終于不藏了。
iPhone的AI時刻，來了？
Siri助手AI化其實早有預兆：去年七月份，彭博社發(fā)文稱蘋果內(nèi)部正在暗中測試一款對標OpenAI和谷歌的生成式AI工具，暫定名“Apple GPT”。
因使用Google JAX框架進行構(gòu)建，Apple GPT的開發(fā)框架被命名為Ajax。
當時的消息稱，蘋果LLM技術(shù)的最大用武之地，便是整合在Siri內(nèi)部，讓語音助手以更為智能的方式協(xié)助用戶。
現(xiàn)在，更多細節(jié)被透露——蘋果發(fā)布的論文稱，這項將大語言模型放在閃存中優(yōu)化運行的技術(shù)，較傳統(tǒng)運行方法提高了4-5倍（CPU）和20-25倍（GPU）的推理速度。
把大象（大模型）裝進冰箱（手機）里的方法，來了：先減少閃存?zhèn)鬏數(shù)臄?shù)據(jù)量，再提高每次傳輸?shù)耐掏铝俊?/p>
先看框架：以手機為例，平時購機時的【12+256G】、【16+512G】，12/16為運行內(nèi)存，256/512為儲存空間。
以此類推絕大部分移動設(shè)備存儲結(jié)構(gòu)，運存空間小，但讀取速率高（DRAM 10GB/s）；儲存空間大，但讀取速率相對較低（Flash Memory 1GB/s）
一般來說，大模型的推理階段，模型加載、分析數(shù)據(jù)需要直接占用運存，而目前主流手機市場最大的16GB運存，也并不能完全滿足大模型所需的空間：模型大?。臼謾C內(nèi)存。
蘋果給出的解決方案是“先減少閃存?zhèn)鬏數(shù)臄?shù)據(jù)量”——把大模型完全體放在空間更大的儲存中，運行時只調(diào)用必要數(shù)據(jù)進入運存。
這并非一個簡單的搬箱子過程，如何正確篩選出所有必要數(shù)據(jù)，以及如何把數(shù)據(jù)快速由閃存?zhèn)鬏數(shù)竭\存，是兩個需要解決的問題。
方法之一被命名為sliding window（滑窗）：
假設(shè)大模型正在處理Once upon a time there was a kid who had a dream這句話，在處理“Once upon a time there”這段字符的時候，圖中上半部分的青色格子（神經(jīng)元）處于激活狀態(tài)；而當處理字段變到“upon a time there was”（往后推進了一個字符），圖中下半部新啟用了藍色格子，并刪除了了此前青色部分的幾個格子（以粉色標注），其余青色保持不變。
這就是sliding Window的核心思想：查缺補漏，多退少補。在大模型運行過程中，只保留一開始就激活的神經(jīng)元，后續(xù)的每次運算，都基于前一次參數(shù)進行刪除和添加，省去了一部分重復工作。
當然，這種預設(shè)也并非沒有問題，知乎博主@Civ發(fā)文稱，sliding window可用的核心假設(shè)是大模型在處理相鄰數(shù)據(jù)時前后具有相似性，但這個相似性蘋果沒有展開論證。
再者是傳輸：將多次傳輸?shù)臄?shù)據(jù)拼接后一次性讀取，保持連續(xù)完整的“數(shù)據(jù)”，避免多次復制拖慢時間；另外，提前預留出一個較大的空間（較大，但仍遠遠小于模型整體占用），避免在數(shù)據(jù)傳輸過程中，因多次增加空間而加大設(shè)備的計算量。
此前，藍媒匯在《AI PC發(fā)布，聯(lián)想真的想通AI了嗎？》中提及，限制大模型進入移動端的瓶頸就是模型占地太大，影響設(shè)備本身正常運轉(zhuǎn)，或者塞不進去導致無法運行。
蘋果這項新研究的諸多技術(shù)細節(jié)，都在指向空間的壓縮，包括數(shù)據(jù)體量，也包括運算所占用的算力。
發(fā)力多模態(tài)
之前有個段子（也可能是真事兒），說是大模型搞不定人機驗證，是因為AI被設(shè)定不能說謊，所以無法選擇“我不是機器人”。
去年十月份，蘋果還是以論文的形式公布了一項研究成果：Ferret大模型，自己搞定谷歌人機驗證了。
遙遙領(lǐng)先于GPT4。
不久之前，蘋果公布了更多Ferret模型的細節(jié)、功能。
圖/蘋果 Github Ferret模型介紹
和GPT4相比，F(xiàn)erret的領(lǐng)先之處在于，它不僅能準確識別并處理圖像內(nèi)容，還能用算法區(qū)分圖片中各種元素（人、物體等等），并根據(jù)用戶指令找出對應元素。
這種多模態(tài)理解能力，使得Ferret能夠同時處理用戶輸入的圖像和自然語言，并且由于其算法能夠?qū)D像中的元素準確拆分、定位，F(xiàn)erret可以準確理解如“圖片右上角”、“靠近沙發(fā)”這類指令。
相比于卷瘋了的自然語言處理，這種基于圖像的交互使得信息更加直觀。
最近一次更新，蘋果提供了Ferret的7B和13B兩個版本，并創(chuàng)建了包含了1.1M個樣本的GRIT的數(shù)據(jù)集以豐富空間知識，進一步增強功能。
考慮到蘋果相當成熟的產(chǎn)品生態(tài)以及巨量用戶規(guī)模，AI落地帶來的換機潮等收益，或?qū)O為可觀。
2023年被稱為是AI的iPhone時刻，現(xiàn)在，蘋果的AI時刻大約也快到了。