文 | 藍(lán)媒匯 陶然
編輯 | 魏曉
歲末年初，蘋果加快了在大模型領(lǐng)域的步伐。
上個(gè)月，蘋果先是推出了名為Ferret的多模態(tài)大語言模型，圖像處理技術(shù)堪稱驚艷；而后又發(fā)布了一篇題為《閃存中的大型語言模型：在有限內(nèi)存下高效的大型語言模型推理》的論文，直指大模型落地iPhone等“內(nèi)存有限”設(shè)備的方法。
進(jìn)入新年，Siri助手將搭載生成式模型Ajax的消息，再次不脛而走。
去年六月和九月的兩次重要發(fā)布會(huì)，蘋果分別掏出了早有傳聞的XR項(xiàng)目和iPhone系列的慣例年更，前者市場(chǎng)反響平平，后者擠牙膏被批像是被“卡脖子”了，硅谷All in大模型之時(shí)，蘋果官方對(duì)人工智能這一年度熱詞始終閉口不談。
公司CEO庫克曾解釋道，蘋果有計(jì)劃在更多產(chǎn)品中加入AI，但要“深思熟慮”。
現(xiàn)如今，也許是想好了，也許是技術(shù)突破了，留了一手的蘋果，終于不藏了。
iPhone的AI時(shí)刻，來了？
Siri助手AI化其實(shí)早有預(yù)兆：去年七月份，彭博社發(fā)文稱蘋果內(nèi)部正在暗中測(cè)試一款對(duì)標(biāo)OpenAI和谷歌的生成式AI工具，暫定名“Apple GPT”。
因使用Google JAX框架進(jìn)行構(gòu)建，Apple GPT的開發(fā)框架被命名為Ajax。
當(dāng)時(shí)的消息稱，蘋果LLM技術(shù)的最大用武之地，便是整合在Siri內(nèi)部，讓語音助手以更為智能的方式協(xié)助用戶。
現(xiàn)在，更多細(xì)節(jié)被透露——蘋果發(fā)布的論文稱，這項(xiàng)將大語言模型放在閃存中優(yōu)化運(yùn)行的技術(shù)，較傳統(tǒng)運(yùn)行方法提高了4-5倍（CPU）和20-25倍（GPU）的推理速度。
把大象（大模型）裝進(jìn)冰箱（手機(jī)）里的方法，來了：先減少閃存?zhèn)鬏數(shù)臄?shù)據(jù)量，再提高每次傳輸?shù)耐掏铝俊?/p>
先看框架：以手機(jī)為例，平時(shí)購機(jī)時(shí)的【12+256G】、【16+512G】，12/16為運(yùn)行內(nèi)存，256/512為儲(chǔ)存空間。
以此類推絕大部分移動(dòng)設(shè)備存儲(chǔ)結(jié)構(gòu)，運(yùn)存空間小，但讀取速率高（DRAM 10GB/s）；儲(chǔ)存空間大，但讀取速率相對(duì)較低（Flash Memory 1GB/s）
一般來說，大模型的推理階段，模型加載、分析數(shù)據(jù)需要直接占用運(yùn)存，而目前主流手機(jī)市場(chǎng)最大的16GB運(yùn)存，也并不能完全滿足大模型所需的空間：模型大?。臼謾C(jī)內(nèi)存。
蘋果給出的解決方案是“先減少閃存?zhèn)鬏數(shù)臄?shù)據(jù)量”——把大模型完全體放在空間更大的儲(chǔ)存中，運(yùn)行時(shí)只調(diào)用必要數(shù)據(jù)進(jìn)入運(yùn)存。
這并非一個(gè)簡(jiǎn)單的搬箱子過程，如何正確篩選出所有必要數(shù)據(jù)，以及如何把數(shù)據(jù)快速由閃存?zhèn)鬏數(shù)竭\(yùn)存，是兩個(gè)需要解決的問題。
方法之一被命名為sliding window（滑窗）：
假設(shè)大模型正在處理Once upon a time there was a kid who had a dream這句話，在處理“Once upon a time there”這段字符的時(shí)候，圖中上半部分的青色格子（神經(jīng)元）處于激活狀態(tài)；而當(dāng)處理字段變到“upon a time there was”（往后推進(jìn)了一個(gè)字符），圖中下半部新啟用了藍(lán)色格子，并刪除了了此前青色部分的幾個(gè)格子（以粉色標(biāo)注），其余青色保持不變。
這就是sliding Window的核心思想：查缺補(bǔ)漏，多退少補(bǔ)。在大模型運(yùn)行過程中，只保留一開始就激活的神經(jīng)元，后續(xù)的每次運(yùn)算，都基于前一次參數(shù)進(jìn)行刪除和添加，省去了一部分重復(fù)工作。
當(dāng)然，這種預(yù)設(shè)也并非沒有問題，知乎博主@Civ發(fā)文稱，sliding window可用的核心假設(shè)是大模型在處理相鄰數(shù)據(jù)時(shí)前后具有相似性，但這個(gè)相似性蘋果沒有展開論證。
再者是傳輸：將多次傳輸?shù)臄?shù)據(jù)拼接后一次性讀取，保持連續(xù)完整的“數(shù)據(jù)”，避免多次復(fù)制拖慢時(shí)間；另外，提前預(yù)留出一個(gè)較大的空間（較大，但仍遠(yuǎn)遠(yuǎn)小于模型整體占用），避免在數(shù)據(jù)傳輸過程中，因多次增加空間而加大設(shè)備的計(jì)算量。
此前，藍(lán)媒匯在《AI PC發(fā)布，聯(lián)想真的想通AI了嗎？》中提及，限制大模型進(jìn)入移動(dòng)端的瓶頸就是模型占地太大，影響設(shè)備本身正常運(yùn)轉(zhuǎn)，或者塞不進(jìn)去導(dǎo)致無法運(yùn)行。
蘋果這項(xiàng)新研究的諸多技術(shù)細(xì)節(jié)，都在指向空間的壓縮，包括數(shù)據(jù)體量，也包括運(yùn)算所占用的算力。
發(fā)力多模態(tài)
之前有個(gè)段子（也可能是真事兒），說是大模型搞不定人機(jī)驗(yàn)證，是因?yàn)锳I被設(shè)定不能說謊，所以無法選擇“我不是機(jī)器人”。
去年十月份，蘋果還是以論文的形式公布了一項(xiàng)研究成果：Ferret大模型，自己搞定谷歌人機(jī)驗(yàn)證了。
遙遙領(lǐng)先于GPT4。
不久之前，蘋果公布了更多Ferret模型的細(xì)節(jié)、功能。
圖/蘋果 Github Ferret模型介紹
和GPT4相比，F(xiàn)erret的領(lǐng)先之處在于，它不僅能準(zhǔn)確識(shí)別并處理圖像內(nèi)容，還能用算法區(qū)分圖片中各種元素（人、物體等等），并根據(jù)用戶指令找出對(duì)應(yīng)元素。
這種多模態(tài)理解能力，使得Ferret能夠同時(shí)處理用戶輸入的圖像和自然語言，并且由于其算法能夠?qū)D像中的元素準(zhǔn)確拆分、定位，F(xiàn)erret可以準(zhǔn)確理解如“圖片右上角”、“靠近沙發(fā)”這類指令。
相比于卷瘋了的自然語言處理，這種基于圖像的交互使得信息更加直觀。
最近一次更新，蘋果提供了Ferret的7B和13B兩個(gè)版本，并創(chuàng)建了包含了1.1M個(gè)樣本的GRIT的數(shù)據(jù)集以豐富空間知識(shí)，進(jìn)一步增強(qiáng)功能。
考慮到蘋果相當(dāng)成熟的產(chǎn)品生態(tài)以及巨量用戶規(guī)模，AI落地帶來的換機(jī)潮等收益，或?qū)O為可觀。
2023年被稱為是AI的iPhone時(shí)刻，現(xiàn)在，蘋果的AI時(shí)刻大約也快到了。