文｜烏鴉智能說
不少人有這樣一個判斷：2024會是推理的元年。據(jù)英偉達2023年財報電話會議披露，公司全年數(shù)據(jù)中心里已經(jīng)有40%的收入來自推理業(yè)務，超出了絕大部分人預期。
讓人沒想到的是，推理端的爆發(fā)率先在大模型價格上卷了起來。今年5月，幻方、字節(jié)先后發(fā)布新模型，價格動輒市面上原有模型的1%。同時，智譜也官宣了新的價格體系，將入門級產品GLM-3 Turbo模型的價格下調了80%。
這樣的趨勢，同樣也在國外發(fā)生。自去年以來，OpenAI已經(jīng)進行了4次降價。在剛剛結束的春季功能更新會上，OpenAI宣布了其最新模型GPT-4o，不僅性能有大幅提升，價格也下調了50%。
那么，驅動這輪大模型推理成本下降的邏輯是什么？我們又應該如何理解推理成本下降對產業(yè)的意義？
/ 01 / 降本超預期！GPT4一年降價超80%
從5月召開的發(fā)布會來看，各家在大模型價格上卷得越來越厲害了。
5月6日，幻方量化旗下DeepSeek（深度求索）發(fā)布第二代MoE模型DeepSeek-V2，該模型API定價為每百萬Tokens輸入1元、輸出2元（32K上下文），價格為GPT-4 Turbo的近百分之一。
5月11日，智譜大模型官宣新的價格體系，新注冊用戶可以獲得額度從500萬 tokens 提升至2500萬 tokens，并且入門級產品GLM-3 Turbo模型調用價格從5元／百萬Tokens降至1元／百萬Tokens，降幅高達80%。
5月13日，OpenAI發(fā)布GPT-4o，不僅在功能上大幅超越GPT-4 Turbo，價格只有一半。
5月15日，豆包主力模型為0.0008元/千Tokens，即0.8厘就能處理1500多個漢字，宣稱比行業(yè)便宜了99.3%。在32K（千字節(jié)）以下主力模型中，每1000 Tokens（大模型文本中的一個最小單位）的企業(yè)市場使用價格，GPT-4（美國AI研究公司OpenAI旗下的大模型）為0.42元，百度文心一言和阿里通義千問為0.12元。
可以看到，大模型降價既有GLM-3 Turbo這樣的入門模型，也有像性能接近GPT-4 Turbo的主力模型。而從OpenAI過去一年的動作看，降價也一直其升級的主線。
算上此次GPT-4o的發(fā)布，2023年年初以來，OpenAI已經(jīng)進行了4次降價。去年3月，OpenAI開放了gpt-3.5-turbo，每1000個token的成本為0.002美元，價格比此前的GPT-3.5模型下降了90%。
到去年11月，OpenAI發(fā)布了GPT-4 Turbo的同時，也對整個平臺的價格做出了調整。其中，GPT-4 Turbo輸入tokens價格是GPT-4的1/3，為0.01美元/1k tokens（折合人民幣約0.07元），輸出tokens價格是其1/2，為，折合人民幣約0.22元）。
今年1月，OpenAI推出了新版的GPT-3.5-Turbo，型號為gpt-3.5-turbo-0125，gpt-3.5-turbo-0125輸入的價格降低了50%，為0.0005美元/1000 tokens，輸出價格也降低了25%，為0.0015美元/1000 tokens。
此外，OpenAI還推出餓了兩個新一代embedding模型：text-embedding-3-small和text-embedding-3-large。其中，text-embedding-3-small遠比OpenAI之前的text-embedding-ada-002模型效率高，因此價格也大幅降低了5倍，從每千token的0.0001美元降至0.00002美元。
從去年3月OpenAI發(fā)布GPT4到現(xiàn)在，其產品從GPT4升級到GPT-4o，輸入價格從0.03美元/1k tokens下降到0.005美元/1k tokens，降幅為83%；輸出價格從0.06美元/1k tokens下降到0.015美元/1k tokens，降幅為75%。
根據(jù)此前預期，大模型大致將按照每年50-75%幅度降本，也就是說，現(xiàn)在大模型的降本速度遠超預期。
/ 02 / 模型優(yōu)化驅動下的成本下降
過去，大模型推理成本下降，很大程度要依賴于算力的升級。但縱觀過去一年，推理成本的下降，是在算力沒有升級的情況完成的，包括架構創(chuàng)新、推理優(yōu)化、系統(tǒng)升級、甚至推理集群計算架構方面等等。
這意味著，除了算力升級外，模型優(yōu)化本身也有著很大的空間。從目前看，算法框架革新主要有兩條思路：輕量化和線性化。
其中，輕量化以Mixtral 8*7B模型為代表，其核心思路是采用混合專家模型MoE，架構中基于多個專家并行機制，推理時只激活部分專家，以稀疏性壓縮了參數(shù)數(shù)量和推理成本。
MoE架構主要由兩個關鍵部分組成：專家網(wǎng)絡和門控機制。所謂的“專家網(wǎng)絡”，就是傳統(tǒng)Tranformer架構的FFN（前饋網(wǎng)絡）層是一個完全連接的神經(jīng)網(wǎng)絡，MoE架構的FFN層則劃分成稀疏性的神經(jīng)網(wǎng)絡，這些被稱之為“專家”的小FFN，每個都有自己的權重和激活函數(shù)，它們并行工作、專注于處理特定類型的信息。而門控機制則用來決定每個token被發(fā)送到哪個專家網(wǎng)絡的調配器。
MoE架構強調“術業(yè)有專攻”，把不同的問題交給相應領域的專家來解決，就好比一家公司有多個部門，在做決策的時候，公司的CEO會把具體的問題分配到相關的部門進行討論，最終產生最優(yōu)的決策。
與輕量化不同，線性化更注重對信息的壓縮。Transformer架構模型在推理時與上下文內容進行逐字對比，而線性化模型對前文信息進行了壓縮，實現(xiàn)了復雜度線性化，意味著更快的推理速度和更低的計算成本。
此次DeepSeek-V2的降價，就是其通過架構創(chuàng)新，實現(xiàn)了大模型成本尤其是推理成本下降的結果。具體來說，DeepSeek-V2在注意力機制和稀疏層方面做出了創(chuàng)新性的設計。
一方面，其稀疏MoE架構進行了共享專家等改進，相比V1的稠密模型，節(jié)約了42.5%的訓練成本。另一方面，DeepSeek-V2也創(chuàng)新性地運用先進的注意力機制MLA，壓縮token生成中對key value的緩存，極大降低了推理成本。
長期來看，在算力升級以及架構優(yōu)化等一系列因素的推動下，模型推理成本下降的速度很有可能超出大家預期，并加速應用層的不斷創(chuàng)新和生態(tài)繁榮。
/ 03 / 一場成本驅動型生產力革命
從過去看，科技變革本質上都是伴隨著邊際成本的大幅下降。根據(jù)A16Z的合伙人Martin Casado的觀點，過去幾十年人類大致經(jīng)歷了兩次大的科技變革，分別是芯片和互聯(lián)網(wǎng)。
在新一波浪潮里，芯片的誕生，將計算的邊際成本降到了趨近為零。在微芯片出現(xiàn)之前，計算是通過手工完成的。人們在大房間里做對數(shù)表。然后ENIAC被引入，計算速度提高了四個數(shù)量級，然后發(fā)生了計算機革命。這一時期出現(xiàn)了IBM、惠普等公司。
到了互聯(lián)網(wǎng)時代，互聯(lián)網(wǎng)技術將分發(fā)的邊際成本降到了零。以前無論你發(fā)送什么（一個盒子或者一封信）都需要一定的成本，互聯(lián)網(wǎng)出現(xiàn)后，每bit的價格急劇下降。順便說一下，這也是四個數(shù)量級改進。這引領了互聯(lián)網(wǎng)革命。這一時期出現(xiàn)了亞馬遜、谷歌和Meta等公司。
與上述兩個技術類似，AI也同樣是一場成本驅動型生產力革命。大模型則是將創(chuàng)造的邊際成本降到了零，比如創(chuàng)建圖像和語言理解等等。
舉個例子，以前創(chuàng)造一個漫畫角色可能需要一個時薪100美元平面設計師，而現(xiàn)在大模型只需要0.01美元，而且只需要一秒鐘。再以客服行業(yè)為例，目前普遍的AI客服定價都隱含相比人工客服接近1:10的ROI，這意味著過去在美國一位年薪5萬刀的客服人員，在應用大模型產品后成本會降低到5000刀。
目前受限于模型推理成本較高，AI應用普遍面臨較大的成本壓力。
根據(jù)無問芯穹發(fā)起人汪玉，用公開數(shù)據(jù)做了一次針對算力成本數(shù)量級的測算，假設GPT-4 Turbo每天要為10億活躍用戶提供服務，每年的算力成本可能超過兩千億，這還不包括模型訓練的投入。
絕大部分公司的收入仍然還在億的級別，因此這種成本在打造商業(yè)閉環(huán)上，顯然是不成立的。
從這個角度上說，推理成本下降將成為打開AI應用的重要“開關”。更重要的是，過去的科技發(fā)展歷史，告訴我們，如果需求具有彈性，那么隨著成本下降，使用量也會因為可及性提升而答復增加。
幾乎可以肯定的是，互聯(lián)網(wǎng)大幅帶動了全球經(jīng)濟的增長。而人工智能大概率也將經(jīng)歷同樣的故事。