正在閱讀:

真假“長文本”,國產(chǎn)大模型混戰(zhàn)

掃一掃下載界面新聞APP

真假“長文本”,國產(chǎn)大模型混戰(zhàn)

剛跳出技術(shù)的坑,又跳進(jìn)投流的坑。

圖片來源:界面新聞| 匡達(dá)

文|光錐智能 郝鑫

Kimi有多火爆?憑一己之力攪亂A股和大模型圈。

Kimi概念股連日引爆資本市場,多個概念股隨之漲停。在一片看好的態(tài)勢中,誰都想來沾個邊,據(jù)光錐智能不完全統(tǒng)計,目前,至少有包括讀客文化、掌閱科技、萬興科技等在內(nèi)的十家上市公司發(fā)布公告透露正在了解或接入了Kimi 智能助手。

眼看著Kimi的火越燒越旺,大廠也垂涎三尺,連夜加入了大模型“長文本” 的四國大戰(zhàn)。

對標(biāo)月之暗面Kimi 智能助手的200萬字參數(shù)量,百度文心一言將在下個月開放200萬~500萬字長文本處理功能,較此前最高2.8萬字的文檔處理能力提升上百倍;阿里通義千問宣布升級,開放最高1000萬字的長文本處理能力;360智腦正在內(nèi)測500萬字,功能正式升級后將入駐360AI瀏覽器。

四家中國大模型公司把長文本能力“卷”出了新高度。作為參考,目前,大模型最強(qiáng)王者OpenAI的GPT-4 Turbo-128k可處理文本能力約為10萬漢字,專攻長本文的Claude3-200K上下文處理能力約為16萬漢字。

但同樣都是“長”,有人是孫悟空,有人是六耳獼猴。

一位大模型行業(yè)的人士向光錐智能表示:“確實有一些公司用RAG(檢索增強(qiáng))來混淆視聽。無損的長文本和RAG,兩項技術(shù)各有優(yōu)勢,也有結(jié)合點,但歸根到底還是不同的技術(shù)……很容易就用‘長本文’來混淆視聽。”

“百度、阿里、360,大概率都使用了RAG方案”,該業(yè)內(nèi)人士表示道。

無論是RAG還是長文本,一味地“長”并不能代表所有。如同上一輪,大模型廠商“卷”參數(shù),大模型參數(shù)不是越大就越好,文本長度,也不是越長,模型效果就越好。除了上下文長度,記憶能力、推理能力、算力都是共同的決定性因素。

進(jìn)入2024國產(chǎn)大模型落地元年,大模型應(yīng)用千千萬,為什么是長文本能率先掀起波瀾?基于長文本的特性,又能解決哪些AI應(yīng)用落地的實際問題呢?

長文本,真的越長越好嗎?

自ChatGPT誕生以來,國外一直在持續(xù)不斷地涌現(xiàn)出新的AI應(yīng)用,產(chǎn)生流量的同時,也令人看到了商業(yè)化的可能性。

據(jù)風(fēng)險投資公司a16z近期發(fā)布的《GenAI 消費應(yīng)用 Top100 報告》顯示,用戶月訪問量最大的應(yīng)用網(wǎng)站中,類ChatGPT的效率助手占據(jù)了榜單前十的大壁江山,ChatGPT的每月網(wǎng)絡(luò)訪問量接近20億次,第二名Gemini的每月訪問量約為4億次。

但同樣AI應(yīng)用活躍而繁榮的場景卻并沒有在中國成功上演。在月之暗面的Kimi 智能助手憑借流量和人氣出圈之前,國內(nèi)能夠達(dá)到一定體量的應(yīng)用只有兩個,一個是百度推出的文心一言App,另一個是字節(jié)跳動推出的豆包。

據(jù)相關(guān)數(shù)據(jù)統(tǒng)計,截至2023年9月,百度文心一言App的月活量達(dá)到最高峰值710萬;同年12月,字節(jié)豆包月活達(dá)到200萬,2024年1月在此基礎(chǔ)上翻了一番達(dá)到400萬。

文心一言憑借百度的大模型先發(fā)優(yōu)勢和搜索流量優(yōu)勢,一度成為國內(nèi)流量最大的AI應(yīng)用;而豆包背靠抖音流量轉(zhuǎn)化池,雖然發(fā)布時間稍晚一步,但在后期實現(xiàn)了反超。

在這樣背景之下,Kimi的爆火顯得尤為特殊,某種意義上可以說,Kimi是國內(nèi)第一個靠產(chǎn)品能力和用戶自來水破圈的AI應(yīng)用。

月之暗面創(chuàng)始人楊植麟曾告訴光錐智能,其團(tuán)隊發(fā)現(xiàn)正是由于大模型輸入長度受限,才造成了許多大模型應(yīng)用落地的困境,這也是月之暗面聚焦長文本技術(shù)的原因所在。

站在用戶角度來看,好不好用是檢驗AI應(yīng)用產(chǎn)品最關(guān)鍵的指標(biāo),而這都依賴于Kimi背后的長文本技術(shù)。

若將長文本的能力進(jìn)一步拆解,大致可以包括長度、記憶、理解、推理幾個能力。

越來越長的文本長度,可以進(jìn)一步提升現(xiàn)在AI應(yīng)用的可用性和專業(yè)性。

對普通用戶而言,與AI助手簡短的閑聊能夠引起興趣,但不能解決問題,特別對于法律、醫(yī)學(xué)、金融等一些專業(yè)領(lǐng)域,需要前期“喂”給大模型特定的數(shù)據(jù)和知識,才能精準(zhǔn)地輸出答案;對企業(yè)而言,更需要一個“專家型”的助手,大量的企業(yè)數(shù)據(jù)、行業(yè)數(shù)據(jù)都需要提前導(dǎo)入,沒有損耗地輸入和輸出,從而保證最后的分析結(jié)果具有可參考性。Claude就是一個典型的例子,憑借長文本的優(yōu)勢與ChatGPT走出不同的路線,收獲了大量的2B垂直行業(yè)的企業(yè)用戶。

多輪對話和記憶能力可以直接應(yīng)用到現(xiàn)在大部分的場景中,比如游戲場景中的NPC,通過長文本輸入給予其角色設(shè)定,玩家每一次的對話都會被記錄,并且能夠生成個性化的游戲檔案,避免了重新登錄而需要反復(fù)喚醒的問題;在執(zhí)行Agent(智能體)任務(wù)場景,能夠增強(qiáng)記憶能力,輔助Agent形成清晰的行動步驟,避免出現(xiàn)Agent打架的現(xiàn)象。

長文本的理解和推理能力體現(xiàn)在兩個方面,一類是對想象類的應(yīng)用理解生成,一類是對邏輯類應(yīng)用的生成。例如在對AI小說的應(yīng)用中,長文本的能力體現(xiàn)在能夠理解用戶輸入的prompt,對其想象性的擴(kuò)寫;在編程、醫(yī)療問答等領(lǐng)域,則需要調(diào)用其邏輯的推理能力,合理化地續(xù)寫編程,根據(jù)用戶描述推理病狀。

月之暗面副總裁許欣然曾表示,大模型無損上下文長度的數(shù)量級提升,將進(jìn)一步打開對 AI 應(yīng)用場景的想象力,包括完整代碼庫的分析理解、自主完成多步驟復(fù)雜任務(wù)的智能體Agent、不會遺忘關(guān)鍵信息的終身助理、真正統(tǒng)一架構(gòu)的多模態(tài)模型等。

所以,長文本從來都是一項綜合性的能力,而非越長就越好。相反,過分追求長,可能引發(fā)算力匱乏的問題。

大模型公司卷“投流”,一天獲客成本20萬

流量狂飆、宕機(jī)后五次擴(kuò)容;日活用戶數(shù)達(dá)百萬,月環(huán)比增長率107.6%;趕超微信、殺進(jìn)App Store免費版應(yīng)用第五名,月之暗面交出了一份漂亮的成績單。

但這也只是一個開始,多位業(yè)內(nèi)人士在今年剛開年曾向光錐智能透露,走過高速技術(shù)迭代的2023年,大模型來到了產(chǎn)業(yè)落地和商業(yè)化的下半場。

去年,各家已經(jīng)相繼亮劍,智譜、百川、面壁不同程度上都開啟了商業(yè)化。月之暗面稍慢,目前還未公布商業(yè)化的方案,但急切地開始了商業(yè)化加速進(jìn)程,B站、抖音等社交平臺都能看到Kimi助手投流的廣告。

盡管,各家都從未將2C的變現(xiàn)路線排除在外,但是延續(xù)2016年AI 1.0時代的思路,多數(shù)還是將2B作為了首要的突破口。有了技術(shù),去找技術(shù)和產(chǎn)業(yè)落地方向,探索落地方案似乎成為了理所應(yīng)當(dāng)。

月之暗面則是大模型公司的另類,去年10月份第一次公開露面后,就瞄準(zhǔn)了2C的應(yīng)用市場。楊植麟曾表示,長文本是月之暗面根技術(shù),在這技術(shù)之上可以分裂出不同場景和領(lǐng)域的2C應(yīng)用。

在Kimi效應(yīng)爆發(fā)前,就有很多普通和企業(yè)用戶反饋,“Kimi是國內(nèi)最好的AI助手,沒有之一”,從一開始就注重產(chǎn)品效果和用戶體驗的Kimi,現(xiàn)在爆發(fā)似乎帶有一定的必然性。

商業(yè)化壓力之下,大模型公司大概率會選擇2B、2C兩條腿走路。對比其他大模型公司,月之暗面則又提供了另一種商業(yè)化的路徑參考,其他玩家從先2B再2C,以2B拉動2C,而月之暗面則屬于先2C后2B,再以2C的產(chǎn)品拉動2B的單子。

畢竟,除了國外的ChatGPT,之前在國內(nèi)根本看不到2C產(chǎn)品增長的案例。Kimi靠近半年的積累,憑一己之力在2C撕開了一道口子,眾多大廠或許是看到了2C更多的可能性,才急于下場向市場證明自身具備長文本能力。

但回到商業(yè)化賺錢的本質(zhì),仍要思考如何將一時的流量轉(zhuǎn)化成實打?qū)嵉母顿M率。

光錐智能觀察發(fā)現(xiàn),現(xiàn)在大部分的大模型公司在推產(chǎn)品時還是互聯(lián)網(wǎng)推流的那一套,舊瓶裝新酒,抖音、B站、小紅書投流推廣,在線下的寫字樓電梯、機(jī)場、地鐵打廣告。

一通操作下來的實際轉(zhuǎn)化率有多少尚未可知,但為獲客花出去的都是真金白銀。據(jù)新浪科技報道,有投資人透露,目前Kimi用戶獲客成本達(dá)到12元~13元。根據(jù)下載量預(yù)估,Kimi近一個月來日均下載量為17805。按此計算,Kimi每天的獲客成本至少20萬元。

現(xiàn)在市面上大部分的AI助手都是免費下載使用,基于網(wǎng)絡(luò)負(fù)外部效應(yīng),當(dāng)用戶越來越多的時候,其資源的耗損就越來越大。此次的Kimi宕機(jī)事件就是最好的例證,順時暴漲的用戶量給算力和服務(wù)器都造成了壓力,與之帶來的還有大量的token成本的消耗。

對大模型公司而言,規(guī)?;⒏顿M率和成本的三方拉扯問題,短時間內(nèi)無法得到解決,即使是流量吊打其他應(yīng)用的ChatGPT也面臨盈虧平衡的困境。

據(jù)data.ai數(shù)據(jù)顯示,截至2023年6月19日,ChatGPT iOS端上線首月的日活付費率約為4.36%。OpenAI預(yù)測,對于壓縮成本后的GPT-3.5模型和GPT-4模型,若月付費率每月提升0.25%或不能持續(xù);若月付費率每月提升0.5%或能扭虧。

月付費率不斷提升聽起來很性感,但現(xiàn)實卻是“未老先衰”,爆發(fā)性的增長還未迎來,增長停滯先一步到來。

對大模型廠商,特別是創(chuàng)業(yè)公司來說試錯的機(jī)會并不多,不能剛從技術(shù)的坑出來,又一頭扎進(jìn)投流的坑,跟風(fēng)長文本不能解決所有問題,跑出商業(yè)化模式才是。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

真假“長文本”,國產(chǎn)大模型混戰(zhàn)

剛跳出技術(shù)的坑,又跳進(jìn)投流的坑。

圖片來源:界面新聞| 匡達(dá)

文|光錐智能 郝鑫

Kimi有多火爆?憑一己之力攪亂A股和大模型圈。

Kimi概念股連日引爆資本市場,多個概念股隨之漲停。在一片看好的態(tài)勢中,誰都想來沾個邊,據(jù)光錐智能不完全統(tǒng)計,目前,至少有包括讀客文化、掌閱科技、萬興科技等在內(nèi)的十家上市公司發(fā)布公告透露正在了解或接入了Kimi 智能助手。

眼看著Kimi的火越燒越旺,大廠也垂涎三尺,連夜加入了大模型“長文本” 的四國大戰(zhàn)。

對標(biāo)月之暗面Kimi 智能助手的200萬字參數(shù)量,百度文心一言將在下個月開放200萬~500萬字長文本處理功能,較此前最高2.8萬字的文檔處理能力提升上百倍;阿里通義千問宣布升級,開放最高1000萬字的長文本處理能力;360智腦正在內(nèi)測500萬字,功能正式升級后將入駐360AI瀏覽器。

四家中國大模型公司把長文本能力“卷”出了新高度。作為參考,目前,大模型最強(qiáng)王者OpenAI的GPT-4 Turbo-128k可處理文本能力約為10萬漢字,專攻長本文的Claude3-200K上下文處理能力約為16萬漢字。

但同樣都是“長”,有人是孫悟空,有人是六耳獼猴。

一位大模型行業(yè)的人士向光錐智能表示:“確實有一些公司用RAG(檢索增強(qiáng))來混淆視聽。無損的長文本和RAG,兩項技術(shù)各有優(yōu)勢,也有結(jié)合點,但歸根到底還是不同的技術(shù)……很容易就用‘長本文’來混淆視聽?!?/p>

“百度、阿里、360,大概率都使用了RAG方案”,該業(yè)內(nèi)人士表示道。

無論是RAG還是長文本,一味地“長”并不能代表所有。如同上一輪,大模型廠商“卷”參數(shù),大模型參數(shù)不是越大就越好,文本長度,也不是越長,模型效果就越好。除了上下文長度,記憶能力、推理能力、算力都是共同的決定性因素。

進(jìn)入2024國產(chǎn)大模型落地元年,大模型應(yīng)用千千萬,為什么是長文本能率先掀起波瀾?基于長文本的特性,又能解決哪些AI應(yīng)用落地的實際問題呢?

長文本,真的越長越好嗎?

自ChatGPT誕生以來,國外一直在持續(xù)不斷地涌現(xiàn)出新的AI應(yīng)用,產(chǎn)生流量的同時,也令人看到了商業(yè)化的可能性。

據(jù)風(fēng)險投資公司a16z近期發(fā)布的《GenAI 消費應(yīng)用 Top100 報告》顯示,用戶月訪問量最大的應(yīng)用網(wǎng)站中,類ChatGPT的效率助手占據(jù)了榜單前十的大壁江山,ChatGPT的每月網(wǎng)絡(luò)訪問量接近20億次,第二名Gemini的每月訪問量約為4億次。

但同樣AI應(yīng)用活躍而繁榮的場景卻并沒有在中國成功上演。在月之暗面的Kimi 智能助手憑借流量和人氣出圈之前,國內(nèi)能夠達(dá)到一定體量的應(yīng)用只有兩個,一個是百度推出的文心一言App,另一個是字節(jié)跳動推出的豆包。

據(jù)相關(guān)數(shù)據(jù)統(tǒng)計,截至2023年9月,百度文心一言App的月活量達(dá)到最高峰值710萬;同年12月,字節(jié)豆包月活達(dá)到200萬,2024年1月在此基礎(chǔ)上翻了一番達(dá)到400萬。

文心一言憑借百度的大模型先發(fā)優(yōu)勢和搜索流量優(yōu)勢,一度成為國內(nèi)流量最大的AI應(yīng)用;而豆包背靠抖音流量轉(zhuǎn)化池,雖然發(fā)布時間稍晚一步,但在后期實現(xiàn)了反超。

在這樣背景之下,Kimi的爆火顯得尤為特殊,某種意義上可以說,Kimi是國內(nèi)第一個靠產(chǎn)品能力和用戶自來水破圈的AI應(yīng)用。

月之暗面創(chuàng)始人楊植麟曾告訴光錐智能,其團(tuán)隊發(fā)現(xiàn)正是由于大模型輸入長度受限,才造成了許多大模型應(yīng)用落地的困境,這也是月之暗面聚焦長文本技術(shù)的原因所在。

站在用戶角度來看,好不好用是檢驗AI應(yīng)用產(chǎn)品最關(guān)鍵的指標(biāo),而這都依賴于Kimi背后的長文本技術(shù)。

若將長文本的能力進(jìn)一步拆解,大致可以包括長度、記憶、理解、推理幾個能力。

越來越長的文本長度,可以進(jìn)一步提升現(xiàn)在AI應(yīng)用的可用性和專業(yè)性。

對普通用戶而言,與AI助手簡短的閑聊能夠引起興趣,但不能解決問題,特別對于法律、醫(yī)學(xué)、金融等一些專業(yè)領(lǐng)域,需要前期“喂”給大模型特定的數(shù)據(jù)和知識,才能精準(zhǔn)地輸出答案;對企業(yè)而言,更需要一個“專家型”的助手,大量的企業(yè)數(shù)據(jù)、行業(yè)數(shù)據(jù)都需要提前導(dǎo)入,沒有損耗地輸入和輸出,從而保證最后的分析結(jié)果具有可參考性。Claude就是一個典型的例子,憑借長文本的優(yōu)勢與ChatGPT走出不同的路線,收獲了大量的2B垂直行業(yè)的企業(yè)用戶。

多輪對話和記憶能力可以直接應(yīng)用到現(xiàn)在大部分的場景中,比如游戲場景中的NPC,通過長文本輸入給予其角色設(shè)定,玩家每一次的對話都會被記錄,并且能夠生成個性化的游戲檔案,避免了重新登錄而需要反復(fù)喚醒的問題;在執(zhí)行Agent(智能體)任務(wù)場景,能夠增強(qiáng)記憶能力,輔助Agent形成清晰的行動步驟,避免出現(xiàn)Agent打架的現(xiàn)象。

長文本的理解和推理能力體現(xiàn)在兩個方面,一類是對想象類的應(yīng)用理解生成,一類是對邏輯類應(yīng)用的生成。例如在對AI小說的應(yīng)用中,長文本的能力體現(xiàn)在能夠理解用戶輸入的prompt,對其想象性的擴(kuò)寫;在編程、醫(yī)療問答等領(lǐng)域,則需要調(diào)用其邏輯的推理能力,合理化地續(xù)寫編程,根據(jù)用戶描述推理病狀。

月之暗面副總裁許欣然曾表示,大模型無損上下文長度的數(shù)量級提升,將進(jìn)一步打開對 AI 應(yīng)用場景的想象力,包括完整代碼庫的分析理解、自主完成多步驟復(fù)雜任務(wù)的智能體Agent、不會遺忘關(guān)鍵信息的終身助理、真正統(tǒng)一架構(gòu)的多模態(tài)模型等。

所以,長文本從來都是一項綜合性的能力,而非越長就越好。相反,過分追求長,可能引發(fā)算力匱乏的問題。

大模型公司卷“投流”,一天獲客成本20萬

流量狂飆、宕機(jī)后五次擴(kuò)容;日活用戶數(shù)達(dá)百萬,月環(huán)比增長率107.6%;趕超微信、殺進(jìn)App Store免費版應(yīng)用第五名,月之暗面交出了一份漂亮的成績單。

但這也只是一個開始,多位業(yè)內(nèi)人士在今年剛開年曾向光錐智能透露,走過高速技術(shù)迭代的2023年,大模型來到了產(chǎn)業(yè)落地和商業(yè)化的下半場。

去年,各家已經(jīng)相繼亮劍,智譜、百川、面壁不同程度上都開啟了商業(yè)化。月之暗面稍慢,目前還未公布商業(yè)化的方案,但急切地開始了商業(yè)化加速進(jìn)程,B站、抖音等社交平臺都能看到Kimi助手投流的廣告。

盡管,各家都從未將2C的變現(xiàn)路線排除在外,但是延續(xù)2016年AI 1.0時代的思路,多數(shù)還是將2B作為了首要的突破口。有了技術(shù),去找技術(shù)和產(chǎn)業(yè)落地方向,探索落地方案似乎成為了理所應(yīng)當(dāng)。

月之暗面則是大模型公司的另類,去年10月份第一次公開露面后,就瞄準(zhǔn)了2C的應(yīng)用市場。楊植麟曾表示,長文本是月之暗面根技術(shù),在這技術(shù)之上可以分裂出不同場景和領(lǐng)域的2C應(yīng)用。

在Kimi效應(yīng)爆發(fā)前,就有很多普通和企業(yè)用戶反饋,“Kimi是國內(nèi)最好的AI助手,沒有之一”,從一開始就注重產(chǎn)品效果和用戶體驗的Kimi,現(xiàn)在爆發(fā)似乎帶有一定的必然性。

商業(yè)化壓力之下,大模型公司大概率會選擇2B、2C兩條腿走路。對比其他大模型公司,月之暗面則又提供了另一種商業(yè)化的路徑參考,其他玩家從先2B再2C,以2B拉動2C,而月之暗面則屬于先2C后2B,再以2C的產(chǎn)品拉動2B的單子。

畢竟,除了國外的ChatGPT,之前在國內(nèi)根本看不到2C產(chǎn)品增長的案例。Kimi靠近半年的積累,憑一己之力在2C撕開了一道口子,眾多大廠或許是看到了2C更多的可能性,才急于下場向市場證明自身具備長文本能力。

但回到商業(yè)化賺錢的本質(zhì),仍要思考如何將一時的流量轉(zhuǎn)化成實打?qū)嵉母顿M率。

光錐智能觀察發(fā)現(xiàn),現(xiàn)在大部分的大模型公司在推產(chǎn)品時還是互聯(lián)網(wǎng)推流的那一套,舊瓶裝新酒,抖音、B站、小紅書投流推廣,在線下的寫字樓電梯、機(jī)場、地鐵打廣告。

一通操作下來的實際轉(zhuǎn)化率有多少尚未可知,但為獲客花出去的都是真金白銀。據(jù)新浪科技報道,有投資人透露,目前Kimi用戶獲客成本達(dá)到12元~13元。根據(jù)下載量預(yù)估,Kimi近一個月來日均下載量為17805。按此計算,Kimi每天的獲客成本至少20萬元。

現(xiàn)在市面上大部分的AI助手都是免費下載使用,基于網(wǎng)絡(luò)負(fù)外部效應(yīng),當(dāng)用戶越來越多的時候,其資源的耗損就越來越大。此次的Kimi宕機(jī)事件就是最好的例證,順時暴漲的用戶量給算力和服務(wù)器都造成了壓力,與之帶來的還有大量的token成本的消耗。

對大模型公司而言,規(guī)?;⒏顿M率和成本的三方拉扯問題,短時間內(nèi)無法得到解決,即使是流量吊打其他應(yīng)用的ChatGPT也面臨盈虧平衡的困境。

據(jù)data.ai數(shù)據(jù)顯示,截至2023年6月19日,ChatGPT iOS端上線首月的日活付費率約為4.36%。OpenAI預(yù)測,對于壓縮成本后的GPT-3.5模型和GPT-4模型,若月付費率每月提升0.25%或不能持續(xù);若月付費率每月提升0.5%或能扭虧。

月付費率不斷提升聽起來很性感,但現(xiàn)實卻是“未老先衰”,爆發(fā)性的增長還未迎來,增長停滯先一步到來。

對大模型廠商,特別是創(chuàng)業(yè)公司來說試錯的機(jī)會并不多,不能剛從技術(shù)的坑出來,又一頭扎進(jìn)投流的坑,跟風(fēng)長文本不能解決所有問題,跑出商業(yè)化模式才是。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。