正在閱讀:

萬千氣象看上海 | 云從科技加速迭代多模態(tài)大模型能力 | 尋找中國經(jīng)濟(jì)新動(dòng)能·魔都“模”力

掃一掃下載界面新聞APP

萬千氣象看上海 | 云從科技加速迭代多模態(tài)大模型能力 | 尋找中國經(jīng)濟(jì)新動(dòng)能·魔都“?!绷?/h1>

據(jù)孫進(jìn)介紹,從容大模型2.0版本已經(jīng)完成,目前正在向3.0迭代,能力迭代的重點(diǎn)將會(huì)是多模態(tài)能力。

圖片來源:視覺中國

界面新聞?dòng)浾?| 于浩

界面新聞編輯 | 文姝琪

作為計(jì)算機(jī)視覺技術(shù)浪潮中興起的技術(shù)企業(yè),云從科技在人工智能領(lǐng)域一直保持著活躍狀態(tài)。

2019年初,云從科技與IBM中國、阿里巴巴創(chuàng)新中心等頭部科技企業(yè)同期入駐上海張江人工智能島;同年年末,憑借其AI治理經(jīng)驗(yàn),云從科技被評(píng)為國家標(biāo)準(zhǔn)人臉識(shí)別工作組副組長單位。隨后于2022年,云從科技成功上市,成為登陸科創(chuàng)板的首家AI平臺(tái)公司。

近日,云從科技披露了其2023年年度報(bào)告。財(cái)報(bào)顯示,云從2023年實(shí)現(xiàn)營業(yè)收入6.29億元,同比增長19.33%;歸母凈利潤同比減虧25.95%。其中,同比增長超20倍的泛AI領(lǐng)域營業(yè)收入表現(xiàn)亮眼,從容大模型成為營收增加的加速器。

站在如今的中國大模型賽道回望就會(huì)發(fā)現(xiàn),整個(gè)賽道正在從擁擠走向分層。曾于2023年年初喊出大模型口號(hào)的公司,到現(xiàn)在仍保持活躍的也僅剩寥寥數(shù)家。 

2023年5月,云從科技發(fā)布了其自研的從容大模型,隨后在2023年8月,從容大模型迭代至1.5版本。立足于自研基礎(chǔ)大模型,云從科技選擇以百億模型為主體走行業(yè)落地方向,試圖以此撬動(dòng)市場需求。從年報(bào)數(shù)據(jù)來看,這一嘗試已初顯成效。 

但外部的挑戰(zhàn)始終存在。2024年開年,如Sora、Gemini 1.5等產(chǎn)品不斷刷新模型性能的上限,近期Meta發(fā)布開源大模型Llama 3,更是為各家基礎(chǔ)大模型廠商提出了技術(shù)上的新挑戰(zhàn)。 

云從科技研究院產(chǎn)品總監(jiān)孫進(jìn)告訴界面新聞,從容大模型在內(nèi)部已經(jīng)歷了多輪迭代。1.5版本時(shí),平衡上下文長度、模型性能與推理成本是迭代重點(diǎn)。據(jù)孫進(jìn)介紹,從容大模型2.0版本已經(jīng)完成,目前正在向3.0迭代,能力迭代的重點(diǎn)將會(huì)是多模態(tài)能力。

一個(gè)亮點(diǎn)在于,通過云從科技自研的多模態(tài)大模型基礎(chǔ)架構(gòu)“all in one Transformer”,從容大模型2.0版本可以以文本語言為橋梁,實(shí)現(xiàn)語音與視覺兩種不同模態(tài)數(shù)據(jù)之間的統(tǒng)一。而3.0版本的迭代目標(biāo)則是跳過文本直接處理不同模態(tài)的數(shù)據(jù)。

孫進(jìn)解釋稱,以數(shù)字人為例,當(dāng)用戶以語音形式與數(shù)字人交流時(shí),語音數(shù)據(jù)會(huì)首先被轉(zhuǎn)為文字,隨后再由語言模型進(jìn)行理解?!岸F(xiàn)在我們的做法是,直接用語言模型處理語音特征,沒有轉(zhuǎn)成文本的過程。” 

在語音交互、視覺巡檢等場景中,這種統(tǒng)一不同模態(tài)數(shù)據(jù)的能力將會(huì)為大模型產(chǎn)品帶來更大的提效空間,也會(huì)成為云從科技競標(biāo)商業(yè)落地項(xiàng)目時(shí)的產(chǎn)品競爭力。

在頭部廠商都已完成基礎(chǔ)模型能力建設(shè)與算法備案的當(dāng)下,快速實(shí)現(xiàn)商業(yè)落地并最終跑通數(shù)據(jù)飛輪是各家廠商謀求長期發(fā)展的必然選擇。智譜、Minimax、月之暗面等大模型公司都已經(jīng)對(duì)外開放API接口,其中智譜更是于今年3月對(duì)外公開了其商業(yè)化成績。 

在孫進(jìn)看來,今年會(huì)成為“大模型混戰(zhàn)”之后的樣板打造期,在明后年則會(huì)進(jìn)入全面推廣階段。樣板打造期內(nèi),廠商需要面臨著技術(shù)邊界和客戶業(yè)務(wù)邊界之間的碰撞,也需要直面同行業(yè)的競爭。

一位做AI商業(yè)落地的從業(yè)者告訴界面新聞,2023年初,行業(yè)內(nèi)“一切都值得重做一遍”的興奮情緒在逐漸回落。無論是頭部還是中腰部客戶,2023年整體上都處于觀望狀態(tài),一直在探索大模型技術(shù)究竟應(yīng)該在什么場景落地。

智能算力緊缺的大背景下,部署成本與推理成本問題一直是阻礙大模型落地的重要因素。目前在私有化部署領(lǐng)域內(nèi),云從所提供的700億參數(shù)以上模型需要在計(jì)算資源更多、耗電更大的訓(xùn)練機(jī)器運(yùn)行,而340億參數(shù)規(guī)模以下的模型則可以在成本相對(duì)較低的推理機(jī)器上運(yùn)行。 

因此,為了取得商業(yè)合作,大模型廠商往往需要平衡模型參數(shù)規(guī)模與性能、結(jié)合客戶場景需求給出投入產(chǎn)出表現(xiàn)最佳的技術(shù)方案。

“云從的特點(diǎn)就是相對(duì)來說比較全面?!睂O進(jìn)表示,因?yàn)樵茝目萍嫉膽?zhàn)略一直是做人機(jī)協(xié)同,所以在視覺、語言、語音三方面都有布局,技術(shù)能力更加全面;同時(shí)過去所積累的垂直行業(yè)經(jīng)驗(yàn)利于云從科技去訓(xùn)練行業(yè)模型,多行業(yè)落地的模式也有利于攤薄大模型研發(fā)成本。 

長期來看,盡管大模型成為重點(diǎn)方向,但云從科技的業(yè)務(wù)始終未脫離云從人機(jī)協(xié)同操作系統(tǒng)(Cloudwalk Operating System)概念。

孫進(jìn)表示,大模型與智能體的結(jié)合一直是內(nèi)部的重點(diǎn)工作。“智能體的精髓就是多模態(tài)大模型,通過智能體與大模型的結(jié)合搭建業(yè)務(wù)中臺(tái),以大模型定義業(yè)務(wù)?!彼f,“這可能是未來很多廠商都會(huì)探索的方向?!?/span>

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。

云從科技

309
  • 6月24日全國科技大會(huì)隆重召開,科創(chuàng)100ETF(588190)連續(xù)6個(gè)交易日獲得資金凈流入,云從科技-UW、博瑞醫(yī)藥、云天勵(lì)飛-U領(lǐng)漲。
  • 科創(chuàng)100ETF基金(588220)午后沖高漲超2%,2023國家科學(xué)技術(shù)獎(jiǎng)公布,科創(chuàng)板公司獲獎(jiǎng)?lì)H豐!

評(píng)論

暫無評(píng)論哦,快來評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

萬千氣象看上海 | 云從科技加速迭代多模態(tài)大模型能力 | 尋找中國經(jīng)濟(jì)新動(dòng)能·魔都“?!绷?/h1>

據(jù)孫進(jìn)介紹,從容大模型2.0版本已經(jīng)完成,目前正在向3.0迭代,能力迭代的重點(diǎn)將會(huì)是多模態(tài)能力。

圖片來源:視覺中國

界面新聞?dòng)浾?| 于浩

界面新聞編輯 | 文姝琪

作為計(jì)算機(jī)視覺技術(shù)浪潮中興起的技術(shù)企業(yè),云從科技在人工智能領(lǐng)域一直保持著活躍狀態(tài)。

2019年初,云從科技與IBM中國、阿里巴巴創(chuàng)新中心等頭部科技企業(yè)同期入駐上海張江人工智能島;同年年末,憑借其AI治理經(jīng)驗(yàn),云從科技被評(píng)為國家標(biāo)準(zhǔn)人臉識(shí)別工作組副組長單位。隨后于2022年,云從科技成功上市,成為登陸科創(chuàng)板的首家AI平臺(tái)公司。

近日,云從科技披露了其2023年年度報(bào)告。財(cái)報(bào)顯示,云從2023年實(shí)現(xiàn)營業(yè)收入6.29億元,同比增長19.33%;歸母凈利潤同比減虧25.95%。其中,同比增長超20倍的泛AI領(lǐng)域營業(yè)收入表現(xiàn)亮眼,從容大模型成為營收增加的加速器。

站在如今的中國大模型賽道回望就會(huì)發(fā)現(xiàn),整個(gè)賽道正在從擁擠走向分層。曾于2023年年初喊出大模型口號(hào)的公司,到現(xiàn)在仍保持活躍的也僅剩寥寥數(shù)家。 

2023年5月,云從科技發(fā)布了其自研的從容大模型,隨后在2023年8月,從容大模型迭代至1.5版本。立足于自研基礎(chǔ)大模型,云從科技選擇以百億模型為主體走行業(yè)落地方向,試圖以此撬動(dòng)市場需求。從年報(bào)數(shù)據(jù)來看,這一嘗試已初顯成效。 

但外部的挑戰(zhàn)始終存在。2024年開年,如Sora、Gemini 1.5等產(chǎn)品不斷刷新模型性能的上限,近期Meta發(fā)布開源大模型Llama 3,更是為各家基礎(chǔ)大模型廠商提出了技術(shù)上的新挑戰(zhàn)。 

云從科技研究院產(chǎn)品總監(jiān)孫進(jìn)告訴界面新聞,從容大模型在內(nèi)部已經(jīng)歷了多輪迭代。1.5版本時(shí),平衡上下文長度、模型性能與推理成本是迭代重點(diǎn)。據(jù)孫進(jìn)介紹,從容大模型2.0版本已經(jīng)完成,目前正在向3.0迭代,能力迭代的重點(diǎn)將會(huì)是多模態(tài)能力。

一個(gè)亮點(diǎn)在于,通過云從科技自研的多模態(tài)大模型基礎(chǔ)架構(gòu)“all in one Transformer”,從容大模型2.0版本可以以文本語言為橋梁,實(shí)現(xiàn)語音與視覺兩種不同模態(tài)數(shù)據(jù)之間的統(tǒng)一。而3.0版本的迭代目標(biāo)則是跳過文本直接處理不同模態(tài)的數(shù)據(jù)。

孫進(jìn)解釋稱,以數(shù)字人為例,當(dāng)用戶以語音形式與數(shù)字人交流時(shí),語音數(shù)據(jù)會(huì)首先被轉(zhuǎn)為文字,隨后再由語言模型進(jìn)行理解。“而現(xiàn)在我們的做法是,直接用語言模型處理語音特征,沒有轉(zhuǎn)成文本的過程。” 

在語音交互、視覺巡檢等場景中,這種統(tǒng)一不同模態(tài)數(shù)據(jù)的能力將會(huì)為大模型產(chǎn)品帶來更大的提效空間,也會(huì)成為云從科技競標(biāo)商業(yè)落地項(xiàng)目時(shí)的產(chǎn)品競爭力。

在頭部廠商都已完成基礎(chǔ)模型能力建設(shè)與算法備案的當(dāng)下,快速實(shí)現(xiàn)商業(yè)落地并最終跑通數(shù)據(jù)飛輪是各家廠商謀求長期發(fā)展的必然選擇。智譜、Minimax、月之暗面等大模型公司都已經(jīng)對(duì)外開放API接口,其中智譜更是于今年3月對(duì)外公開了其商業(yè)化成績。 

在孫進(jìn)看來,今年會(huì)成為“大模型混戰(zhàn)”之后的樣板打造期,在明后年則會(huì)進(jìn)入全面推廣階段。樣板打造期內(nèi),廠商需要面臨著技術(shù)邊界和客戶業(yè)務(wù)邊界之間的碰撞,也需要直面同行業(yè)的競爭。

一位做AI商業(yè)落地的從業(yè)者告訴界面新聞,2023年初,行業(yè)內(nèi)“一切都值得重做一遍”的興奮情緒在逐漸回落。無論是頭部還是中腰部客戶,2023年整體上都處于觀望狀態(tài),一直在探索大模型技術(shù)究竟應(yīng)該在什么場景落地。

智能算力緊缺的大背景下,部署成本與推理成本問題一直是阻礙大模型落地的重要因素。目前在私有化部署領(lǐng)域內(nèi),云從所提供的700億參數(shù)以上模型需要在計(jì)算資源更多、耗電更大的訓(xùn)練機(jī)器運(yùn)行,而340億參數(shù)規(guī)模以下的模型則可以在成本相對(duì)較低的推理機(jī)器上運(yùn)行。 

因此,為了取得商業(yè)合作,大模型廠商往往需要平衡模型參數(shù)規(guī)模與性能、結(jié)合客戶場景需求給出投入產(chǎn)出表現(xiàn)最佳的技術(shù)方案。

“云從的特點(diǎn)就是相對(duì)來說比較全面?!睂O進(jìn)表示,因?yàn)樵茝目萍嫉膽?zhàn)略一直是做人機(jī)協(xié)同,所以在視覺、語言、語音三方面都有布局,技術(shù)能力更加全面;同時(shí)過去所積累的垂直行業(yè)經(jīng)驗(yàn)利于云從科技去訓(xùn)練行業(yè)模型,多行業(yè)落地的模式也有利于攤薄大模型研發(fā)成本。 

長期來看,盡管大模型成為重點(diǎn)方向,但云從科技的業(yè)務(wù)始終未脫離云從人機(jī)協(xié)同操作系統(tǒng)(Cloudwalk Operating System)概念。

孫進(jìn)表示,大模型與智能體的結(jié)合一直是內(nèi)部的重點(diǎn)工作?!爸悄荏w的精髓就是多模態(tài)大模型,通過智能體與大模型的結(jié)合搭建業(yè)務(wù)中臺(tái),以大模型定義業(yè)務(wù)。”他說,“這可能是未來很多廠商都會(huì)探索的方向。”

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。