界面新聞記者 | 李彪
界面新聞編輯 | 文姝琪
2022年前后，在OpenAI還未發(fā)布ChatGPT前，“AI infra”（AI infrastucture）在業(yè)內(nèi)還不是一個完全成型的概念。許多研究高性能計算、分布式系統(tǒng)、大規(guī)模算力網(wǎng)絡(luò)集群等技術(shù)的創(chuàng)業(yè)者都還處于“拿著錘子找釘子”狀態(tài)。
這一時期，基流科技創(chuàng)始人胡效赫從清華大學(xué)自動化系博士畢業(yè)，開始進入AI領(lǐng)域創(chuàng)業(yè)。在清華大學(xué)就讀本科與博士期間，胡效赫的研究方向是云計算、分布式系統(tǒng)和高性能網(wǎng)絡(luò)處理。他的創(chuàng)業(yè)團隊成員大多來自清華大學(xué)網(wǎng)絡(luò)安全實驗室?！霸贏I大模型火起來之前，我們在實驗室里研究分布式系統(tǒng)、云計算、云網(wǎng)絡(luò)等技術(shù)，產(chǎn)業(yè)界最主要需求還是與自動駕駛仿真有關(guān)?！焙Ш崭嬖V界面新聞記者。
在GPT-3、GPT-4等AI大模型陸續(xù)問世并引發(fā)全球轟動后，AI infra近兩年成為了備受關(guān)注的熱門創(chuàng)業(yè)方向。按照業(yè)內(nèi)通俗定義，AI infra是涉及人工智能底層基礎(chǔ)設(shè)施的產(chǎn)品與技術(shù)的統(tǒng)稱，包括硬件、軟件、數(shù)據(jù)和算法?；骺萍贾饕邪l(fā)通信網(wǎng)絡(luò)及配套的交換機硬件、算力調(diào)度運維軟件，用于支持AI大模型的算力集群落地與運營。IDC報告顯示，2024年上半年，全球在AI部署的計算和存儲硬件基礎(chǔ)設(shè)施上的支出達到474億美元，同比增長97%。
DeepSeek今年的出現(xiàn)進一步催化了AI infra的熱度。DeepSeek通過MOE架構(gòu)（Mixture-of-Experts ）與強化學(xué)習(xí)（Reinforcement Learning）一系列手段，針對人工模型底層基礎(chǔ)設(shè)施做優(yōu)化，大幅降低了模型的訓(xùn)練成本。
胡效赫認(rèn)為，DeepSeek帶火AI infra的直接原因是行業(yè)看到了從底層優(yōu)化AI模型效率的重要性。以公司所做的算力網(wǎng)絡(luò)舉例，“2024年行業(yè)門檻開始變低，但其實很多廠商就是把服務(wù)器和網(wǎng)絡(luò)的線插上連上，完成基本的硬件集成工作，就算做完了組網(wǎng)。Deepseek出現(xiàn)后，業(yè)內(nèi)開始認(rèn)識到，要真正降低成本，達到一定的利用率，像是把原來需要4000張GPU卡做的訓(xùn)練變成3000張，就需要深入基礎(chǔ)設(shè)施底層，通過關(guān)鍵技術(shù)創(chuàng)新去優(yōu)化計算通信效率。”
此前，算力一直被認(rèn)為是限制AI模型性能的瓶頸，各地都在大舉投建新的AI數(shù)據(jù)中心用于算力擴容。在DeepSeek出現(xiàn)并降低了AI模型研發(fā)的算力門檻后，業(yè)內(nèi)開始討論前兩年快速擴張的算力需求是否會放緩，市場是否存在泡沫——全球算力霸主英偉達年初也受DeepSeek沖擊，股價縮水超過了20%。
胡效赫認(rèn)為，DeepSeek出現(xiàn)后市場接下來對算力依然保持強需求。在他看來，DeepSeek V3 是迭代訓(xùn)練的結(jié)果，涉及大量反復(fù)嘗試與重試，過程中仍然需要消耗不少算力。算力需求與迭代兩者間的基本邏輯依然是“投入更多算力，就能更快看到迭代的效果”。
“用業(yè)內(nèi)經(jīng)常提到的一個例子打比方，一個人中午吃飯要吃10個包子。不可能最后反過來說前面9個包子都不重要，只吃第10個包子就能飽。”胡效赫說。
此外，市場熱議的另一種觀點認(rèn)為，DeepSeek出現(xiàn)后，市場對算力的需求非但不會降低，反而會大幅上升。
行業(yè)原先認(rèn)為，從無到有地生成一個大模型主要依靠“訓(xùn)練”，用訓(xùn)練好的模型處理新數(shù)據(jù)主要依靠“推理”。模型前期訓(xùn)練需要“喂”海量的數(shù)據(jù)，數(shù)據(jù)計算過程需要消耗更多的算力，算力需求主要集中于模型訓(xùn)練。業(yè)內(nèi)IDC等市場機構(gòu)曾估算，訓(xùn)練算力與推理算力在2023年的比例是8比2，但未來隨著模型成熟、性能趨于穩(wěn)定，推理算力需求將有更快的提升。
而DeepSeek的出現(xiàn)加速了這一趨勢。DeepSeek的突破被認(rèn)為是模型推理的技術(shù)創(chuàng)新，其開源模型的推廣將一步推動基于AI推理的應(yīng)用開發(fā)。行業(yè)最新預(yù)測，訓(xùn)練算力與推理算力的比例很快將達到6比4，甚至更高。英偉達CEO黃仁勛此前在媒體采訪與3月的GTC大會上多次強調(diào)，隨著行業(yè)原先集中于訓(xùn)練的算力向推理遷移，算力需求的總量不降反升?！癉eepSeek的成功反而證明了市場需要更多芯片”。
隨著算力需求的持續(xù)擴容，AI infra行業(yè)也將迎來更大的增長機遇。自2023年公司成立以來，基流科技已經(jīng)參與過搭建萬卡集群，支持了國內(nèi)十多個智算數(shù)據(jù)中心集群落地，服務(wù)過包括智譜AI、商湯、運營商、地方國企等一眾客戶。此前接受媒體采訪時，胡效赫曾提到，基流科技的算力集群方案在生產(chǎn)環(huán)境中達到全球一線廠商的利用率水平，同時幫助客戶在千卡落地中節(jié)省成本上千萬元，在萬卡落地中節(jié)省數(shù)億元。
最早作為國內(nèi)早期創(chuàng)業(yè)孵化機構(gòu)奇績創(chuàng)壇的項目，基流科技目前為止已完成了天使輪到A輪的五輪融資，背后投資方有智譜、光速光合、華泰創(chuàng)新、招商局創(chuàng)投、中關(guān)村科學(xué)城、張江高科、水木清華校友基金、卓源亞洲、啟迪之星、國方創(chuàng)新等一眾機構(gòu)。據(jù)界面新聞了解，公司近期即將完成新一輪融資。一位投資人告訴記者，基流科技去年營收已經(jīng)破億。
創(chuàng)業(yè)之初，胡效赫對公司的定位是做“大模型時代的思科”。思科曾在互聯(lián)網(wǎng)產(chǎn)業(yè)崛起的過程中靠提供大量的網(wǎng)絡(luò)交換機、路由器設(shè)備，參與構(gòu)建了全球網(wǎng)絡(luò)基礎(chǔ)設(shè)施，基流科技則要在數(shù)據(jù)中心、國產(chǎn)通信網(wǎng)絡(luò)系統(tǒng)、高性能計算集群等AI基礎(chǔ)設(shè)施上發(fā)力。同時在此過程中，公司還計劃投入更多的研發(fā)創(chuàng)新和商業(yè)化推廣，建設(shè)國產(chǎn)供應(yīng)鏈以實現(xiàn)國產(chǎn)化替代目標(biāo)。
當(dāng)前，大火的AI infra賽道也已經(jīng)涌入了更多公司。胡效赫認(rèn)為，雖然各家切入創(chuàng)業(yè)的方向不同，技術(shù)與產(chǎn)品也有很大的差異，但隨著資本的涌入，競爭加速，整個AI infra領(lǐng)域與兩年前相比發(fā)生了根本變化，“如果說2022年、2023年，AI infra的創(chuàng)業(yè)者還可以僅靠團隊背景、技術(shù)拿融資，現(xiàn)在已經(jīng)到了要講商業(yè)化、講實際業(yè)務(wù)規(guī)模的階段。”