文|數(shù)智前線 周享玥
編輯|徐鑫
為了能讓自己以后更好地摸魚，我上周第一次和大模型協(xié)作，完成了對(duì)一份財(cái)報(bào)的分析。
事情是這樣的：前不久我與多位職場人士聊了聊大模型推出一年后，他們的真實(shí)使用情況。參見《大模型下眾生相：焦慮者、使用者和棄用者》。我也在小紅書上看到，不少大學(xué)生用AI給論文降重。這激發(fā)了我的一個(gè)想法，正巧趕上財(cái)報(bào)季，需要寫大量財(cái)報(bào)分析，如果我當(dāng)時(shí)用上了大模型助手，效率到底能夠?qū)崿F(xiàn)多大躍升？
于是，按照以往寫財(cái)報(bào)的習(xí)慣，我同時(shí)使用了四個(gè)大模型C端助手，包括文心一言、智譜清言、kimi、通義千問，來試圖模擬這個(gè)過程。
從和大模型協(xié)作的過程和結(jié)果看，我有了幾點(diǎn)感受：
1、大模型的確能節(jié)省時(shí)間，前提是熟練使用。這次全新的嘗試中，我需要不斷摸索，調(diào)試問法，尋找更好用的指令，還要確認(rèn)AI輸出的內(nèi)容是否正確。因此協(xié)作花費(fèi)的時(shí)間甚至比以往我單獨(dú)完成多了好幾倍。當(dāng)然，我相信，下一次耗時(shí)會(huì)大幅縮減。
2、對(duì)于過去的信息，大部分情況下，可放心使用大模型產(chǎn)品的聯(lián)網(wǎng)檢索功能。這有助于提高自己的素材收集效率。
3、基于知識(shí)庫的實(shí)時(shí)信息讀取，大模型的結(jié)果只能作為參考，需謹(jǐn)慎確認(rèn)，雖然它的確能迅速抓取關(guān)鍵數(shù)據(jù)、提供分析思路，但目前人和機(jī)器去協(xié)作還做不到十分順滑，比如容易存在數(shù)據(jù)讀取錯(cuò)誤，“張冠李戴”的可能，無法讓人完全信任其數(shù)據(jù)準(zhǔn)確性。
4、提示詞的專業(yè)性和精準(zhǔn)度也會(huì)極大程度影響大模型的返回效果。學(xué)會(huì)更高明和易用的提問方法，有助于更順暢地使用AI。
為了能獲得更好的效果，我也有以下建議：給大模型賦予一個(gè)角色，提示詞更為清晰和專業(yè)，偶爾可用AI幫寫提示詞，以及涉及數(shù)據(jù)的內(nèi)容需重點(diǎn)確認(rèn)。
01 “傻瓜式”用法，都能hold住
每逢財(cái)報(bào)季，財(cái)報(bào)分析稿件的撰寫，都極其考驗(yàn)“搶時(shí)間”和“找角度”的能力。這不僅要求我在最短時(shí)間內(nèi)，迅速從繁雜信息中，找到所需的關(guān)鍵業(yè)績指標(biāo)，還要與不同公司的業(yè)務(wù)情況相結(jié)合，拎出財(cái)報(bào)背后潛藏的一些關(guān)鍵信息。過程中，往往還會(huì)涉及到各種表格、趨勢圖的制作。
我希望，AI能簡化這些流程，即便不能做到一步到位，至少也要省掉其中大量繁瑣且不要求太多技術(shù)含量的工作。抱著這樣的期望，我開始了探索。
從大模型的聊天機(jī)器人交互界面開始，我發(fā)現(xiàn)幾家大模型廠商已經(jīng)卷起來了。
不同于OpenAI只在收費(fèi)的GPT 4中提供有文件上傳的功能，ChatGPT 3.5無法直接上傳文件（ChatGPT 3.5也能通過安裝插件，實(shí)現(xiàn)文件上傳，但不在此次試用范圍內(nèi)，未進(jìn)行更多探索），目前，國內(nèi)多家大模型推出的免費(fèi)版本中，都已內(nèi)置文件上傳的功能，相當(dāng)于可以直接上傳一個(gè)“知識(shí)庫”給到大模型，作為參考。
大模型廠商們甚至在可上傳的文件數(shù)上“卷”了起來，比如通義千問“可同時(shí)上傳100個(gè)文件”，kimi最多支持上傳50個(gè)文件。
財(cái)報(bào)分析的第一步，就是要讀懂財(cái)報(bào)。
模擬這個(gè)場景，我決定，先用最“傻瓜式”的問法，直接將比亞迪“最新發(fā)布”的2024年一季報(bào)，丟給大模型，讓AI參考文件中的各項(xiàng)信息，幫我寫一篇財(cái)報(bào)分析稿，看AI是否已經(jīng)能在讀財(cái)報(bào)這件事上達(dá)到“一鍵即出”的水平。
這份財(cái)報(bào)，內(nèi)容相對(duì)簡單，主要涵蓋三大財(cái)務(wù)報(bào)表及股東信息，并未涉及詳細(xì)業(yè)務(wù)構(gòu)成等其他更多元的信息。
幾個(gè)大模型據(jù)此給出的財(cái)報(bào)分析文案，也都較為簡潔明了，基本都涉及營收、凈利潤、現(xiàn)金流凈額、非經(jīng)常性損益等幾個(gè)財(cái)報(bào)分析時(shí)的重點(diǎn)指標(biāo)，但也不盡相同，一些大模型還對(duì)其他一些指標(biāo)進(jìn)行了分析，比如研發(fā)投入、股東回報(bào)、風(fēng)險(xiǎn)因素、股東及持股情況、資產(chǎn)負(fù)債情況、每股收益、凈資產(chǎn)收益率等。
當(dāng)然，如果AI僅僅能做到這一步，那對(duì)我的幫助算不得很大，要知道，財(cái)報(bào)發(fā)布后，直接打開雪球、東方財(cái)富網(wǎng)、Wind等各種專業(yè)的財(cái)經(jīng)網(wǎng)站，這些信息也能迅速一覽無余，而且比AI給出的更可信。畢竟，大模型偶爾會(huì)給出錯(cuò)誤的數(shù)據(jù)，比如將百萬億元級(jí)別的數(shù)據(jù)，讀成幾十萬億元。
于是，我又嘗試上傳了阿里、騰訊兩家在港股上市的最新財(cái)報(bào)，結(jié)果發(fā)現(xiàn)，隨著可參考“知識(shí)庫”中信息維度的豐富（三大財(cái)務(wù)報(bào)表之外，還涵蓋了詳細(xì)的業(yè)務(wù)構(gòu)成，以及分部業(yè)務(wù)、財(cái)務(wù)表現(xiàn)等），幾個(gè)大模型產(chǎn)品，也順勢在分析維度上進(jìn)行了拓展，除了拎出關(guān)鍵財(cái)務(wù)指標(biāo)，還更多在企業(yè)的“業(yè)務(wù)亮點(diǎn)”以及業(yè)務(wù)與財(cái)務(wù)之間的關(guān)系上進(jìn)行了著重分析和展現(xiàn)。而這對(duì)于我來說，的確可以形成一些借鑒和參考。
不過，不同大模型的分析風(fēng)格并不一樣。
kimi、智譜清言、通義千問為我提供了“更多的數(shù)據(jù)，但更簡潔的分析”。
文心一言則側(cè)重展現(xiàn)自己的分析能力，數(shù)據(jù)提供更少，但分析更為深入、完善。
當(dāng)然，除了A股和港股財(cái)報(bào)，我常常也需要讀一些在美股等國外股市上市的公司的財(cái)報(bào)。我試圖重開一個(gè)對(duì)話框，上傳阿里在美股市場發(fā)布的英文版財(cái)報(bào)，幾個(gè)大模型無一例外，都準(zhǔn)確讀出了里面的關(guān)鍵信息。事實(shí)證明，AI在讀英文文檔這件事上，比我做得更快更好一些。
總結(jié)這一輪的“傻瓜式”試用：
當(dāng)我上傳一個(gè)財(cái)報(bào)文檔，目前各家大模型都能直接輸出一篇“勉強(qiáng)及格”的財(cái)報(bào)分析稿，但內(nèi)容相對(duì)簡單，只是一些圍繞直接能在財(cái)報(bào)中找到的指標(biāo)的簡單分析，目前還只適用于用來了解這家公司的簡單情況，而無法達(dá)成對(duì)其深入剖析。甚至一些大模型，還會(huì)在數(shù)據(jù)的讀取上出現(xiàn)問題。
不過，如果能在“問法和提示詞”上更進(jìn)一步，AI是否能幫助我完成一些更復(fù)雜的工作？
02 超出“知識(shí)庫”，數(shù)據(jù)容易出問題
撰寫財(cái)報(bào)分析類的稿件，少不了各種對(duì)比。橫向和同行比，縱向和過去的自己比。
當(dāng)然，如果你直接問AI，“2024年一季度，比亞迪的業(yè)績情況，和同行業(yè)的其他競爭對(duì)手相比較，各自的表現(xiàn)如何”，大部分大模型產(chǎn)品都會(huì)告訴你，由于數(shù)據(jù)缺失，自己無法完成這項(xiàng)工作。
一些大模型也會(huì)給出更細(xì)致的提示。比如通義千問，告訴我需要在對(duì)比時(shí)重點(diǎn)關(guān)注幾個(gè)關(guān)鍵指標(biāo)，并詳細(xì)分析了指標(biāo)異常時(shí)可能代表的意義。
文心一言則將“喜歡假設(shè)”這點(diǎn)貫徹到了底，它試圖通過“假設(shè)”，來向我演示該在哪些方面對(duì)比比亞迪和同行的情況。
不過，如果我采用“迂回”問法，先問比亞迪的竟對(duì)有哪些，幾家大模型產(chǎn)品都能快速通過聯(lián)網(wǎng)搜索結(jié)果，給出對(duì)應(yīng)的公司名稱及簡要情況介紹。
進(jìn)一步追問這些公司的業(yè)績情況，一些大模型會(huì)建議我直接查閱每家公司的財(cái)報(bào)，一些大模型則陳列出了部分公司的部分業(yè)績和銷量。這些的確在一定程度上，有助于我完成比亞迪與行業(yè)內(nèi)的其他公司的一個(gè)對(duì)比。
而當(dāng)我需要縱向?qū)Ρ葧r(shí)，往往要比對(duì)一家公司過去幾年的業(yè)績變化。通常的做法是，打開雪球、Wind等專門的網(wǎng)站，找到對(duì)應(yīng)的統(tǒng)計(jì)欄目，即可初步了解變化趨勢。實(shí)在沒有的，比如某個(gè)季度連續(xù)幾年的變化，也能通過Excel等工具，輸入數(shù)據(jù)后，進(jìn)行處理。
現(xiàn)在，AI能夠一步取代這些工作嗎？
可以看到，接到任務(wù)后，幾個(gè)大模型都很快給出了對(duì)應(yīng)的分析架構(gòu)，但大部分大模型產(chǎn)品卻不可避免地在數(shù)據(jù)分析處理上出現(xiàn)了一些問題。
文心一言和kimi都“機(jī)智”地發(fā)現(xiàn)了2022年一季度數(shù)據(jù)的缺失，一個(gè)選擇在分析時(shí)使用假設(shè)數(shù)據(jù)加以示例說明，一個(gè)明確指出“需參考?xì)v史財(cái)報(bào)”。
不過，在四個(gè)工具助手中，一個(gè)在讀取小數(shù)位時(shí)犯了個(gè)小錯(cuò)誤，不管是營收還是歸母凈利潤都比實(shí)際數(shù)據(jù)少讀了一個(gè)小數(shù)位。
一些大模型，產(chǎn)生了幻覺，給出了財(cái)報(bào)中沒有且與真實(shí)情況相悖的同比增長數(shù)據(jù)。
也有大模型搞錯(cuò)了財(cái)報(bào)中數(shù)據(jù)與財(cái)季的對(duì)應(yīng)關(guān)系，將2023年Q1和2024年Q1的數(shù)據(jù)分別“張冠李戴”到了他們的上一年。
為了糾正這些“幻覺”和錯(cuò)誤，獲得更準(zhǔn)確的結(jié)果，我試圖將比亞迪2022年一季報(bào)和2023年一季報(bào)也傳給大模型，讓它結(jié)合補(bǔ)充文件，進(jìn)一步回答過去三年的變化趨勢。
不出意外，有了新“知識(shí)庫”的加持，盡管還有模型偶爾在一兩個(gè)數(shù)據(jù)上出現(xiàn)錯(cuò)誤，但整體來看，幾個(gè)大模型的回答精準(zhǔn)性都得到了提高，同時(shí)也給出了一份條理清晰的分析。當(dāng)然，受限于一次只能上傳一個(gè)文件的規(guī)定，文心一言給出的結(jié)論依然只針對(duì)一個(gè)文件進(jìn)行了分析。
值得一提的是，kimi給出的回答中，除了詳細(xì)列出了營收和歸母凈利潤在過去三年的變化，并加以分析，還進(jìn)一步給出了結(jié)論和建議，并指出如果要獲得更全面的分析視角，還需考慮公司的成本結(jié)構(gòu)、市場競爭狀況、以及宏觀經(jīng)濟(jì)和行業(yè)發(fā)展趨勢等多方面因素。
我根據(jù)這一提示繼續(xù)追問了kimi關(guān)于比亞迪過去三年成本結(jié)構(gòu)的變化、研發(fā)費(fèi)用和銷售費(fèi)用增長的原因等問題，其都能比較準(zhǔn)確地找出對(duì)應(yīng)數(shù)據(jù)，并給出一定的分析。
我同樣將這些問題發(fā)給了其他幾個(gè)大模型進(jìn)行追問，一些大模型在原因歸納上較為擅長，可以為財(cái)報(bào)分析者提供一些分析思路，但在某些數(shù)據(jù)上，仍然容易出現(xiàn)財(cái)季與數(shù)據(jù)對(duì)應(yīng)出錯(cuò)的問題。
大模型給出的分析，很多也會(huì)參考其聯(lián)網(wǎng)搜索的結(jié)果。當(dāng)然，大多數(shù)大模型并不會(huì)在給出的回答中指明哪些是聯(lián)網(wǎng)獲取，哪些是來自我上傳的“知識(shí)庫”。而通義千問經(jīng)常會(huì)在給出的回答中，附上其參考的一些鏈接。
智譜清言和文心一言，則在我問到諸如“研發(fā)費(fèi)用和銷售費(fèi)用為什么大幅增長”等一些問題后，在對(duì)話窗口推薦一些更細(xì)節(jié)的問題，幫助用戶更具有針對(duì)性地提問。
一個(gè)階段性小總結(jié)：
當(dāng)涉及一些需要計(jì)算才能知曉結(jié)果，又或是需要額外提供補(bǔ)充數(shù)據(jù)的問題時(shí)，不少大模型在數(shù)據(jù)上出錯(cuò)的可能性大幅增加，除了常見的讀錯(cuò)小數(shù)位的情況，一些大模型也會(huì)將指標(biāo)和數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系搞錯(cuò)，又或者直接出現(xiàn)“幻覺”，“胡說八道”一些并不存在的數(shù)據(jù)。
不同的大模型企業(yè)在交互邏輯上側(cè)重點(diǎn)也不太一樣。一些大模型在產(chǎn)品交互中非常重視“免責(zé)聲明”，如kimi，也有大模型產(chǎn)品在交互界面上非常重視用戶友好度，比如智譜清言和文心一言的對(duì)話窗口都有問題推薦；一些大模型產(chǎn)品則重視答案的可信度，如通義千問總是在回答中提供自己參考的文獻(xiàn)鏈接。
03 制表可以，作圖不行
光有文字的對(duì)比分析還不夠，要想更直觀地反映出一家公司連續(xù)幾年的業(yè)績變化情況，表格或趨勢圖必不可少。
制表這件事兒，幾個(gè)大模型看起來都十分地“游刃有余”，一接收到指令，“唰唰唰”幾下，就把正確的表格樣式，以及需要的數(shù)據(jù)從報(bào)表里找了出來。
文心一言稍有不同，由于我上傳的文檔中，只能讀取最近的一個(gè)，因此給出的是根據(jù)假設(shè)值來做的演示圖表。
當(dāng)然，對(duì)比營收、凈利潤等能直接在財(cái)報(bào)中找到的數(shù)據(jù)，像毛利率這樣需要一些計(jì)算的數(shù)據(jù)，對(duì)大模型就稍微“有點(diǎn)難度”。一些大模型直接指出這一數(shù)據(jù)“未直接給出”，而一些大模型雖然根據(jù)其擁有的通識(shí)，正確列出了毛利率的計(jì)算公式，但計(jì)算結(jié)果卻是錯(cuò)誤的。
另外，單位的換算，也是大模型容易出錯(cuò)的地方。當(dāng)我加了“單位用億元”的限定后，四個(gè)大模型中有兩個(gè)換算正確。
制表效果勉強(qiáng)可以，作圖又如何？
面對(duì)進(jìn)一步根據(jù)表格制作一個(gè)趨勢圖的要求，幾個(gè)大模型均表示自己無法直接生成圖形，但是可以提供一些指導(dǎo)和建議，幫助用戶使用Excel或其他圖表工具自行作圖。
04 角色設(shè)定，起大用了
經(jīng)過前面這些嘗試，雖然勉強(qiáng)能通過與AI的協(xié)作，給我?guī)硪恍椭^程還是太復(fù)雜了，準(zhǔn)確性需要反復(fù)確認(rèn)，分析的指標(biāo)和角度也都較為簡單。
如何才能給AI再提一下效？加一個(gè)“角色身份”的設(shè)定或許可以。畢竟，角色扮演正是大模型擅長的能力之一。
在問題前面增加“假定你是一個(gè)資深的財(cái)務(wù)分析人士，擁有豐富的股票投資和財(cái)報(bào)分析經(jīng)驗(yàn)”這一表述后，果然，幾個(gè)大模型給出的答案中所涉及的數(shù)據(jù)指標(biāo)，均明顯比沒有角色限定時(shí)，更加多元和廣泛。
尤其是文心一言，在這方面表現(xiàn)出了更多層次的觀察視角，重點(diǎn)強(qiáng)調(diào)營收和歸母凈利潤的變化的同時(shí)，也從業(yè)務(wù)結(jié)構(gòu)、財(cái)務(wù)指標(biāo)、風(fēng)險(xiǎn)因素等多方面進(jìn)行了分析。
而當(dāng)在給了大模型一個(gè)角色設(shè)定的基礎(chǔ)上，再繼續(xù)增添一些更專業(yè)和細(xì)化的指令時(shí)，大模型給出的回答的效果還能夠進(jìn)一步提升。
不過，值得注意的是，對(duì)于不同大模型，并不是一個(gè)指令即可通用。一些指令可能對(duì)于某個(gè)大模型，能大幅提升回答的專業(yè)性和準(zhǔn)確性，但對(duì)于另一些大模型，可能效果提升并沒有那么明顯。
比如當(dāng)我把一個(gè)將近3000字的指令，給到不同大模型時(shí)，kimi面對(duì)這個(gè)詳細(xì)規(guī)定了財(cái)報(bào)分析過程中常用的杜邦分析法的具體細(xì)節(jié)，且要求了大模型在自己的“角色”設(shè)定下，根據(jù)規(guī)定“技能”，嚴(yán)格遵守“約束”，按“工作流”執(zhí)行流程的指令，就表現(xiàn)出了很好的效果提升。用戶給出指令后，只需按照AI返回的提示，一步步追問，就可簡單且快速地了解財(cái)報(bào)分析中的各項(xiàng)關(guān)鍵數(shù)據(jù)。
而智譜清言、通義千問等雖然也按照這一指令規(guī)定，使用杜邦分析法進(jìn)行了分析，但都是“一步到位”，并未詳細(xì)對(duì)這一指令中的每一個(gè)要求進(jìn)行詳細(xì)分解和展示。
可以發(fā)現(xiàn)，更加專業(yè)的指令，的確可以大幅提升人與AI協(xié)作辦公的效率。尤其是在財(cái)報(bào)分析這個(gè)領(lǐng)域，由于一份財(cái)報(bào)中含有大量信息，讀起來往往費(fèi)時(shí)費(fèi)力，AI工具的應(yīng)用，確實(shí)能在一定程度上幫助用戶迅速找到財(cái)報(bào)中的關(guān)鍵數(shù)據(jù)，并實(shí)現(xiàn)相應(yīng)指標(biāo)的計(jì)算。
但專業(yè)性的指令，目前對(duì)于普通用戶，仍然還是一個(gè)巨大的門檻。
有意思的是，一些大模型已經(jīng)注意到這一點(diǎn)，并試圖降低用戶編寫專業(yè)提示詞的門檻。比如，文心一言專門在官網(wǎng)上設(shè)置了一個(gè)“使用指南”板塊，并舉了各種使用案例，作為“教程”，指導(dǎo)用戶如何更快寫出適合文心一言的指令。kimi則在kimi+中內(nèi)置了“提示詞專家”服務(wù)，通過AI來幫助用戶編寫提示詞，用戶只需將AI給出的提示詞，再返回給AI，即可快速進(jìn)行財(cái)報(bào)分析。
05 更專業(yè)的內(nèi)容，仍需人工
通過更加專業(yè)的指令，讓AI幫助分析人們普遍關(guān)注的財(cái)務(wù)指標(biāo)問題，仍然不夠，要想讓一篇文章更具深度和廣度，還需要去和具體的業(yè)務(wù)相結(jié)合，做更深一層的分析。
比如市場關(guān)注車企的一個(gè)指標(biāo)——單車?yán)麧櫋?/p>
我試圖向AI尋求這一數(shù)據(jù)，但即便給到大模型關(guān)于比亞迪年報(bào)中汽車與相關(guān)產(chǎn)品業(yè)務(wù)的業(yè)績數(shù)據(jù)，以及當(dāng)年的車輛總銷量，依然很難計(jì)算出正確的單車?yán)麧?。這些仍然需要專業(yè)的第三方機(jī)構(gòu)按照專業(yè)的方法，核算給出。
不過，對(duì)于過去已有的單車?yán)麧櫺畔?，幾個(gè)大模型產(chǎn)品均能通過聯(lián)網(wǎng)搜索，快速獲得。
綜合來看，這也是目前AI所能提供的最為成熟的功能之一。它能幫助我在過往的各種繁雜的鏈接和信息中，快速篩選出符合我要求的關(guān)鍵信息，甚至能比參考實(shí)時(shí)上傳的知識(shí)庫給出的內(nèi)容準(zhǔn)確性更高。
當(dāng)然，從上述的協(xié)作流程可以看到，目前AI能夠?yàn)槲业娜粘９ぷ魈峁┑闹?，剛剛達(dá)到及格線水平。它能準(zhǔn)確提供大量的過往參考信息，也能實(shí)時(shí)閱讀文檔，捕捉其中的關(guān)鍵信息，但這些都還是整個(gè)工作流程里最為基礎(chǔ)的那部分。一旦涉及到略為復(fù)雜和需要專業(yè)性的地方，仍然需要人工介入，并且整體協(xié)作體驗(yàn)并不十分順暢。
我還曾希望，AI能幫我發(fā)現(xiàn)一些目前被忽略但公司客觀存在的問題，但還很難實(shí)現(xiàn)。
AI的能力仍然需要進(jìn)步，AI的使用門檻依然很高，讓AI幫我摸魚的愿望還沒有照進(jìn)現(xiàn)實(shí)。