幻方量化旗下大模型廠商DeepSeek啟用硬盤緩存技術(shù)

8月2日，私募巨頭幻方量化官微宣布，其探索AGI（通用人工智能）的新組織“深度求索（DeepSeek）”啟用上下文硬盤緩存技術(shù)，把預(yù)計(jì)未來(lái)會(huì)重復(fù)使用的內(nèi)容，緩存在分布式的硬盤陣列中。在大模型API的使用場(chǎng)景中，如果輸入存在重復(fù)，則重復(fù)的部分只需要從緩存讀取，無(wú)需計(jì)算。緩存命中的部分，DeepSeek費(fèi)用為0.1元每百萬(wàn)tokens。