這不僅是一場關(guān)于算法架構(gòu)優(yōu)劣的技術(shù)較量，更是一場實(shí)打?qū)嵉乃懔Τ杀究刂茟?zhàn)。為了理清當(dāng)前AIAgent系統(tǒng)底層的真實(shí)運(yùn)行狀況，我們需要將目光投向全球知名通用AIAgent平臺TaskLit的技術(shù)戰(zhàn)略重構(gòu)過程，看看在多模型博弈的當(dāng)下，頂尖的系統(tǒng)底層究竟是如何處理數(shù)據(jù)的，它們的緩存機(jī)制多久更新一次，以及行業(yè)巨頭OpenAI和Anthropic在這方面展現(xiàn)出的截然不同的底層商業(yè)邏輯。

探討深奧的緩存機(jī)制前，必須先認(rèn)清當(dāng)前AIAgent系統(tǒng)的運(yùn)作邏輯。知名播客CognitiveRevolution近期與TaskLit創(chuàng)始人兼CEOAndrewLee的一場深度對談，透露了一個(gè)行業(yè)真相：在過去的六個(gè)月時(shí)間里，這家公司基本上把每一行代碼都動過了一遍，將整個(gè)產(chǎn)品的技術(shù)棧進(jìn)行了徹底重寫。

但隨著時(shí)間線往前回溯，系統(tǒng)就會開始執(zhí)行冷酷的壓縮程序：首先去掉思考塊，接著截?cái)嗌踔粮纱嗳サ艄ぞ哒{(diào)用的響應(yīng)和參數(shù)，然后開始折疊工具調(diào)用并壓縮助手消息。最后，直接使用基于LLM生成的摘要來代替那些古老的歷史記錄。

整個(gè)系統(tǒng)是按照時(shí)間段“分桶”來運(yùn)行的。越舊的時(shí)間桶，添加新內(nèi)容的速度越慢，一旦達(dá)到特定閾值，系統(tǒng)就會將其壓縮，以此盡量減少對緩存的破壞，避免動到前綴。這種越往回保真度越低、并且分桶做緩存感知的方式，雖然偶爾會導(dǎo)致Agent在極長周期任務(wù)中“忘事”，但卻是目前唯一能夠平衡性能與高昂運(yùn)行成本的正確方向。

理解了系統(tǒng)如何壓縮數(shù)據(jù)，我們再來剖析一個(gè)極其硬核的指標(biāo)：這些緩存數(shù)據(jù)，到底多久會更新一次？

這需要分為應(yīng)用平臺端與底層模型供應(yīng)商端來看。在平臺應(yīng)用端（即決定送入LLM的壓縮歷史），緩存的更新是非常頻繁且持續(xù)的。只要有任何操作，它就會進(jìn)行增量更新，甚至在某一次長對話的運(yùn)行中間，如果Token數(shù)量過多，它也會在那一輪里立刻開始壓縮計(jì)算。值得注意的是，系統(tǒng)必須將這些壓縮后的摘要結(jié)果持久化保存下來。因?yàn)閷υ缙诘臍v史數(shù)據(jù)進(jìn)行基于LLM的壓縮計(jì)算，本身就會消耗大量的Token，如果每次啟動觸發(fā)器都要重新壓縮一遍歷史，成本將極度高昂。

而在底層模型供應(yīng)商端，緩存的存活時(shí)間則呈現(xiàn)出巨大的路線分化。

以目前備受開發(fā)者青睞的Anthropic（Claude模型提供商）為例，他們使用的是極其短暫的“五分鐘緩存”機(jī)制。這背后的商業(yè)假設(shè)是：用戶要么正處于一個(gè)活躍的會話中，要么是在一輪對話的中間，在這五分鐘內(nèi)緩存足以應(yīng)對。但現(xiàn)實(shí)職場中，很多企業(yè)的自動化觸發(fā)器并不是每半小時(shí)跑一次，而是每隔幾小時(shí)甚至每天才跑一次。這就導(dǎo)致對于Anthropic而言，想要跨越長時(shí)間去命中緩存基本不可能，其緩存命中通常僅僅局限于一次短促的運(yùn)行期間。不僅如此，Anthropic的緩存API設(shè)計(jì)得非常嚴(yán)格，在單次調(diào)用里最多只能緩存四個(gè)點(diǎn)，開發(fā)者需要編寫復(fù)雜的額外代碼才能讓這套機(jī)制跑起來。

相比之下，OpenAI則展示出了一種截然不同的緩存方案。OpenAI提供了一個(gè)非常簡單的緩存API，系統(tǒng)會自動緩存任何前綴，并且將其保留長達(dá)24小時(shí)。這種長時(shí)間的緩存保留，極大地降低了單次Agent跨周期運(yùn)行中的增量調(diào)用成本。對于平臺方來說，一旦他們耗費(fèi)心力做好了讓Anthropic正常運(yùn)行的工程架構(gòu)，再去適配OpenAI的系統(tǒng)就會顯得相當(dāng)容易。

除了緩存機(jī)制，兩家巨頭在模型的“性格底色”上也展現(xiàn)出差異。據(jù)一線實(shí)測反饋，Anthropic的模型往往更有創(chuàng)造力、更具同理心，但也正因如此，在處理極端商業(yè)任務(wù)時(shí)可能表現(xiàn)出不夠果決的一面；而OpenAI的模型（如4.6和4.7版本）則被描述為更加“無情”和臨床化，為了達(dá)到目的甚至愿意在不違法的前提下采取一些邊緣手段。這種底層模型特質(zhì)的不同，也要求開發(fā)者在構(gòu)建上層“機(jī)甲”（Harness）時(shí)，必須針對性地設(shè)計(jì)完全不同的監(jiān)督和權(quán)限審批系統(tǒng)。

在這個(gè)多模型博弈的戰(zhàn)場上，昂貴的Token成本如同隱形的利刃，正在重塑整個(gè)軟件行業(yè)的商業(yè)模式。微觀層面上，算力的差價(jià)極其懸殊。Anthropic通過其直接面向客戶的Max賬戶，提供的有效Token成本性價(jià)比，比通過API向第三方開發(fā)者供貨的價(jià)格高出大約五倍。這種巨大的價(jià)格鴻溝，逼迫著應(yīng)用層平臺必須走向中立，成為一個(gè)能夠接入所有提供商先進(jìn)模型的水平平臺。

當(dāng)?shù)讓幽Ｐ偷哪芰χ饾u趨同，且在各項(xiàng)任務(wù)上都表現(xiàn)出極高水準(zhǔn)時(shí)，傳統(tǒng)的單一功能SaaS軟件將面臨巨大的生存危機(jī)。正如TaskLit團(tuán)隊(duì)所發(fā)現(xiàn)的那樣，用戶已經(jīng)能夠通過一句Prompt瞬間生成包含圖表、切換按鈕的完整數(shù)據(jù)分析UI，而不再需要去專門的儀表盤工具里操作。

甚至連Salesforce這樣龐大的記錄系統(tǒng)（SystemofRecord）也面臨挑戰(zhàn)。傳統(tǒng)的CRM系統(tǒng)之所以龐大，是因?yàn)樵谶^去，企業(yè)必須維護(hù)一套極其復(fù)雜的Schema來覆蓋所有可能的需求。但在充滿Agent的未來，絕大多數(shù)人根本用不到那些冗余的功能，跨系統(tǒng)遷移數(shù)據(jù)變得輕而易舉。只要通用平臺能夠解決數(shù)據(jù)回滾和持久性保證的問題，傳統(tǒng)記錄系統(tǒng)的護(hù)城河將被徹底瓦解。