記者 葉心冉

TPU獲得的關(guān)注度肉眼可見地在攀升。

過去一個月，圍繞谷歌TPU的消息接連不斷。4月底，谷歌發(fā)布了第八代TPU，首次將訓(xùn)練和推理拆分為兩款獨立的芯片；緊接著，市場上相繼傳出谷歌向英特爾下達(dá)大規(guī)模采購訂單、谷歌擬與三星開發(fā)新一代TPU的消息。不過，谷歌方面對此均未作出公開回應(yīng)。

但可以預(yù)見的一個趨勢是，隨著谷歌TPU的大幅入局，過去幾年作為AI算力代名詞的GPU，不再是唯一的選擇。當(dāng)算力需求從訓(xùn)練轉(zhuǎn)向推理時代，TPU的優(yōu)勢開始凸顯，從過去的“配角”愈加有站上主舞臺之勢。

GPU和TPU是兩種不同的芯片品類。GPU誕生已有二十多年，全稱是Graphics Processing Unit（圖形處理器），技術(shù)相對成熟，代表公司有英偉達(dá)、AMD。TPU則是谷歌從2015年起專門為AI設(shè)計的新品類，它的全稱是Tensor Processing Unit（張量處理器），專攻深度學(xué)習(xí)所需的矩陣運算。

集群計算需求增長

TPU為何在此時成為焦點？先要看市場需求正在發(fā)生什么變化。

國家數(shù)據(jù)局發(fā)布的《全國數(shù)據(jù)資源調(diào)查報告（2025年）》顯示，2025年，中國AI推理數(shù)據(jù)量首次超過訓(xùn)練數(shù)據(jù)量。

TrendForce集邦咨詢的數(shù)據(jù)預(yù)測，北美五大云服務(wù)商2026年AI訓(xùn)練算力預(yù)計增長56%，而推理算力將暴增122%，后者增速是前者的兩倍以上。IDC預(yù)測，到2029年中國市場推理算力占比將接近八成。

推理正逐漸成為算力需求的主場，而這也在為TPU創(chuàng)造機(jī)會。

首先，模型越來越大，單顆芯片無法支撐，必須依靠多顆芯片的集群協(xié)同完成推理任務(wù)，而TPU在集群效率上有先天優(yōu)勢。

“智能體正在逐步替代人類的部分工作，其本質(zhì)是用寫程序的能力控制電腦。只有當(dāng)模型足夠大時，才能完成程序員能做的事。如今的模型參數(shù)從億級已達(dá)到萬億級別，單顆芯片無法承載完整推理任務(wù)，必須依靠幾十甚至上百顆芯片互聯(lián)集群協(xié)同運算。”中昊芯英創(chuàng)始人及CEO楊龔軼凡說。

中昊芯英是一家聚焦TPU芯片技術(shù)研發(fā)的企業(yè)，楊龔軼凡表示，GPU架構(gòu)是以單卡通用算力和軟件生態(tài)見長，而TPU則是在大規(guī)模集群的通信與協(xié)同效率上有優(yōu)勢。

一位前谷歌TPU工程師在一檔視頻節(jié)目中介紹，GPU單機(jī)內(nèi)部依靠NVLink、板載NVSwitch實現(xiàn)多卡互聯(lián)，跨機(jī)架大規(guī)模集群還需額外采購交換機(jī)、光模塊搭建高速網(wǎng)絡(luò)，配套硬件是一筆大額基建開支；而TPU機(jī)柜內(nèi)芯片可直接互通，僅在跨機(jī)柜擴(kuò)展時使用自研光電路交換機(jī)，無需大批量采購商用高速交換設(shè)備，在同等集群通信性能下，整體部署硬件成本更低。

其次，推理階段對性價比的敏感度遠(yuǎn)高于訓(xùn)練。當(dāng)Token消耗呈指數(shù)級暴增，單位算力成本也成為了更受重視的指標(biāo)。從架構(gòu)上看，TPU是專用芯片，剔除了GPU的圖形渲染、通用計算等功能，聚焦于深度學(xué)習(xí)矩陣運算。楊龔軼凡指出，谷歌TPU在發(fā)布時，對比同等生產(chǎn)工藝的GPU，有3到5倍的性能提升。

細(xì)分場景里的選擇

什么場景下GPU更合適，什么場景下TPU更優(yōu)？

這需要回到芯片設(shè)計的原點。

楊龔軼凡說，GPU最早是為了在電腦屏幕上顯示逼真的3D游戲畫面而設(shè)計的。它要把三維物體從各個角度算成二維畫面，還要算光線、顏色，讓畫面足夠真實。這就導(dǎo)致GPU里面塞了上萬個計算核心，像一個大工廠里有一萬名工人同時干活。優(yōu)點是并發(fā)能力強(qiáng)，處理圖像和矩陣運算非常快。但缺點是，一旦某個工人算錯了，你根本沒法在一萬名工人里快速找到是誰出了問題。

而AI深度學(xué)習(xí)的計算模式完全不同。深度學(xué)習(xí)模型是一層一層往下計算的，每一層內(nèi)部可以高并發(fā)，但層與層之間有先后順序。這種模式不需要GPU那么復(fù)雜的調(diào)試和通用能力。于是，TPU這類專門為AI設(shè)計的芯片應(yīng)運而生，只聚焦深度學(xué)習(xí)最常用的運算。

這就好比，從之前要同時調(diào)度一萬個工人，變成只需要調(diào)度一千個按固定流水線工作的工人，控制邏輯簡單得多。

基于這種架構(gòu)差異，楊龔軼凡預(yù)測，未來AI芯片市場將形成“442”格局：40%是極致性價比的純ASIC（專用集成電路）芯片，只能跑固定一兩個模型的推理，性價比極致；40%是可編程的DSA（領(lǐng)域?qū)Ｓ眉軜?gòu)）芯片，比如TPU，支持深度學(xué)習(xí)網(wǎng)絡(luò)的算法，芯片利用率不如ASIC，但比GPU強(qiáng)很多；20%是通用GPU，留給還在快速變化的新算法和研究場景。

不過，這并不意味著TPU對GPU是替代關(guān)系，而是要看具體場景的適配。

在楊龔軼凡看來，20%的GPU市場會長期存在。原因在于，AI領(lǐng)域的新算法、新方向還在不斷涌現(xiàn)，研究人員需要一個通用、靈活的平臺來快速驗證想法。CUDA生態(tài)（英偉達(dá)圍繞GPU硬件打造的一系列軟件和工具鏈）經(jīng)過20年打磨，成熟度高，當(dāng)新的計算場景出現(xiàn)時，GPU仍然是首選。

而TPU的優(yōu)勢在于性價比和生態(tài)建設(shè)成本。楊龔軼凡舉例解釋，TPU的設(shè)計思路是讓開發(fā)者“只管開車，不用修車”。它的硬件指令專為AI計算優(yōu)化，同時適配PyTorch這類主流框架。PyTorch就像一個AI“樂高工具箱”，開發(fā)者用熟悉的“積木”搭模型，剩下的交給TPU編譯器自動優(yōu)化，不用為了遷就硬件去學(xué)一套新編程語言。

相比之下，CUDA更像一套“修車工具”，開發(fā)者必須懂“發(fā)動機(jī)原理”才能玩得轉(zhuǎn)，這套工具是行業(yè)積累了十多年的成果。TPU則是依托現(xiàn)有成熟AI框架，大幅降低了軟件適配門檻，這也是其性價比優(yōu)勢的重要來源。

當(dāng)下，AI Agents逐步進(jìn)化為全球社會生產(chǎn)力的核心基座，帶動Token消耗量指數(shù)級攀升和“Token經(jīng)濟(jì)”時代的來臨。當(dāng)Token消耗呈指數(shù)級增長，芯片的利用率、性價比成為更加重要的比拼項，TPU迎來新的機(jī)會，開始成為AI芯片賽道上除GPU之外的“另一個選項”。