記者 葉心冉

TPU獲得的關(guān)注度肉眼可見(jiàn)地在攀升。

過(guò)去一個(gè)月，圍繞谷歌TPU的消息接連不斷。4月底，谷歌發(fā)布了第八代TPU，首次將訓(xùn)練和推理拆分為兩款獨(dú)立的芯片；緊接著，市場(chǎng)上相繼傳出谷歌向英特爾下達(dá)大規(guī)模采購(gòu)訂單、谷歌擬與三星開(kāi)發(fā)新一代TPU的消息。不過(guò)，谷歌方面對(duì)此均未作出公開(kāi)回應(yīng)。

但可以預(yù)見(jiàn)的一個(gè)趨勢(shì)是，隨著谷歌TPU的大幅入局，過(guò)去幾年作為AI算力代名詞的GPU，不再是唯一的選擇。當(dāng)算力需求從訓(xùn)練轉(zhuǎn)向推理時(shí)代，TPU的優(yōu)勢(shì)開(kāi)始凸顯，從過(guò)去的“配角”愈加有站上主舞臺(tái)之勢(shì)。

GPU和TPU是兩種不同的芯片品類(lèi)。GPU誕生已有二十多年，全稱(chēng)是Graphics Processing Unit（圖形處理器），技術(shù)相對(duì)成熟，代表公司有英偉達(dá)、AMD。TPU則是谷歌從2015年起專(zhuān)門(mén)為AI設(shè)計(jì)的新品類(lèi)，它的全稱(chēng)是Tensor Processing Unit（張量處理器），專(zhuān)攻深度學(xué)習(xí)所需的矩陣運(yùn)算。

集群計(jì)算需求增長(zhǎng)

TPU為何在此時(shí)成為焦點(diǎn)？先要看市場(chǎng)需求正在發(fā)生什么變化。

國(guó)家數(shù)據(jù)局發(fā)布的《全國(guó)數(shù)據(jù)資源調(diào)查報(bào)告（2025年）》顯示，2025年，中國(guó)AI推理數(shù)據(jù)量首次超過(guò)訓(xùn)練數(shù)據(jù)量。

TrendForce集邦咨詢(xún)的數(shù)據(jù)預(yù)測(cè)，北美五大云服務(wù)商2026年AI訓(xùn)練算力預(yù)計(jì)增長(zhǎng)56%，而推理算力將暴增122%，后者增速是前者的兩倍以上。IDC預(yù)測(cè)，到2029年中國(guó)市場(chǎng)推理算力占比將接近八成。

推理正逐漸成為算力需求的主場(chǎng)，而這也在為T(mén)PU創(chuàng)造機(jī)會(huì)。

首先，模型越來(lái)越大，單顆芯片無(wú)法支撐，必須依靠多顆芯片的集群協(xié)同完成推理任務(wù)，而TPU在集群效率上有先天優(yōu)勢(shì)。

“智能體正在逐步替代人類(lèi)的部分工作，其本質(zhì)是用寫(xiě)程序的能力控制電腦。只有當(dāng)模型足夠大時(shí)，才能完成程序員能做的事。如今的模型參數(shù)從億級(jí)已達(dá)到萬(wàn)億級(jí)別，單顆芯片無(wú)法承載完整推理任務(wù)，必須依靠幾十甚至上百顆芯片互聯(lián)集群協(xié)同運(yùn)算?！敝嘘恍居?chuàng)始人及CEO楊龔軼凡說(shuō)。

中昊芯英是一家聚焦TPU芯片技術(shù)研發(fā)的企業(yè)，楊龔軼凡表示，GPU架構(gòu)是以單卡通用算力和軟件生態(tài)見(jiàn)長(zhǎng)，而TPU則是在大規(guī)模集群的通信與協(xié)同效率上有優(yōu)勢(shì)。

一位前谷歌TPU工程師在一檔視頻節(jié)目中介紹，GPU單機(jī)內(nèi)部依靠NVLink、板載NVSwitch實(shí)現(xiàn)多卡互聯(lián)，跨機(jī)架大規(guī)模集群還需額外采購(gòu)交換機(jī)、光模塊搭建高速網(wǎng)絡(luò)，配套硬件是一筆大額基建開(kāi)支；而TPU機(jī)柜內(nèi)芯片可直接互通，僅在跨機(jī)柜擴(kuò)展時(shí)使用自研光電路交換機(jī)，無(wú)需大批量采購(gòu)商用高速交換設(shè)備，在同等集群通信性能下，整體部署硬件成本更低。

其次，推理階段對(duì)性?xún)r(jià)比的敏感度遠(yuǎn)高于訓(xùn)練。當(dāng)Token消耗呈指數(shù)級(jí)暴增，單位算力成本也成為了更受重視的指標(biāo)。從架構(gòu)上看，TPU是專(zhuān)用芯片，剔除了GPU的圖形渲染、通用計(jì)算等功能，聚焦于深度學(xué)習(xí)矩陣運(yùn)算。楊龔軼凡指出，谷歌TPU在發(fā)布時(shí)，對(duì)比同等生產(chǎn)工藝的GPU，有3到5倍的性能提升。

細(xì)分場(chǎng)景里的選擇

什么場(chǎng)景下GPU更合適，什么場(chǎng)景下TPU更優(yōu)？

這需要回到芯片設(shè)計(jì)的原點(diǎn)。

楊龔軼凡說(shuō)，GPU最早是為了在電腦屏幕上顯示逼真的3D游戲畫(huà)面而設(shè)計(jì)的。它要把三維物體從各個(gè)角度算成二維畫(huà)面，還要算光線(xiàn)、顏色，讓畫(huà)面足夠真實(shí)。這就導(dǎo)致GPU里面塞了上萬(wàn)個(gè)計(jì)算核心，像一個(gè)大工廠(chǎng)里有一萬(wàn)名工人同時(shí)干活。優(yōu)點(diǎn)是并發(fā)能力強(qiáng)，處理圖像和矩陣運(yùn)算非?？?。但缺點(diǎn)是，一旦某個(gè)工人算錯(cuò)了，你根本沒(méi)法在一萬(wàn)名工人里快速找到是誰(shuí)出了問(wèn)題。

而AI深度學(xué)習(xí)的計(jì)算模式完全不同。深度學(xué)習(xí)模型是一層一層往下計(jì)算的，每一層內(nèi)部可以高并發(fā)，但層與層之間有先后順序。這種模式不需要GPU那么復(fù)雜的調(diào)試和通用能力。于是，TPU這類(lèi)專(zhuān)門(mén)為AI設(shè)計(jì)的芯片應(yīng)運(yùn)而生，只聚焦深度學(xué)習(xí)最常用的運(yùn)算。

這就好比，從之前要同時(shí)調(diào)度一萬(wàn)個(gè)工人，變成只需要調(diào)度一千個(gè)按固定流水線(xiàn)工作的工人，控制邏輯簡(jiǎn)單得多。

基于這種架構(gòu)差異，楊龔軼凡預(yù)測(cè)，未來(lái)AI芯片市場(chǎng)將形成“442”格局：40%是極致性?xún)r(jià)比的純ASIC（專(zhuān)用集成電路）芯片，只能跑固定一兩個(gè)模型的推理，性?xún)r(jià)比極致；40%是可編程的DSA（領(lǐng)域?qū)Ｓ眉軜?gòu)）芯片，比如TPU，支持深度學(xué)習(xí)網(wǎng)絡(luò)的算法，芯片利用率不如ASIC，但比GPU強(qiáng)很多；20%是通用GPU，留給還在快速變化的新算法和研究場(chǎng)景。

不過(guò)，這并不意味著TPU對(duì)GPU是替代關(guān)系，而是要看具體場(chǎng)景的適配。

在楊龔軼凡看來(lái)，20%的GPU市場(chǎng)會(huì)長(zhǎng)期存在。原因在于，AI領(lǐng)域的新算法、新方向還在不斷涌現(xiàn)，研究人員需要一個(gè)通用、靈活的平臺(tái)來(lái)快速驗(yàn)證想法。CUDA生態(tài)（英偉達(dá)圍繞GPU硬件打造的一系列軟件和工具鏈）經(jīng)過(guò)20年打磨，成熟度高，當(dāng)新的計(jì)算場(chǎng)景出現(xiàn)時(shí)，GPU仍然是首選。

而TPU的優(yōu)勢(shì)在于性?xún)r(jià)比和生態(tài)建設(shè)成本。楊龔軼凡舉例解釋?zhuān)琓PU的設(shè)計(jì)思路是讓開(kāi)發(fā)者“只管開(kāi)車(chē)，不用修車(chē)”。它的硬件指令專(zhuān)為AI計(jì)算優(yōu)化，同時(shí)適配PyTorch這類(lèi)主流框架。PyTorch就像一個(gè)AI“樂(lè)高工具箱”，開(kāi)發(fā)者用熟悉的“積木”搭模型，剩下的交給TPU編譯器自動(dòng)優(yōu)化，不用為了遷就硬件去學(xué)一套新編程語(yǔ)言。

相比之下，CUDA更像一套“修車(chē)工具”，開(kāi)發(fā)者必須懂“發(fā)動(dòng)機(jī)原理”才能玩得轉(zhuǎn)，這套工具是行業(yè)積累了十多年的成果。TPU則是依托現(xiàn)有成熟AI框架，大幅降低了軟件適配門(mén)檻，這也是其性?xún)r(jià)比優(yōu)勢(shì)的重要來(lái)源。

當(dāng)下，AI Agents逐步進(jìn)化為全球社會(huì)生產(chǎn)力的核心基座，帶動(dòng)Token消耗量指數(shù)級(jí)攀升和“Token經(jīng)濟(jì)”時(shí)代的來(lái)臨。當(dāng)Token消耗呈指數(shù)級(jí)增長(zhǎng)，芯片的利用率、性?xún)r(jià)比成為更加重要的比拼項(xiàng)，TPU迎來(lái)新的機(jī)會(huì)，開(kāi)始成為AI芯片賽道上除GPU之外的“另一個(gè)選項(xiàng)”。