谷歌近期發(fā)布了新一期基準(zhǔn)測試結(jié)果，對各主流AI模型在安卓編程領(lǐng)域的表現(xiàn)進行了橫向?qū)Ρ?，并公布了每個模型的Token使用成本。測試結(jié)果顯示，谷歌自家的Gemini 3.5 Flash在安卓開發(fā)中資源消耗最為突出，甚至未能躋身前五名。

隨著通用聊天機器人的熱度逐漸降溫，谷歌、OpenAI、Anthropic等公司紛紛將重心轉(zhuǎn)向具備編程能力的智能體模型。用戶也開始依賴這類模型進行"氛圍編程"——即將大部分軟件開發(fā)工作交由大語言模型來完成。

近幾個月來，各模型在安卓編程方面的能力均有顯著提升，谷歌也持續(xù)追蹤并記錄各模型的表現(xiàn)。"Android Bench"基準(zhǔn)測試會隨谷歌新模型的發(fā)布而更新，例如此次納入了最新的Gemini 3.5 Flash，并將其與競品進行對比。

該測試的核心評估方式是：每個模型在10次運行中成功解決安卓編程問題的百分比，滿分為100分。谷歌還列出了預(yù)期表現(xiàn)及最近一次測試日期，部分高分模型的數(shù)據(jù)甚至可追溯至今年2月。

在最新一期的Android Bench排名中，結(jié)果令人意外。Gemini 3.5 Flash僅排名第六，落后于GPT 5.5以及早在今年2月就完成測試的Gemini 3.1 Pro Preview。

Gemini 3.5 Flash此前被定位為比Gemini 3.1 Pro更廉價、更快速的替代方案，官方預(yù)期性能差距為6.1%。然而最新基準(zhǔn)測試結(jié)果卻給出了不同的結(jié)論：在安卓開發(fā)場景下，Gemini 3.5 Flash不僅延遲更高，任務(wù)成功率也低了9個百分點。

更關(guān)鍵的是成本對比——谷歌這款最新模型在單次基準(zhǔn)測試中平均消耗355.9個Token，花費約147.1美元；而Gemini 3.1 Pro Preview僅消耗73.3個Token，費用約為前者的三分之一。

當(dāng)然，需要指出的是，谷歌目前在榜單上列出的仍是Gemini 3.1 Pro的預(yù)覽版本。但即便如此，這款預(yù)覽版模型的得分依然高于一款被官方宣傳為"更快、更高效"的正式版模型，這一結(jié)果頗為耐人尋味。

GPT 5.5在單次運行成本上與Gemini 3.5 Flash相近，但后者在Android Bench測試中的Token消耗量是前者的5.5倍。Anthropic的上一代模型Claude Opus 4.7排名第四，運行成本和Token用量略低，處于中游水平。目前谷歌尚未公布Opus 4.8或Fable 5的基準(zhǔn)測試得分。

以下是谷歌在最新一期Android Bench中公布的前十名模型排名：

榜單中既有多款開放權(quán)重模型，也包含Claude、GPT等知名閉源模型。與上一期相比，榜單前段的排名基本保持不變，唯一的調(diào)整是GPT 5.3 Codex已從名單中移除。

完整排名可在谷歌官方網(wǎng)站上查閱。

谷歌會隨著更多模型完成測試而定期更新該榜單。從整體來看，這份榜單是衡量各模型在安卓開發(fā)領(lǐng)域表現(xiàn)的可靠參考。Gemini 3.5 Flash在其他大語言模型及智能體任務(wù)中確實表現(xiàn)出色，盡管谷歌對其成本和使用上限有所調(diào)整，但其在安卓編程方面的短板同樣不容忽視。

Q&A

Q1：Android Bench是什么？谷歌用它來評估什么？

A：Android Bench是谷歌發(fā)布的一項基準(zhǔn)測試，專門用于評估各主流AI模型在安卓編程領(lǐng)域的表現(xiàn)。每個模型會經(jīng)歷10次運行，以成功解決安卓編程問題的百分比作為得分，滿分為100分。谷歌會隨新模型發(fā)布持續(xù)更新榜單，同時公布每個模型的Token使用量及對應(yīng)成本，幫助開發(fā)者選擇最適合安卓開發(fā)場景的AI模型。

Q2：Gemini 3.5 Flash在Android Bench中表現(xiàn)如何？

A：Gemini 3.5 Flash在最新一期Android Bench中僅排名第六，不僅未能進入前五，還落后于更早測試的Gemini 3.1 Pro Preview。其單次基準(zhǔn)測試平均消耗355.9個Token，花費約147.1美元，是Gemini 3.1 Pro Preview成本的約3倍，同時任務(wù)成功率還低了9個百分點，延遲也更高，在安卓編程場景中性價比表現(xiàn)欠佳。

Q3：目前Android Bench排名靠前的AI模型有哪些？

A：根據(jù)谷歌最新公布的Android Bench榜單，排名靠前的模型包括GPT 5.5、Gemini 3.1 Pro Preview等閉源模型，以及多款開放權(quán)重模型。Claude Opus 4.7排名第四，Token消耗和運行成本處于中游水平。與上一期相比，榜單前段排名基本穩(wěn)定，主要變化是GPT 5.3 Codex已從榜單中移除。