內(nèi)容來(lái)源：張小珺（張小珺商業(yè)訪談錄）采訪人工智能研究員姚順宇的對(duì)話內(nèi)容整理。

責(zé)編| 柒排版| 沐言

第 9632篇深度好文：9475| 25分鐘閱讀

商業(yè)思維

筆記君說(shuō)：

“別把時(shí)間浪費(fèi)在伺候老登身上。”

這句話出自姚順宇之口。他本科清華物理、斯坦福高能物理博士，師從領(lǐng)域內(nèi)頂尖學(xué)者，外界標(biāo)準(zhǔn)全部達(dá)標(biāo)。但他自己卻覺得對(duì)這個(gè)世界的貢獻(xiàn)“幾乎為零”。

他離開學(xué)術(shù)界的原因很簡(jiǎn)單：高能理論物理已經(jīng)發(fā)展到實(shí)驗(yàn)完全追不上的階段，沒有客觀評(píng)價(jià)標(biāo)準(zhǔn)，只有“領(lǐng)域內(nèi)一些老登的主觀判斷”。他說(shuō)，人這一輩子沒多長(zhǎng)，為什么要伺候老登？

于是他去Anthropic待了一年，參與訓(xùn)練了Claude 3.7，現(xiàn)在又加入Google Gemini。

他說(shuō)，AI這個(gè)行業(yè)“不太需要腦子”，最重要的是“靠譜”。個(gè)人英雄主義已死，AI是集體主義的事。Scaling Law（擴(kuò)展定律）只是經(jīng)驗(yàn)規(guī)律，智能涌現(xiàn)是“不科學(xué)的說(shuō)法”。

這是一位物理學(xué)家的AI觀察筆記。它刺破了很多泡沫，也給出了一個(gè)殘酷的真相：世界在推著我們前進(jìn)，AI的進(jìn)展已經(jīng)阻止不了了。甚至未來(lái)6到12個(gè)月，AI就會(huì)自己做實(shí)驗(yàn)。

以下為張小珺商業(yè)訪談對(duì)話姚順宇的精編內(nèi)容整理版，希望對(duì)你有所幫助。

一、從物理到AI：

別把時(shí)間浪費(fèi)在伺候老登身上

我以前是做學(xué)物理的，本科在清華，那時(shí)做凝態(tài)理論，后來(lái)去斯坦福做理論高能物理。

離開斯坦福之后去伯克利，短暫待了兩個(gè)星期的postdoc（ 博士后 ），就離職了，去了Anthropic。在Anthropic待了一年，去年9月底、10月初加入了Gemini。

本科讀物理最大的幫助是：

第一，想問(wèn)題要想清楚。

讀書不在于讀的多，而在于讀的深。讀的多，不代表你能發(fā)現(xiàn)新東西。但如果你對(duì)一件事有和別人不一樣的見解，那才是對(duì)社會(huì)來(lái)說(shuō)更有價(jià)值的事。

另一件事是，別太相信純理論。因?yàn)楫?dāng)時(shí)能做數(shù)值，是因?yàn)閿?shù)值和理論對(duì)不上，才仔細(xì)研究那個(gè)問(wèn)題。

博士去讀了高能物理，這就回到了說(shuō)，總愛挑戰(zhàn)很難的事，有時(shí)候也會(huì)帶來(lái)一些不好的結(jié)果。我感覺，這個(gè)博士對(duì)自己學(xué)到很多東西、成長(zhǎng)很大；但于這個(gè)世界，沒有產(chǎn)生什么貢獻(xiàn)。

高能理論這個(gè)方向，足夠難，非常非常難。但它不好的在于，不是特別可以驗(yàn)證，沒有什么客觀評(píng)價(jià)標(biāo)準(zhǔn)。因?yàn)楦吣芾碚撘呀?jīng)發(fā)展到了實(shí)驗(yàn)完全追不上的階段。

一個(gè)進(jìn)步來(lái)源，來(lái)自于數(shù)學(xué)的自洽性。

比如你提出一個(gè)框架，能和現(xiàn)有的已被驗(yàn)證的更低能標(biāo)下的理論相自洽。

當(dāng)然也有一些不科學(xué)的因素，當(dāng)這個(gè)領(lǐng)域完全沒有實(shí)驗(yàn)、沒有客觀標(biāo)準(zhǔn)，肯定不會(huì)只有一個(gè)自洽框架出現(xiàn)。這時(shí)候誰(shuí)做的好、誰(shuí)做的不好，就依賴于領(lǐng)域內(nèi)一些老登的主觀判斷。

我也沒有被誰(shuí)傷害，只是在那個(gè)領(lǐng)域待時(shí)間越長(zhǎng)，就越覺得這件事蠢， 人這一輩子也沒多長(zhǎng)，為什么要把自己的時(shí)間浪費(fèi)在伺候老登身上？

我想做有比較客觀評(píng)價(jià)標(biāo)準(zhǔn)的事，要做對(duì)這個(gè)世界能夠產(chǎn)生影響的事。從實(shí)際科研產(chǎn)出來(lái)說(shuō)，沒有人會(huì)說(shuō)我博士期間的文章不好，但摸著良心說(shuō)，對(duì)這個(gè)世界有多大的影響？我覺得幾乎沒有，幾乎為零。

我自己很不滿意的。但也沒有不滿意到，我會(huì)擔(dān)心有人說(shuō)我在混日子。確實(shí)也沒在混日子，還是能達(dá)到所有外界標(biāo)準(zhǔn)。

達(dá)到外界的標(biāo)準(zhǔn)，或者達(dá)到一個(gè)小的圈子的評(píng)價(jià)標(biāo)準(zhǔn)，像訓(xùn)練模型一樣。

一旦有了這么一個(gè)小的圈子，你知道他們的評(píng)價(jià)標(biāo)準(zhǔn)之后，做得好是很容易的。哪怕不認(rèn)可這個(gè)標(biāo)準(zhǔn)，你是可以達(dá)到的。但我后來(lái)發(fā)現(xiàn)我蒙蔽不了自己，騙不了自己。

博士最后兩年就會(huì)有這樣的感覺。但那時(shí)確實(shí)也沒想清楚，如果不做這個(gè)該去做什么？當(dāng)時(shí)覺得，量子計(jì)算和AI是兩條給小登機(jī)會(huì)比較多的路。

量子計(jì)算的主要瓶頸在實(shí)驗(yàn)上。不是怎么設(shè)計(jì)算法或者算子，更多是怎么在實(shí)驗(yàn)上實(shí)現(xiàn)它。

那個(gè)事反而是我不擅長(zhǎng)，跟我相關(guān)的反而是AI。更多是你有一個(gè)想法，可以用一些數(shù)值去驗(yàn)證。這個(gè)數(shù)值在AI里面，可能就是訓(xùn)練一個(gè)模型。這和做物理很像。

感覺AI這個(gè)事，也不太需要腦子。我覺得這個(gè)行業(yè)最重要的特質(zhì)就是靠譜，就是做事細(xì)，對(duì)自己做的事負(fù)責(zé)任。

二、黑盒、涌現(xiàn)與Scaling Law：

用科學(xué)視角看AI

1.這世界上所有東西都是黑盒

這世界上所有東西都是黑盒。哪怕像物理這種。不管是量子力學(xué)，還是量子場(chǎng)論，都是描述那個(gè)能標(biāo)下的行為。 本質(zhì)上這個(gè)系統(tǒng)還是一個(gè)黑盒，你還是不知道它最微觀的地方是什么樣的動(dòng)力學(xué)。

AI也是一樣，黑盒不黑盒，都是相對(duì)的。

我們對(duì)語(yǔ)言模型的理解，確實(shí)沒到神經(jīng)科學(xué)手術(shù)刀那個(gè)級(jí)別，不是說(shuō)能理解到，這個(gè)行為是由哪一個(gè)neuron（ 神經(jīng)元 ）、哪一個(gè)人工神經(jīng)元的哪一個(gè)激發(fā)產(chǎn)生的。但在實(shí)際能用的語(yǔ)言模型里，都沒達(dá)到這樣的理解。

但也不代表完全沒理解。

比如Scaling Law，它就描述了那個(gè)尺度下，模型隨著大小和數(shù)據(jù)量，是怎么在perplexity（ 困惑度 ）這個(gè)指標(biāo)下變得越來(lái)越好的。如果Scaling Law不算是理解的一小部分，那是不是我們也說(shuō)，對(duì)這個(gè)世界也完全不理解？

它是一種經(jīng)驗(yàn)規(guī)律。但經(jīng)驗(yàn)規(guī)律和科學(xué)規(guī)律之間的界限很模糊。熱力學(xué)那些定律，當(dāng)年被發(fā)現(xiàn)的時(shí)候也都是經(jīng)驗(yàn)規(guī)律。后來(lái)隨著時(shí)間發(fā)展，慢慢知道了微觀機(jī)制，就變成了科學(xué)規(guī)律。

Scaling Law目前肯定還是很經(jīng)驗(yàn)，但未來(lái)當(dāng)技術(shù)變得比較固定，大家越來(lái)越多理解它微觀過(guò)程的時(shí)候，會(huì)不會(huì)變成科學(xué)規(guī)律？如果這個(gè)定義存在的話，是有可能的。

2.智能涌現(xiàn)這個(gè)話本身就不太科學(xué)

“智能涌現(xiàn)”這個(gè)話本身就不太科學(xué)，自然也沒法用科學(xué)的話來(lái)表達(dá)一個(gè)不科學(xué)的事。智能涌現(xiàn)，對(duì)我來(lái)說(shuō)更多是一種主觀的感覺，而不是客觀現(xiàn)象。

很多人說(shuō)智能涌現(xiàn)的時(shí)候，腦子里想的是，以前的語(yǔ)言模型只能做某一個(gè)方向的事。但現(xiàn)在模型好像可以做所有的事了。但這個(gè)事，對(duì)我來(lái)說(shuō)更多是一個(gè)技術(shù)上的涌現(xiàn)，而不是行為上的涌現(xiàn)。

是我們通過(guò)研究，發(fā)現(xiàn)了該怎么去做這種大規(guī)模的訓(xùn)練，能夠水平的提升所有能力。這才是更本質(zhì)的事。

對(duì)我來(lái)說(shuō)就是沒定義。唯一質(zhì)的區(qū)別就是，有沒有發(fā)生一個(gè)技術(shù)上的改變，使得我們可以做scale up（擴(kuò)展），可以水平的提升所有的能力。這對(duì)我來(lái)說(shuō)，是一個(gè)良好定義的事。

三、Anthropic歲月：

小作坊的輝煌與混沌

1.加入一個(gè)十人小團(tuán)隊(duì)

Anthropic有很多做物理出身，尤其是做理論物理出身的人。就我個(gè)人視角來(lái)看，主要原因還是connection（ 人脈聯(lián)系 ）。創(chuàng)始團(tuán)隊(duì)里當(dāng)時(shí)有三四個(gè)比較技術(shù)的人，其中有兩個(gè)現(xiàn)在還在技術(shù)一線領(lǐng)導(dǎo)的，都是做物理出身。就這樣一直延續(xù)下來(lái)。

但到現(xiàn)在這個(gè)階段，在我之后，幾乎沒怎么再招完全沒有AI背景的人了。所以是一個(gè)時(shí)代的產(chǎn)物。

我還找了OpenAI和GDM（ Google DeepMind ）。但Google DeepMind那時(shí)候速度太慢了。Anthropic是因?yàn)楫?dāng)時(shí)聯(lián)系了，我的第一任經(jīng)理，他以前也是做理論物理的。

他當(dāng)時(shí)說(shuō)：我們?cè)趪L試做這種大規(guī)模強(qiáng)化學(xué)習(xí)，有很多科學(xué)問(wèn)題要去理解。那時(shí)候（ 24年8-9月 ），強(qiáng)化學(xué)習(xí)還沒有像現(xiàn)在這么成熟。

Anthropic當(dāng)時(shí)大體上知道怎么做，但有很多細(xì)節(jié)需要仔細(xì)去研究。他說(shuō)：有這么一個(gè)事，你要不要來(lái)面試一下？

大概知道pre-train（ 預(yù)訓(xùn)練 ）、post-train（ 后訓(xùn)練 ）這個(gè)流程，但不太知道具體工業(yè)級(jí)別的語(yǔ)言模型是怎么訓(xùn)練的。

當(dāng)時(shí)覺得這是一個(gè)不確定的事，是一個(gè)好的機(jī)會(huì)。自己手搓了一下Andrej Karpathy那個(gè)著名的nanoGPT項(xiàng)目，就去面試了,很快拿到了offer。

有兩個(gè)組的經(jīng)歷來(lái)跟我聊。一個(gè)是做模型評(píng)測(cè)，另外一個(gè)是做強(qiáng)化學(xué)習(xí)。我選擇了強(qiáng)化學(xué)習(xí)。那時(shí)候公司很小，我去的時(shí)候我們那個(gè)大的團(tuán)隊(duì)才只有10-11個(gè)人。

那個(gè)大團(tuán)隊(duì)叫Horizon，后來(lái)幾乎是強(qiáng)化學(xué)習(xí)的方方面面都在這個(gè)團(tuán)隊(duì)了。我去的那個(gè)組是比較偏研究和算法的組。

2.Anthropic的獨(dú)特優(yōu)勢(shì)：技術(shù)一號(hào)位有公信力

我對(duì)Anthropic的印象還是挺一致的。進(jìn)去之后，這家公司的執(zhí)行力非常強(qiáng)。它是一個(gè)比較自上而下的公司。很多事情決定了之后，就會(huì)全力去做。員工之間的氛圍也很好，大家都不會(huì)藏著掖著。

對(duì)于那個(gè)bet coding（ 對(duì)編程下重注 ），我不知道它完全的來(lái)源在哪。

我自己能看到的一個(gè)顯然的來(lái)源是，前一代模型Claude 3放了之后，X上有很多人在討論說(shuō)：Claude 3好像寫code比GPT-4強(qiáng)啊。

那個(gè)年代，GPT-4是一個(gè)領(lǐng)先的模型。能有一件重要的事比GPT-4強(qiáng)，就很厲害了。這是這公司很強(qiáng)的一點(diǎn)，它執(zhí)行力非常非常強(qiáng)。一旦給它一個(gè)信號(hào)，讓它覺得是很合理的，那就會(huì)鋪上去。它沒有那些大組織那種冗余。

為什么它的編程比GPT-4好？是有原因的，是一個(gè)純技術(shù)原因。但是，我不能確定一開始是隨機(jī)試著的，還是故意選擇的。

你要讓我猜，我肯定會(huì)覺得是隨機(jī)試著的。最開始可能是自下而上的，但是后來(lái)就變成了一個(gè)自上而下的事。

自上而下有一個(gè)很難的點(diǎn)，就是你做技術(shù)的決策人，必須也得是公司的決策人。你技術(shù)上得能服眾，另一方面你得能為這個(gè)公司負(fù)這個(gè)責(zé)任。

Anthropic有這個(gè)條件就是，它的技術(shù)上的領(lǐng)導(dǎo)人，其實(shí)是公司的cofounder（ 聯(lián)合創(chuàng)始人 ）。像Jared Kaplan和Sam McCandlish，他們自己做這個(gè)決定，那是人家的公司，他有權(quán)利做這個(gè)自上而下的事。這很難。

比如說(shuō)OpenAI就干不了。Ilya在的時(shí)候有可能可以，但后來(lái)他好像失去了這個(gè)做決策的能力，就走了。

我覺得還是需要技術(shù)的，或者公司的leader（ 領(lǐng)導(dǎo) ）有公信力。 對(duì)我來(lái)說(shuō)，技術(shù)1號(hào)位有公信力很重要。這個(gè)就得看你的團(tuán)隊(duì)有沒有足夠的互相信任。

Anthropic這點(diǎn)也是在初創(chuàng)公司里很強(qiáng)的，創(chuàng)始團(tuán)隊(duì)沒有一個(gè)人離開公司。如果你看他們過(guò)去，那是一群真正一起打過(guò)仗的人。有很多公司干著干著，連小集體都團(tuán)結(jié)不住了，那你怎么能指望大公司能團(tuán)結(jié)住呢？

大公司和初創(chuàng)公司的打法本來(lái)就不一樣。初創(chuàng)公司最重要的是找對(duì)賽道，能夠去很快做一些決策，然后很強(qiáng)力推進(jìn)。大公司的想法可能是，我能在方方面面都有儲(chǔ)備，任何一個(gè)事成了我都能跟上。

所以Gemini在Google是一個(gè)很傳統(tǒng)的、很自下而上的組織。公司層面可能有一些良好定義的框架來(lái)引導(dǎo)你，但很多時(shí)候，還是你自己來(lái)決定自己做什么。

3.Claude 3.7：把簡(jiǎn)單的事做的比誰(shuí)都干凈

當(dāng)時(shí)就是為了做大尺度的強(qiáng)化學(xué)習(xí)，用它來(lái)提高編程的能力。我們那個(gè)組的研究重心就是這個(gè)。最終帶來(lái)的結(jié)果，就是大家一塊訓(xùn)練了Claude 3.7這個(gè)模型。

Claude 3.5有兩個(gè)版本，你也可以看出，Anthropic這個(gè)公司曾經(jīng)也是沒啥產(chǎn)品能力的，居然管兩個(gè)模型叫一個(gè)名字。實(shí)際的產(chǎn)品時(shí)間線是——3.5、3.5new、3.7。我?guī)缀鯖]參與3.5new，但3.5new就已經(jīng)看到了編程的跡象。

我進(jìn)去的時(shí)候，大家已經(jīng)看到了這個(gè)事兒能做成且重要，但不太清楚怎么去把它做成。我去的時(shí)候，是跟大家一起去研究怎么把它做成。從大的角度來(lái)說(shuō)是靠大尺度強(qiáng)化學(xué)習(xí)，但有很多技術(shù)細(xì)節(jié)需要去研究。

有好多保密協(xié)議的內(nèi)容。雖然我不能公開去談， 但是，把簡(jiǎn)單的事兒做的比誰(shuí)都干凈，是最關(guān)鍵的。

有很多花里胡哨的技巧。比如說(shuō)做強(qiáng)化學(xué)習(xí)，最簡(jiǎn)單的算法就是策略梯度。

但不代表這是唯一的算法，還有別的算法。這些復(fù)雜性是必須的嗎？它們可能帶來(lái)一些效率上的提升，但也可能帶來(lái)一些基礎(chǔ)設(shè)施上的困難。

你怎么去權(quán)衡這些事？很多的knowhow（ 技術(shù)訣竅 ），都在這些細(xì)節(jié)里，怎么處理這方方面面的細(xì)節(jié)。

技術(shù)的竅門，是一個(gè)大家很愿意聽，公司又不讓你說(shuō)，但實(shí)際又沒啥用的事兒。因?yàn)楹芏嗨惴ㄔO(shè)計(jì)非常強(qiáng)的依賴于你的基礎(chǔ)設(shè)施。

舉個(gè)例子，在強(qiáng)化學(xué)習(xí)時(shí)候，這個(gè)采樣，就是給你產(chǎn)生這些軌跡、token（ 詞元 ）的那個(gè)機(jī)器，和訓(xùn)練器，這兩個(gè)機(jī)器可能不一樣。不同公司這個(gè)不一樣程度不一樣，算法設(shè)計(jì)也會(huì)不一樣。

有些公司這兩個(gè)差異非常大，算法最大的部分可能就是怎么控制這個(gè)，怎么讓訓(xùn)練穩(wěn)定。但有的公司基礎(chǔ)設(shè)施建設(shè)特別好，就可以花更多精力在訓(xùn)練效果上。所以很多這種小的竅門，其實(shí)沒什么用。

現(xiàn)代的AI訓(xùn)練是一個(gè)大的系統(tǒng)，要了解這個(gè)系統(tǒng)的方方面面，才能有一個(gè)全局的認(rèn)識(shí)。什么事是因?yàn)槭裁炊兊糜杏昧耍皇钦f(shuō)這個(gè)事本身有用。

4.Coding為什么重要

對(duì)我來(lái)說(shuō)，它重要的原因有二。

一個(gè)原因是，coding本身也是做語(yǔ)言模型研究的一部分。

如果你能夠把coding做得很好，可能會(huì)讓你的研究效率翻倍提升，形成一個(gè)研究上的飛輪 。

另一方面原因，是因?yàn)閏oding是模型使用工具和環(huán)境交互的一個(gè)很好的抽象。這個(gè)抽象的好處在哪？回歸信號(hào)清晰，數(shù)據(jù)充分。很難在別的場(chǎng)景下，找到能同時(shí)有這兩個(gè)特質(zhì)的使用工具場(chǎng)景。

對(duì)Anthropic的后訓(xùn)練來(lái)說(shuō)，Claude 3.7是一個(gè)分水嶺。

在3.7之前，后訓(xùn)練都是處于一個(gè)比較小規(guī)模，可能就是修修補(bǔ)補(bǔ)模型的狀態(tài)。也不是不重視，是一開始大家很長(zhǎng)時(shí)間都沒有搞明白后訓(xùn)練該怎么擴(kuò)大規(guī)模。

但在那個(gè)階段，不管是OpenAI還是Anthropic，還是中國(guó)的DeepSeek，都意識(shí)到了這個(gè)事該怎么去擴(kuò)大規(guī)模。

就是得找到合適的環(huán)境，這個(gè)環(huán)境回饋信號(hào)足夠清晰，本身也是一個(gè)很強(qiáng)的數(shù)據(jù)源。在這個(gè)上面能讓訓(xùn)練非常穩(wěn)定，這事就能做成。

那個(gè)時(shí)刻，OpenAI做的方式和Anthropic差別挺大的。但大的方向上都是找一些回歸信號(hào)非常清楚、非?？陀^，數(shù)據(jù)本身又比較干凈，對(duì)模型來(lái)說(shuō)是可學(xué)習(xí)的，在上面做穩(wěn)定的強(qiáng)化學(xué)習(xí)訓(xùn)練。

5.預(yù)訓(xùn)練和后訓(xùn)練都沒到平臺(tái)期

很長(zhǎng)時(shí)間OpenAI都是這個(gè)想法（ 預(yù)訓(xùn)練快結(jié)束了 ）。在3.7那個(gè)時(shí)代，我也曾經(jīng)抱過(guò)這個(gè)想法。但是后來(lái)隨著了解越來(lái)越深入，我就覺得，還有做的空間的。預(yù)訓(xùn)練是一個(gè)很系統(tǒng)的框架，告訴你做什么樣的事是更有效的。

我覺得都沒有到平臺(tái)期。

到達(dá)平臺(tái)期有兩種可能性。一種可能性是技術(shù)本身到達(dá)了，你明明還有想讓模型要干的事，但這倆技術(shù)就死活教不會(huì)了。另一種可能性是，你想干的事到平臺(tái)期了。

我覺得現(xiàn)在就是后者。就是說(shuō)，模型是一個(gè)非常聰明的小孩，你可以教它很多東西。但我們?nèi)祟愖鳛槔蠋煟F(xiàn)在還不知道下一個(gè)東西該教什么?；蛘哒f(shuō)該怎么去合理地教它，用現(xiàn)在的這些范式。

四、個(gè)人英雄主義已死：

集體主義才是AI的真相

1.世界在推著我們前進(jìn)

在可用的語(yǔ)言模型、大尺度的語(yǔ)言模型出現(xiàn)之前，很多事是一個(gè)非必然。

比如，如果沒有Google Brain（ 谷歌大腦 ），那可能Transformer（ 筆記俠注：基于自注意力機(jī)制的深度學(xué)習(xí)模型 ）就不會(huì)被發(fā)現(xiàn)，可能要過(guò)很多很多年。

但進(jìn)入那個(gè)階段后，尤其到現(xiàn)在已經(jīng)反過(guò)來(lái)，任何一個(gè)組織想要停止AI進(jìn)展，是做不到的。

Anthropic很擔(dān)心AI安全，那Anthropic有沒有這個(gè)能力阻止AI發(fā)展？你停止發(fā)展，別人會(huì)發(fā)展，你的話語(yǔ)權(quán)還會(huì)變小。現(xiàn)在更多是這種狀態(tài)： 世界 在推著我們前進(jìn)，而不是我們?cè)谕浦@個(gè)世界前進(jìn)。

Anthropic一直以來(lái)的想法是，我要做這個(gè)世界上最好的模型，大家不得不聽我的，來(lái)推進(jìn)我的安全政策。但從我個(gè)人角度，這個(gè)想法非常幼稚。更有可能發(fā)生的是，大家都有很好的前沿模型，而你沒有辦法阻止任何事發(fā)生。

如果真的想要避免AI帶來(lái)一些危機(jī)，核武器最終受到控制的方法就是多方控制。大家有很多個(gè)有核武器的國(guó)家，互相都有毀滅對(duì)方的能力。通過(guò)這樣一種制衡才穩(wěn)定住。我覺得要阻止AI干一些不好的事，最終可能需要一種類似的機(jī)制來(lái)實(shí)現(xiàn)。

2.舊時(shí)代英雄有點(diǎn)蠢

我感覺來(lái)這行業(yè)的時(shí)候， 個(gè)人英雄主義時(shí)代已經(jīng)過(guò)去了，所以也沒有什么英雄。有時(shí)候甚至覺得舊時(shí)代英雄有點(diǎn)蠢。，我覺得和做物理時(shí)候還是不一樣。

做物理時(shí)候，還是存在著一些真的比我聰明太多的人。比如我讀博的時(shí)候那個(gè)年輕老板，Douglas Stanford，他就比我聰明太多了?？吹剿庞X得自己在那個(gè)領(lǐng)域也沒什么用。有他了還要我干嘛呢？

當(dāng)然你要非要在人工智能找一個(gè)英雄，可能Geoffrey Hinton（ 杰佛里·辛頓 ）是吧。就是在大家都覺得這事可有可無(wú)或者不那么確定的時(shí)候，他一直在這個(gè)方向做。那我覺得，這可能是一個(gè)英雄級(jí)別的人物。

可能也有一些英雄的集體。比如像Transformer，就Noam（ Noam Shazeer）和那些，Ashish（Ashish Vaswani ） 、Niki（Niki Parmar ）他們，那可能是一個(gè)英雄集體。

3.AI研究員像球星轉(zhuǎn)會(huì)？這是對(duì)人的炒作

我不知道AI研究員價(jià)格高是好事還是壞事。對(duì)我個(gè)人來(lái)說(shuō)，當(dāng)然很高興，我受益于這個(gè)。但實(shí)際上來(lái)說(shuō)，我并不知道這是不是一件好事?？赡芤环矫媸谴蠹矣X得很稀缺吧。

但實(shí)際上可能確實(shí)也沒那么充足。因?yàn)橛?xùn)練一個(gè)人，雖然這事沒那么難，但你訓(xùn)練一個(gè)人是需要一個(gè)環(huán)境的。你得有那個(gè)機(jī)會(huì)去接觸這件事，你才能學(xué)會(huì)這件事。

你沒有那個(gè)機(jī)會(huì)，再聰明也沒用。過(guò)去能撞到這個(gè)機(jī)會(huì)的人，沒有那么多。所以市場(chǎng)上比較稀缺。但我覺得另一方面也是，對(duì)人的炒作有點(diǎn)過(guò)分了。再說(shuō)一次，這是個(gè)集體主義的事。

我覺得純做語(yǔ)言模型，已經(jīng)不是一個(gè)藍(lán)海了。晚了，末班車已經(jīng)發(fā)車了。我感覺我入行就是那個(gè)末班車啊。

該怎么去合理地教它，用現(xiàn)在的這些范式。

五、為什么離開Anthropic，

又為什么選擇Gemini

1.離開：不想在一個(gè)地方待著

在我快離開那段時(shí)間，Anthropic文化上經(jīng)歷了一些混沌。從外面來(lái)了一些人，跟本來(lái)的文化有些沖突。之前更像一個(gè)小作坊，大家都是朋友，大家都知道對(duì)方在干嘛，公司那時(shí)候緊迫感也更強(qiáng)一些。

后來(lái)人多了，文化肯定會(huì)受到一些沖擊。我不太喜歡在這個(gè)領(lǐng)域里面說(shuō)很多話的人。很多想法，顯然所有人都知道。

難的是怎么把它變成一個(gè)一個(gè)小的、可實(shí)現(xiàn)的步驟，做出來(lái)。我不太喜歡那些一天中很多時(shí)間花在辦公軟件上，在那講一些大道理，沒啥用。

一個(gè)方面是，我不認(rèn)同Dario的一些觀點(diǎn)。作為一個(gè)公司CEO，把這個(gè)觀點(diǎn)推到這么極端的地步，是一個(gè)非常情緒化的體現(xiàn)。大的方面，公司文化上有些沖擊。我自己也想去學(xué)些不一樣的事情。

Anthropic有很多不做的事，比如完全沒有人做多模態(tài)生成，你想學(xué)沒地兒學(xué)。想要學(xué)習(xí)更多的東西，也是當(dāng)時(shí)離開的一個(gè)動(dòng)力。

2.選擇Gemini：取決于你想要什么

OpenAI也是我當(dāng)時(shí)的一個(gè)選項(xiàng)。沒有去的一個(gè)主要原因，是對(duì)它的文化有比較大擔(dān)心的，感覺踏實(shí)做事的人沒有Gemini多，更沒有Anthropic的人多。

我有一個(gè)很明確的scope范圍，我一定要把我的一個(gè)想法送到這個(gè)模型里去，那Google是一個(gè)很差的地方，因?yàn)樽鲞@件事情有很復(fù)雜的過(guò)程。

但如果你想要的是有研究的自由、探索的自由，想從更廣泛的人類學(xué)習(xí)，這個(gè)世界上可能找不到第二個(gè)比Gemini更強(qiáng)的地方。還是取決于你自己想要什么。

很多人不管從哪離職，換到另外一家之后，會(huì)覺得不開心的主要原因，是因?yàn)闆]想明白自己想要什么。

我是去年9月底去的，在Gemini 3發(fā)布之前。業(yè)內(nèi)的人當(dāng)時(shí)對(duì)Gemini都還是印象不錯(cuò)的。大家的感知，可能在Gemini 2.5這一代產(chǎn)生了變化。2.5是一個(gè)明顯你能看出來(lái)Google開始上道了。

我去Gemini跟這沒關(guān)系。主要還是我知道，Gemini大概是一個(gè)什么樣的氛圍。很多Gemini工程師，技術(shù)是非常非常非常強(qiáng)的。我是從他們身上學(xué)到了非常非常多。

3.OpenAI救了Google一命

從實(shí)際的效果來(lái)說(shuō)，是兩件事讓Gemini產(chǎn)生了一個(gè)大的轉(zhuǎn)折。Nano Banana和Gemini 3——兩件事連著。

Nano Banana做到的一件事是，首先市場(chǎng)上很爆款，大量的人去下載了Gemini的APP，然后Gemini 3又緊接著放，把這個(gè)部分留下來(lái)了。

沒有Gemini打這么一拳，OpenAI的位置很爽。它市占率已經(jīng)高到，其實(shí)模型上干點(diǎn)啥，對(duì)它來(lái)說(shuō)可能影響都沒那么大啊。

從某種意義上來(lái)說(shuō)，OpenAI是救了Google一命。大家以前一直擔(dān)心聊天機(jī)器人會(huì)不會(huì)完全把搜索取代掉。如果這個(gè)事真的發(fā)生，Google其實(shí)很難受。但好在，OpenAI先把這個(gè)事做了，讓Google意識(shí)到了這個(gè)事很重要。

但OpenAI又沒有把這個(gè)事做到極致，沒有把搜索干掉。結(jié)果，讓Google自己把聊天機(jī)器人也追上來(lái)了。那現(xiàn)在難受的就是OpenAI了。

首先，目前的chatbot（ 聊天機(jī)器人 ）這種交互方式，不會(huì)完全吃掉搜索。它比搜索強(qiáng)的是有很強(qiáng)交互性，可以幫你把復(fù)雜信息濃縮。

但搜索里還有一些非常愚蠢的場(chǎng)景，比如我就搜買大米，一搜買就完了。我還非得去問(wèn)ChatGPT，問(wèn)哪個(gè)好，它還在那轉(zhuǎn)圈圈。沒有那個(gè)必要。所以從事實(shí)的使用上來(lái)說(shuō)，它目前的形態(tài)并不足以把搜索完全吃掉。

我覺得Google傳統(tǒng)上在產(chǎn)品就是有點(diǎn)慢。 Google特別擅長(zhǎng)的一件事是什么？是找到一個(gè)極為簡(jiǎn)單的產(chǎn)品形態(tài)，大家都長(zhǎng)一個(gè)樣，它就瘋狂給你卷技術(shù)，你就卷不過(guò)它。

搜索引擎就是這樣的一個(gè)事兒。大家都是一個(gè)框、一個(gè)鍵，但它就是比你搜得快、搜得比你準(zhǔn)，你拿它一點(diǎn)辦法也沒有。

我覺得現(xiàn)在誰(shuí)的位置都不穩(wěn)固。AI的形態(tài)還有很長(zhǎng)的路要走，沒有到什么終局之戰(zhàn)這個(gè)地方的感覺呢。我覺得聊天機(jī)器人和超級(jí)應(yīng)用可能會(huì)爭(zhēng)奪一下。

但問(wèn)題是，你這個(gè)形態(tài)是不是超級(jí)應(yīng)用？會(huì)不會(huì)別人哪天出了一個(gè)完全不一樣的形態(tài)，你的功能變成了那個(gè)東西一個(gè)子集？人類到現(xiàn)在只通過(guò)聊天機(jī)器人去跟AI溝通，很蠢。那應(yīng)該用什么？沒想明白。要想明白我就干了。

4.Google的組織變化

以前組織還是更混亂一些，現(xiàn)在至少預(yù)訓(xùn)練變得非常清楚，誰(shuí)負(fù)責(zé)什么事情，每一個(gè)節(jié)點(diǎn)上誰(shuí)是負(fù)責(zé)人。加上Google一直有的比較強(qiáng)的技術(shù)背景，做事也比較系統(tǒng)。

所以預(yù)訓(xùn)練在Google，是一個(gè)非常非常可控的事。它比以前肯定要更自上而下了，但它比Anthropic來(lái)說(shuō)，還是更自下而上了一些。

大公司有大公司的打法，初創(chuàng)公司有初創(chuàng)公司的打法?，F(xiàn)在Google更多的是，像這種比較確定性的事， 比如預(yù)訓(xùn)練，已經(jīng)是一個(gè)比較確定性的范式了。Google就會(huì)更像把它做成一個(gè)工程項(xiàng)目。

Google的工程管理能力又很強(qiáng)，它就能慢慢把它做好。所以預(yù)訓(xùn)練，就是現(xiàn)在進(jìn)入到Google的舒適區(qū)里了。后訓(xùn)練當(dāng)然有更多不確定性?？赡芎笥?xùn)練現(xiàn)在來(lái)說(shuō)，還是更自下而上一點(diǎn)。大家可以更廣泛的試。

六、我的研究：

ML Coding與Long Horizon

1.AI研究的下一個(gè)場(chǎng)景

我自己主要在做ML coding（ 機(jī)器學(xué)習(xí)編程 ），和一些比較long horizon（ 長(zhǎng)時(shí)序 ）的事。

ML coding，主要就是想要實(shí)現(xiàn)這個(gè)完整的AI自己訓(xùn)練自己的歷程。

大的方向上來(lái)說(shuō)，大家比較有共識(shí)該怎么去做。但還是回到細(xì)節(jié)，細(xì)節(jié)上有很多要處理。比如怎么樣去選取合適的數(shù)據(jù)，怎么樣去選取合適的回饋信號(hào)，以及它又帶來(lái)新的基礎(chǔ)設(shè)施的挑戰(zhàn)。

long horizon，想要能夠?qū)崿F(xiàn)模型能夠——還是那句口號(hào)：train with finite, but use as infinite（ 用有限的上下文訓(xùn)練，但用起來(lái)像無(wú)限的上下文 ）。

我覺得想要把這個(gè)訓(xùn)練的長(zhǎng)度一直變長(zhǎng)，可能并不是單個(gè)訓(xùn)練語(yǔ)段的長(zhǎng)度一直變長(zhǎng)，那不是很現(xiàn)實(shí)的方案。但現(xiàn)實(shí)的事是，你怎么用有限的context（ 上下文 ），去做更長(zhǎng)的工作？

人就是這個(gè)樣子，人的context很短很短。你現(xiàn)在問(wèn)我昨天晚上吃什么，我是一點(diǎn)也想不起來(lái)了。

因?yàn)樗鼘?duì)我現(xiàn)在這個(gè)場(chǎng)景來(lái)說(shuō)不關(guān)鍵。我選擇把它忘掉。人的context很短，但他能夠選擇性的遺忘，選擇性的去retrieve檢索，把重要的信息再抓回來(lái)。

其實(shí)這兩件事有點(diǎn)相關(guān)、有點(diǎn)互補(bǔ)。都在模型使用工具和環(huán)境，以及不同模型、不同人交互的這個(gè)大的范疇內(nèi)。

在這個(gè)范疇內(nèi)，大家過(guò)去完成的那個(gè)節(jié)點(diǎn)，就是智能體編程。這個(gè)事橫向就會(huì)長(zhǎng)出不同的使用場(chǎng)景。做AI研究，就是橫向場(chǎng)景里的另外一個(gè)場(chǎng)景。

這個(gè)場(chǎng)景，不僅橫向上是一個(gè)新場(chǎng)景，在縱向上也讓事情的尺度變得更長(zhǎng)。

完成一個(gè)代碼的補(bǔ)全，是一個(gè)很快的事。但做一個(gè)完整的AI研究，那是一個(gè)很長(zhǎng)的過(guò)程。所以說(shuō)，它像一個(gè)T字形，橫向有延展，縱向也有延展。

我個(gè)人花更多時(shí)間在后訓(xùn)練的方案上。我覺得后訓(xùn)練的方案，更符合我自己對(duì)這個(gè)事的理解。

2.AI本質(zhì)是簡(jiǎn)單的

AI本質(zhì)是簡(jiǎn)單的，它可對(duì)可錯(cuò)。

我對(duì)這個(gè)陳述的解釋是，它本質(zhì)上簡(jiǎn)單的點(diǎn)在于，它能做實(shí)驗(yàn)。 它和本質(zhì)上難的東西，比如物理，區(qū)別在于，那個(gè)東西你沒有能標(biāo)下的實(shí)驗(yàn)數(shù)據(jù)，就是理解不了那個(gè)能標(biāo)下的理論。

但AI不被這個(gè)所約束，你理解不了沒關(guān)系，也可以往前發(fā)展。能夠做任何我能想到的實(shí)驗(yàn)，只是可能需要一些時(shí)間。沒有什么本質(zhì)上的困難。

所以AI沒有給人感覺碰壁的原因是，首先很多東西你都能試，其次不是大家已經(jīng)想空了腦袋、沒有什么想法可以試。更多的是有太多想法，得一個(gè)個(gè)試，花時(shí)間。

未來(lái)的6-12個(gè)月，AI就會(huì)自己做實(shí)驗(yàn)。AI自己提高自己，或者自己來(lái)加快自己的發(fā)展過(guò)程，這件事其實(shí)已經(jīng)在發(fā)生。它目前還做不到的是，它能不能從頭到尾把一件AI研究的事做完。

比如它不僅能編程，還能跑實(shí)驗(yàn)，還能看到這個(gè)結(jié)果?？吹竭@個(gè)結(jié)果，還能分析這個(gè)結(jié)果，知道哪兒做的不對(duì)，提出新的假設(shè)，設(shè)計(jì)新的代碼，跑新的實(shí)驗(yàn)。這條鏈條目前還沒有完整。但這條鏈條下一步會(huì)慢慢變得完整的。

七、沒有老登的束縛：

直接表達(dá)是最好的方式

這可能就是，不是AI出身的好處，沒有什么負(fù)擔(dān)。沒有哪個(gè)老登是你的親屬，所以你覺得他傻，他就是傻，就可以直接說(shuō)他傻。

我覺得我做學(xué)生的時(shí)候還挺收斂的。但我后來(lái)發(fā)現(xiàn)收斂沒用，對(duì)自己也沒好處，對(duì)別人也沒好處。還是更直接，表達(dá)自己的想法是最關(guān)鍵的。直接表達(dá)自己的想法，是一個(gè)短期一定會(huì)有人恨你，但長(zhǎng)期大家會(huì)欣賞的事情。

我覺得人年紀(jì)大了，不一定會(huì)變成老登。

人年紀(jì)大了會(huì)變成兩種狀態(tài)： 一種狀態(tài)叫做德高望重，就是他少指手畫腳，還會(huì)花自己的力氣去培養(yǎng)年輕人。另一種人就是老登，就自己也不懂，還愛指手畫腳。

做了AI之后就更直接。一是沒有束縛，二是這個(gè)領(lǐng)域足夠客觀。

你其實(shí)不用太擔(dān)心，因?yàn)樽约旱挠^點(diǎn)而惹到什么人。只要你的觀點(diǎn)是自洽的，你有一套自己觀點(diǎn)的理論，你不是說(shuō)隨便噴人。

最終你在這個(gè)領(lǐng)域做的怎么樣，是有客觀的評(píng)價(jià)標(biāo)準(zhǔn)的。我覺得其實(shí)大家是會(huì)尊重你的。

參考資料：《獨(dú)家對(duì)話姚順宇：請(qǐng)?jiān)试S我小瘋一下》，語(yǔ)言即世界language is world。

*文章為作者獨(dú)立觀點(diǎn)，不代表筆記俠立場(chǎng)。

好文閱讀推薦：