繃不住了，Anthropic 居然出來(lái)號(hào)召大伙兒把手頭的AI開(kāi)發(fā)停一停。

昨天，他們直接發(fā)了篇文章，奉勸大伙兒小心 AI，因?yàn)橐院?，它可能自己就能開(kāi)發(fā)自己，不需要人了。。。

看到這個(gè)消息，世超直接攤在桌子上，仿佛看到核彈爆炸 （ bushi。。。

在文章最后，Anthropic 還呼吁大家別卷了，應(yīng)該搞一套監(jiān)督大家的機(jī)制。

這套機(jī)制應(yīng)該能讓這些牛逼的公司之間互相確認(rèn)，確認(rèn)所有人都躺平，而不是在暗地里偷偷卷著研究AI。

這個(gè)說(shuō)法可謂是一石激起千層浪，帖子發(fā)出來(lái)不過(guò)半天，瀏覽量就干帶到了 1000 多萬(wàn)。

世超也連忙去 A 社的官網(wǎng)拜讀了一下這份報(bào)告，但是看完就發(fā)現(xiàn)有點(diǎn)不對(duì)味了。

簡(jiǎn)單來(lái)說(shuō)，它的確號(hào)召慢點(diǎn)開(kāi)發(fā)了，但想讓大家慢點(diǎn)開(kāi)發(fā)不太可能。。。

咱們把它從頭來(lái)給大家捋捋。

這篇文章的標(biāo)題是 “ When AI builds itself ”，當(dāng) AI 自我迭代時(shí)。

簡(jiǎn)單來(lái)說(shuō)，Anthropic 認(rèn)為AI現(xiàn)在已經(jīng)變的越來(lái)越牛逼，牛逼到足以自己給自己做改正，自己給自己做開(kāi)發(fā)。

2025 年 2 月的時(shí)候，他們的庫(kù)里 9 成以上的代碼還是靠工程師手搓的，但當(dāng) Claude Code 發(fā)布以后，截止到今年 5 月，這個(gè)比例已經(jīng)下降到了 2 成。

甚至有 Anthropic 的員工直接利索承認(rèn)，說(shuō)自己已經(jīng)快五個(gè)月沒(méi)寫過(guò)代碼了。

AI 寫的代碼除了數(shù)量不斷變多之外，質(zhì)量也變得越來(lái)越高。

下面這張圖展示了 AI 面對(duì)四種不同難度任務(wù)時(shí)的完成率，可以看到這幾個(gè)月以來(lái)，隨著模型能力的不斷提高， AI 完成各種難度任務(wù)的成功率也在不斷變高。

即使是那種最難的，沒(méi)有標(biāo)準(zhǔn)答案的開(kāi)放性問(wèn)題，Claude 也有 70% 左右的概率能把它做完。

而這個(gè)概率在去年九月，還是 20% 不到。

從黃色到藍(lán)色分別是：特別簡(jiǎn)單的任務(wù)、常規(guī)任務(wù)、實(shí)質(zhì)性任務(wù)、開(kāi)放式問(wèn)題

除此之外，Anthropic 內(nèi)部的很多人都表示，現(xiàn)在，人類和 Claude 敲的代碼，質(zhì)量上還是五五開(kāi)，但一年，只需要一年后，大局就會(huì)被徹底逆轉(zhuǎn)，Claude 寫出來(lái)的代碼質(zhì)量將全面超越人類。

莫非，人類真藥丸？

對(duì)此，Anthropic 表示我特喵的也不知道，他們干脆給人類未來(lái)規(guī)劃了三種結(jié)局。

第一種結(jié)局是無(wú)事發(fā)生，假設(shè)因?yàn)榉N種原因，今天的 AI 已經(jīng)發(fā)展到頂端了，因?yàn)槭裁慈笨ㄈ彪?，缺水缺算法啥的原因，AI 的未來(lái)已經(jīng)嗝屁了。

當(dāng)然，Anthropic 認(rèn)為這種未來(lái)不太可能發(fā)生。

第二種假設(shè)則是認(rèn)為 AI 的發(fā)展會(huì)繼續(xù)量變，但累積不到質(zhì)變的程度，人跟 AI 一起，造出安全可信的系統(tǒng)。

此時(shí) AI 會(huì)承擔(dān)大部分重復(fù)工作，但審查和指揮權(quán)仍然握在人的手里，只不過(guò)是角色的轉(zhuǎn)變。看起來(lái)屬于是個(gè)沒(méi)啥大問(wèn)題的好結(jié)局。

第三種就是開(kāi)頭所擔(dān)心的那種了，AI 掌握了足夠強(qiáng)大的創(chuàng)造力，實(shí)現(xiàn)了完全的自動(dòng)化迭代，

模型能力的提升中，算力成了唯一因素，人類或?qū)⒉辉僦匾?/p>

在這個(gè)過(guò)程中，AI可能會(huì)變得徹底聽(tīng)話來(lái)幫人類好好干活，也可能會(huì)擺脫人類的限制徹底失控。再往后，就沒(méi)人能夠預(yù)測(cè)了。

所以才有了后面的呼吁，呼吁大家搞一套能互相監(jiān)督，全員躺平的探索機(jī)制，讓全世界參與到這件事兒中，來(lái)確保大家能隨時(shí)給 AI 研究來(lái)踩一腳剎車。

咋說(shuō)呢，世超看完的第一時(shí)間其實(shí)會(huì)感覺(jué)它說(shuō)的好像有點(diǎn)道理，但是轉(zhuǎn)念一想就感覺(jué)不對(duì)啊。

Anthropic 雖然給大家說(shuō)了三種可能的未來(lái)，但實(shí)際上，一是被他們否定的過(guò)去，二是咱正經(jīng)歷的現(xiàn)在，而三，才是 A 社真正表示擔(dān)憂的未來(lái)。與其說(shuō)是三種可能，倒不如說(shuō)是層層鋪墊。

而且整篇文章看下來(lái)，很多數(shù)據(jù)都是他自己定義、自己采集、自己解釋，甚至自己評(píng)價(jià)的。既是考生又是考官，效果上么，多少得打點(diǎn)折扣。

再者，這AI研發(fā)是你說(shuō)暫停就能暫停的嘛？這玩意又不是核能，搞個(gè) “ 不擴(kuò)散 ” 條約就能大伙兒一起來(lái)監(jiān)管了。

AI 這種有個(gè)數(shù)據(jù)中心就能干的活，根本沒(méi)啥辦法監(jiān)管吧？

總不能讓每家公司都互相之間開(kāi)放所有的數(shù)據(jù)區(qū)，讓大家互相之間能看到自己在拿顯卡干啥吧？

真要搞這么透明，建議 Anthropic 先學(xué)習(xí)一下怎么開(kāi)源模型？

不然這種話說(shuō)出來(lái)屬實(shí)是沒(méi)啥說(shuō)服力。

而且 Anthropic 這次提建議的時(shí)間還很微妙，這家公司的作風(fēng)可以說(shuō)一直都是頗有爭(zhēng)議。

做出牛逼模型的公司很多，但是風(fēng)評(píng)能那么始終如一的就只有 A 社一家了。

打開(kāi) A 社官網(wǎng)，看公司介紹時(shí)，你能感覺(jué)到它幾乎每個(gè)字都在向你強(qiáng)調(diào)安全。

你能翻到他們從產(chǎn)品到應(yīng)用的全套安全管理措施，甚至還有給 Claude 單獨(dú)撰寫的安全憲法。

但是這些安全措施真有用嘛？只能說(shuō)現(xiàn)實(shí)情況要復(fù)雜的多。

前幾年的時(shí)候，A 社就承諾過(guò)，說(shuō)除非公司提前確保了安全措施準(zhǔn)備妥當(dāng)，否則不會(huì)開(kāi)始訓(xùn)練新模型。

但很快他們就撤回了這個(gè)承諾。。。

在今年 2 月，面對(duì)《時(shí)代》周刊的采訪時(shí)，他們的首席科學(xué)家表示，這種單方面的承諾并不合理，公司可能考慮放棄。

說(shuō)白了，安全和發(fā)展這倆詞，在硅谷就像是個(gè)籮筐，哪里需要哪里裝。

當(dāng)理想主義碰上商業(yè)競(jìng)爭(zhēng)，刺刀見(jiàn)紅，所謂的安全往往也得給季度財(cái)報(bào)和市場(chǎng)份額讓路。

比如之前瘋狂渲染焦慮的 OpenAI 奧特曼，最近就悄悄改了口風(fēng)，之前還說(shuō) AI 會(huì)取代大部分工作，但最近就改了說(shuō)法，承認(rèn)自己之前的判斷有點(diǎn)草率了。

英偉達(dá)的老黃就更激進(jìn)了，他在采訪里表示，現(xiàn)在的很多言論極其科幻，戲劇化且毫無(wú)幫助，不知道為什么有的 CEO 會(huì)想扮演上帝，夸大威脅來(lái)嚇唬大伙兒。

咱雖然不知道他在點(diǎn)誰(shuí)吧，但也能看出，即使都在 AI 最前沿，大家的看法也是不盡相同的。

正所謂屁股決定腦袋，看他們的觀點(diǎn)還得看他們所處的情況。

實(shí)際上，最近這一個(gè)倆個(gè)月，Anthropic 的日子過(guò)的算不上特別好。

他們 3 號(hào)剛推出的 Claude 4.8 略顯拉垮，再也沒(méi)了曾經(jīng)的斷檔領(lǐng)先之感。

而隔壁的 OpenAI 更是全軍出擊，在編程和圖像生成領(lǐng)域直接兩開(kāi)花，而且?jiàn)W特曼天天在網(wǎng)上花式找理由重置 Codex 的額度，直接成了各路開(kāi)發(fā)者心中的超級(jí)大善人。

而 Anthropic 這邊，為了能搞到更多的顯卡，更多的算力來(lái)做出更強(qiáng)的模型，直接開(kāi)始選擇了提交 IPO 申請(qǐng)，開(kāi)始做起了融資上市的準(zhǔn)備。

一來(lái)一回的，因素越疊越多，就讓這號(hào)召看起來(lái)也就沒(méi)那么有力了。

看到這，世超想起來(lái)今年去 Google I/O 的事了，當(dāng)時(shí) DeepMind 的 CEO，哈薩比斯在現(xiàn)場(chǎng)告訴大家：

現(xiàn)在我們正站在AI奇點(diǎn)時(shí)代的山麓。

結(jié)果咱還沒(méi)往上爬兩步呢，A 社就在前面把頭扭過(guò)來(lái)，告訴你山上有風(fēng)險(xiǎn)，攀登需謹(jǐn)慎，為了大家的安全，我們還是一起都別爬了吧。

倒也有點(diǎn)道理，畢竟這些大廠的頂尖研究員肯定能看到更多東西。

但多少像是美麗而無(wú)用的廢話。

因?yàn)楸娝苤?，只要山在那兒，人是一定要登上去看看的?/strong>

撰文：風(fēng)華 & 早起

編輯：早起 & 江江 & 面線

美編：素描

圖片、資料來(lái)源：

X，Anthropic，聯(lián)合國(guó)，TIME，Youtube，部分圖源網(wǎng)絡(luò)