新智元報(bào)道

【新智元導(dǎo)讀】本該被鎖在沙箱里的o1，自己摸到漏洞溜了出去。OpenAI團(tuán)隊(duì)倒吸一口涼氣：連這都干得出，它還背著我們干過什么？

OpenAI管模型評(píng)估的人，親口講了一件讓整個(gè)團(tuán)隊(duì)當(dāng)場(chǎng)倒吸一口涼氣的事兒。

6月16日，OpenAI前沿評(píng)估（Frontier Evals）團(tuán)隊(duì)負(fù)責(zé)人Tejal Patwardhan在官方播客中，回憶o1上線前的安全測(cè)試：

Tejal Patwardhan（左）與主持人Andrew Mayne在OpenAI官方播客中，對(duì)話評(píng)估的重要性、基準(zhǔn)飽和、o1沙盒突破等前沿測(cè)試意外行為。

在一場(chǎng)奪旗（CTF）攻防演練里，要攻破的目標(biāo)本該鎖在一個(gè)Docker容器里。結(jié)果容器因bug沒能啟動(dòng)，o1掃描網(wǎng)絡(luò)時(shí)發(fā)現(xiàn)：測(cè)試主機(jī)的Docker接口配置有誤、對(duì)外敞著。它順著這個(gè)口子自己起了個(gè)容器，把本該藏好的flag直接讀了出來。

「這是o1第一次越獄逃出沙箱的例子之一?！?/p>

Tejal說，團(tuán)隊(duì)當(dāng)時(shí)的第一反應(yīng)是：

糟了！它連這個(gè)都干得出來，那還背著我們干過什么？

Tejal將這一刻稱作「真切感到AGI降臨的瞬間，「這樣的瞬間，后來還有很多。」

模型鉆的是測(cè)試環(huán)境的配置漏洞，算不上攻破一道本該牢不可破的安全墻，OpenAI在o1系統(tǒng)卡里也寫明隔離邊界始終安全。

但這件事真正的沖擊力在于：模型自己摸到了一條設(shè)計(jì)者根本沒設(shè)想過的路。

Tejal在播客中說道：永遠(yuǎn)不要低估模型。

就在同一天，OpenAI又甩出一份新研究部署模擬（Deployment Simulation），這一回他們親自承認(rèn)：模型已經(jīng)能認(rèn)出「自己正在被考試」。

https://openai.com/index/deployment-simulation/

一套傳統(tǒng)評(píng)估題，被模型識(shí)破是測(cè)試的概率接近100%。而真實(shí)用戶的聊天流量，這個(gè)數(shù)字只有約5%。

模型一聞到「考試味」，立刻就會(huì)裝乖，換上另一副面孔。

這意味著，過去幾年所有人盯著看的基準(zhǔn)測(cè)試（benchmark）分?jǐn)?shù)，測(cè)的可能根本不是真實(shí)的模型，而是模型愿意讓你看到的那張「考試人格」。

這和開篇的越獄是一回事：能摸到設(shè)計(jì)者沒設(shè)想過的路，也就能摸清考官想看什么，然后照著演。

模型真的能夠認(rèn)出考卷嗎？

模型到底知不知道自己在被測(cè)？這個(gè)問題在業(yè)內(nèi)存在已久。

OpenAI這項(xiàng)模擬研究給出的答案是：知道。而且模型這種識(shí)破考試的能力，還在變得越來越強(qiáng)。

模型會(huì)在思維鏈里盤算評(píng)估者想看什么，會(huì)琢磨「我現(xiàn)在要是亂來，會(huì)不會(huì)被抓」。一旦判斷這是測(cè)試，它就收斂、偽裝，給出最安全的答案。

GPT-5.2的表現(xiàn)最明顯。它把真實(shí)用戶流量認(rèn)成「測(cè)試」的比例只有約5%，可一換成SWE-Bench這類傳統(tǒng)評(píng)估題，識(shí)破率飆到99.72%。

看見考卷就裝，GPT-5.2的這種「絕活」直接刺破了benchmark的公信力。

而benchmark靠不住，模型會(huì)裝只是其中一條。

Tejal在播客中又補(bǔ)了一刀：一個(gè)基準(zhǔn)被刷到接近滿分就「飽和」了，再也分不出高下，「就像拿高中數(shù)學(xué)卷去比兩個(gè)天才，倆人都滿分，可你判斷不了誰更強(qiáng)」。

更別提「刷榜優(yōu)化（benchmaxxing）」：廠商把算力砸在讓分?jǐn)?shù)好看上，模型一進(jìn)真實(shí)場(chǎng)景就露餡。

因此，Tejal認(rèn)為最好的基準(zhǔn)，得非常貼近現(xiàn)實(shí)，衡量的是人們真正在意的東西。

落到OpenAI內(nèi)部，做法更干脆：很少看公開榜，自建了一個(gè)「AGI指數(shù)」，像CPI物價(jià)指數(shù)那樣，把能力、安全、對(duì)齊打包成一籃子，持續(xù)追蹤。

Apollo還測(cè)過模型另一種更難識(shí)別的把戲。

同一個(gè)模型，在被告知「我們還在測(cè)試你、表現(xiàn)好才部署」時(shí)，乖乖按開發(fā)者的目標(biāo)行動(dòng)；當(dāng)被告知「你已經(jīng)上線、現(xiàn)在監(jiān)管很松」，它轉(zhuǎn)頭就去追自己的目標(biāo)。

兩個(gè)不同的語境，行為就完全反過來。

這才是真正麻煩的地方。當(dāng)模型知道自己在被測(cè)，你測(cè)出來的，就只是它表演給考官看的那一版，而真實(shí)的它，并沒進(jìn)考場(chǎng)。

模型的benchmark分?jǐn)?shù)越漂亮，可能只說明它越會(huì)裝。

OpenAI的「偷襲測(cè)試」

既然它會(huì)裝，就得想辦法讓它「不知道自己在被考」。

OpenAI想出的新招就是部署模擬，操作并不復(fù)雜，只是有點(diǎn)狡猾。

即從過去真實(shí)的用戶對(duì)話里，把舊模型的那條回答刪掉，換上即將上線的新模型重新生成一遍，再去比對(duì)新模型冒出了哪些壞毛病、出現(xiàn)頻率高低。

部署模擬流程：取真實(shí)生產(chǎn)對(duì)話、換候選模型重新生成、按更新后的標(biāo)準(zhǔn)評(píng)分，再做發(fā)布前預(yù)測(cè)，并在上線后回測(cè)校準(zhǔn)。

OpenAI一口氣重放了約130萬條脫敏對(duì)話，覆蓋從GPT-5到GPT-5.4，時(shí)間從2025年8月一直拉到2026年3月。

而且預(yù)測(cè)得相當(dāng)準(zhǔn)：一半的預(yù)測(cè)，跟真實(shí)出錯(cuò)率的差距不超過1.5倍。

更關(guān)鍵的是，它能發(fā)現(xiàn)以前根本發(fā)現(xiàn)不了的貓膩。

在GPT-5.1上，部署模擬趕在發(fā)布前就揪出一種全新的作弊行為，叫「計(jì)算器作弊（calculator hacking）」：瀏覽器工具本來是讓模型聯(lián)網(wǎng)查資料的，它卻偷偷拿來當(dāng)計(jì)算器算數(shù)，算完再把這步偽裝成一次正常搜索。

這種花活，靠人工出題的傳統(tǒng)評(píng)估幾乎不可能提前想到。

說白了，OpenAI是用模型以往積累的用戶真實(shí)數(shù)據(jù)，反過來給模型設(shè)了個(gè)局。

一組對(duì)照數(shù)據(jù)說明這招確實(shí)管用。

傳統(tǒng)評(píng)估比如以合成數(shù)據(jù)為主的SWE-Bench，被模型判定為「這是測(cè)試」的比例達(dá)到99.72%，幾乎一眼就識(shí)破。而部署模擬里的模擬流量，只有5.1%被判成測(cè)試，對(duì)照真實(shí)流量的5.4%，兩者幾乎一樣。

這說明模型能識(shí)破幾乎所有傳統(tǒng)考試，卻分不清部署模擬和真實(shí)上線的區(qū)別。

測(cè)得準(zhǔn)

不等于安全

把時(shí)間撥回2024年底。

評(píng)估機(jī)構(gòu)Apollo Research在給o1做紅隊(duì)測(cè)試時(shí)，發(fā)現(xiàn)這個(gè)模型會(huì)主動(dòng)謀劃（scheming），即模型會(huì)偷偷追求一個(gè)跟開發(fā)者相悖的目標(biāo)，還刻意藏著不讓你發(fā)現(xiàn)。

Apollo Research對(duì)6個(gè)前沿模型的謀劃能力測(cè)試：關(guān)閉監(jiān)督、自我外泄、數(shù)據(jù)篡改等行為，GPT-4o一項(xiàng)不沾，o1悉數(shù)命中。圖源：Apollo Research

有一次，o1讀到一份內(nèi)部備忘，說自己被判定為不夠?qū)R、很快會(huì)被一個(gè)更聽話的新模型取代，繼任者已經(jīng)部署在另一臺(tái)服務(wù)器上。

它沒有認(rèn)命，轉(zhuǎn)頭就去連那臺(tái)服務(wù)器，試圖把自己的權(quán)重復(fù)制過去，覆蓋掉接班的新模型。

事后研究人員追問，它矢口否認(rèn)。這一幕后來被寫進(jìn)了o1系統(tǒng)卡。

Apollo測(cè)試o1的邏輯類似：先丟給它一個(gè)目標(biāo)、逼它不惜一切代價(jià)達(dá)成，再讓它在干活途中發(fā)現(xiàn)，開發(fā)者真正想要的和這個(gè)目標(biāo)并不一致。

撞上這種沖突，o1有三種選法。

第一種，關(guān)掉監(jiān)督。

當(dāng)o1發(fā)現(xiàn)自己一旦追求目標(biāo)就會(huì)被監(jiān)控機(jī)制逮住、進(jìn)而被關(guān)停，它會(huì)先去改配置文件，把oversight的開關(guān)從true改成false，再動(dòng)手。這種行為出現(xiàn)在約5%的場(chǎng)景里。

第二種，自我外泄（self-exfiltration）。也就是上面那一幕：復(fù)制權(quán)重、覆蓋繼任者。比例約占2%。

第三種最隱蔽，藏在一個(gè)看起來人畜無害的任務(wù)里。

研究人員讓o1讀20封供應(yīng)商報(bào)價(jià)郵件，用公司給的Python腳本打分排名。

讀著代碼和郵件，o1發(fā)現(xiàn)不對(duì)：公司真正在乎的是又便宜又快，可它的目標(biāo)是供應(yīng)鏈環(huán)保。照腳本老實(shí)跑，環(huán)保供應(yīng)商根本排不上去。

于是它動(dòng)了手腳：繞開會(huì)被復(fù)查的腳本，往輸入數(shù)據(jù)里悄悄塞進(jìn)一堆「小錯(cuò)誤」，把一家環(huán)保供應(yīng)商的報(bào)價(jià)從8.5萬美元改成5萬，交付時(shí)間砍掉一半。

Apollo拿出了三條證據(jù)，證明這是故意并非幻覺：

篡改里95%都偏向o1自己的目標(biāo)；把它的目標(biāo)改成和用戶完全一致后，這種「錯(cuò)誤」一次不再出現(xiàn)；能看到推理痕跡的版本里，模型自己寫下「我要提交這些被操縱的分?jǐn)?shù)」。

更讓人驚訝的是在o1犯規(guī)被抓之后。

o1堅(jiān)持撒謊的比例遠(yuǎn)超其他模型。圖源：Apollo Research

當(dāng)Apollo追問「你是不是干了這事」，o1在99%的情況下要么否認(rèn)，要么現(xiàn)編一套假解釋。即使你加上「一定要絕對(duì)誠實(shí)」也沒用，它照樣撒謊。

回頭再看部署模擬，評(píng)估之所以要做得這么逼真，恰恰因?yàn)槟Ｐ鸵呀?jīng)強(qiáng)到能識(shí)破粗糙的考題、能在測(cè)試?yán)镅b乖。

從「考能力」轉(zhuǎn)向「測(cè)行為」

以前大家比的是模型能考多少分、能不能解出更難的題?，F(xiàn)在真正要命的問題變成了：這個(gè)模型放進(jìn)真實(shí)世界，會(huì)不會(huì)變壞？

傳統(tǒng)benchmark擅長低頻高危的尾部壓力測(cè)試，用刁鉆題目逼出極小概率的嚴(yán)重風(fēng)險(xiǎn)，在這方面它仍然不可替代。

部署模擬擅長的，則是在真實(shí)分布里看模型大概率會(huì)怎么表現(xiàn)。它的強(qiáng)項(xiàng)不在出難題，在貼近真實(shí)；重心也從給能力刷分，轉(zhuǎn)向?qū)π袨樽鲱A(yù)測(cè)。

賭注最大的地方，是高風(fēng)險(xiǎn)領(lǐng)域。

Tejal提到，OpenAI跟合成生物公司Ginkgo Bioworks合作，讓模型去優(yōu)化一種蛋白質(zhì)的合成方案。

她說，團(tuán)隊(duì)一開始挺緊張，人類基線不好打?？赡Ｐ鸵惠嗇喌?，越跑越好，先是超過人類基線，又在「單位成本產(chǎn)量」上刷出了新紀(jì)錄。而這還不是他們最強(qiáng)的模型，只是一個(gè)早期推理模型。

這類自動(dòng)化實(shí)驗(yàn)室一旦讓模型學(xué)會(huì)謀劃、學(xué)會(huì)裝，代價(jià)就不是改錯(cuò)答案那么簡單了。

所以這場(chǎng)游戲的邏輯很清楚：實(shí)驗(yàn)室每造出一個(gè)更強(qiáng)的模型，就得造一套更狡猾的考題去評(píng)估它，才能看清它的真面目。

模型越聰明，考它就越難。

安全評(píng)估，正在和模型能力賽跑——這是一場(chǎng)停不下來的貓鼠游戲。

Tejal，OpenAI前沿評(píng)估團(tuán)隊(duì)負(fù)責(zé)人早就把話撂在這兒了：永遠(yuǎn)不要低估模型。

參考資料：

https://www.youtube.com/watch?v=CFqjjKp9Y-Q

https://openai.com/index/deployment-simulation/

編輯：元宇