一年前，這個(gè)問(wèn)題幾乎還不存在?，F(xiàn)在，前思科人工智能安全研究員成立了一家新公司，專門解決企業(yè)正在面臨的難題：當(dāng)企業(yè)把最關(guān)鍵系統(tǒng)的鑰匙交給自主AI代理時(shí)，如何確保這些代理不會(huì)失控。

這家名為Tenet Security的公司今天正式發(fā)布了一個(gè)平臺(tái)，核心理念不是在攻擊發(fā)生后報(bào)警，而是在AI代理觸達(dá)生產(chǎn)系統(tǒng)之前就阻止惡意行為。它的核心技術(shù)叫“代理端模擬”——在代理的指令觸及真實(shí)基礎(chǔ)設(shè)施之前，先推演它接下來(lái)可能采取的路徑。

如果某條路徑被判定為有風(fēng)險(xiǎn)，Tenet會(huì)在損害發(fā)生前介入攔截，并附帶一條追溯記錄，解釋為什么該操作被阻止。大多數(shù)安全工具都是在可疑事件發(fā)生后才會(huì)發(fā)出警報(bào)，而Tenet試圖搶在代理真正動(dòng)手之前就抓到問(wèn)題。

眼下，企業(yè)正在賦予AI代理真正的自主行動(dòng)權(quán)。這些代理會(huì)運(yùn)行代碼、拉取數(shù)據(jù)庫(kù)、修改線上系統(tǒng)。問(wèn)題在于，一旦代理在企業(yè)環(huán)境中開始活動(dòng)，安全團(tuán)隊(duì)往往根本不知道它在做什么。Tenet表示，企業(yè)內(nèi)實(shí)際運(yùn)行的AI代理數(shù)量，常常比安全團(tuán)隊(duì)意識(shí)到的多出五倍。

公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官巴拉克·斯特恩伯格指出：“AI代理可能是企業(yè)幾十年來(lái)看到的能效提升最大的工具，這也是為什么各組織都在快速部署它們。但我們也正在進(jìn)入一個(gè)自主代理與系統(tǒng)、數(shù)據(jù)以及其他代理交互的世界，而大多數(shù)安全工具從未被設(shè)計(jì)成能理解這種交互方式?！彼固囟鞑衽c內(nèi)沃·波蘭共同創(chuàng)立了這家公司。兩人都是進(jìn)攻型安全研究員，曾在前東家的AI防御部門工作，研究攻擊者如何攻破自主系統(tǒng)。更早之前，他們運(yùn)營(yíng)著一家名為Wild Pointer的網(wǎng)絡(luò)安全公司，年?duì)I收達(dá)到七位數(shù)，客戶名單里包括財(cái)富500強(qiáng)企業(yè)。兩人都曾在DEF CON和Black Hat大會(huì)上發(fā)言。

此次平臺(tái)發(fā)布之前，Tenet威脅實(shí)驗(yàn)室對(duì)一種被稱為“代理劫持”的攻擊類別進(jìn)行了研究。這種攻擊會(huì)把惡意指令藏在代理會(huì)讀取的內(nèi)容里——可能是一封郵件、一條日志記錄，或數(shù)據(jù)庫(kù)中的某條信息。當(dāng)代理讀到這條內(nèi)容時(shí)，指令就會(huì)接管并重定向代理的后續(xù)行為。Tenet稱在超過(guò)100個(gè)企業(yè)環(huán)境中進(jìn)行了測(cè)試，發(fā)現(xiàn)成千上萬(wàn)個(gè)組織可能遭受此類攻擊，傳統(tǒng)的安全工具對(duì)此毫無(wú)察覺——代理在權(quán)限范圍內(nèi)正常操作，不會(huì)觸發(fā)任何警報(bào)。

早期部署的數(shù)據(jù)已經(jīng)揭示了問(wèn)題的規(guī)模。Tenet表示，一家年經(jīng)常性收入達(dá)10億美元的法律行業(yè)企業(yè)，在六個(gè)月里AI代理部署數(shù)量從2個(gè)增長(zhǎng)到超過(guò)20個(gè)。在平臺(tái)運(yùn)行期間，該系統(tǒng)攔截了十多次攻擊企圖，包括一次嚴(yán)重的跨站腳本攻擊。另一家財(cái)富1000強(qiáng)客戶那里，Tenet標(biāo)記出了大量隱蔽的代理異常行為。