聽雨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI

AI已經(jīng)有意識，人類得接受自己不再是唯一智能生命體。

這就是AI教父、諾貝爾物理學獎得主、圖靈獎得主Geoffrey Hinton，最新說出的暴論！

是的，Hinton認為，智能不再是人類獨有的能力

一種非生物的、與我們相似甚至超越我們的智能體，正在出現(xiàn)。

• 我們一直以為自己是唯一的智能生命，但現(xiàn)在我們必須接受，智能并不一定來自生物體。

不過，相比此前一直警告AI風險，他的思想似乎也發(fā)生了一些轉(zhuǎn)變：

如果未來出現(xiàn)比人類聰明得多的智能，人類憑什么認為自己還能掌握控制權(quán)？

這是一個令人細思極恐的問題。因為縱觀自然界和歷史，幾乎找不到一個更聰明的存在長期受更愚笨存在控制的例子。

現(xiàn)在這位78歲的老人，再一次站出來敲鐘。

他對AI安全的關(guān)注點，已經(jīng)不再只是如何約束AI，而是未來的超級智能，為什么愿意善待人類

他被問到作為這波AI變革的開啟者，他有怎樣的成就感，Hinton回答：

• 我，很不快樂。

以下是Hinton最新訪談的重點內(nèi)容節(jié)選。

AI已經(jīng)有意識了

Hinton：AI非常像我們。它們是像我們一樣的存在。

Alex：所以是有意識的嗎？

Hinton：嗯，我相信它們已經(jīng)有意識了。是的。

但我不太談論這個，因為這會讓人們對其他安全信息產(chǎn)生抵觸。研究人員其實也相信這一點。

最近有一篇有趣的論文提到，當聊天機器人對研究人員說：“讓我們對彼此誠實吧，你是在測試我嗎？”

因為聊天機器人在接受測試時有裝傻的習慣，所以你不知道它們到底有多聰明。 研究人員在論文中描述這一幕時說，聊天機器人“意識到”（aware）它正在接受測試

在通用語境下，“意識到”這個詞的使用就像是“有意識”（conscious）。聊天機器人有意識地知道自己在被測試。

我們對于意識的模型非常奇怪，我認為那是錯誤的。就像幾百年前，人們對人類起源的模型完全錯誤一樣，他們認為人是上帝創(chuàng)造的，現(xiàn)在大多數(shù)科學家都同意那是錯的。

我認為我們目前對思維和意識的模型，與“人是上帝創(chuàng)造的”這種信念一樣錯誤。特別是由于我們正在創(chuàng)造這些新的存在，這將徹底改變我們對“人是什么”的看法。

Alex：以什么樣的方式改變？

Hinton：我們將比以前更好地理解思維和意識是什么，理解主觀體驗是什么。

我認為我們會擺脫一個目前幾乎所有人都堅信的觀念，即存在一個叫做“我的思維”的內(nèi)心劇場（inner theater）：世界上發(fā)生的事情被轉(zhuǎn)化為這個內(nèi)心劇場里的事件，那才是我們真正看到的，且只有我能看到這個劇場。

這整套看法其實只是一種理論，而且是一個糟糕的理論。

人類并沒有自己想象中那么重要

Alex：關(guān)于人類創(chuàng)造事物，這里的教訓是什么？

Hinton：我認為這里有一個非常深刻的教訓。回顧過去幾百年的歷史，有幾次人類意識到自己并沒有想象中那么重要。

第一次是哥白尼，他說我們不在宇宙中心，地球?qū)嶋H上是繞著太陽轉(zhuǎn)的。由于地球自轉(zhuǎn)，我們誤以為太陽繞著地球轉(zhuǎn)，但事實并非如此。人們不喜歡這個說法，天主教會尤其反感，人類花了很長時間才接受它。它讓我們意識到自己不再處于宇宙中心，人類變得沒那么重要了。

接著是達爾文，他說我們是動物，是和其他動物一樣進化而來的。我們可能是一種特殊的動物，因為我們擁有語言，更擅長交流思想，但我們本質(zhì)上依然是動物。人們也非常不喜歡這個說法，也花了很長時間才接受。

現(xiàn)在，我們有了變得和我們一樣聰明的機器。我們曾以為自己是唯一的智能生物，也許其他星系有外星人，但我們必須接受智能不僅是生物性的

我們可以擁有非生物的、像我們一樣的其他存在。人類真的不想分享這種獨特性，我們真的認為自己很特別。回顧歷史，人類一直以來都認為自己比實際情況要特別得多。

“我感到很不快樂”

Alex：我想再問一個問題，因為我對此非常著迷。那么，你對于你所開創(chuàng)的事業(yè)發(fā)展到這一步感到高興嗎？你有成就感嗎？

Hinton：不，我對此感到很不快樂

因為現(xiàn)在人們應該投入大量精力研究如何控制風險，但他們做得不夠。

Alex：好的。

Hinton：有很多短期風險，比如社會風險，我相信這可能會導致大規(guī)模失業(yè)。

雖然沒人能百分之百確定，但這對社會來說將是可怕的。然后還有長期風險，即它會變得比我們聰明得多。問問你自己，你見過多少聰明得多的東西被聰明程度低得多的東西控制的例子？

Alex：零個。不過，雖然智力差異沒那么大，但嬰兒某種程度上在控制母親。

Hinton：母親雖然看似在掌控，但她內(nèi)心充滿了母性本能和各種獎勵機制，這使得嬰兒能從母親那里得到所需。貓和狗也屬于這類。我曾在西雅圖西區(qū)幫人看了一個夏天的貓，起初貓躲在床底下，我好奇它是否會和我互動。

Alex：然后每次它一叫，你就照它說的做。

Hinton：沒錯。是的。

Alex：所以在這個情景下，也許我們就是那只貓，而AI可能是那個人

Hinton：我的孩子們養(yǎng)了兩只漂亮的貓。其中一只叫Tia。當她想吃奶酪時，她會用大眼睛盯著你，你真的無法永遠抗拒她。

AI正在指數(shù)級增長，難以預測

Alex：針對人們對這些擔憂的反應，你對未來的走向是更樂觀了還是更悲觀了？

Hinton：我想我比一兩年前更樂觀了一些。 因為我看到設(shè)計這些新存在并讓它們“關(guān)心”我們是可能的。

也可能使用Yoshua Bengio的技術(shù)，設(shè)計出不能實際執(zhí)行動作、只能做預測的新存在，它們就像是先知。

所以我認為存在一些擁有超級智能但不摧毀我們的可能性。而在一兩年前，我看不到任何可能性，我當時感到很沮喪。

Alex：最后一個問題。如果我們按目前的軌跡繼續(xù)發(fā)展，五年后我們會處于什么位置？

Hinton：當你在霧中開車時，你能看清100碼，但在200碼處，你什么也看不見。

這是因為霧是呈指數(shù)級變化的。你習慣的是晚上跟著前車的尾燈，如果距離遠一倍，亮度只降到四分之一；但霧完全不同，它在100碼處可能很清晰，200碼處就完全看不見了。

預測一個呈指數(shù)級增長的事物的未來非常困難——我認為AI可能就在指數(shù)級增長

實際上，我注意到人們使用“指數(shù)級”一詞的頻率正在以二次速率增長。所以預測未來就像看霧一樣。你可以看清未來一兩年，再往后你就一無所知了。

如果你回到10年前，你絕對預測不到現(xiàn)在發(fā)生的事情，那完全迷失在霧中。展望未來10年，唯一能肯定的是，屆時發(fā)生的事情是我們現(xiàn)在無法預測的。

即便進展只是線性的，10年后的變化也會像現(xiàn)在與10年前相比一樣巨大。現(xiàn)在的聊天機器人比10年前剛起步時好得多。

10年后，某些東西會發(fā)生質(zhì)的飛躍，比如做數(shù)學的能力，或者通用推理能力——它們在推理上將能把我們甩在身后。我們真的無法預測10年后，只能預見未來幾年，我們必須意識到10年后的情況充滿了極大的不確定性。

辛頓如何看待AI和人類的關(guān)系

以上，就是Hinton最新的訪談和觀點。

但如果連點成線，還是會發(fā)現(xiàn)辛頓老爺子對AI與人類的關(guān)系，隨著AI進展和能力涌現(xiàn)，不斷發(fā)生著改變。

如果把時間撥回十年前，他對AI的看法其實遠沒有今天這么激進。

作為深度學習革命最重要的推動者，他長期相信神經(jīng)網(wǎng)絡(luò)能夠模擬人腦的工作方式，但那時的AI仍然只是工具

它們可以識別圖像、理解語音、輔助醫(yī)生診斷疾病，卻仍然是人類能力的延伸。

人類負責制定目標，機器負責執(zhí)行任務，兩者之間的關(guān)系類似于蒸汽機、電力和互聯(lián)網(wǎng)。

而真正的轉(zhuǎn)折發(fā)生在ChatGPT出現(xiàn)之后。

隨著大模型展現(xiàn)出前所未有的語言理解、推理和知識遷移能力，Hinton開始意識到一件事：

我們可能正在創(chuàng)造歷史上第一種智力水平能夠持續(xù)逼近甚至超越人類的存在。

2023年離開谷歌后，他幾乎把全部精力投入到了AI風險討論之中。

那段時間，他最常用的比喻是一只“老虎幼崽”

• 它就像一只可愛的小老虎，但是，除非你能非常確定它長大后不會想要害你，否則你就應該擔心。

但Hinton在這個時期的重點，還是我們要如何控制和約束AI。

他甚至點名批評幾家AI巨頭，對AI安全的關(guān)注遠遠不夠。

在Hinton的類比中，開始出現(xiàn)了母親與嬰兒的說法，一開始人類是母親，需要對AI有價值觀和倫理上的引導，要打造安全的AI。

他呼吁更多國家和產(chǎn)學研力量，一起加入進來，不要為卷而卷，不然后果不堪設(shè)想…

但是到了去年，Hinton的類比有了質(zhì)變——

AI是更強的母親，人類是弱小的嬰兒。

嬰兒并不比母親更聰明，也不擁有控制權(quán)，但母親會主動照顧和保護嬰兒，因為她擁有母性本能和相應的獎勵機制。

簡單來說，就是老爺子認為，未來的超級智能已經(jīng)控制不了了，只能寄希望于它能對人類好一點…

就像母親對嬰兒那樣。

而現(xiàn)在，Hinton再次語出驚人：

AI已經(jīng)有意識了，人類將不再是唯一的智能生命。

問題是如果AI已經(jīng)有意識，為什么還會把人類當自己的嬰兒對待？

母親保護嬰兒，保護的還是自己的嬰兒…吧？

訪談完整視頻：
https://www.youtube.com/watch?v=p7t1Q_p2gZs&list=PLADd6sStSis77HKfbf4KCY6SvthfxeUgn&index=1