在我的辦公室里，書架上擺滿了魔術道具，旁邊是一扇俯瞰巴黎的全景窗——當然，這并不是真實存在的。這些都是我佩戴Apple Vision Pro頭顯時出現(xiàn)的混合現(xiàn)實疊加畫面，它們被精準映射到我真實的窗戶位置上。墻上還懸掛著一個虛擬時鐘。

書架是真實的，巴黎窗景和掛鐘則是虛擬的。但當我以一個發(fā)光球體的形式喚起Siri時，它能同時看到這一切。當我詢問面前有什么時，Siri的文字回復框便將眼前的一切一一描述出來。

我首次佩戴Vision Pro、并在VisionOS 26開發(fā)者預覽版中體驗"全知Siri"的最初感受，既有些驚喜，又格外熟悉。此前我在三星Galaxy XR頭顯上也有過類似體驗——那款設備已支持Gemini Live模式，能識別你所在的房間以及打開的虛擬應用和窗口。我也佩戴過多款帶攝像頭的智能眼鏡，在四處走動時向AI詢問周遭環(huán)境。

正如我此前預期的那樣，Apple今秋將為Apple Watch、iPhone、iPad等一系列設備帶來全面升級的Siri，并將視覺智能能力從iPhone擴展至更多平臺。其中，Vision Pro上的Siri最令人著迷，也或許是最具野心的——它能在你需要時看見視野內(nèi)的一切，就像一位感知伙伴。

這個在Apple WWDC上剛剛發(fā)布數(shù)日的早期預覽版本并不完美，但其表現(xiàn)已足以讓人窺見未來的方向。如今，能實現(xiàn)這一能力的眼鏡產(chǎn)品感覺完全觸手可及。與此同時，Vision Pro的輔助功能也將變得愈發(fā)有趣。

Siri的發(fā)光球體：隨時準備"看見"

與iOS和iPadOS上通過相機應用啟動的視覺智能模式不同，Vision Pro上的Siri只需你說出"Hey Siri"并提問，便可立即感知周圍環(huán)境。

Siri以一個三維發(fā)光球體的形式出現(xiàn)，如同一位精靈般降臨在我的房間里。你可以隨意拖動它的位置，而那顆發(fā)光球體借助VisionOS的空間圖形引擎，在我的桌面或房間里投射出真實的光影效果，視覺上頗為驚艷。

我只需說"Hey Siri，我面前有什么？"便能觸發(fā)視覺智能功能——系統(tǒng)會發(fā)出一聲新穎的提示音，隨后根據(jù)眼球追蹤技術，對我視線所及的區(qū)域進行快速視覺掃描。掃描范圍相當廣泛：它能看到我面前書架上滿滿的書籍，以及我擺放在那里的各種手辦和玩具，還能讀出幾本書的書名，比如《漩渦》和《奇書》。

AI的反饋基于攝像頭對眼前場景（無論真實還是虛擬）拍攝的靜止畫面，這與Meta智能眼鏡或三星Galaxy XR上其他基于攝像頭的AI的"拍攝-響應"節(jié)奏類似。

不過，它目前尚不具備那些設備所支持的實時連續(xù)識別模式，每次請求只能拍攝一張靜態(tài)圖像進行分析。

同時識別真實與虛擬物體

在我的桌面上，Siri成功識別出一臺紅色Virtual Boy虛擬現(xiàn)實頭顯和一臺Steam Deck掌機，兩者都是真實物品。隨后，我將視線轉(zhuǎn)向虛擬的巴黎窗景、墻上的時鐘小組件以及裝滿魔術道具的書架，它同樣一一識別了出來。

在這個早期測試版本中，Siri有時會在一段時間內(nèi)停留在某個特定視角進行分析，除非我關閉Siri或移動發(fā)光球體重新嘗試。當然，這也可能只是我還不夠熟悉操作方式。

但我已經(jīng)開始思考，如何借助這種視覺感知能力來提升工作效率。我讓Siri總結(jié)一篇關于我近期劇本創(chuàng)作的備忘錄——只需開口詢問，它便調(diào)出了內(nèi)容并提煉了要點。我還詢問了MacBook虛擬屏幕上打開的瀏覽器窗口情況。（就在我通過Mac在Vision Pro中撰寫這篇文章的此刻，Siri正在告訴我，我打開了一個Google文檔窗口，里面寫的正是Siri識別真實與虛擬物體的內(nèi)容。）

將個人照片轉(zhuǎn)化為全景三維背景

我還體驗了VisionOS 26中的全景照片轉(zhuǎn)換新功能——它能將你相冊中的任意全景照片轉(zhuǎn)換為可環(huán)繞包裹的三維背景，供你在工作時使用。

轉(zhuǎn)換效果并不像Apple自家的沉浸式環(huán)境那樣完全三維環(huán)繞，也沒有動態(tài)效果或環(huán)境音效，更像是超大型的環(huán)繞式三維窗口，辦公室的部分實景依然在邊緣可見。

視覺效果相當美觀，盡管并非所有全景照片都能成功轉(zhuǎn)換（這還是非常早期的階段，相信后續(xù)會逐步完善）。我調(diào)出了一張疫情期間探望母親時在她后院拍攝的照片，現(xiàn)在每次啟動時，那個場景便會迎接我，仿佛我又回到了那里。如果Vision Pro能像Meta Quest那樣，支持從多張照片生成完全沉浸式的高斯?jié)姙R場景，那就更完美了。

我不禁開始想象，Apple即將推出的智能眼鏡將如何借助具有視覺能力的Siri實現(xiàn)輔助功能。但這或許有些超前了。目前，體驗這一切需要一臺售價3499美元的Vision Pro。然而，當Apple推出類似谷歌或Xreal Project Aura那樣體積更小、價格更親民的AR眼鏡，當更多應用能夠接入Siri的視覺框架時，一切將會如何演變？我感覺自己正站在未來的門檻上，滿懷期待地向前張望。

Q&A

Q1：Vision Pro上的Siri視覺功能和其他設備上的視覺智能有什么區(qū)別？

A：Vision Pro上的Siri視覺功能無需進入相機應用，只需說"Hey Siri"并提問即可觸發(fā)。它以三維發(fā)光球體形式呈現(xiàn)，能同時識別真實和虛擬物體，并結(jié)合眼球追蹤技術掃描視野范圍。不過目前每次請求僅能拍攝一張靜態(tài)圖像分析，尚不支持Meta眼鏡或三星Galaxy XR那樣的實時連續(xù)識別模式。

Q2：VisionOS 26的全景照片轉(zhuǎn)換功能效果如何？

A：該功能可將相冊中的全景照片轉(zhuǎn)換為環(huán)繞式三維背景，用于工作時的視覺環(huán)境。效果介于普通大屏和完全沉浸式環(huán)境之間，沒有動態(tài)效果或環(huán)境音效，辦公室實景仍在邊緣可見。目前并非所有全景照片都能成功轉(zhuǎn)換，功能仍處于早期階段，預計后續(xù)版本會持續(xù)完善。

Q3：Apple智能眼鏡什么時候會推出類似Vision Pro的Siri視覺功能？

A：目前Apple尚未正式發(fā)布智能眼鏡產(chǎn)品，體驗Siri視覺功能仍需3499美元的Vision Pro。但隨著谷歌、Xreal等廠商推出體積更小、價格更親民的AR眼鏡，加之Apple預計將推出類似產(chǎn)品，具備視覺感知能力的Siri有望在未來以更低門檻的硬件形態(tài)普及。