新智元報(bào)道

【新智元導(dǎo)讀】清華大學(xué)提出一種新型物理對(duì)抗方法，利用特殊服裝同時(shí)干擾可見(jiàn)光和熱成像檢測(cè)。這種服裝通過(guò)非重疊設(shè)計(jì)和三維建模優(yōu)化，可有效躲避RGB-T檢測(cè)器，促進(jìn)系統(tǒng)安全性研究。

近年來(lái)，可見(jiàn)光-熱成像（RGB-T）聯(lián)合目標(biāo)檢測(cè)系統(tǒng)受到了越來(lái)越多關(guān)注。

與單一可見(jiàn)光檢測(cè)相比，RGB-T檢測(cè)器能夠同時(shí)利用普通相機(jī)和熱成像相機(jī)的信息，在夜間、弱光、惡劣天氣等復(fù)雜環(huán)境下具有更好的魯棒性，因此在自動(dòng)駕駛、智能安防、機(jī)器人感知等場(chǎng)景中具有重要應(yīng)用價(jià)值。

由于多模態(tài)系統(tǒng)同時(shí)融合了可見(jiàn)光和熱成像信息，人們通常認(rèn)為它比單模態(tài)系統(tǒng)更加可靠：即使一個(gè)模態(tài)受到干擾，另一個(gè)模態(tài)仍然可以提供補(bǔ)充信息。

然而，這類(lèi)系統(tǒng)在現(xiàn)實(shí)物理世界中的安全性是否真的足夠可靠，仍然缺乏系統(tǒng)研究。

最近，來(lái)自清華大學(xué)的研究團(tuán)隊(duì)在CVPR 2026論文中提出了一種面向可見(jiàn)光-熱成像目標(biāo)檢測(cè)器的物理對(duì)抗方法。該方法通過(guò)設(shè)計(jì)一套特殊的對(duì)抗服裝，使行人在現(xiàn)實(shí)世界中能夠同時(shí)躲避可見(jiàn)光和熱成像檢測(cè)器。

論文鏈接：https://arxiv.org/abs/2605.04675

代碼鏈接：https://github.com/zxp555/RGBT-Clothing

實(shí)驗(yàn)表明，該方法可以對(duì)抗不同融合架構(gòu)的RGB-T檢測(cè)器，在數(shù)字世界中的平均對(duì)抗成功率達(dá)到90%，在真實(shí)物理世界中的平均成功率達(dá)到60%。

研究背景

對(duì)抗樣本研究表明，深度神經(jīng)網(wǎng)絡(luò)在面對(duì)經(jīng)過(guò)精心設(shè)計(jì)的擾動(dòng)時(shí)，可能產(chǎn)生錯(cuò)誤判斷。過(guò)去，大量物理對(duì)抗工作主要集中在單一模態(tài)上：例如，在可見(jiàn)光場(chǎng)景中，可以將對(duì)抗圖案打印在紙張、貼紙或衣服上；在熱成像場(chǎng)景中，則可以利用發(fā)熱器件、隔熱材料等方式改變熱圖像。

但是，可見(jiàn)光和熱成像機(jī)制存在顯著差異?？梢?jiàn)光圖像依賴光照、顏色和紋理，而熱成像圖像反映的是物體表面的熱輻射特性。

因此，只針對(duì)可見(jiàn)光設(shè)計(jì)的對(duì)抗圖案，往往無(wú)法在熱成像圖像中產(chǎn)生有效對(duì)抗；只針對(duì)熱成像設(shè)計(jì)的材料，也難以同時(shí)欺騙可見(jiàn)光檢測(cè)器。

目前，有一些工作嘗試對(duì)抗RGB-T檢測(cè)器，但仍存在局限。例如，一些方法采用二維對(duì)抗貼片，但對(duì)抗角度范圍較窄；另一些方法需要將特殊低輻射薄膜疊加在打印圖案上，但削弱可見(jiàn)光圖案效果，且增加了制作成本。也就是說(shuō)， RGB-T 檢測(cè)器在不同角度、距離和融合架構(gòu)下的真實(shí)安全風(fēng)險(xiǎn)仍未被充分揭示。

研究方法

為了解決這些問(wèn)題，作者提出了一種非重疊RGB-T對(duì)抗圖案設(shè)計(jì)，稱為NORP（non-overlapping RGB-T pattern）。其核心思想是：物理對(duì)抗服裝上的每一個(gè)位置要么用于顯示可見(jiàn)光圖案以干擾可見(jiàn)光檢測(cè)，要么用于顯示熱成像圖案以干擾熱成像模態(tài)，兩者在空間中不重疊。

具體來(lái)說(shuō)，作者使用普通可打印布料來(lái)承載可見(jiàn)光對(duì)抗圖案，同時(shí)使用常見(jiàn)的鋁膜材料來(lái)改變局部熱熱成像效果。這樣既可以同時(shí)作用于RGB和Thermal兩個(gè)模態(tài)，又避免了傳統(tǒng)重疊式打印帶來(lái)的亮度下降問(wèn)題。

為了在現(xiàn)實(shí)世界中適用于不同觀察角度，作者進(jìn)一步構(gòu)建了人體和服裝的三維RGB-T模型。通過(guò)三維建模，系統(tǒng)可以在數(shù)字世界中模擬0到360度全視角下的人體穿衣效果，并同時(shí)渲染可見(jiàn)光圖像和熱成像圖像。優(yōu)化完成后，作者再根據(jù)生成的圖案制作真實(shí)衣服，包括上衣和褲子，從而實(shí)現(xiàn)物理世界中的全視角RGB-T對(duì)抗。

但是，在對(duì)抗圖案的優(yōu)化方法上，NORP帶來(lái)了一個(gè)新的難題：同一個(gè)位置不能既是可連續(xù)優(yōu)化的RGB顏色，又是離散選擇的熱成像材料。為此，作者提出了空間離散-連續(xù)優(yōu)化方法，在優(yōu)化過(guò)程中隨機(jī)選擇部分區(qū)域進(jìn)行離散化，同時(shí)更新另一部分連續(xù)變量，從而在滿足物理可制造約束的同時(shí)，聯(lián)合優(yōu)化可見(jiàn)光和熱成像對(duì)抗圖案。

為了提升對(duì)未知檢測(cè)器的遷移對(duì)抗能力，作者還提出了融合階段集成方法，將早期融合、中期融合、晚期融合以及獨(dú)立雙模態(tài)檢測(cè)器共同納入優(yōu)化，使一套衣服能夠有效干擾不同融合架構(gòu)的RGB-T檢測(cè)系統(tǒng)。

實(shí)驗(yàn)結(jié)果

作者首先在數(shù)字世界中進(jìn)行了系統(tǒng)評(píng)估。實(shí)驗(yàn)覆蓋了多種RGB-T檢測(cè)架構(gòu)，包括早期融合檢測(cè)器Prob-E、中期融合檢測(cè)器Prob-M、晚期融合檢測(cè)器Prob-L，以及獨(dú)立的YOLO11可見(jiàn)光和熱成像檢測(cè)器。評(píng)測(cè)使用FLIR測(cè)試集的500張圖像，在隨機(jī)人物角度，距離，背景和光照條件下進(jìn)行。

結(jié)果顯示，得益于3D建模以及連續(xù)離散混合優(yōu)化的對(duì)抗方法，本文實(shí)驗(yàn)在數(shù)字世界中對(duì)不同RGB-T檢測(cè)器均取得了非常高的對(duì)抗成功率（ASR），達(dá)到90%以上。相比之下，普通純色衣服、隨機(jī)RGB-T圖案以及已有對(duì)抗方法，對(duì)多模態(tài)目標(biāo)檢測(cè)器的對(duì)抗成功率較為有限。

作者還進(jìn)一步分析了不同距離和角度下的對(duì)抗效果。實(shí)驗(yàn)覆蓋0到360度視角，以及2.5米到 20 米的距離范圍。結(jié)果表明，本文方法能夠在全視角和多個(gè)距離條件下穩(wěn)定對(duì)抗RGB-T檢測(cè)器，相比以往主要適用于有限角度范圍的二維貼片方法具有明顯優(yōu)勢(shì)。

接下來(lái)，作者使用布料和鋁膜制作了真實(shí)RGB-T對(duì)抗服裝，并開(kāi)展物理世界實(shí)驗(yàn)。實(shí)驗(yàn)使用iPhone 13 Pro和FLIR T560熱成像相機(jī)同步采集可見(jiàn)光和熱成像圖像，并在室內(nèi)和室外、早晨、中午、下午和傍晚等不同場(chǎng)景中采集數(shù)據(jù)。物理實(shí)驗(yàn)結(jié)果顯示，本文方法在不同融合架構(gòu)的RGB-T檢測(cè)器上均能有效逃避檢測(cè)，平均對(duì)抗成功率達(dá)到60%，顯著優(yōu)于普通衣服、隨機(jī)圖案衣服和已有方法。

作者還驗(yàn)證了方法在黑盒設(shè)置下的遷移能力。通過(guò)融合階段集成優(yōu)化，一套對(duì)抗服裝可以遷移對(duì)抗未參與訓(xùn)練的RGB-T檢測(cè)器，例如RPN-E、AR-CNN、RPN-L和Deformable DETR等。作者在這些模型上也觀察到了一定的遷移對(duì)抗效果。這表明當(dāng)前RGB-T檢測(cè)系統(tǒng)在面對(duì)現(xiàn)實(shí)物理對(duì)抗時(shí)仍然存在普遍安全隱患。

結(jié)論與展望

研究人員提出了一種面向可見(jiàn)光-熱成像目標(biāo)檢測(cè)器的物理對(duì)抗方法。

通過(guò)構(gòu)建三維RGB-T人體和服裝模型，設(shè)計(jì)非重疊RGB-T對(duì)抗圖案，并提出空間離散-連續(xù)優(yōu)化方法，實(shí)現(xiàn)了可制造、可穿戴、全視角的多模態(tài)對(duì)抗服裝。

該研究表明，即使是融合了可見(jiàn)光和熱成像信息的多模態(tài)檢測(cè)系統(tǒng)，也可能在現(xiàn)實(shí)世界中受到物理對(duì)抗樣本的威脅。

相關(guān)研究發(fā)現(xiàn)有助于更加全面地理解RGB-T檢測(cè)器的安全風(fēng)險(xiǎn)，并推動(dòng)未來(lái)實(shí)現(xiàn)更加魯棒、更加可靠的多模態(tài)感知系統(tǒng)。

作者介紹

論文作者依次為，朱小佩，清華大學(xué)水木學(xué)者，合作導(dǎo)師為朱軍教授；曾冠寧（共同一作），清華大學(xué)計(jì)算機(jī)系本科生；胡展豪，加州大學(xué)伯克利分校博士后；以及本文通訊作者，清華大學(xué)朱軍教授和胡曉林副教授。

參考資料：

https://arxiv.org/abs/2605.04675

編輯：LRST