在圖像到圖像翻譯（Image-to-Image Translation, I2I）這個(gè)任務(wù)上，擴(kuò)散模型過(guò)去幾年幾乎形成了一套默認(rèn)邏輯：先把輸入圖像和噪聲混合，再一步步去噪，把目標(biāo)圖像 “還原” 出來(lái)。

這條路線很自然，也很成功。無(wú)論是超分辨率、去雨、去霧、低光增強(qiáng)，還是風(fēng)格轉(zhuǎn)換，擴(kuò)散模型都憑借更強(qiáng)的生成質(zhì)量和多樣性，逐漸成為 I2I 任務(wù)里的重要范式。

但最近一篇來(lái)自香港大學(xué)、中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所、UC Santa Cruz 等團(tuán)隊(duì)的工作，提出了一個(gè)非常有意思的問(wèn)題：

我們是不是一直忽視了 “噪聲” 的作用？

更準(zhǔn)確地說(shuō)，擴(kuò)散模型里的高斯噪聲，可能不只是一個(gè)等待被移除的擾動(dòng)，也不只是把數(shù)據(jù)從低維流形中抬升的工具。它還可能扮演一個(gè)此前被忽略的角色：域協(xié)調(diào)器（Domain Harmonizer）。論文提出的 DRDD，全稱(chēng)為Decoupled Residual Denoising Diffusion Models，正是圍繞這個(gè)發(fā)現(xiàn)，重新設(shè)計(jì)了統(tǒng)一且數(shù)據(jù)高效的 I2I 翻譯框架。

• 論文標(biāo)題：Decoupled Residual Denoising Diffusion Models for Unified and Data Efficient Image-to-Image Translation
• project：https://github.com/HKU-HealthAI/DRDD
• arxiv 鏈接：https://arxiv.org/html/2606.01048v1
• CVPR 鏈接：https://cvpr.thecvf.com/virtual/2024/poster/31373

從 “移除噪聲” 到 “利用噪聲”：

I2I 擴(kuò)散模型的核心機(jī)制被重新理解

過(guò)去的 I2I 擴(kuò)散方法，大體可以分成兩類(lèi)。

早期方法，比如 SR3、WeatherDiff，通常從純高斯噪聲開(kāi)始反向生成，把輸入圖像當(dāng)作條件信號(hào)。后來(lái)的方法，比如 RDDM、IR-SDE，則意識(shí)到直接從純?cè)肼暢霭l(fā)不夠穩(wěn)定，于是改成從 “帶噪輸入圖像” 開(kāi)始反向采樣，以更好保留輸入結(jié)構(gòu)、減少推理不確定性。

但這些方法背后有一個(gè)共同點(diǎn)：

它們都把圖像翻譯過(guò)程壓進(jìn)了一個(gè)單一、耦合的反向擴(kuò)散過(guò)程里。

也就是說(shuō)，在每一步采樣中，模型一邊去噪，一邊去殘差，一邊完成源域到目標(biāo)域的轉(zhuǎn)換。這樣的轉(zhuǎn)換看起來(lái)很自然，但問(wèn)題也出在這里。

對(duì)于單一任務(wù)，這樣做可能還算有效；但一旦進(jìn)入統(tǒng)一 I2I 場(chǎng)景，也就是一個(gè)模型要同時(shí)處理低光增強(qiáng)、去雨、去霧、去模糊、去噪等多個(gè)任務(wù)，問(wèn)題就會(huì)變得棘手：不同任務(wù)、不同退化類(lèi)型、不同圖像域之間存在明顯 domain gap。模型需要在多個(gè)差異很大的分布之間找到統(tǒng)一映射。

這正是 DRDD 的切入點(diǎn)：

既然加噪能讓不同域的特征分布靠得更近，為什么要在核心翻譯還沒(méi)完成之前，就急著把噪聲去掉？

別急著去噪：

高斯噪聲其實(shí)在幫不同域 “對(duì)齊”

DRDD 重新解釋了高斯噪聲在 I2I 翻譯里的作用。

傳統(tǒng)觀點(diǎn)里，噪聲主要有兩個(gè)功能：一是把數(shù)據(jù)從低維流形中移出，二是為 score estimation 提供更豐富的訓(xùn)練信號(hào)。但論文進(jìn)一步從理論和實(shí)驗(yàn)上證明：注入一定水平的高斯噪聲，可以降低不同域特征分布之間的差距。

簡(jiǎn)單說(shuō)，原本低光、去雨、去霧這些任務(wù)，在特征空間里可能分得很開(kāi)；但當(dāng)它們都被注入適當(dāng)噪聲之后，分布會(huì)變得更接近。論文在 Figure 1 中用 t-SNE 可視化展示了這一點(diǎn)：源域之間 gap 明顯，而加入噪聲后的 Source+Noise domain 中，不同任務(wù)的特征明顯靠近。

圖 1：DRDD 的流程拆解，不同特征的 t-SNE 可視化

這件事對(duì)統(tǒng)一的 I2I 很關(guān)鍵。

因?yàn)榻y(tǒng)一模型最怕的不是某一個(gè)任務(wù)難，而是不同任務(wù)之間互相 “打架”。如果噪聲可以先把不同域拉到一個(gè)更協(xié)調(diào)的空間里，那么模型學(xué)習(xí)統(tǒng)一映射的難度就會(huì)下降。

問(wèn)題是，現(xiàn)有耦合擴(kuò)散模型雖然也加噪，但它們?cè)诜聪蜻^(guò)程中會(huì)一邊做源到目標(biāo)的轉(zhuǎn)換，一邊把噪聲去掉。結(jié)果就是：

噪聲剛剛帶來(lái)的域協(xié)調(diào)效果，還沒(méi)來(lái)得及真正服務(wù)于核心圖像翻譯，就被模型提前擦掉了。

這就像剛為來(lái)自不同領(lǐng)域的圖像搭建起一座 “中間橋梁”，翻譯過(guò)程還沒(méi)真正通過(guò)這座橋完成遷移，橋本身卻先被拆掉了。

圖 2：DRDD 的正向擴(kuò)散和反向生成

DRDD 的核心：

把 “去殘差” 和 “去噪” 拆開(kāi)

DRDD 的做法是這樣的：不要再把殘差去除和噪聲去除塞進(jìn)同一個(gè)過(guò)程，而是把它們拆成兩個(gè)階段。

具體來(lái)說(shuō)，DRDD 將傳統(tǒng)單一擴(kuò)散過(guò)程解耦為兩個(gè)順序執(zhí)行、彼此獨(dú)立的擴(kuò)散階段：

• 第一階段是隨機(jī)噪聲擴(kuò)散（Noise Diffusion）。這一階段向目標(biāo)圖像中注入高斯噪聲，讓目標(biāo)域進(jìn)入一個(gè) “帶噪但更協(xié)調(diào)” 的空間。這個(gè)階段負(fù)責(zé)實(shí)現(xiàn)域協(xié)調(diào)。
• 第二階段是確定性殘差擴(kuò)散（Residual Diffusion）。這一階段在固定噪聲水平下學(xué)習(xí)目標(biāo)到源的殘差變化，也就是把圖像翻譯所需的語(yǔ)義映射放到 noise-carrying domain 里完成。

反向過(guò)程也對(duì)應(yīng)拆成兩步：

先在帶噪域里做殘差去除，完成核心的源域到目標(biāo)域轉(zhuǎn)換；再做去噪，把已經(jīng)完成語(yǔ)義轉(zhuǎn)換的帶噪目標(biāo)圖像變成干凈目標(biāo)圖像。

這和傳統(tǒng)耦合擴(kuò)散最大的區(qū)別在于：

傳統(tǒng)方法是一邊換域，一邊去噪；

DRDD 是先在噪聲還在的時(shí)候完成換域，再最后去噪。

這個(gè)設(shè)計(jì)看似只是順序變了，但本質(zhì)上改變了擴(kuò)散模型做 I2I 翻譯的幾何路徑。它讓噪聲的域協(xié)調(diào)效果完整保留到核心映射階段，而不是在中途被提前消耗掉。論文 Figure 2 也清晰展示了這個(gè)流程：前向過(guò)程先加噪、再加殘差；反向過(guò)程先去殘差、再去噪。

圖 3：DRDD 的公式

DRDD 的 “兩個(gè)優(yōu)勢(shì)”：

域協(xié)調(diào) + 數(shù)據(jù)效率

DRDD 的優(yōu)勢(shì)可以概括成兩件事。

第一，它讓統(tǒng)一映射更容易學(xué)。

在統(tǒng)一 I2I 任務(wù)里，不同退化類(lèi)型和不同圖像域之間的 gap 會(huì)讓模型很難用一個(gè)共享參數(shù)空間同時(shí)覆蓋所有任務(wù)。DRDD 通過(guò)固定噪聲域完成殘差去除，相當(dāng)于先把不同任務(wù)拉到一個(gè)更協(xié)調(diào)的中間空間，再學(xué)習(xí)源到目標(biāo)的核心變換。

這不是簡(jiǎn)單地 “多加點(diǎn)噪聲”，而是把噪聲變成了有輔助作用的中間域。

第二，它顯著提高了數(shù)據(jù)效率。

DRDD 的去噪階段只需要目標(biāo)域干凈圖像訓(xùn)練，不需要成對(duì)的源域 - 目標(biāo)域樣本。換句話說(shuō)，只要有大量 unpaired target-domain images，就可以訓(xùn)練或增強(qiáng)去噪模塊，從而提升最終圖像保真度。論文也指出，DRDD 的 denoising network 可以只在干凈圖像上訓(xùn)練，并且能夠使用大規(guī)模自然圖像預(yù)訓(xùn)練權(quán)重初始化。

I2I 任務(wù)最貴的往往不是圖像本身，而是成對(duì)數(shù)據(jù)。比如真實(shí)低光圖和正常曝光圖、真實(shí)模糊圖和清晰圖，都不容易大規(guī)模收集。DRDD 把 “必須依賴(lài)配對(duì)數(shù)據(jù)” 的部分縮小到殘差映射階段，而把去噪質(zhì)量提升交給更容易獲得的非配對(duì)目標(biāo)域圖像。

實(shí)驗(yàn)結(jié)果：統(tǒng)一修復(fù)、多域任務(wù)、

少數(shù)據(jù)都能打

DRDD 的實(shí)驗(yàn)設(shè)計(jì)覆蓋了多個(gè)層面：多任務(wù)統(tǒng)一圖像修復(fù)、多域單任務(wù) I2I、單域單任務(wù) I2I、少量配對(duì)數(shù)據(jù)、跨擴(kuò)散范式兼容性，以及噪聲強(qiáng)度分析。整體來(lái)看，它不是只在一個(gè) benchmark 上刷分，而是在多個(gè)維度驗(yàn)證 “解耦” 這件事確實(shí)有效。

1）All-in-One-5：統(tǒng)一圖像修復(fù)平均表現(xiàn)領(lǐng)先

在 All-in-One-5 統(tǒng)一圖像修復(fù) benchmark 上，DRDD 同時(shí)處理低光增強(qiáng)、去雨、去噪、去模糊、去霧五類(lèi)任務(wù)。

結(jié)果顯示，DRDD 在平均指標(biāo)上取得 0.916 SSIM / 0.073 LPIPS / 18.3 FID，整體優(yōu)于 DA-CLIP、DiffuIR、AdAIR、VLUNet、DFPIR 等方法。尤其在感知質(zhì)量指標(biāo)上，DRDD 的優(yōu)勢(shì)更加明顯。

這組結(jié)果說(shuō)明，DRDD 并不是為了某一個(gè)單獨(dú)任務(wù)定制，而是真的具備 all-in-one restoration 的統(tǒng)一建模能力。

2）少量配對(duì)數(shù)據(jù)：數(shù)據(jù)越少，優(yōu)勢(shì)越明顯

DRDD 另一個(gè)重點(diǎn)是 data-efficient I2I。

論文在 Low-Light 和 All-in-One-3 上做了數(shù)據(jù)裁剪實(shí)驗(yàn)，將訓(xùn)練集隨機(jī)下采樣到 75%、50%、25%，驗(yàn)證少量配對(duì)數(shù)據(jù)下的表現(xiàn)。結(jié)果顯示，隨著訓(xùn)練數(shù)據(jù)減少，DRDD 的性能下降明顯小于 DiffUIR 和 VLUNet 等基線。Figure 5 中也可以看到，在低光增強(qiáng)和 All-in-One-3 上，DRDD 在 SSIM 和 LPIPS 上都保持了更穩(wěn)定的曲線。

這傳遞了一個(gè)很明確的信號(hào)：

DRDD 的提升不是靠 “吃更多配對(duì)數(shù)據(jù)” 堆出來(lái)的，而是靠把配對(duì)映射和目標(biāo)域去噪拆開(kāi)，讓每類(lèi)數(shù)據(jù)承擔(dān)更合適的角色。

3）噪聲不是越大越好：DRDD 也給出了 “加多少” 的答案

當(dāng)然，如果說(shuō)噪聲能協(xié)調(diào)域分布，一個(gè)自然問(wèn)題是：

那是不是噪聲越大越好？

答案是否定的。

噪聲太小，域協(xié)調(diào)效果不夠；噪聲太大，又會(huì)過(guò)度破壞輸入結(jié)構(gòu)，讓翻譯任務(wù)變得更難。DRDD 因此從理論和實(shí)驗(yàn)兩側(cè)分析了噪聲強(qiáng)度。

論文定義了兩個(gè)距離：一個(gè)衡量帶噪源域和帶噪目標(biāo)域之間的距離，另一個(gè)衡量帶噪源域和原始源域之間的距離。前者希望小，因?yàn)橛?gap 小更好翻譯；后者也不能太大，否則輸入被破壞太多。最終，DRDD 通過(guò)一個(gè) trade-off objective 來(lái)尋找合適噪聲水平。

在 All-in-One-5 上，理論分析得到的最優(yōu)噪聲強(qiáng)度大約在 1.1 到 1.2；實(shí)際實(shí)驗(yàn)中，模型在噪聲強(qiáng)度為 1.0 時(shí)達(dá)到最優(yōu)，并且在 0.8 到 1.3 范圍內(nèi)表現(xiàn)穩(wěn)定。

這也讓 DRDD 的 “用噪聲” 不是玄學(xué)，而是有理論約束、有實(shí)驗(yàn)驗(yàn)證的可控設(shè)計(jì)。

從 “噪聲是負(fù)擔(dān)” 到 “噪聲是中間域”，

DRDD 改變了 I2I 擴(kuò)散的觀察角度

很多擴(kuò)散模型工作都在追求更好的網(wǎng)絡(luò)、更快的采樣、更強(qiáng)的條件控制。但 DRDD 的有趣之處在于，它沒(méi)有把重點(diǎn)放在 “怎么更快去噪” 上，而是反過(guò)來(lái)問(wèn)：

為什么一定要這么早去噪？

在傳統(tǒng)耦合擴(kuò)散框架里，噪聲和殘差被綁定在一起移除；而 DRDD 把它們拆開(kāi)，讓噪聲先完成域協(xié)調(diào)，讓殘差去除在這個(gè)協(xié)調(diào)后的空間里發(fā)生，最后再做保真度恢復(fù)。

這就把 I2I 擴(kuò)散模型里的噪聲，從一個(gè) “必須盡快清理掉的擾動(dòng)”，變成了一個(gè) “幫助不同域?qū)R的工作空間”。

DRDD 給出的路線非常清晰：

1. 先利用噪聲縮小域間差異，
2. 再在帶噪域里完成核心語(yǔ)義映射，
3. 最后去噪提升圖像保真度。

這套順序讓擴(kuò)散模型不再只是 “加噪 — 去噪” 的生成機(jī)器，而更像是一個(gè)分階段的視覺(jué)翻譯系統(tǒng)：噪聲負(fù)責(zé)協(xié)調(diào)，殘差負(fù)責(zé)轉(zhuǎn)換，去噪負(fù)責(zé)精修。

當(dāng)統(tǒng)一 I2I 逐漸從單任務(wù) benchmark 走向真實(shí)復(fù)雜場(chǎng)景，模型面對(duì)的將不再是單一、干凈、邊界明確的退化類(lèi)型，而是多任務(wù)、多域、多退化、多數(shù)據(jù)約束同時(shí)存在的現(xiàn)實(shí)世界。DRDD 的意義就在于，它為這種場(chǎng)景提供了一個(gè)更自然的框架：

不要把所有困難都塞進(jìn)一個(gè)耦合反向過(guò)程里，而是讓每個(gè)階段分別做自己最擅長(zhǎng)的事。

從這個(gè)角度看，DRDD 不只是一個(gè)新的 I2I 方法，更像是對(duì)擴(kuò)散模型內(nèi)部機(jī)制的一次重新拆解。

噪聲不是敵人。

用得好，它可能正是統(tǒng)一圖像翻譯所缺的那座橋。

作者介紹

本文作者包括 Ziyue Lin、Jiahe Hou、Hongyu Xia、Xinrui Xie、Feifei Wang、Yuyin Zhou、Wei Wang、Jiawei Liu 和 Liangqiong Qu。作者團(tuán)隊(duì)來(lái)自香港大學(xué)、中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所、香港中文大學(xué)和 UC Santa Cruz。其中 Ziyue Lin、Jiahe Hou、Hongyu Xia 為共同一作，Jiawei Liu 和 Liangqiong Qu 為通訊作者。