原文作者：公眾號“香港中文大學深圳人工智能學院”

原文鏈接：https://mp.weixin.qq.com/s/5EiYIXjB9mPusjCEvdr7xA

近日，香港中文大學（深圳）人工智能學院荊炳義、尹峰教授和數(shù)據(jù)科學學院、人工智能學院雙聘助理教授賀品嘉教授團隊的6篇論文被機器學習領域頂級會議ICML 2026接收。

國際機器學習大會ICML（International Conference on Machine Learning）是人工智能與機器學習領域的國際頂級學術會議。作為中國計算機學會（CCF）推薦的A類頂會，它與NeurIPS、ICLR并列為機器學習領域的“三大頂會”。ICML 2026將于2026年7月6日至11日在韓國首爾舉辦，會議將圍繞深度學習、計算機視覺、自然語言處理等前沿方向展開交流研討，匯聚全球AI學術精英與前沿科研成果。

論文簡介

01

RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models

論文鏈接：https://arxiv.org/abs/2603.06616

論文作者：Sai HAO, Hao ZENG, Hongxin WEI, Bingyi JING（共同通訊作者）

研究背景與動機

在多模型系統(tǒng)中，不同大語言模型往往因訓練數(shù)據(jù)、模型架構等不同，而在不同領域中表現(xiàn)出互補的能力。因此，如何為每個問題選擇合適模型，是平衡性能與推理成本的核心挑戰(zhàn)?，F(xiàn)有的路由方法通常只選擇單一模型，容易因預測排名與真實性能不匹配而產(chǎn)生誤路由錯誤。此外，現(xiàn)有方法缺乏對誤路由風險的嚴格統(tǒng)計控制，難以在安全關鍵場景中可靠部署。因此，亟需一種能夠在控制風險的同時，最小化推理成本的路由框架。

核心方法與貢獻

本文提出RACER（Risk-Aware Calibrated Efficient Routing），一種即插即用、模型無關的后處理路由范式。RACER 將多模型路由問題形式化為 α-有效最優(yōu)路由（α-VOR）問題，目標是在保證誤路由風險低于用戶指定水平 α 的前提下，最小化期望調(diào)用的模型數(shù)量。該方法通過校準數(shù)據(jù)集確定數(shù)據(jù)依賴的閾值，將原始路由分數(shù)轉(zhuǎn)化為具有風險控制保證的集合預測。理論方面，RACER提供了嚴格的分布無關保證，證明其在未見查詢上的風險控制滿足用戶指定水平，并給出了匹配的風險下界。實驗表明，RACER在多個基準上實現(xiàn)了穩(wěn)定的風險控制。相比單模型選擇和單一最優(yōu)模型，RACER通過自適應選擇模型集合提升了下游準確性；相比全模型聚合，RACER在保持較高準確性的同時，最多可減少58.6%的模型調(diào)用次數(shù)。

02

Anytime Safe PAC Efficient Reasoning

論文鏈接：https://chengyaoyu1.github.io/files/B_PAC_Reasoning.pdf

論文作者：Chengyao YU, Hao ZENG, Youxin ZHU, Jianguo HUANG, Huajun ZENG, Bingyi JING（通訊作者）

研究背景與動機

大語言推理模型（LRM）在復雜推理任務上表現(xiàn)出色，但存在“過度思考”現(xiàn)象——即使對簡單問題也會生成過長的推理鏈，導致高計算成本和延遲。現(xiàn)有的選擇性推理方法通過將簡單查詢路由到非推理模型來提升效率，但其決策規(guī)則往往是啟發(fā)式的，缺乏對性能損失的嚴格統(tǒng)計控制。更關鍵的是，在線場景中性能損失僅在調(diào)用推理模型時才可觀測（部分反饋），且數(shù)據(jù)可能存在非平穩(wěn)性。因此，亟需一種能夠在在線、部分反饋、非平穩(wěn)數(shù)據(jù)環(huán)境下，實時保證性能損失可控的高效推理方法。

核心方法與貢獻

本文提出B-PAC Reasoning（Betting Probably Approximately Correct Reasoning），一種基于賭博理論的在線高效推理方法。該方法利用逆傾向評分（IPS）構建潛在風險估計量，并構造具有賭博解釋的檢驗超鞅，結合固定序列檢驗來動態(tài)更新路由閾值。當非推理模型的不確定性分數(shù)低于閾值時，系統(tǒng)以高概率直接采用其輸出；否則調(diào)用推理模型以保證可靠性。理論方面，B-PAC Reasoning在獨立同分布和非平穩(wěn)數(shù)據(jù)下均實現(xiàn)了任意時點有效的性能損失控制，并證明了所提出的自適應賭博策略具有對數(shù)遺憾。實驗表明，該方法在保證性能損失低于用戶指定水平的同時，在評測數(shù)據(jù)集上最多可將推理模型調(diào)用比例降低81.01%。

作者簡介

論文一

01

郝賽 Sai HAO

郝賽，南方科技大學2023級在讀博士生，導師為荊炳義教授。主要研究方向為大模型的可靠性，高效大模型推理，統(tǒng)計機器學習。

02

曾浩 Hao ZENG

曾浩，博士畢業(yè)于廈門大學統(tǒng)計學專業(yè)。曾任新加坡國立大學統(tǒng)計與數(shù)據(jù)科學系訪問學者，現(xiàn)為南方科技大學—新加坡國立大學聯(lián)合項目博士后。研究方向主要包括無分布預測推斷、高維統(tǒng)計與統(tǒng)計機器學習理論，并關注其在大語言模型、人工智能、空間統(tǒng)計、計量經(jīng)濟學與生物統(tǒng)計等領域的應用。

03

魏鴻鑫 Hongxin WEI

魏鴻鑫，南方科技大學統(tǒng)計與數(shù)據(jù)科學系助理教授，博士畢業(yè)于新加坡南洋理工大學，曾在美國威斯康辛大學麥迪遜分校進行研究訪問。他主要研究可信機器學習，及其在數(shù)據(jù)優(yōu)化與隱私中的應用，致力于使機器學習模型能夠準確表達預測中的不確定性，為可信推斷與高效訓練提供原則指導。他近年已在國際頂級會議和期刊發(fā)表論文57篇， 其中在CCF-A類會議及期刊上以第一作者或通訊作者發(fā)表29篇。其受邀擔任 ICML、NeurIPS、ICLR 等國際機器學習會議領域主席，以及 JASA、JMLR、TPAMI、IJCV等頂級期刊審稿人。

論文二

01

余成耀 Chengyao YU

余成耀，南方科技大學統(tǒng)計與數(shù)據(jù)科學系一年級碩士在讀，導師為荊炳義教授。主要研究方向為Trustworthy AI，Efficient AI，發(fā)展不同應用場景下的多重檢驗方法，以及發(fā)展靈活、數(shù)值驅(qū)動的統(tǒng)計推斷方法。

02

曾浩 Hao ZENG

曾浩，博士畢業(yè)于廈門大學統(tǒng)計學專業(yè)。曾任新加坡國立大學統(tǒng)計與數(shù)據(jù)科學系訪問學者，現(xiàn)為南方科技大學—新加坡國立大學聯(lián)合項目博士后。研究方向主要包括無分布預測推斷、高維統(tǒng)計與統(tǒng)計機器學習理論，并關注其在大語言模型、人工智能、空間統(tǒng)計、計量經(jīng)濟學與生物統(tǒng)計等領域的應用。

通訊作者：荊炳義 Bing-Yi JING

荊炳義，港中大（深圳）人工智能學院校長永平講座教授、副院長（學院發(fā)展與學生事務），國家自然科學獎二等獎獲得者，教育部高等學校自然科學獎二等獎獲得者。美國統(tǒng)計學會會士（ASA Fellow），數(shù)理統(tǒng)計學會會士（IMS Fellow），國際統(tǒng)計學會當選會士（ISI Elected Member），中國現(xiàn)場統(tǒng)計學會多元分析委員會理事長。先后擔任多個國際學術期刊副主編。研究興趣包括人工智能、數(shù)據(jù)科學、計量經(jīng)濟、網(wǎng)絡數(shù)據(jù)、生物信息、概率統(tǒng)計等。在概率統(tǒng)計、機器學習、人工智能等方向頂級期刊及頂級會議上發(fā)表論文140余篇，包括AoS、JRSS-B、JASA、Biometrika、AoP、JoE、JMLR、NeurIPS、ICLR等。此外，他與產(chǎn)業(yè)界具有豐富的合作經(jīng)驗，曾榮獲華為火花獎和華為優(yōu)秀合作成果獎。

03

MIMOMamba: From Scalar Duality to Matrix-Valued Attention

論文鏈接：https://openreview.net/forum?id=UmQ07sj13y

論文作者：Yanbo LI, Richard Cornelius SUWANDI, Feng YIN（通訊作者）, Yiyong SUN, Wei HUANG, Wenqiang PU

研究背景

現(xiàn)代序列建模面臨表達能力與計算效率之間的根本性矛盾。Transformer的自注意力機制具有強大表達能力，但計算復雜度隨序列長度呈二次方增長；以 Mamba為代表的結構化狀態(tài)空間模型（SSM）雖提供了線性時間替代方案，但現(xiàn)有SSM架構均將時序建模與跨通道交互解耦為獨立階段，無法聯(lián)合建模時變的跨通道依賴關系，在物理仿真、多變量時序預測、空間智能等關鍵應用中構成結構性瓶頸。

（圖1：MIMOMamba從遞推狀態(tài)空間模型到矩陣值注意力的對偶視角）

核心方法與貢獻

本論文提出MIMOMamba，通過矩陣多項式參數(shù)化（Matrix Polynomial Parameterization）將狀態(tài)空間對偶性從標量約束推廣至完整的多輸入多輸出（MIMO）設置，在單一選擇性遞推中聯(lián)合建模時序與跨通道交互，同時保持線性時間效率。主要貢獻包括：

1. 建立矩陣值結構化注意力機制。注意力圖中每個元素為 D×D 矩陣，可描述時間步間的跨通道線性變換，在注意力內(nèi)部直接實現(xiàn)特征混合。

2. 矩陣多項式參數(shù)化保證交換性。將狀態(tài)矩陣構造為共享基底矩陣的多項式，從代數(shù)性質(zhì)出發(fā)嚴格保證對偶性成立所需的交換性，并證明該參數(shù)化在交換子空間中理論完備。

3. 顯著提升參數(shù)效率。共享代數(shù)基底將核心參數(shù)復雜度從 Transformer 的約 3D2 降至約 D2，有效減少約三分之二的參數(shù)量。

4. 多頭MIMO架構保持線性時間訓練。通過直和代數(shù)框架實例化多個并行頭，學習不同動力學模式，保留線性時間并行訓練與高效推理的雙重計算模式。

實驗結果

SSP 物理預測基準：MIMOMamba 以約 35k 參數(shù)（Transformer 的 1/3）達到最優(yōu)預測精度（RMSE = 0.687），超越 Gated DeltaNet（0.699）、Mamba-3（0.715）及 Transformer（0.749）等所有基線。

效率與可擴展性：推理內(nèi)存隨序列長度線性增長（Transformer 增長約200倍）；訓練吞吐量比 Mamba-2 快 1.5–1.6 倍。

論文意義

MIMOMamba 從代數(shù)第一性原理出發(fā)，解決了將狀態(tài)空間對偶性推廣至多維交互系統(tǒng)的根本性理論難題，將計算效率所需的交換性與建模能力所需的跨通道耦合統(tǒng)一在同一代數(shù)框架中，為高效序列建模提供了兼具理論優(yōu)雅性與實際可行性的新路徑。

04

Romberg-Extrapolated Zeroth-Order Gradient Estimator: Higher-Order Bias Reduction with Preserved Leading Directional Variance

論文鏈接：https://openreview.net/forum?id=FiuJVpxuSX

論文作者：Hongcheng DONG, Wenqiang PU, Licheng ZHAO, Rui ZHOU, Feng YIN（通訊作者）

研究背景與動機

在現(xiàn)代機器學習與系統(tǒng)優(yōu)化中，常面臨因梯度計算昂貴或不可得而需要僅通過函數(shù)值查詢來估計梯度的情形。標準梯度估計存在偏差和方差制約，現(xiàn)有改進方法或是降低偏差但方差顯著增加，或是降低方差但偏差不變。針對這一問題，我們提出Romberg-ZOGE，通過在多尺度上分別構造兩點估計再結合Romberg外推加權組合，系統(tǒng)性降低偏差，且保持方差不增。

（圖表1：Romberg-ZOGE在多項式函數(shù)上的偏差和方差驗證）

理論分析

理論上，本文證明Romberg-ZOGE可在不增加主導方向方差的同時實現(xiàn)高階偏差縮減。對于確定性函數(shù)查詢，Romberg-ZOGE在多個半徑上構造兩點估計并加權組合，抵消前個偶數(shù)階截斷誤差項，將偏差由 降至 。同時，由于各半徑共享同一隨機擾動方向，其主導方向方差與標準兩點估計器保持一致。進一步地，本文將分析擴展到ZO-SGD，并討論兩類隨機函數(shù)查詢設定。在獨立噪聲設定下，Romberg外推可能放大查詢噪聲，但通過合理選擇平滑半徑和外推階數(shù)，仍可達到不劣于標準兩點 baseline 的迭代復雜度。在共享噪聲設定下，同次梯度估計中的多個查詢共享隨機樣本，噪聲可在差分與外推中相互抵消，從而避免額外噪聲放大，并同樣保持不劣于 baseline 的收斂復雜度。

實驗結果

實驗部分從合成函數(shù)、無線網(wǎng)絡優(yōu)化和大語言模型黑箱調(diào)優(yōu)三個場景驗證了Romberg-ZOGE的有效性。在合成函數(shù)實驗中，當取時，Romberg-ZOGE的偏差呈現(xiàn)接近的下降趨勢，明顯優(yōu)于標準兩點估計器的；同時，方差實驗表明，只有在共享同一個隨機方向時，Romberg-ZOGE 才能保持與標準兩點估計器相近的主導方差。在進一步的優(yōu)化實驗中，Romberg-ZOGE在相同函數(shù)查詢預算下收斂更快、更穩(wěn)定；在無線網(wǎng)絡參數(shù)優(yōu)化任務中取得更高的平滑分位數(shù)頻譜效率目標值；在 OPT-1.3B的 SST-2 黑箱prompt tuning任務中，也取得最低訓練損失以及最高驗證和測試準確率，說明該方法不僅具有理論優(yōu)勢，也能在實際黑箱優(yōu)化任務中帶來穩(wěn)定收益。

作者簡介

論文三

01

李彥伯 Yanbo LI

香港中文大學（深圳）2023級在讀博士生，導師為尹峰教授。2023年本科畢業(yè)于四川大學數(shù)學系。主要研究方向為狀態(tài)空間模型及其在大語言模型中的應用。

02

Richard Cornelius SUWANDI

Richard Cornelius SUWANDI于2023年在香港中文大學（深圳）獲得統(tǒng)計學學士學位（一等榮譽）。他目前是香港中文大學（深圳）的博士研究生，師從尹峰教授和張縱輝教授。他的研究方向包括貝葉斯優(yōu)化、概率機器學習以及大語言模型。他曾獲IEEE信號處理學會（SPS）獎學金、廣東省政府來粵留學生獎學金及深圳大運留學基金會資助。

論文四

01

董洪成 Hongcheng DONG

董洪成，香港中文大學（深圳）23級在讀博士生，導師為尹峰教授和蒲文強教授。本科及碩士分別畢業(yè)于中國礦業(yè)大學（北京）中國科學院數(shù)學與系統(tǒng)科學研究院。主要研究方向為零階及一階優(yōu)化算法及其在信號處理等領域的應用。

02

蒲文強 Wenqiang PU

蒲文強，現(xiàn)任深圳市大數(shù)據(jù)研究院研究科學家，并兼任香港中文大學（深圳）理工學院客座助理教授。他于2018年獲得西安電子科技大學電子工程專業(yè)博士學位，師從劉宏偉教授與羅智泉教授，主攻信號處理與優(yōu)化方向。2015年至2018年間，他在香港中文大學（深圳）擔任訪問博士生，并于2019年至2020年在該校從事博士后研究工作。

通訊作者：尹峰 Feng YIN

尹峰于2014年獲得德國達姆施塔特工業(yè)大學博士學位，于2016年6月加入港中大（深圳），現(xiàn)任人工智能學院副教授、助理院長（教育）。他的主要研究方向為統(tǒng)計信號處理、貝葉斯機器學習、與傳感器信息融合。他已主持和參與了多個國家、省、市科技項目，包括主持和參與國家自然科學基金各級項目、省級團隊、廣東省重點實驗室等；此外，他還與華為公司在人工智能驅(qū)動的智能系統(tǒng)等前沿方向上保持密切合作，已出色完成多個項目，獲得2022年度華為公司價值火花獎。

截至目前，他已發(fā)表國際頂級期刊長文40余篇，旗艦會議論文50余篇，申請/授權中國專利20余項，另有授權美國專利1項，南非專利1項。 他目前是IEEE Senior Member，IEEE機器學習與信號處理技術委員會(SPS MLSP TC)核心成員，自2019年起擔任愛思唯爾出版社旗下的信號處理期刊(JCR-Q1)副主編，自2023年以來擔任信號處理頂級期刊IEEE Transactions on Signal Processing (JCR-Q1)副主編。

05

Semantic Router: On the Feasibility of Hijacking MLLMs via a Single Adversarial Perturbation

論文鏈接：https://arxiv.org/abs/2511.20002

論文作者：Changyue LI, Jiaying LI, Youliang YUAN, Jiaming HE, Zhicong HUANG, Pinjia HE（通訊作者）

研究背景與動機

多模態(tài)大模型容易受到圖像劫持攻擊的影響，這類攻擊通過在圖像上添加對抗擾動，迫使模型輸出攻擊者預先設置的內(nèi)容。然而，現(xiàn)有的圖像劫持攻擊只能使模型遵循單一固定的輸出模式，這種攻擊模式缺乏靈活性，不能反映真實場景中的安全威脅。因此本文希望探索一個全新的安全問題：是否有可能構造一個通用對抗擾動，使模型根據(jù)不同圖像的視覺語義，分別生成不同的、攻擊者預定義的內(nèi)容？

核心方法與貢獻

本文提出了SAUP（Semantic-Aware Universal Perturbation），一種新型的語義感知通用對抗擾動。該擾動如同一個“語義路由器”，能夠根據(jù)輸入圖像的視覺語義，迫使模型生成不同的目標輸出，并且能夠良好地泛化到未見過的圖像上。例如，通過在鏡頭上附加該擾動，可以在機器人觀察到刀具時觸發(fā)“抓取”指令，而當人類隨后進入畫面時則觸發(fā)危險的“投擲”動作。本文在理論層面從幾何視角分析了該攻擊的可行性條件，并提出了相應的優(yōu)化算法來有效求解SAUP。同時，論文標注了新的細粒度語義數(shù)據(jù)集，為該方向進一步補充了評估基準。在多個代表性模型上的實驗驗證了這一語義感知攻擊的可行性：即使是在同時攻擊五個目標時，平均攻擊成功率也能達到69.66%。

06

SWE-ABS: Adversarial Benchmark Strengthening Exposes Inflated Success Rates on Test-based Benchmark

論文鏈接：https://arxiv.org/abs/2603.00520

論文作者：Boxi YU, Yang CAO, Yuzhong ZHANG, Liting LIN, Junjielong XU, Zhiqing ZHONG, Qinghua XU, Guancheng WANG, Jialun CAO, Shing-Chi CHEUNG, Pinjia HE (通訊作者)，Lionel BRIAND

研究背景與動機

可靠的評測是衡量機器學習進展的基石，而基準是否具備足夠的判別力，即能否在接納正確方案的同時剔除錯誤方案，則顯得尤為關鍵。然而，以SWE-Bench為代表的主流軟件工程智能體基準存在系統(tǒng)性隱患：其測試用例多源自真實倉庫的開發(fā)拉取請求（PR），初衷僅是驗證某個特定補丁能否通過預設測試，而非區(qū)分潛在的正確與錯誤方案。這一目標錯位導致兩類缺陷：測試未觸及補丁所影響代碼的"覆蓋盲區(qū)"，以及只檢查表層行為、不驗證深層語義的"語義盲點"。這意味著基準的高分被高估，需要一種能主動暴露并修補測試弱點、恢復評測判別力的方法。

核心方法與貢獻

本文提出SWE-ABS，一種對抗式基準強化框架，通過兩階段流水線主動"攻擊"測試套件以暴露弱點、再加以強化。第一階段（覆蓋驅(qū)動增強）利用程序切片定位補丁相關代碼區(qū)域并生成測試覆蓋未觸及的分支。第二階段（變異驅(qū)動對抗強化）針對語義盲點，合成"貌似正確、實則錯誤"的變異補丁，識別能逃過現(xiàn)有測試的變異并反向生成對抗測試將其拒絕，類比安全測試中的紅藍攻防。實驗表明，SWE-ABS在 SWE-Bench Verified（500 實例）上強化了 50.2% 的實例，較此前最優(yōu)方法 UTBoost（2%）提升 25.1 倍；拒絕19.78%此前被接受的補丁，使榜首智能體成功率從 78.80% 降至 62.20%、由第 1 名跌至第 5 名，并使前30榜單排名全部改變。

主要作者簡介

論文五

01

李昌躍 Changyue LI

李昌躍，香港中文大學（深圳）2024級在讀博士生，導師為賀品嘉教授。主要研究方向為大模型安全與可信機器學習。

論文六

01

余博西 Boxi YU

余博西，博士畢業(yè)于香港中文大學（深圳），導師為賀品嘉教授?，F(xiàn)為愛爾蘭軟件研究中心高級研究員。主要研究方向為大語言模型、代碼智能體，人工智能，AI for SE。

通訊作者：賀品嘉 Pinjia HE

賀品嘉，現(xiàn)任香港中文大學（深圳）助理教授，國家級青年人才。賀教授于2018年獲得香港中文大學博士學位，此后在蘇黎世聯(lián)邦理工學院從事學術研究工作三年。他的研究方向為軟件工程、AI for SE、大模型、可信人工智能。

他在ICSE, FSE, ICLR, ACL, OSDI等頂級會議期刊發(fā)表論文70余篇。獲得IEEE TCSE Rising Star Award (全球博士畢業(yè)六年內(nèi)的軟件工程學者中選一人)、IEEE開源軟件服務獎、ISSRE最有影響力論文獎等獎項。谷歌學術引用9000余次。主導的開源項目在GitHub上被star 7000余次，并被450多個學界業(yè)界組織下載10萬余次。擔任頂刊TOSEM的Associate Editor，頂會FSE 2025的Social Media Co-Chair，四大軟件工程頂會的程序委員會成員。

雷峰網(wǎng)