原文作者：公眾號“深圳市大數(shù)據(jù)研究院”

原文鏈接：https://mp.weixin.qq.com/s/ex36drATo7qIy_MwFFp5hA

近日，深圳市大數(shù)據(jù)研究院四項科研成果同時發(fā)表于第43屆國際機器學(xué)習(xí)大會（International Conference on Machine Learning, ICML）。

會議介紹

國際機器學(xué)習(xí)大會（International Conference on Machine Learning, ICML）是人工智能領(lǐng)域頂級學(xué)術(shù)會議，為中國計算機學(xué)會（CCF）推薦的A類國際學(xué)術(shù)會議，與NeurIPS、ICLR通常并稱為機器學(xué)習(xí)領(lǐng)域的三大頂級會議。ICML長期關(guān)注機器學(xué)習(xí)基礎(chǔ)理論、深度學(xué)習(xí)、強化學(xué)習(xí)、優(yōu)化方法、概率建模、可信機器學(xué)習(xí)、機器學(xué)習(xí)系統(tǒng)，以及機器學(xué)習(xí)在計算機視覺、計算生物學(xué)、語音識別和機器人等領(lǐng)域的應(yīng)用。公開數(shù)據(jù)顯示，ICML 2026共收到23,918篇有效投稿/進入評審的投稿，錄用率約為26.6%。

論文簡介

AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments

AdaMeZO：無需保存動量矩的 Adam 風(fēng)格零階大語言模型微調(diào)優(yōu)化器

關(guān)鍵詞

大語言模型微調(diào)、零階優(yōu)化、優(yōu)化器、內(nèi)存效率

摘要：大語言模型微調(diào)是提升模型在特定下游任務(wù)中表現(xiàn)的重要手段，但傳統(tǒng)基于反向傳播的一階優(yōu)化方法需要計算并存儲梯度，顯著增加顯存開銷，限制了大模型在資源受限設(shè)備上的部署與應(yīng)用。已有零階優(yōu)化方法 MeZO 僅依賴前向傳播即可完成微調(diào)，大幅降低了顯存需求，但其更新方式類似隨機梯度下降，難以感知不同參數(shù)維度上的損失曲率差異，導(dǎo)致收斂速度較慢。與此同時，直接引入Adam 等自適應(yīng)優(yōu)化器雖然能夠利用一階與二階矩估計提升收斂效率，但直接引入會額外存儲與模型參數(shù)同規(guī)模的動量信息，從而削弱零階優(yōu)化的內(nèi)存優(yōu)勢。

針對上述問題，論文提出 Adam 風(fēng)格零階優(yōu)化器 AdaMeZO。該方法通過截斷歷史梯度構(gòu)造近似的一階與二階矩估計，并結(jié)合更細粒度的偽隨機數(shù)生成器狀態(tài)緩存機制，在需要更新參數(shù)時按塊原地重建歷史隨機方向，而無需在顯存中長期維護完整動量向量。由此，AdaMeZO 在保留 MeZO 低顯存優(yōu)勢的同時，引入類似 Adam 的自適應(yīng)預(yù)條件更新能力，使模型能夠更有效地適應(yīng)復(fù)雜損失函數(shù)景觀中的不同曲率區(qū)域。

理論分析表明，在非凸優(yōu)化假設(shè)下，AdaMeZO 能夠以O(shè)(1/√T)的速度收斂到平穩(wěn)點附近。實驗在 RoBERTa、OPT、LLaMA 等模型及多類自然語言處理任務(wù)上驗證了方法有效性。結(jié)果顯示，AdaMeZO 在多個任務(wù)中優(yōu)于 MeZO 和相關(guān)強基線，并在達到相同終止損失時最多減少約 70% 的前向傳播次數(shù)；實測額外顯存僅約 7%，顯著低于需要顯式存儲矩估計的方法（額外顯存約50-100%）。該工作為低顯存開銷大語言模型高效微調(diào)提供了一種新的優(yōu)化方法。

圖1：圖AdaMeZO 與 MeZO 在 SST-2 任務(wù)上的損失曲線對比。AdaMeZO 在 RoBERTa-large、OPT-1.3B 和 LLaMA-3B 上達到 MeZO 終止損失時，分別減少 69.75%、70.48% 和 70.90% 的前向傳播。

圖2：AdaMeZO 的分塊矩估計機制。與基于 seed 的整體隨機流控制相比，基于 PRNG 狀態(tài)緩存的分塊控制可在計算并釋放一、二階矩后進入下一參數(shù)塊，從而減少額外顯存。

論文第一作者蔡智捷與共同第一作者陳浩瀧為深圳市大數(shù)據(jù)研究院-香港中文大學(xué)（深圳）聯(lián)合培養(yǎng)博士生、香港中文大學(xué)（深圳）理工學(xué)院博士生，通訊作者為深圳市大數(shù)據(jù)研究院研究員朱光旭博士。

Romberg-Extrapolated Zeroth-Order Gradient Estimator: Higher-Order Bias Reduction with Preserved Leading Directional Variance

Romberg 外推零階梯度估計器：保留主導(dǎo)方向方差的高階偏差減少

關(guān)鍵詞

零階優(yōu)化、梯度估計、龍貝格外推

摘要：在現(xiàn)代學(xué)習(xí)與優(yōu)化中，常因梯度計算昂貴或不可得，需僅通過函數(shù)值查詢估計梯度。標(biāo)準(zhǔn)梯度估計存在偏差-方差制約，現(xiàn)有改進方法難以兼顧兩者優(yōu)化。為此，本文提出Romberg-ZOGE方法，通過多尺度兩點估計結(jié)合Romberg外推，在降低偏差的同時保持方差不增。

理論上，Romberg-ZOGE可實現(xiàn)高階偏差縮減且不增加主導(dǎo)方差。對確定性函數(shù)評估，其在多個半徑上構(gòu)造兩點估計并加權(quán)，將偏差從O(r2) 降至 O(r2R+2)，且主導(dǎo)方向方差與標(biāo)準(zhǔn)兩點估計器一致。針對ZO-SGD的隨機函數(shù)查詢，同次梯度估計的多查詢共享隨機樣本，噪聲可在差分與外推中抵消，避免額外放大，收斂復(fù)雜度不劣于基線。

實驗覆蓋三類場景：合成函數(shù)實驗中，R=2時偏差呈接近O(r6)下降，遠優(yōu)于標(biāo)準(zhǔn)兩點估計器的O(r2)，且主導(dǎo)方差與基線相近；優(yōu)化實驗中，相同查詢預(yù)算下收斂更快更穩(wěn)定；無線網(wǎng)絡(luò)優(yōu)化任務(wù)中，提升了平滑分位數(shù)頻譜效率目標(biāo)值；OPT-1.3B的SST-2黑箱prompt tuning任務(wù)中，取得最低訓(xùn)練損失及最高驗證、測試準(zhǔn)確率。結(jié)果表明，Romberg-ZOGE兼具理論優(yōu)勢與實際黑箱優(yōu)化的穩(wěn)定收益。

圖3：圖AdaMeZO 與 MeZO 在 SST-2 任務(wù)上的損失曲線對比。AdaMeZO 在 RoBERTa-large、OPT-1.3B 和 LLaMA-3B 上達到 MeZO 終止損失時，分別減少 69.75%、70.48% 和 70.90% 的前向傳播。

論文第一作者董洪成為深圳市大數(shù)據(jù)研究院-香港中文大學(xué)（深圳）聯(lián)合培養(yǎng)博士生，通訊作者為深圳市大數(shù)據(jù)研究院副研究員蒲文強博士，共同作者為深圳市大數(shù)據(jù)研究院副研究員趙立成博士、周睿博士，香港中文大學(xué)（深圳）人工智能學(xué)院尹峰教授。

Think in Cloud, Look at Edges: Semantic-Driven Query Decomposition for Efficient Video Reasoning

云端思考，邊端觀察：面向高效視頻推理的語義驅(qū)動查詢分解

關(guān)鍵詞

長視頻理解、邊云協(xié)同、語義驅(qū)動查詢分解、關(guān)鍵幀選擇、多模態(tài)大模型

摘要：長視頻理解面臨帶寬、時延與精度矛盾：純云端方案能力強但上傳成本高，純邊緣方案響應(yīng)快但推理能力有限。本文發(fā)現(xiàn)，現(xiàn)有邊云協(xié)同方法常將復(fù)雜問題壓縮為單一語義向量進行相似度檢索，容易產(chǎn)生“語義淹沒”，使邏輯上關(guān)鍵但不突出的證據(jù)被顯著視覺線索覆蓋。為此，本文提出 SCOPE 框架，采用“云端思考、邊緣觀察”的范式：云端大模型將用戶問題分解為帶依賴關(guān)系和重要性權(quán)重的 DAG 觀測計劃，邊緣側(cè)據(jù)此進行預(yù)算分配、并行語義匹配與關(guān)鍵幀選擇，上傳高價值證據(jù)幀。Video-MME 和 LongVideoBench 實驗表明，SCOPE 在嚴(yán)格幀預(yù)算下穩(wěn)定優(yōu)于 Uniform、Top-K、AKS 等基線；在 16 幀設(shè)置下達到與純云端相同的 66.04% 準(zhǔn)確率，并將端到端時延由 154.22 秒降至 23.94 秒，降低約 85%。該研究為資源受限場景中的長視頻高效推理提供了可部署的邊云協(xié)同新范式。

圖4：SCOPE總體框架。云端大模型先生成結(jié)構(gòu)化觀測計劃，邊緣側(cè)依據(jù)計劃完成預(yù)算感知關(guān)鍵幀選擇，并將證據(jù)幀上傳云端進行深度推理。

本文第一作者為深圳市大數(shù)據(jù)研究院訪問博士Jackie Zou，第二作者為深圳市大數(shù)據(jù)研究院-香港中文大學(xué)（深圳）聯(lián)合培養(yǎng)博士生、香港中文大學(xué)（深圳）理工學(xué)院博士生蔡智捷，通訊作者為香港中文大學(xué)（深圳）數(shù)據(jù)科學(xué)學(xué)院助理教授余旻晨博士，深圳市大數(shù)據(jù)研究院研究員朱光旭博士。

MIMOMamba: From Scalar Duality to Matrix-Valued Attention

MIMOMamba：從標(biāo)量對偶到矩陣值注意力

關(guān)鍵詞

狀態(tài)空間模型（SSM）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、結(jié)構(gòu)化矩陣、線性注意力機制

摘要：現(xiàn)代序列建模需兼顧表達能力與效率。Transformer自注意力能力強，但復(fù)雜度隨序列長度二次增長；Mamba等結(jié)構(gòu)化狀態(tài)空間模型雖具線性效率，卻常將時序建模與跨通道交互分離，難以刻畫時變耦合。

本文提出MIMOMamba，通過矩陣多項式參數(shù)化將狀態(tài)空間對偶性推廣至多輸入多輸出（MIMO）設(shè)置，在單一選擇性遞推中聯(lián)合建模時間依賴與跨通道交互，并保持線性效率。該方法將注意力元素由標(biāo)量擴展為D×D矩陣，實現(xiàn)矩陣值結(jié)構(gòu)化注意力；同時借助共享代數(shù)基底保證交換性、降低參數(shù)冗余，使核心參數(shù)復(fù)雜度由Transformer約3D2降至約D2。

實驗表明，MIMOMamba在SSP物理預(yù)測基準(zhǔn)上以約35k參數(shù)取得最優(yōu)精度（RMSE=0.687），優(yōu)于多種先進基線；推理內(nèi)存線性增長，訓(xùn)練吞吐量較Mamba-2提升1.5–1.6倍，為高效序列建模提供了新的理論與方法支撐。

圖5：MIMOMamba 從遞推狀態(tài)空間模型到矩陣值注意力的對偶視角

本文第一作者為深圳市大數(shù)據(jù)研究院訪問博士生、香港中文大學(xué)（深圳）博士生李彥伯，第二作者為香港中文大學(xué)（深圳）博士生Richard Cornelius SUWANDI，通訊作者為香港中文大學(xué)（深圳）人工智能學(xué)院尹峰教授，共同作者為香港中文大學(xué)（深圳）博士生孫藝勇、中國海洋大學(xué)黃威教授、深圳市大數(shù)據(jù)研究院副研究員蒲文強博士。

雷峰網(wǎng)