智能与分布计算实验室
 

【喜报】实验室9篇论文被ICML 2025录用!
时间:2025-05-01


热烈祝贺易帅、童锦涛、李世伟、李亦晨、刘伟、王号召等老师和同学的9篇论文被ICML 2025录用!


第42届机器学习国际会议 (The Forty-second International Conference on Machine Learning (ICML 2025)) 论文录用结果近日揭晓,IDC实验室共有9篇论文获得录用,其中易帅同学2篇(含1篇spotlight论文),童锦涛同学2篇(含1篇spotlight论文),李世伟同学2篇,李亦晨同学1篇(spotlight论文,获评4.5高分),刘伟博士后1篇,王号召老师1篇,Spotlight论文仅占总投稿数的2.6%,这是自去年5篇NeurIPS论文以来实验室再创机器学习顶会新纪录!以下是论文介绍信息。


1. 实验室2023级博士生易帅同学的论文Random Registers for Cross-Domain Few-Shot Learning被大会录用。论文在邹逸雄、李瑞轩、李玉华等老师指导下完成。本文首次发现在源域预训练过程中,提示微调作为一种训练的常用方法对ViT在目标域上的泛化有害,但将其设置成随机噪声可以持续改进模型在目标领域的性能。本文深入研究并对这一现象解释为可学习的提示在源数据集的训练过程中捕获域信息,本质上是对源域的过拟合。相反,随机噪声提示本质上是一种新颖的干扰注意力机制的方式,从而有助于模型找到一个平坦的最小损失值,增加模型的可迁移性。基于这一现象和解释,本文进一步提出一种简单而有效的跨域小样本学习方法,即通过在图像块的语义区域上添加随机噪声提示来增强注意图上的扰动,提高随机寄存器的有效性和效率。本文在多个基准上的实验验证了该解释和方法的合理性。论文信息如下:


Shuai Yi, Yixiong Zou, Yuhua Li, Ruixuan Li. Random Registers for Cross-Domain Few-Shot Learning. The 42nd International Conference on Machine Learning (ICML 2025), Vancouver, Canada, July 13-19, 2025.


2. 实验室2023级博士生易帅同学的论文Revisiting Continuity of Image Tokens for Cross-domain Few-shot Learning被大会录用为Spotlight论文。论文在邹逸雄、李瑞轩、李玉华等老师指导下完成。本文首次发现了在ViT中破坏图像块的连续性(即使像素不能顺利地跨图像块过渡)会导致源域的性能明显下降,但下游目标域的性能仅略有下降。本文深入研究并对这一现象解释为连续性有助于ViT学习更大的空间模式,这些更大的空间模式相比于小的更难迁移,从而扩大了域距离。与此同时,这意味着在极端的域差异下,每个图像块中只有较小的图案可以迁移。基于这一现象和解释,本文进一步提出一种简单而有效的跨域小样本学习方法,通过更好地破坏了图像块的连续性,从而鼓励模型减少对大模式的依赖,更多地依赖较小的模式。本文在多个基准上的实验验证了该解释和方法的合理性。本文入选为Spotlight。论文信息如下:


Shuai Yi, Yixiong Zou, Yuhua Li, Ruixuan Li. Revisiting Continuity of Image Tokens for Cross-domain Few-shot Learning. The 42nd International Conference on Machine Learning (ICML 2025), Vancouver, Canada, July 13-19, 2025.


3. 实验室2023级硕士生童锦涛同学的论文Adapter Naturally Serves as Decoupler for Cross-Domain Few-Shot Semantic Segmentation被大会录用为Spotlight论文。论文在邹逸雄等老师指导下完成。该项研究发现adapter不仅能用于下游任务的有效微调,还能天然的充当模型预训练时的域信息解耦器。基于这一发现,该工作进一步深入探究该现象并做出解释:当adapter位于冻结模块和可训练模块之间且利用残差连接时,adapter能有效吸收域特定信息由此引导模型关注域无关信息。基于以上观点,该工作利用adapter设计基于结构的、无需额外损失函数的域信息解耦器,同时解决跨域小样本分割领域的源域与目标域域差距大以及目标域微调样本少的两大难点。论文信息如下:


Jintao Tong, Ran Ma, Yixiong Zou, Guangyao Chen, Yuhua Li, Ruixuan Li. Adapter Naturally Serves as Decoupler for Cross-Domain Few-Shot Semantic Segmentation. The 42nd International Conference on Machine Learning (ICML 2025), Vancouver, Canada, July 13-19, 2025.


4. 实验室2023级硕士生童锦涛同学的论文Self-Disentanglement and Re-Composition for Cross-Domain Few-Shot Segmentation被大会录用。论文在邹逸雄等老师指导下完成。该论文发现当前广泛采用的小样本语义分割方法存在特征纠缠问题,即将单个物体的多个特征模式绑定在一起用一组语义表征进行表示。这种方式使得表征难以泛化迁移。本文发现ViT不同组件倾向于关注不同的语义信息,能进行自然的特征解纠缠,基于这一特性,该工作设计了特定的正交模块,加强ViT不同组件的语义倾向。同时对各语义进行交叉对比,重新组合有意义的表征并抑制无意义的语义模式。该设计有效的提高了模型在跨域复杂场景下的分割性能。论文信息如下:


Jintao Tong, Yixiong Zou, Guangyao Chen, Yuhua Li, Ruixuan Li. Self-Disentanglement and Re-Composition for Cross-Domain Few-Shot Segmentation. The 42nd International Conference on Machine Learning (ICML 2025), Vancouver, Canada, July 13-19, 2025.


5. 实验室2021级博士生李世伟同学的论文The Panaceas for Improving Low-Rank Decomposition in Communication-Efficient Federated Learning被大会录用。论文在李瑞轩、王号召等老师指导下完成。该研究揭示了现有低秩分解算法在联邦学习的通信压缩中面临的三方面瓶颈,并为此提出了三个插件式模块来提升压缩性能。实验结果表明所提出方法能够显著提升联邦学习的通信效率和模型精度。论文信息如下:


Shiwei Li, Xiandi Luo, Haozhao Wang, Xing Tang, Shijie Xu, Weihong Luo, Yuhua Li, Xiuqiang He, Ruixuan Li. The Panaceas for Improving Low-Rank Decomposition in Communication-Efficient Federated Learning. The 42nd International Conference on Machine Learning (ICML 2025), Vancouver, Canada, July 13-19, 2025.


6. 实验室2021级博士生李世伟同学的论文Beyond Zero Initialization: Investigating the Impact of Non-Zero Initialization on LoRA Fine-Tuning Dynamics被大会录用。论文在李瑞轩、王号召等老师指导下,由李世伟同学带领准博士生罗显迪共同完成。该研究打破了大模型低秩微调(Low-Rank Adaptation, LoRA)中零初始化的惯性认知,从LoRA微调动态角度揭示了非零初始化能够提高微调过程对学习率的鲁棒性,从而取得更好的微调精度。实验结果进一步证明了非零初始化在LoRA微调中的有效性。论文信息如下:


Shiwei Li, Xiandi Luo, Xing Tang, Haozhao Wang, Hao Chen, Weihong Luo, Yuhua Li, Xiuqiang He, Ruixuan Li. Beyond Zero Initialization: Investigating the Impact of Non-Zero Initialization on LoRA Fine-Tuning Dynamics. The 42nd International Conference on Machine Learning (ICML 2025), Vancouver, Canada, July 13-19, 2025.


7. 实验室2023级直博生李亦晨同学的论文FedSSI: Rehearsal-Free Continual Federated Learning with Synergistic Synaptic Intelligence被大会录用。论文在李瑞轩教授和王号召讲师的指导下完成。本研究关注了联邦持续学习中的资源效率问题。方法提出协同突触智能算法来缓解联邦持续学习中的灾难性遗忘和数据时空异构问题,理论分析和实验结果表明所提出方法的有效性以及能够显著提升联邦持续学习的准确率。论文信息如下:


Yichen Li, Yuying Wang, Haozhao Wang, Yining Qi, Tianzhe Xiao, Ruixuan Li. FedSSI: Rehearsal-Free Continual Federated Learning with Synergistic Synaptic Intelligence. The 42nd International Conference on Machine Learning (ICML 2025), Vancouver, Canada, July 13-19, 2025.


8. 实验室刘伟博士后的论文Adversarial Cooperative Rationalization: The Risk of Spurious Correlations in Even Clean Datasets被大会录用。在可解释人工智能领域,解释的因果性是一个重要的属性。过往的研究仅仅关注数据集中固有的虚假关联。本项研究发现,即使是在没有虚假关联的干净数据集中,某些解释算法也可能引入与数据集无关的算法虚假关联,从而导致解释偏离数据中真正的因果特征。本研究随后提出了一套基于攻击的方法,来同时对算法引入的虚假关联进行审查和纠正。论文信息如下:


Wei Liu, Zhongyu Niu, Lang Gao, Zhiying Deng, Jun Wang, Haozhao Wang, Ruixuan Li. Adversarial Cooperative Rationalization: The Risk of Spurious Correlations in Even Clean Datasets. The 42nd International Conference on Machine Learning (ICML 2025), Vancouver, Canada, July 13-19, 2025.


9. 实验室教师王号召博士的论文BSemiFL: Semi-supervised Federated Learning via a Bayesian Approach被大会录用。论文在李瑞轩等老师指导下完成。论文信息如下:


Haozhao Wang, Shengyu Wang, Jiaming Li, Hao Ren, Xingshuo Han, Wenchao Xu, Shangwei Guo, Tianwei Zhang, Ruixuan Li. BSemiFL: Semi-supervised Federated Learning via a Bayesian Approach. The 42nd International Conference on Machine Learning (ICML 2025), Vancouver, Canada, July 13-19, 2025.


ICML 是机器学习领域的国际顶级会议之一,也是计算机学会所列人工智能领域的A类会议。自1980年创办以来一直深受全球学者的广泛关注和认可,在整个计算机科学领域享有崇高的声望。


在此,我们对易帅同学、童锦涛同学、李世伟同学、李亦晨同学、刘伟博士后、王号召老师论文的录用表示热烈祝贺!