【喜报】IDC实验室邹逸雄、刘伟、胡伊曼、童锦涛等老师同学的5篇论文被NeurIPS 2024录用！

第38届神经信息处理会议 (The Thirty-eighth Annual Conference on Neural Information Processing Systems, NeurIPS 2024) 论文录用结果近日揭晓，IDC实验室邹逸雄、刘伟、胡伊曼、童锦涛等老师和同学的5篇论文获得录用，成为实验室在人工智能顶级会议NeurIPS上又一个新的重要突破。

1. 实验室2023级硕士生童锦涛同学的论文被大会录用。论文在邹逸雄等老师的指导下完成，论文的题目是Lightweight Frequency Masker for Cross-Domain Few-Shot Semantic Segmentation。该研究发现简单地对目标域进行频率成分过滤可以显著提高性能。深入分析后，发现频率域的过滤操作能够降低空间域中特征间的相关性，有效解耦特征通道，从而增强模型对抗域间差距的鲁棒性，并扩大模型关注区域。基于这一发现，作者提出了一种轻量级频率适配器，包括幅相掩模和相位通道自适应两个模块，仅增加2.5%的参数就可以平均提高MIoU达11%。针对四个目标数据集的实验表明，该方法通过简单而有效，显著超越了现有的最先进CD-FSS方法。论文信息如下：

Jintao Tong, Yixiong Zou, Yuhua Li, Ruixuan Li. Lightweight Frequency Masker for Cross-Domain Few-Shot Semantic Segmentation. The 38th Annual Conference on Neural Information Processing Systems (NeurIPS 2024), Vancouver, Canada, Dec 9, 2024 – Dec 15, 2024.

2. 实验室2022级硕士生胡伊曼的论文被NeurIPS 2024录用，论文在邹逸雄老师和李瑞轩教授的共同指导下完成。论文的题目是Generate Universal Adversarial Perturbations for Few-Shot Learning，主要针对小样本学习领域，研究其对抗攻击的泛化效果。文章验证了小样本场景的两个gap并提出统一的攻击框架，最终在多个数据集、各种不同的小样本范式下都取得了目前最优的攻击效果。论文信息如下：

Yiman Hu, Yixiong Zou, Ruixuan Li, Yuhua Li . Generate Universal Adversarial Perturbations for Few-Shot Learning. The Thirty-Eighth Annual Conference on Neural Information Processing Systems. The 38th Annual Conference on Neural Information Processing Systems (NeurIPS 2024), Vancouver, Canada, Dec 9, 2024 – Dec 15, 2024.

3. 实验室邹逸雄老师的论文被大会录用，论文的题目是 A Closer Look at the CLS Token for Cross-Domain Few-Shot Learning。本文发现，不加载源域训练好的CLS token，而是将CLS token随机初始化，可以持续提高目标域的性能，并将此现象解释为由于 ViT 的固有结构，CLS token会自然吸收域信息，这种域信息在傅里叶频率空间中表现为低频分量。基于这一现象和解释，论文提出了一种简单有效的方法，即在源域的训练过程中解耦 CLS token中的域信息，并在目标域上调整 CLS token以实现高效的小样本学习，从而提升了ViT在跨域小样本任务上的迁移能力。实验结果验证了该解释和方法的合理性，并优于现有最优方法。论文信息如下：

Yixiong Zou, Shuai Yi, Yuhua Li, Ruixuan Li. A Closer Look at the CLS Token for Cross-Domain Few-Shot Learning. The 38th Annual Conference on Neural Information Processing Systems (NeurIPS 2024), Vancouver, Canada, Dec 9, 2024 – Dec 15, 2024.

4. 实验室邹逸雄老师的论文被大会录用，论文的题目是Attention Temperature Matters in ViT-Based Cross-Domain Few-Shot Learning。本文发现，仅通过在ViT模块的注意力中乘一个temperature，目标域的表现可持续提升，并将此现象解释为当domain gap较大时，query-key注意力机制在目标域上效果不佳，而temperature对此进行了修正。论文提出了一种简单有效的方法，通过抑制query-key参数的学习，增强非query-key参数的作用，从而提升了ViT在跨域小样本任务上的迁移能力。实验结果验证了该解释和方法的合理性，并优于现有最优方法。论文信息如下：

Yixiong Zou, Ran Ma, Yuhua Li, Ruixuan Li. Attention Temperature Matters in ViT-Based Cross-Domain Few-Shot Learning. The 38th Annual Conference on Neural Information Processing Systems (NeurIPS 2024), Vancouver, Canada, Dec 9, 2024 – Dec 15, 2024.

5. 实验室刘伟博士后的论文被大会录用，论文的题目是Is the MMI Criterion Necessary for Interpretability? Degenerating Non-causal Features to Plain Noise。本文研究了人工智能可解释性领域最基本的最大化互信息（MMI）准则易受虚假关联影响的问题。现有的主流做法是在MMI的基础上针对虚假关联特征设计惩罚正则项（例如不变风险最小化，因果干预等），通过调整惩罚强度来缓解虚假关联对因果特征的干扰。然而平衡惩罚项和MMI并不是一个容易的问题，欠惩罚或过惩罚都会带来不利影响。本文则采用了一条全新的研究路线，通过分析虚假关联特征、噪声、因果特征之间的统计关系，设计了一种全新的优化准则——最大化余量差异准则，在此准则下，虚假关联特征等价于随机噪声，从而使得在存在虚假关联的数据集上训练模型的难度降低到与在干净数据集上训练等同。在多个常用benchmark上的实验显示，最大化余量差异准则在提取的解释质量方面显著超越了MMI及其改进变体。论文信息如下：

Wei Liu, Zhiying Deng, Zhongyu Niu, Jun Wang, Haozhao Wang, YuanKai Zhang, Ruixuan Li. Is the MMI Criterion Necessary for Interpretability? Degenerating Non-causal Features to Plain Noise. The 38th Annual Conference on Neural Information Processing Systems (NeurIPS 2024), Vancouver, Canada, Dec 9, 2024 – Dec 15, 2024.

NeurIPS 是机器学习领域最重要和规模最大的国际会议之一，自1987年创立以来一直受到全球顶尖学者的广泛关注，在相关领域享有极高的学术声誉。同时，NeurIPS也是中国计算机学会、中国人工智能学会推荐的A类会议。

我们对童锦涛同学、胡伊曼同学、邹逸雄老师、刘伟博士后论文的录用表示热烈祝贺！