AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。
对抗训练（adversarial training）是增强神经网络鲁棒性的重要方式。在对抗训练的过程中，样本会被混合一些微小的扰动（改变很小，但是很可能造成误分类），然后使神经网络适应这种改变，从而对对抗样本具有鲁棒性。
在图像领域，采用对抗训练通常能提高鲁棒性，但是通常都会造成泛化性降低，也就是说，虽然对对抗样本的抵抗力提升了，但是有可能影响普通样本的分类能力。神奇的是，在语言模型领域却观察到不一致的结果——对抗训练既提高了鲁棒性也提高了泛化性。
根据AMiner-NeurIPS 2020词云图和论文可以看出，与adversarial training是在本次会议中的热点，下面我们一起看看adversarial training主题的相关论文。
1.论文名称：Boosting Adversarial Training with Hypersphere Embedding
论文链接：https://www.aminer.cn/pub/5e4faa9a3a55ac969512bb10?conf=neurips2020
简介：对抗训练（AT）是提高深度学习模型的对抗鲁棒性的最有效防御措施之一。 为了提高对抗性训练模型的可靠性，我们建议通过合并超球体嵌入（HE）来提高AT，这可以将对抗性特征正规化到紧凑的超球体流形上。 我们正式展示了AT和HE的良好耦合，从多个方面调整了AT的学习动力。 我们将HE嵌入流行的AT框架（包括PGD-AT，ALP和TRADES）以及FreeAT和FastAT策略中，从而全面验证了HE的有效性和通用性。 在实验中，我们评估了CIFAR-10和ImageNet数据集上的方法，并验证了集成HE可以持续增强每个AT框架训练的模型的性能，而无需进行额外的计算
2.论文名称：Large-Scale Adversarial Training for Vision-and-Language Representation Learning
论文链接：https://www.aminer.cn/pub/5ee3527191e011cb3bff753b?conf=neurips2020
简介：我们介绍了VILLA，这是针对视觉和语言（V + L）表示学习的大规模对抗训练的第一项已知工作。 VILLA分为两个训练阶段：（i）与任务无关的对抗性预训练； 其次是（ii）特定于任务的对抗性微调。 我们建议在每个模态的嵌入空间中进行对抗训练，而不是在图像像素和文本标记上添加对抗性扰动。 为了进行大规模训练，我们采用“免费”的对抗训练策略，并将其与基于KL散度的正则化相结合，以促进嵌入空间的更高不变性。 我们将VILLA应用于当前性能最佳的V + L模型，并在一系列任务上达到了最新水平，包括视觉问题解答，视觉常识推理，图像文本检索，引用表达理解，视觉蕴涵和NLVR2 。
3.论文名称：Robust Reinforcement Learning via Adversarial training with Langevin Dynamics
论文链接：https://www.aminer.cn/pub/5e4a64313a55acda1392dd45?conf=neurips2020
简介：我们介绍了一个抽样视角，以解决培训强大的强化学习（RL）代理人这一艰巨的任务。利用强大的随机梯度Langevin动力学，我们提出了一种新颖的，可扩展的两人RL算法，该算法是两人策略梯度方法的一种采样变体。在多种MuJoCo环境中，在不同训练和测试条件下的泛化方面，我们的算法始终优于现有基准。我们的实验还表明，即使对于完全忽略潜在环境变化的目标函数，与标准RL算法相比，我们的采样方法仍具有很高的鲁棒性。
4.论文名称：Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free
论文链接：https://www.aminer.cn/pub/5f7fdd328de39f0828397a18?conf=neurips2020
简介：对抗训练及其许多变体大大提高了深层网络的鲁棒性，但以牺牲标准精度为代价。此外，训练过程很繁重，因此要彻底探索准确性和鲁棒性之间的折衷变得不切实际。本文提出了一个新的问题：如何在不多次（重新）训练的情况下，快速地在现场校准已训练的模型，以检查其标准精度与稳健精度之间可达成的取舍？我们提出的框架，即全民对抗训练（OAT），建立在创新的模型条件训练框架之上，并以控制超参数作为输入。可以在测试时“免费”在不同的标准和鲁棒的精度之间调整训练后的模型。作为重要的旋钮，我们利用双重批处理规范化来分离标准和对抗性特征统计信息，以便可以在一个模型中学习它们而不会降低性能。我们将OAT进一步扩展到了“对抗式训练和减肥”（OATS）框架，该框架允许在准确性，鲁棒性和运行时效率之间进行共同权衡。实验表明，与在各种配置下经过专门训练的模型相比，OAT / OATS无需任何重新训练或组装，即可实现相似甚至更高的性能。
5.论文名称：MRI Banding Removal via Adversarial Training
论文链接：https://www.aminer.cn/pub/5e2ac03c3a55ac8999c1aeeb?conf=neurips2020
简介：使用深度学习技术从子采样数据重建的MRI图像通常显示出特征带，在重建图像的低信噪比区域中，该带特别强。在这项工作中，我们建议使用对抗损失，这种损失会惩罚条带结构，而无需任何人工注释。我们的技术极大地减少了条带的外观，而无需在重建时进行任何额外的计算或后处理。我们报告了一组专家评估人员（经董事会认证的放射线医师）与强基准进行盲目比较的结果，在该评估中，我们的方法在去除条带方面排名优越，而没有统计学上的细节损失
根据主题分类查看更多论文，扫码进入NeurIPS2020会议专题，最前沿的研究方向和最全面的论文数据等你来~
扫码了解更多NeurIPS2020会议信息
添加“小脉”微信，留言“NeurIPS”，即可加入【NeurIPS会议交流群】，与更多论文作者学习交流！
订阅了解更多论文信息，定制您的个人科研动态信息流：https://www.aminer.cn/user/notification?f=mt
转载：https://blog.csdn.net/AI_Conf/article/details/111350078