学部新闻

智算学部研究生在“人工智能安全”领域取得重要进展

2019年03月18日 16:22

学部韩亚洪教授课题组的研究生石育澄和王思宇同学在“人工智能安全”和“视觉对抗攻击”的研究中取得进展,他们撰写的论文"Curls & Whey: Boosting Black-Box Adversarial Attacks" 被计算机视觉与模式识别领域顶级学术会议CVPR 2019(CCF-A)录用为Oral Paper(录用率5.6%)。

对抗机器学习(Adversarial Machine Learning)是近年人工智能安全与计算机视觉领域的研究热点,主要研究如何通过对抗攻防寻找并弥补机器学习模型的漏洞与安全隐患。现有研究中,攻击方通常沿替代模型梯度上升方向添加噪声以实现黑盒攻击,但噪声添加方向的单调性妨害了模型间对抗样本的迁移能力。如上图所示,论文所提出的方法使用Curls迭代提升对抗样本及其迭代轨迹的多样性,并使用Whey优化并“挤压”掉对抗样本中的冗余噪声,在黑盒的非针对性攻击(Untargeted Attack)和针对性攻击(Targeted Attack)上均取得优异性能。

在NIPS2018“对抗视觉挑战赛”中,该论文所提出的Curls & Whey方法在非针对攻击和针对攻击两项攻击任务中均获第四名,是国内参赛队中唯一在所有攻击任务中全部进入Top 5的队伍。该竞赛共有世界范围内的400多个队伍参加,参赛机构包括:CMU Petuum Inc、加拿大蒙特利尔ETS公司、慕尼黑Fortiss研究生、清华大学、佐治亚理工、腾讯Keen安全实验室、LG CNS、武汉大学。

人工智能安全与视觉对抗领域的研究正在引起广泛的关注。从2018年开始,韩亚洪教授课题组在“人工智能安全”领域得到了国家自然基金的资助,并正在联合申请“新一代人工智能”的重大项目。

本年度的CVPR将于2019年6月16日-20日在美国长滩(Long Beach)召开,石育澄和王思宇同学将参会并介绍他们的论文。以上研究工作的代码也将于近期在GitHub上公布。

扫码关注微信公众号

联系我们

地址:天津市津南区海河教育园区雅观路135号天津大学北洋园校区55教学楼,300350
邮箱:coic@tju.edu.cn

Copyright ©2017 天津大学智能与计算学部 版权所有