学部新闻

学部教师提出一种面向高阶统计信息提取的深度神经网络模型

2020年02月25日 00:56

近日学部青年教师王旗龙等人撰写的论文《Deep CNNs Meet Global Covariance Pooling: Better Representation and Generalization》被人工智能领域国际顶级期刊《IEEE Transaction on Pattern Analysis and Machine Intelligence》(SCI, IF: 17.73)录用。该论文在深层卷积神经网络架构设计方面有新的方法和理论突破。

近几年,深层卷积神经网络由于其良好的性能而受到了广泛的关注,其架构的演化推动着各种人工智能相关任务的发展。然而现有主流网络架构的全局建模过程均利用简单的一阶统计方法(即平均聚合层或全连接层),损失了深层卷积特征中大量的有效信息,从而限制了深层卷积神经网络的表达和泛化能力。针对上述问题,该论文从理论分析、统计信息增益、模型加速和模型压缩四个维度,提出了一个完整的、成体系的基于矩阵幂归一化协方差建模的深层卷积神经网络架构相关理论和方法,通过有效的结合高阶统计建模,显著地提升了深层卷积神经网络的表达和泛化能力。

论文从鲁棒协防差估计和黎曼几何的角度,在理论上分析了矩阵幂归一化协方差建模在深层卷积神经网络中的工作机理。在此基础上,论文提出了一种全局高斯分布嵌入神经网络,有效的融入一阶和二阶统计量,实现了统计信息增益。同时开发了一种基于Newton-Schulz迭代的近似方法,显著提升了该网络架构的训练和推断速度。最后设计了一种基于渐进和分组卷积的模型压缩策略,有效地降低该网络架构的模型复杂度。为该网络架构在实际任务中的灵活使用提供了理论和技术保障。

论文提出的网络模型在大规模通用物体识别和场景分类中显著提升了现有网络架构的性能。同时,在细粒度图像识别、纹理图像分类以及大类别细粒度物体识别任务中均取得了当前世界领先水平。论文提出的网络架构在智能视频分析、商业图像检索、无人系统等多个领域有着良好的应用前景。同时,也为新型深层神经网络架构设计提供了新的思考方向。

扫码关注微信公众号

联系我们

地址:天津市津南区海河教育园区雅观路135号天津大学北洋园校区55教学楼,300350
邮箱:coic@tju.edu.cn

Copyright ©2017 天津大学智能与计算学部 版权所有