近日，国际机器学习领域的顶级学术会议NeurIPS 2019公布了论文录用名单，我学部3篇论文被该会议录用，其中1篇入选大会亮点论文（Spotlight Paper）。
NeurIPS的全称为Conference on Neural Information Processing Systems（神经信息处理系统大会），创办于1987年，被中国计算机学会列为A类会议。此次会议总投稿量达到创历史记录的6743篇，经评审后录用1428篇，录用率约为21%。其中，36篇被录用为口头报告论文（Oral），164篇选为会议亮点论文（Spotlight），录用率仅为3%。
三篇论文的主要贡献如下：
论文一：CPM-Nets: Cross Partial Multi-View Networks
该成果是我学部人工智能学院天津市机器学习重点实验室的张长青和胡清华两位教师，及指导的研究生韩宗博、崔雅洁共同完成的，被录用为大会亮点论文。
该成果延续了机器学习与数据挖掘团队在异构多源信息融合方面的系列工作，提出了存在缺失数据情况时的深度编码及分类模型：Cross Partial Multi-View Networks (CPM-Nets)。该模型充分利用完备信息编码的灵活性，直接处理严重缺失的数据，突破了传统模型对缺失数据丢弃或者补全等干预方式，实现了算法层面的高度自适应。为了使得模型既能够适应大规模训练数据也可兼容小样本学习任务，作者设计了一种结构化分类器，达到“深层网络挖掘多源信息复杂关联，浅层结构化损失正则完备表示”。并为多源信息融合方法建立了严格的理论基础，从而为多源信息融合效果提供了理论保证。
复杂视图缺失数据分类网络模型
通过几年的努力，团队构建了一套多源信息融合模型体系，包括多样性诱导多视图学习模型（CVPR 2015）、高阶张量多视图学习模型（ICCV 2015/AAAI 2018）和完备多视图表示学习模型（IEEE T-PAMI 2018/CVPR 2017/CVPR 2019/NeurIPS 2019），为复杂多源信息融合提供了关键技术支撑。
论文二：Connective Cognition Network for Directional Visual Commonsense Reasoning
该成果由人工智能学院、天津市机器学习重点实验室韩亚洪教授指导博士研究生武阿明完成。该论文借鉴大脑神经元连接结构的动态重组机理，提出新的视觉神经元组织和量化模型GraphVLAD，对图像中的局部视觉神经元结构的动态集成过程进行建模和学习，使其对特定视觉问答任务上下文敏感（Context Sensitive）。同时，受人类推理过程存在方向性（Direction）这一特性的启发，提出“有向图卷积网络”（Directional Graph Convolution Network），对推理过程中的特定方向进行学习。最终，论文提出“连接认知网络（Connective Cognition Network, CCN）”，在视觉常识推理中取得好的性能。
论文三：A Tensorized Transformer for Language Modeling
该成果由计算机学院张鹏和侯越先两位老师指导马鑫典、张帅两位研究生共同完成。该论文受量子力学中的张量网络和张量分解技术的启发，利用张量分解的逆过程，证明在保持Transformer原有信息的同时，可以将其Multi-head Attention机制降低一半的参数，并进一步提出Multi-linear Attention机制。该机制在语言建模和神经机器翻译任务的表现均有所提升。基于Transformer的预训练语言模型是自然语言处理（NLP）领域的研究重点，考虑到模型参数量过大，导致其训练困难，部署不方便，论文指出Tensorized Transformer是解决该问题可行的方法。本文合作单位是微软亚洲研究院和北京理工大学。
Multi-head attention 模型图
