(通讯员 李娜）近期，天津大学量子智能与语言理解团队联合帕多瓦大学、北京理工大学以及哥本哈根大学共同发表的论文 “Complex-valued Neural Network-based Quantum Language Models”被ACM Transactions on Information Systems期刊录用。ACM Transactions on Information Systems（TOIS）是中国计算机学会（CCF）推荐的A类顶级国际期刊。
语言模型在自然语言处理、信息检索、机器学习等任务中都起着重要的基础作用。2013年，由Bengio等人提出量子语言模型（QLM）。但QLM未考虑单词位置信息的重要性，且未能以端到端的方式进行训练，因此在性能表现方面有局限。针对这两点问题，团队提出一种端到端的基于复数值神经网络的量子语言模型(C-NNQLM)，该模型使用复数值表示单词位置信息，并且将量子语言模型扩展到神经网络架构下。
具体而言，该模型采用复数值词向量来表示每个单词，振幅向量编码词的嵌入信息，相位向量编码词的绝对位置，与原始量子语言模型中的one-hot编码方式相比，该方法可以编码更丰富的语义信息以及单词的位置信息。通过将每个表示向量视为每个单词的可观测状态，将句子表示为规范化的密度矩阵。这是一种基于单个单词向量构建密度矩阵的自底向上方法，使得密度矩阵可以集成到神经网络体系结构中，并通过反向传播算法自动更新。实验表明，受量子叠加原理启发所提出的复数值密度矩阵，既可以建模单词维度与维度之间的信息交互，又能建模单词之间的位置信息，有效挖掘了文本的潜在语义信息，取得显著的性能提升。
论文信息：
Peng Zhang, Wenjie Hui, Benyou Wang, Donghao Zhao, Dawei Song, Christina Lioma, Jakob Grue Simonsen. Complex-valued Neural Network-based Quantum Language Models.ACM Transactions on Information Systems, 2022.
https://dl.acm.org/doi/full/10.1145/3505138
