讲座主题:
基于机器学习的多模态Cued Speech影像到文本的自动转换
主讲人姓名及介绍:
刘李博士目前在香港中文大学-深圳,大数据研究院担任研究科学家。从2018年9月到2019年9月,她在加拿大多伦多瑞尔森大学(Ryerson Univeresity)计算机工程学院从事博士后研究。2015年10月到2018年9月,她在法国格勒诺布尔阿尔卑斯大学(Universite Grenoble Alpes)和法国国家科学研究中心(CNRS)共属的GIPSA-lab实验室攻读工程与机器学习博士,并于2018年9月11日获得博士学位。
报告摘要:
Cued Speech (CS) 是一种适用于聋哑人之间及其与听力正常人之间交流的方法,通过其独特的手的编码来辅助唇语(Lip reading),从而减少仅用唇语时容易产生的混淆。此工作的目标是实现在法语的CS影像到文本的自动化转换,建立一个基于机器学习和深度学习模型的识别系统。本工作为CS转换为音频的迈出了很关键的一步。另外,本次报告也会介绍我们在首次提出的中文CS系统。