(通讯员 黄静)近日,中国计算机学会(CCF)推荐的A类国际学术会议ICML 2023论文接收结果公布。天津大学智能与计算学部6篇论文被录用,其中Calibrating Multimodal learning被录用为大会口头报告论文(Oral Paper)。国际机器学习大会(International Conference on Machine Learning)被公认为机器学习、人工智能领域声望最高的会议之一,在世界范围内每年召开一次。
学部2020级硕士马焕以第一作者(通讯作者:张长青)撰写的论文Calibrating Multimodal learning被录用为口头报告文章。“信息是消除的不确定性”,这与多模态机器学习的初衷一致。然而该工作发现,当前的多模态分类方法存在不可靠的置信度,即当部分模态被移除时,模型可能产生更高的置信度,违反了信息论中“信息是消除的不确定性”这一基本原理。针对此问题,提出校准多模态学习(Calibrating Multimodal Learning)方法,该方法可以部署到不同的多模态学习范式中,提升多模态学习模型的合理性和可信性。
学部2022级硕士张庆阳以第一作者(通讯作者:张长青)撰写的论文Provable Dynamic Fusion for Low-Quality Multimodal Data首次给出了多模态动态性的理论结果。多模态融合是多模态学习领域的基础问题。近年来,多模态动态融合在复杂场景的感知任务上取得了瞩目的效果。然而,其发挥作用的机理一直是悬而未决的开放性问题:为什么动态融合优于广泛应用的静态融合?符合什么条件的动态性是多模态融合的保障?针对上述问题,该工作给出了严谨的理论分析和证明(Provable Dynamic Fusion),明确给出了实现有效动态性的前提条件,以及不确定性估计和多模态融合任务之间的关联。
论文dugMatting: Decomposed-Uncertainty-Guided Matting(通讯作者:张长青)利用可分解的不确定性实现了高效的交互式图像处理。复杂的不确定建模如何指导底层图像处理?为了减少这些不确定性,该工作提出解耦不确定性引导的抠图算法(Decomposed-Uncertainty-Guided Matting)。通过人机互馈引入外部知识来降低模型不确定性、通过噪声建模来处理随机不确定性。前者有效提高交互效率,使用户专注于指定区域标注,后者有效改善抠图细节,并易于与任意抠图模型配合使用,易于拓展到对精度和可信度具有较高要求的交互任务中(如交互式分割)。
学部2021级博士生倪飞以第一作者(通讯作者:郝建业)撰写的论文MetaDiffuser: Diffusion Model as Conditional Planner for Offline Meta-RL首次提出了基于扩散模型的跨任务规划模型和学习范式,实现可泛化的机器人智能控制。近年来扩散模型在图像视频生成任务上展现了惊艳的可控生成能力,能精细生成与条件高度相关的内容,那么能否利用这种可控生成能力赋能机器人控制任务?为此该工作提出元扩散模型(MetaDiffuser),通过多任务的离线数据预训练出上下文推断编码器,嵌入增广的扩散模型中进行可泛化的控制轨迹条件生成,提升机器人的规划控制对不同环境变化、任务变化的适应能力和鲁棒性。
学部2022级博士生李鹏翼以第一作者(通讯作者:郝建业)撰写的论文RACE: Improve Multi-Agent Reinforcement Learning with Representation Asymmetry and Collaborative Evolution在复杂多智能体协作任务中首次证明了演化算法具有进一步提升多智能体强化学习算法的能力。尽管多智能体强化学习近年来在学习协作方面展现了有效性,但当面临质量较低的奖励信号和高度非稳态情况时,MARL的表现可能较差甚至失败。相比之下,进化算法在收敛性、鲁棒性和对信号质量不敏感性方面表现更好。为此,本文提出RACE充分融合两者优势促进多智能体高效协作。为了高效的知识共享与探索,RACE解耦团队策略为共享局部观测编码器与独立的个体策略表征。为缓解局部观测带来的非稳态问题,RACE构建了价值感知的互信息最大化机制来将好的全局信息压缩到共享观测表征中。除此之外,RACE还设计了基于个体的语义性交叉和变异算子对种群进行进化。最终RACE在复杂连续控制任务MAMUJOCO和离散微操任务星际争霸Ⅱ上被证明能够显著提升基准算法并超越其他基线。
论文Contrastive Learning Meets Homophily: Two Birds with One Stone(第一作者:何东晓)创新地将自监督对比学习与图异质性问题融合,在同质、异质数据集上都可以以无监督的形式学习有效的表征。图自监督学习近年来取得了令人肯定的发展,但已经提出的方法基于数据的同质性假设,无法适配异质性数据集。在解决异质图数据问题上提出的工作普遍使用监督或半监督的方法。本文提出了NeCo(Neighbor Contrastive Representation Learning on Graphs)方法,大胆抛弃以往通用的数据增强采样方式,而是引入异质性判别器,结合伯努利分布对异质边建模并去除,以阻断异质噪音在图神经网络中传播。同时保留的同质边所链接的邻居节点被采样为自监督学习的正例对以作为自监督目标训练。