近日，复旦大学工程与应用技术研究院（简称工研院）智能感知与无人系统实验室（简称IPASS）撰写的题为《Target and Source Modality Co-Reinforcement for Emotion Understanding from Asynchronous Multimodal Sequences》的学术论文被人工智能领域国际性跨学科一区Top期刊Knowledge-based Systems录用，张立华教授、翟鹏博士后为通讯作者，20级直博生杨鼎康为第一作者。
论文简介
从多模态的视角理解人类意图（例如情感）近年来受到了广泛的关注。由于现实世界中采集到的不同模态序列通常具有可变的接收频率，导致多模态表示学习和融合学习存在固有的异步性挑战。为了缓解该问题，本论文充分参考了IPASS实验室提出的人机融合智能体系框架，设计了一种受人类感知启发的多模态学习方法（Modality Co-Reinforcement, MCR）。借鉴人类感知过程中大脑皮层对多模态信号高效的处理模式，MCR一方面模仿多感官神经元的信息融合机制，引入了两种目标模态强化单元，以实现多粒度，多级别的知识传递和信息融合；另一方面模仿短期记忆存储相关神经元的信息交互机制，引入了一种源模态更新模块，为目标模态的增强提供必要的知识更新和信息过滤。受益于上述组件的协同配合，MCR渐进式地学习更有效的多模态表示。
图1：IPASS提出的人机融合智能体系框架
图2：人类感知模式和提出方法的类比
MCR在数个多模态情感理解基准上进行了广泛的测试。在多模态序列额词对齐和更具挑战的非对齐设置下，定量和定性的评估证实了该方法能捕获到跨模态元素之间关键的意图理解信号，在现有基准上取得了显著的改进，证实了受人类感知模式启发的多模态研究的有效性和合理性。
相比于先前的SOTA方法（a），MCR（b，c）能学习到异步序列中更加可靠和有效的跨模态元素相关性。
延伸阅读
Knowledge-based Systems（KBS）是人工智能领域的国际性跨学科期刊。该期刊专注于基于知识和其他人工智能技术的研究，发表该领域的原创、创新和创造性成果。KBS属于中科院SCI期刊分区计算机科学类一区期刊。
智能感知与无人系统实验室（IPASS）隶属于复旦大学工程与应用技术研究院智能机器人研究院，近年来一直在机器直觉、人机物融合智能等新一代人工智能理论、脑机解码与脑启发人工智能、智能感知与人机交互、计算机视觉与数字孪生、行为识别和情感分析、智能芯片与智能硬件，以及智能机器人、智能网联汽车、智慧医疗等领域开展交叉创新研究，相关学术成果发表在Nature主刊和中国科学等国内外顶级期刊与国际会议。
（转载自复旦大学工研院）
