创新成果:工研院智能感知与无人系统实验室论文被KBS录用
近日,复旦大学工程与应用技术研究院(简称工研院)智能感知与无人系统实验室(简称IPASS)撰写的题为《TargetandSourceModalityCo-ReinforcementforEmotionUnderstandingfromAsynchronousMultimodalSequences》的学术论文被人工智能领域国际性跨学科一区Top期刊Knowledge-basedSystems录用,张立华教授、翟鹏博士后为通讯作者,20级直博生杨鼎康为第一作者。论文简介从多模态的视角理解人类意图(例如情感)近年来受到了广泛的关注。由于现实世界中采集到的不同模态序列通常具有可变的接收频率,导致多模态表示学习和融合学习存在固有的异步性挑战。为了缓解该问题,本论文充分参考了IPASS实验室提出的人机融合智能体系框架,设计了一种受人类感知启发的多模态学习方法(ModalityCo-Reinforcement,MCR)。借鉴人类感知过程中大脑皮层对多模态信号高效的处理模式,MCR一方面模仿多感官神经元的信息融合机制,引入了两种目标模态强化单元,以实现多粒度,多级别的知识传递和信息融合;另一方面模仿短