专利内容由知识产权出版社提供
专利名称：基于注意力融合的在线短视频多模态情感识别方法专利类型：发明专利
发明人：唐宏,赖雪梅,陈虹羽,李珊珊申请号：CN202010043993.6申请日：20200115公开号：CN111275085A公开日：20200612
摘要：本发明涉及自然语言处理、深度学习、多模态情感分析领域，特别涉及一种基于注意力融合的在线短视频多模态情感识别方法，该方法包括：获取短视频中的各个单模特征；采用双向GRU分别对上述特征进行预处理，得到模态内部信息；结合模态内部信息和模态之间的交互作用，得到各个高级模态特征；根据注意力机制确定各模态的贡献程度，得到总特征向量，并输入到softmax函数中，得到基于注意力融合的双向GRU多模态情感识别模型；训练该模型，将待识别的短视频输入到训练好的模型中，得到情感识别结果；本发明很好的融合了各单模态特征，有效挖掘视频中所表达的情感信息，从而提升了多模态情感识别的准确率及效率。
申请人：重庆邮电大学
地址：400065 重庆市南岸区南山街道崇文路2号
国籍：CN
代理机构：重庆辉腾律师事务所
代理人：王海军
更多信息请下载全文后查看
