计算机工程

作者：张会云, 黄鹤鸣

单位：1. 青海师范大学 计算机学院, 西宁 810008;2. 藏语智能信息处理及应用国家重点实验室, 西宁 810008;3. 藏文信息处理教育部重点实验室, 西宁 810008;4. 青海省藏文信息处理与机器翻译重点实验室, 西宁 810008

关键词：语音情感识别,韵律特征,谱特征,多特征融合,多操作网络

基金：国家自然科学基金（62066039）。

多域语音情感识别研究在语料标注方法、录制场景以及交互方式等方面存在差异性，使得构建多域语音情感识别系统变得较为复杂。设计一种基于多操作网络的多域语音情感识别模型，通过组合CASIA、EMODB、SAVEE 3个单域数据库，构建Hybrid-CE、Hybrid-ES、Hybrid-CS、Hybrid-CES 4种多域语音情感数据库及层级多操作网络（HMN）。HMN网络由2个异构并行分支组成，左分支由2个同构并行的一维卷积层构成，卷积层的神经元数量均为128，右分支由并行的Bi-GRU层和Bi-LSTM层构成，GRU和LSTM的记忆单元数量均为64。将原始数据投影到不同的变换空间进行计算，从而更准确地表征语音的情感信息。通过分层的Concate、Add和Multiply多操作运算，将左右分支提取的不同特征进行多重融合。在此基础上，计算梅尔频率倒谱系数、色谱图、谱对比度等低级描述符特征的高级统计函数，得到219维特征作为模型HMN的输入。实验结果表明，该模型在4种多域数据库上的F1-score分别达到82.22%、65.02%、70.59%、73.47%，具有较好的鲁棒性和泛化性。

来源：2022年第7期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第7期