计算机工程

作者：邓泽先, 张云贵, 张琳

单位：1. 中国钢研科技集团有限公司绿色化智能化技术中心, 北京 1000812. 冶金自动化研究设计院有限公司研发中心, 北京 1000713. 冶金智能制造系统全国重点实验室, 北京 100071

关键词：多维时间序列分类,Transformer-Mixer模块,机器学习,预训练,IF钢夹渣缺陷预报

基金：国家重点研发计划(2020YFB1712803)

多维时间序列分类在工业、医疗、金融等领域有着广泛应用, 在工业产品质量控制、疾病预测、金融风险控制等方面发挥着重要作用。多维时间序列时间依赖关系和空间依赖关系同等重要, 传统多维时间序列模型只对时间或空间某一维度重点关注。为此, 提出一种基于预训练递归Transformer-Mixer的多维时间序列分类模型PRTMMTSC。模型基于Transformer-Mixer模块充分学习多维时间序列时间和空间的关联关系。为进一步提升分类模型的性能, 受异常检测模型的启发, 将预训练后的隐藏层特征和残差特征进行融合, 并采用PolyLoss损失函数对模型进行训练。为减少模型训练参数量, 模型中Transformer-Mixer模块采用递归方式构建, 使多层可训练参数量仅为单层Transformer-Mixer参数量。在UEA多维时间数据集上的实验结果表明, 所提模型的性能优于对比模型, 相较于TARNet模型和RLPAM模型的准确率分别提升3.03%和4.69%。在UEA及IF钢夹渣缺陷分类的消融实验验证预训练方式、Transformer-Mixer模块、残差信息及PolyLoss损失函数的有效性。

来源：2025年第5期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第5期