计算机工程

作者：朱子斌, 李千林, 张小燕, 韩双双

单位：1. 深圳大学计算机与软件学院，广东 深圳 5180602. 北京科技大学计算机与通信工程学院，北京 100083

关键词：双向时空特征,多尺度特征融合,双向自监督,深度图像估计,人体关节相对顺序关系约束

基金：广东省基础与应用基础研究基金(2020B1515120047); 广东省自然科学基金(2021A1515011632); 广东省自然科学基金(2021A1515012014)

为了更准确地预测人体的深度图像，提出一种基于视频的人体深度图像估计方法BiSTNet。为了从视频中充分挖掘三维(3D)信息，提出双向时空特征学习模型，分别从过去帧和未来帧2个序列方向学习双向时空特征，并利用双向时空特征注意力模型来强化有效帧的影响。同时，引入多尺度特征融合预测模块，在有效融合双向时空特征和空间特征的基础上，预测精确的、具有丰富局部几何细节的深度图像，使得由预测深度图像重建的3D模型更加逼真。在模型训练过程中，使用人体关节相对顺序关系约束和双向序列自监督学习策略，在提高预测精度的同时降低对有监督数据的依赖性。实验结果表明，BiSTNet方法不仅能有效降低预测深度图像的误差，而且所预测的深度图像细节丰富。

来源：2025年第10期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第10期