计算机工程

作者：周宇, 谢威, 邝得互, 江健民

单位：1. 深圳大学计算机与软件学院, 广东 深圳 5180002. 岭南大学计算与决策科学系, 香港 999077

关键词：快照压缩成像,压缩感知,Transformer架构,深度学习,特征融合

基金：国家自然科学基金重点项目(62032015); 深圳市科创委基础研究面上项目(JCYJ20220810112354002)

视频快照压缩成像(SCI)是一种基于计算的成像技术, 通过在时间域和空间域上的混合压缩来实现高效成像。在视频SCI中, 利用信号的稀疏性以及它在时间域和空间域中的相关性并采用合适的视频SCI算法, 有效地重建原始视频信号。虽然基于深度学习的重建算法在多数任务中取得了良好的效果, 但是还存在过高的模型复杂度和较慢的重建速度。为解决这些问题, 提出一个基于三元自注意力的视频快照压缩成像重建网络模型SCT-SCI, 利用多分支分组自注意力机制来利用时间域和空间域的相关性。SCT-SCI模型由一个特征提取模块、一个视频重建模块和多个三元自注意力模块SCT-Block组成。每个SCT-Block由一个窗口自注意力分支、一个通道自注意力分支和一个时序自注意力分支组成, 同时引入空间聚合模块SC-2DFusion和全局聚合模块SCT-3DFusion加强特征融合。实验结果显示, 在模拟视频数据集上, 该模型具有低复杂度的优势, 在保证接近的重建质量的前提下相比EfficientSCI模型节省了31.58%的重建时间, 提升了实时性能。

来源：2025年第1期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第1期