计算机工程

作者：王思成, 江浩, 陈晓

单位：1. 南京信息工程大学人工智能学院(未来科技学院), 江苏 南京 2100442. 东南大学移动通信国家重点实验室, 江苏 南京 210096

关键词：多视图立体,特征匹配,Transformer网络,注意力机制,三维重建

基金：国家自然科学基金(62101273); 东南大学移动通信国家重点实验室开放研究基金资助(2022D10)

现有深度多视图立体(MVS)方法将Transformer引入级联网络, 以实现高分辨率深度估计, 从而实现高精确度和完整度的三维重建结果。然而, 基于Transformer的方法受计算成本的限制, 无法扩展到更精细的阶段。为此, 提出一种新颖的跨尺度Transformer的MVS网络, 在不增加额外计算的情况下处理不同阶段的特征表示。引入一种自适应匹配感知Transformer(AMT), 在多个尺度上使用不同的交互式注意力组合。这种组合策略使所提网络能够捕捉图像内部的上下文信息, 并增强图像之间的特征关系。此外, 设计双特征引导聚合(DFGA), 将粗糙的全局语义信息嵌入到更精细的代价体构建中, 以进一步增强全局和局部特征的感知。同时, 通过设计一种特征度量损失, 用于评估变换前后的特征偏差, 以减少特征错误匹配对深度估计的影响。实验结果表明, 在DTU数据集中, 所提网络的完整度和整体度量达到0.264、0.302, 在Tanks and temples 2个大场景的重建平均值分别达到64.28、38.03。

来源：2024年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第11期