计算机工程

作者：王杨, 宋世佳, 王鹤琴, 袁振羽, 赵立军, 吴其林

单位：1. 安徽师范大学计算机与信息学院, 安徽 芜湖 2410002. 长三角哈特机器人产业技术研究院, 安徽 芜湖 241000

关键词：增强现实,光照估计,球面谐波系数,视觉Transformer,多头自注意力

基金：国家自然科学基金(61871412); 安徽省自然科学基金重点项目(KJ2019A0938); 安徽省自然科学基金重点项目(KJ2021A1314); 安徽省自然科学基金重点项目(KJ2019A0979); 安徽高校自然科学重点项目(2022AH052899); 安徽高校自然科学重点项目(KJ2019A0979); 安徽高校自然科学重点项目(KJ2019A0511); 安徽高校自然科学重点项目(2023AH052757); 机器视觉检测安徽省重点实验室开放课题(KLMVI-2023-HIT-11

光照一致性是增强现实(AR)系统中实现虚实有机融合的关键因素之一。由于拍摄视角的局限性和场景光照的复杂性, 开发者在估计全景照明信息时通常忽略局部光照一致性, 从而影响最终的渲染效果。为解决这一问题, 提出一种基于改进视觉Transformer(ViT)结构的局部光照一致性估计框架(ViTLight)。首先利用ViT编码器提取特征向量并计算回归球面谐波(SH)系数, 进而恢复光照信息; 其次改进ViT编码器结构, 引入多头自注意力交互机制, 采用卷积运算引导注意力头之间相互联系, 在此基础上增加局部感知模块, 扫描每个图像分块并对局部像素进行加权求和, 捕捉区域内的特定特征, 有助于平衡全局上下文特征和局部光照信息, 提高光照估计的精度。在公开数据集上对比主流特征提取网络和4种经典光照估计框架, 实验和分析结果表明, ViTLight在图像渲染准确率方面高于现有框架, 其均方根误差(RMSE)和结构相异性(DSSIM)指标分别为0.129 6和0.042 6, 验证了该框架的有效性与正确性。

来源：2025年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第2期