计算机工程

作者：朱贵德, 黄海

单位：浙江理工大学计算机科学与技术学院(人工智能学院), 浙江 杭州 310018

关键词：文本视觉问答,文本信息,自然语言处理,计算机视觉,多模态融合

基金：国家自然科学基金面上项目(62272416)

传统视觉问答（VQA）大多只关注图像中的视觉对象信息，忽略了对图像中文本信息的关注。文本视觉问答(TextVQA)除了视觉信息外还关注了图像中的文本信息，能够更加准确并高效地回答问题。近年来，TextVQA已经成为多模态领域的研究热点，在自动驾驶、场景理解等包含文本信息的场景中有重要的应用前景。阐述TextVQA的概念以及存在的问题与挑战，从方法、数据集、未来研究方向等方面对TextVQA任务进行系统性的分析。总结现有的TextVQA研究方法，并将其归纳为3个阶段，分别为特征提取阶段、特征融合阶段和答案预测阶段。根据融合阶段使用方法的不同，从简单注意力方法、基于Transformer方法和基于预训练方法这3个方面对TextVQA方法进行阐述，分析对比不同方法的特点以及在公开数据集中的表现。介绍TextVQA领域4种常用的公共数据集，并对它们的特点和评价指标进行分析。在此基础上，探讨当前TextVQA任务中存在的问题与挑战，并对该领域未来的研究方向进行展望。

来源：2024年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第2期