计算机工程

作者：陆晓华, 王慈

单位：华东师范大学通信与电子工程学院, 上海 200241

关键词：视频超分,分组卷积,通道混淆,OpenGL ES,纹理

基金：上海市市级科技重大专项(2021SHZDZX)

当前主流的视频超分算法主要应用在服务器端或离线视频转换等业务场景中, 当部署到移动端设备时, 存在计算复杂、推理速度慢等问题, 特别是在实时音视频通信(RTC)业务场景中, 这些主流的超分算法虽然在图像质量上可以满足精度需求, 但是在处理时间上很难达到性能要求, 从而影响算法的实际应用效果。提出一种基于卷积神经网络(CNN)改进的实时视频超分技术(OGSR)。首先采用分组卷积和通道混淆的方式, 在基本不降低超分图像质量的条件下优化神经网络模型, 成倍减小前向推理的计算量; 其次使用OpenGL ES图形加速接口, 将模型参数和通道数据布局成最快采样的纹理数据, 上传显存以用于GPU的并行计算; 最后在GPU的着色器(Shader)中通过渲染像素坐标反向计算通道索引和模型参数索引来实现超分算法的核心模块, 从而达到像素级别的细粒度并发。实验结果表明, 利用OGSR对QVGA(320×240像素)和nHD(640×360像素)分辨率的视频帧进行3倍超分放大, 在不同机型的移动手机上都可以达到15~30帧/s的帧率, 同时放大后的图像质量与标准CNN模型的图像质量的误差在2%以内, 表明OGSR可以满足实时业务场景的需求, 性能提升显著。

来源：2025年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第11期