计算机工程

作者：殷歆, 张战成

单位：苏州科技大学 电子与信息工程学院, 江苏 苏州 215009

关键词：人物图像生成,姿势变换,生成对抗网络,人体关键点估计,人体语义分割,循环一致性

基金：国家自然科学基金（61772237）。

生成姿势受控的人物图像要求在变换姿势条件下生成与源人物图像对应的新图像，同时新图像中人物的上衣、裤子、发型等属性需要与源人物保持一致。由于人物纹理编码和人体姿势关键点编码难以直接融合，导致生成图像中一些关键人物属性与源图像的一致性较差，为此，建立一种循环一致性约束下的双流生成网络模型。在训练阶段，该模型在纹理编码器的输入中增加源人物的姿势条件信息，从而缩小分解组件编码的搜索空间，提高人物生成的可控粒度。设计一个融合模块将源人物的姿势信息与每一个分解组件样式码相融合以进行生成和对抗训练，同时，增加循环一致性约束，使得生成图像与隐空间更为匹配。在测试阶段，通过网络对源人物的纹理编码信息与目标的姿势编码信息分别进行编码，经过信息融合和解码获得姿势变换后的人物图像。使用DeepFashion数据集进行定性和定量测试，结果表明，该模型的峰值信噪比、感知评分、结构相似性指标分别达到31.409 dB、3.369、0.768，模型中添加的姿势引导条件和循环一致性约束能够简化属性分解的概率生成表达，使得人物生成图像的纹理更为准确，符合人类视觉感知特性。

来源：2022年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第11期