当前位置:首页 > 文章导读 > 自然科学版

光流估计补偿结合生成对抗网络提高视频超分辨率感知质量
祝轩1,柳欣1,兰志翔1,孙逸霏2,金玉莹1,陈培榕1
1.西北大学 信息科学与技术学院;2.西北大学 数学学院
 全文: PDF  
摘要:

频超分辨率(VSR)的任务是利用序列视频帧具有的时间连续性和空间相似性提高视频的分辨率。主流的VSR方法利用像素损失优化网络,导致生成的超分辨率(SR)重建结果边缘模糊、细节平滑。为此,提出了一个新的引入时空特征补偿和多特征鉴别器的端到端的VSR网络框架MC PETGAN。该框架包括光流估计补偿网络和多特征鉴别生成对抗网络。光流估计补偿网络利用相邻视频帧之间的短时连续和内容相似性特征为多特征鉴别生成对抗网络提供有效丰富的细节信息;生成器与包括像素、边缘和纹理鉴别器的多特征鉴别器的对抗训练促使SR帧与高分辨率(HR)帧的像素、边缘和纹理趋于一致。大量公共数据集和监控视频数据的实验结果表明,该文方法能够有效提高视频SR结果的像素精度,并恢复出清晰的边缘和纹理,而且视觉感受愉快,感知指标有竞争力。

关键词: 视频超分辨率;光流估计补偿;多特征鉴别器;感知质量
发表年限: 2021年
发表期号: 第2期