机器学习方法提高静态图片清晰度

一、背景

随着电视和移动端屏幕分辨率越来越高，人们对高清图片的诉求也随之越来越大。但这也给用户造成了一定的困扰——要看高清大图也就意味着要占用大量带宽，一来是数据成本增加，二来加载速度会变慢，导致用户体验不佳。

所以如何能够在不影响用户体验的情况下，通过传输小图来达到高清效果是一个很值得研究的问题。在2016年10月，谷歌发表了一篇论文讲述了他们推出的一项新技术RAISR（Rapid and Accurate ImageSuper-Resolution），利用机器学习将低分辨率图像转化为高分辨率图像。这项技术能够在节省带宽75%的情况下分辨率效果达到甚至超过原图，同时速度能够提升大约10到100倍。

二、需求分析

功能：

1、   低质量的网络图片转化为高清晰图片

2、   对云端高清图片进行压缩，减小图片大小

三、实现方案

超分模型结构图如下：

Google 采用机器学习，用一对低分辨率、高分辨率图片训练该程序，以找出能选择性应用于低分辨率图片中每个像素的过滤器，这样能生成媲美原始图片的细节。目前有两种训练 RAISR 的方法：

·        第一种是“直接”方式，过滤器在成对高、低分辨率图片中直接学习。

·        第二种方法需要先对低分辨率图片应用低功耗的升采样，然后在升采样图片和高分辨率图片的组合中学习过滤器。

·        “直接”方式处理起来更快，但第二种方法照顾到了非整数范围的因素，并且更好地利用硬件性能。

　　无论是哪种方式，RAISR 的过滤器都是根据图像的边缘特征训练的：亮度和色彩梯度、平实和纹理区域等。这又受到方向（direction，边缘角度）、强度（strength，更锐利的边缘强度更高）和黏性（coherence，一项量化边缘方向性的指标）的影响。以下是一组 RAISR 过滤器，从一万对高、低分辨率图片中学习得到（低分辨率图片经过升采样）。该训练过程耗费约 1 小时。

　　注：3 倍超分辨率学习，获得的 11×11 过滤器集合。过滤器可以从多种超分辨率因素中学习获得，包括部分超分辨率。注意当图中边缘角度变化时，过滤器角度也跟着旋转。相似的，当强度提高时，过滤器的锐利度也跟着提高；黏性提高时，过滤器的非均相性（anisotropy）也提高。

　　从左至右，学习得到的过滤器与处理后的边缘方向有选择性的呼应。举例来说，最底一行中间的过滤器最适合强水平边缘（90 度梯度角），并具有高黏性（直线的而非弯曲的边缘）。如果这个水平边缘是低对比度的，那么如同图中最上一行，另一个过滤器就被选择。

　　实际使用中，RAISR 会在已经学习到的过滤器列表中选择最合适的过滤器， 应用于低分辨率图片的每一个像素周围。当这些过滤器被应用于更低画质的图像时，它们会重建出相当于原始分辨率的细节，这大幅优于线性、双三（bicubic）、兰索斯（Lancos）解析方式。

a、图片1

原图分辨率：62x90

输出分辨率：248x360

b、图片2

原图分辨率：125x120

输出分辨率：500x480

原文出处