人脸识别图像的模糊度判别算法的优化

人脸识别图像的模糊度判别算法的优化

最近在做一个项目,需要处理网络摄像头传过来的图像,判断图像质量,识别图像中的人员,再做分割处理后,发给百度AIP face做人脸识别和比对.
因为,摄像头发过来的图像的质量参差不齐,需要判断图片的清晰程度,因为是做人脸识别,尤其是要脸部清晰.所以需要判断图片的模糊度,来决定是否采录图片还是放弃.

1.强大的百度 AIP Face

百度在AI领域做的非常不错,而且他的人脸识别的API也是开放的,尝试采用类似Openface等类似的人脸识别框架后,难以达到商业级别的应用,所以我们考虑采用百度的人脸识别系统作为BACKEND.
使用过程中,也觉得非常不错,接口参数和识别率也都很不错.

2.百度API的接口参数

我们需要做图片的清晰度的检查,术语就是取得图片的blur值.blur直译就是模糊,就是我们所说的图片模糊度,值越小就越模糊.
在识别前,我们这边服务器调用人员的图片,做人脸检测,百度AIP face会返回很多参数来判断人脸的可信度,光照,角度,可信度及人员的年龄性别等等. 当然这里也有blur值,表明图片的模糊程度.

人脸检测 返回示例:

{ "result_num": 1, "result": [
     {         "location": {             "left": 117,             "top": 131,             "width": 172,             "height": 170
         },         "face_probability": 1,         "rotation_angle": 2,         "yaw": -0.34859421849251,         "pitch": 2.3033397197723,         "roll": 1.9135693311691,         "landmark": [
             {                 "x": 161.74819946289,                 "y": 163.30244445801
             },
             ...
         ],         "landmark72": [
             {                 "x": 115.86531066895,                 "y": 170.0546875
             }，
             ...
         ],         "age": 29.298097610474,         "beauty": 55.128883361816,         "expression": 1,         "expression_probablity": 0.5543018579483,         "gender": "male",         "gender_probability": 0.99979132413864,         "glasses": 0,         "glasses_probability": 0.99999964237213,         "race": "yellow",         "race_probability": 0.99999976158142,         "qualities": {             "occlusion": {                 "left_eye": 0,                 "right_eye": 0,                 "nose": 0,                 "mouth": 0,                 "left_cheek": 0.0064102564938366,                 "right_cheek": 0.0057411273010075,                 "chin": 0
             },             "blur": 1.1886881756684e-10,             "illumination": 141,             "completeness": 1,             "type": {                 "human": 0.99935841560364,                 "cartoon": 0.00064159056637436
             }
         }
     }
 ], "log_id": 2493878179101621}

质量判断

可通过人脸检测接口，基于以下字段和对应阈值，进行质量检测的判断，以保证人脸质量符合后续业务操作要求。

指标  字段与解释   推荐数值界限

1. 遮挡范围 occlusion（0~1），0为无遮挡，1是完全遮挡

2. 含有多个具体子字段，表示脸部多个部位

3. 通常用作判断头发、墨镜、口罩等遮挡    left_eye : 0.6, #左眼被遮挡的阈值

4. right_eye : 0.6, #右眼被遮挡的阈值

5. nose : 0.7, #鼻子被遮挡的阈值

6. mouth : 0.7, #嘴巴被遮挡的阈值

7. left_check : 0.8, #左脸颊被遮挡的阈值

8. right_check : 0.8, #右脸颊被遮挡的阈值

9. chin_contour : 0.6, #下巴被遮挡阈值

10. 模糊度范围   Blur（0~1），0是最清晰，1是最模糊   小于0.7

11. 光照范围    illumination（0~255）

12. 脸部光照的灰度值，0表示光照不好

13. 以及对应客户端SDK中，YUV的Y分量 大于40

14. 姿态角度    Pitch：三维旋转之俯仰角度[-90(上), 90(下)]

15. Roll：平面内旋转角[-180(逆时针), 180(顺时针)]

16. Yaw：三维旋转之左右旋转角[-90(左), 90(右)]   分别小于20度

17. 人脸完整度   completeness（0或1），0代表完整，1代表不完整  小于0.4

18. 人脸大小    人脸部分的大小
    . 建议长宽像素值范围：8080~200200   人脸部分不小于100*100像素

当然,百度的接口参数还很多,可以到官网查看 百度人脸识别

3.百度的API的一个小问题

我们先看这两张图片:

y1.jpg

y2.jpg

很明显,我们通过肉眼观察就可以马上判断出来上面的照片更加模糊,下面的照片还算可以.
我们调用百度的facedetect,返回的值判断一下那个模糊度范围 Blur,发现 上一张的值要比下面的小很多,也就是百度判断上面的照片比下面的照片要清楚很多. 这个太反直觉了,难道百度算错了吗?

4. 找到原因

是什么让百度的计算有问题,难道是Blur的算法有问题吗?

我们决定自己写一套清晰度的算法,我们采用用 OpenCV和拉普拉斯算子来计算图片中的模糊量,也就是拉普拉斯方差算法(Variance of the Laplacian).
只需要将图片中的某一通道（但一般用灰度值）用下面的拉普拉斯掩模做卷积运算：

用拉普拉斯算子与输入图像做卷积

然后计算方差(即标准差的平方)。

如果某图片方差低于预先定义的阈值，那么该图片就可以被认为是模糊的。高于阈值，就不是模糊的。

这种方法凑效的原因就在于拉普拉斯算子定义本身。它被用来测量图片的二阶导数，突出图片中强度快速变化的区域，和 Sobel 以及 Scharr 算子十分相似。并且，和以上算子一样，拉普拉斯算子也经常用于边缘检测。此外，此算法基于以下假设：如果图片具有较高方差，那么它就有较广的频响范围，代表着正常，聚焦准确的图片。但是如果图片具有有较小方差，那么它就有较窄的频响范围，意味着图片中的边缘数量很少。正如我们所知道的，图片越模糊，其边缘就越少。

借助opencv,代码很简单:

import cv2
imagePath ='./data/y1.jpg'image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
print('y1 blur:',cv2.Laplacian(gray, cv2.CV_64F).var())

imagePath ='./data/y2.jpg'image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
print('y2 blur:',cv2.Laplacian(gray, cv2.CV_64F).var())

y1 blur: 1663.09841446y2 blur: 924.740511

这次真的惊得掉了下巴,竟然和百度的运算一致! 看来算法并没问题,那么问题出在哪里呢?
思考片刻,找到答案,原来是这样:

1. 造成图片的模糊有2个原因,一种是目标快速移动,还一种是摄像机本身抖动.

2. 目前监控摄像头造成的迷糊原因是目标快速移动,而背景不动

3. 拉普拉斯方差计算会使用拉普拉斯掩模对整张图做卷积运算,而背景不动的部分其实很清晰,只是移动的目标部分模糊罢了,这样整个结果值就低了.

下面,我们采用获取人脸区域,只计算人脸区域的拉普拉斯卷积值.
图片如下:

y10.jpg

y20.png

import cv2
imagePath ='./data/y10.jpg'image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
print('y1 blur:',cv2.Laplacian(gray, cv2.CV_64F).var())

imagePath ='./data/y20.png'image = cv2.imread(imagePath)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
print('y2 blur:',cv2.Laplacian(gray, cv2.CV_64F).var())

y1 blur: 418.203306267y2 blur: 1196.72339094

结果和预想的一样完美!
这样就知道百度API对图像的模糊度判断的问题了.

解决方案

我们目前,直接使用拉普拉斯卷积算子计算,只是不再最整张图片处理,只针对脸部区域计算.这样结果就很好.
我们建议百度能过修改AIP face中Blur的算法,及考虑相机抖动也考虑目标移动2种情况下产生的模糊问题,使得计算的blur值更加靠谱.

作者：gaoshine
链接：https://www.jianshu.com/p/60ac53013be4