An accurate pupil positioning method based on multi condition comprehensive validation

Transactions on Computer Science and Technology December 2014, Volume 3, Issue 4, PP.127-131

An Accurate Pupil Positioning Method Based on Multi-condition Comprehensive Validation Yongfeng Lu#, Zhiyi Qu, Yong Zhao School of information science engineering, Lanzhou University, Lanzhou 730000, China #

Email: 1401435385@qq.com

Abstract This paper firstly uses a gradient direction histogram (HOG) on the pupil for the initial positioning, extract the region of interest (ROI), narrow processing range, remove part of the noise disturbance, and then based on the geometric feature of the circle to detect the pupil, re-position the pupil. Finally, according to feature of the difference of the maximum gradient of the pupil boundary, the pupil boundary is filled pixel by pixel. Make some corrections to the result of the positioning. In the positioning process, combine a variety of conditions to proof the pupil boundary pixel in order to ensure the accuracy of the boundary pixels, thereby achieve the accurate detection of the irregular pupil boundary, to the purpose of precise positioning of the pupil .

Keywords: Gradient Direction Histogram; ROI; Geometric Characteristics; Location

一种基于多条件综合验证的精确定位瞳孔方法 卢永峰，屈志毅，赵勇 兰州大学 信息科学与工程学院，甘肃 兰州 730000 摘

要：本文首先使用梯度方向直方图(HOG)对瞳孔进行初次定位，提取感兴趣区域(ROI)，缩小处理范围，去除部分噪

声干扰，然后根据圆的几何特征检测瞳孔，对瞳孔进行再定位;最后依据瞳孔边界灰度梯度差最大的特征，逐个像素填充 瞳孔边界，对已定位结果进行校正，在定位过程中，结合多种条件综合对瞳孔边界像素进行验证，保证边界像素的准确 性，从而实现对不规则瞳孔边界的无误检测，达到精确定位瞳孔的目的。 关键词：图像梯度方向直方图；ROI；几何特征；定位

引言 20 世纪六十年代中后期出现了人脸识别，与其相关的瞳孔检测技术也应运而生，随着时代的发展，瞳 孔的精确定位已经发展成为计算机视觉领域一个重要的研究课题，涉及到生理学，心理学，人工智能，模 式识别，计算机视觉，图像分析与处理等多个学科[1]在生活中的各个领域也发挥着越来越重要的作用。 瞳孔定位的技术有很多。但其中的大部分方法是把瞳孔看做标准圆形或椭圆来进行检测，所使用的方 法也是基于此依据来设计的，然而，经临床观察，瞳孔并不是严格圆形的。在某些病理条件下，像影响瞳 孔形状的眼科疾病，如青光眼，炎症等；眼球外伤；白内障手术后等，会引起一侧或双侧瞳孔变形[2]。因此 对于不规则瞳孔的精确定位同样重要。本文提出的瞳孔定位方法，先后分别使用梯度方向直方图（HOG） 对瞳孔进行粗定位，根据圆的几何特征对瞳孔进行再定位，依据边界灰度梯度差最大的特征对瞳孔进行精 确定位，并在定位过程中，采用多个约束条件对定位结果进行验证，提高了定位精度，并在一定程度上增 强了抗干扰能力，具有一定的鲁棒性。

1

梯度方向直方图 HOG 特征描述子（HOG descriptors）是由 Navneet Dalal 和 Bill Triggs 在 2005 年提出[3]，最初被应用于行 - 127 http://www.ivypub.org/cst

人检测，并取得了良好的效果，后来被广泛应用于计算机视觉和图像处理领域，用于目标检测的特征描述 器。 基于 HOG 特征目标检测的原理是：使用基于对局部扫描处理的方法，检测图像区域或窗口内部的多个 位置和尺度，在每个位置运行一个对象或非对象分类器。具体的方法是：首先将图像分成小的连通区域， 我们把它叫细胞单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组 合起来就可以构成特征描述器。为了提高性能，我们还可以把这些局部直方图在图像的更大的范围内（我 们把它叫区间或 block）进行对比度归一化[4]。 HOG 特征描述有很多优点，第一，HOG 描述符对图像几何的（geometric）和光学的（photometric）形 变都能保持很好的不变性；第二，HOG 描述符对于图像光线和颜色具有明显变化的图像有较好的适应性和 良好的鲁棒性；第三，HOG 特征在密集网格内均匀间隔的单位元上进行计算，并且使用重叠的局部归一化 的描述符来改进性能。

2

瞳孔定位

2.1 利用 HOG 特征对瞳孔进行初次粗定位 基于 HOG 特征的瞳孔粗定位使用的分类器是线性 SVM（支持向量机）。尽管线性 SVM 是一种简单的 方法，但是在对比测试中，线性 SVM 具有三个明显的优势：一，在训练过程中可以反复地、可靠地收敛； 二，可以快速处理大量数据集；三，对于不同的参数和特征及具有良好的鲁棒性。 基于 HOG 特征的瞳孔检测可以分为学习和检测两个步骤。其具体的步骤如图 1 所示。 学习阶段

检测阶段

创建训练样本数据集（正样本和负样本）

输入检测图像进行扫描

对训练样本进行特征编码

分类器对窗口进行分类

训练分类器

对检测结果进行融合

形成分类器决策

产生结果

图1

经过 HOG 特征检测后瞳孔粗定位结果如图 2 所示：

图2

2.2 瞳孔二次定位 2.2.1 提取感兴趣区域（ROI） - 128 http://www.ivypub.org/cst

经过 HOG 特征对瞳孔进行粗定位后我们发现，瞳孔几乎都被检测出来。为了提高瞳孔检测效率和减少 干扰元素，我们要把感兴趣的区域，即方框单独提取出来，以便后续单独处理此区域。提取结果如图 3 所 示。从结果中我们可以看出，眉毛和相机拍摄所造成的黑斑被成功排除。

图3

2.2.2 二值化图像 通过上述步骤结果，可以观察到，ROI 中心落在瞳孔所在的区域内，设该点为 PCenter，取该点像素所 在的灰度值 GVALUE。首先对 ROI 作基本的形态学腐蚀操作，补齐瞳孔边缘，然后对 ROI 作二值化操作。 在本实验中，取阈值 threshold=GVALUE*1.5，对 ROI 进行二值化，操作如公式 1： (

)

(

(

)

)

(

(

)

)

{

(1)

二值化后，结果如图 4 所示：

图4

2.2.3 瞳孔二次定位 在图像上寻找圆一般的方法是利用霍夫圆变换，但霍夫圆变换的最大缺点是计算量太大[5]，故本文根据 不在同一条直线上的三点可以确定一个圆的位置和大小，其原理图如图 5 所示：

图5

在图 5 中圆 上选取 A、B、C 三点，分别构成互不重合（不平行）的弦 AB 和 AC。根据圆的几何性质， AB 的中垂线 与 AC 的中垂线 相交于圆心 O。 设 A、B、C 三点的坐标分别为（ ， ）（ ， ）（ ， ）则 和 的方程分别为： - 129 http://www.ivypub.org/cst

其中

y＝ x+ =

其中

x+

(

)

(

)

。

(2)

。

(3)

求出两条直线的交点坐标，就是圆心 O 的坐标，记为（a,b）其中： a=

,b=

(4)

而圆心 O 与圆周上的任意点（以点 A 为例）之间的距离就等于圆的半径 R，即： R＝√(

)

(

)

(5)

所以，比较正确的选圆上的三点是关键。由于瞳孔上边界易受眼睫毛的影响，所以本文选取的三个点 的方向分别为 PCenter 点的左下 45 度，右下 45 度和正下方。以 PCenter 为中心沿着三个方向依次蔓延，分 别找到相邻两像素的最大梯度点 PLeft，PRight，PDown，此三点落在瞳孔边界上。 至此，我们可以比较精确地得到瞳孔的中心 O 和半径 R 的值。实验结果图 6 所示:

图6

从实验结果来看，我们已经对瞳孔进行了定位，并且该实验结果对于眼睫毛噪声和瞳孔部分遮挡噪声 具有较好的适应性和鲁棒性，在对瞳孔定位精度要求不高的情况下，可以满足要求，但是如图 6 第二张图片 所示，瞳孔并没有被覆盖完全，这是因为瞳孔并不是严格的圆形，在有些病变的情况下，瞳孔可以出现不 规则的形状，因此，我们需要对瞳孔进行更加精确地定位。

2.3 瞳孔精确定位 通过观察上一步实验结果，我们发现，瞳孔下边界拟合的是比较精确地，因此，我们可以利用寻找 PDOWN 的方法来寻找其他的椭圆边界点。 由于我们已经得到比较精确地得到瞳孔的中心 O 和半径 R 的值，所以我们可以进一步缩小处理范围， 本实验设置的范围为以点（O.x-1.2R,O.x-1.2R）为起点，高度为 2.2R，宽度为 2.2R。在寻找边界点的过程 中，对得到的准边界点 PToBe 可以根据 PToBe 到 O 的距离进一步验证，以保证边界点的正确性。最后将得 到的边界点依次连接起来。 另外，在眼睫毛特别浓密的情况下，其像素特征和瞳孔特征极为相似，这样，得到的瞳孔边界会有较 大缺口，如图 7 所示，在此情况下，我们维持 3.2 的实验结果。

图7 - 130 http://www.ivypub.org/cst

3

实验结果

图8

本文以 CASIA-V4 为实验对象，在 Microsoft Visual Studio 2012 的环境下，设计实现了人眼瞳孔定位系 统，部分实验结果如图 8 所示。实验证明本文提出方法的有效性，第一，本方法对图像的质量要求不太高， 适用于普通的眼睛图像，如由于图像采集设备而造成的图像边缘黑斑，光照情况下瞳孔内出现 “白点” 等，利用本文方法不会影响实验结果；第二，由于采用了多种约束条件，能够对异常瞳孔边界点进行剔除 与矫正，保证边界点的正确性，使得在大部分的情况下，不规则的瞳孔边界也能被良好的检测出来；第 三，在少数瞳孔边界检测异常的情况下，本文还提出了根据圆的几何特征检测瞳孔的另一种方法，以备使 用。结合这两种算法，可以适应多种情况，可以对人眼倾斜，图像噪声以及少量眼皮遮挡具有较好的鲁棒 性，具有较高的定位精度和准确率。然而，如何在眼睫毛浓密的情况下，仍能较好的拟合不规则的瞳孔边 界，是本文未解决的问题，也是下一步研究的重点。

REFERENCES [1]

A designing method of the human eye image of the pupil center location, Pei Zhongcheng, Ma Haoran, Zhou Ji

[2]

The clinical care of the correlation between pupillary changes and disease, Zhang Hulian, Guo Jianxun, Wang Shuangzhen; General Care, April 2014 Volume 12, Total No. 321

[3]

Dalal N,Triggs B. Histograms of oriented gradients for human detection[C] //Proceedings of Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press,2005,1:886-893

[4]

Gesture recognition based on HOG feature and SVM, Ren Yu, Guchengcheng, School of Computer Science, University of Electronic Science and Technology of Hangzhou, Hangzhou 310018

[5]

Gary Bradski&Adrian Kaebler. Learning OpenCV September 2008. ISBN: 978-0-596-51613-0

[6]

A study on the quick location of the pupil center, Wang Changyuan, Zhangjin, Li Jingjing

[7]

Gary R. Bradski, AdrianKaehler. Learning OpenCV, first ed., O’Reilly Media, United States, 2008

【作者简介】 1

卢永峰（1980-）男，汉族，甘肃酒

2

屈志毅，男，汉族，教授，硕士生

泉人，现就读于兰州大学信息科学与

导师。现任信息学院计算机应用技术

工程学院计算机应用技术专业。Email:

研究所所长。主要研究方向为模式识

1401435385@qq.com

别、网络与多媒体信息处理、软件工 程、不良信息检测等。 Email: quzy@lzu.edu.cn

3

赵勇（1987-）男，汉族河北省邢台

市人。 研究生在兰州大学信息科学与 工程学院学习，主修计算机应用技术。

- 131 http://www.ivypub.org/cst