(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211382954.4 (22)申请日 2022.11.07 (71)申请人 广州图语信息科技有限公司 地址 510000 广东省广州市天河区黄埔大 道中660号之一1317室 （不可作厂房） （仅限办公） (72)发明人 黄晋　柯志麟　姚王泮　 (74)专利代理 机构 广东启源律师事务所 4 4742 专利代理师 杨俊达 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/18(2022.01) G06T 7/70(2017.01) (54)发明名称 一种瞳孔追 踪方法及装置 (57)摘要 本发明公开了一种瞳孔追踪 方法及装置， 方 法包括以下步骤： 输入图像后， 获取当前帧的图 像， 当前帧的图像包括彩色图像和深度图像； 判 断上一帧的彩色图像中是否存在人脸， 如果是， 则根据上一帧的瞳孔预测位置确定当前帧的人 脸区域， 然后执行下一步； 如果上一帧的彩色图 像中没有人脸， 或者没有上一帧的图像， 则在当 前帧的彩色图像中检测人脸区域， 如果检测到人 脸区域则执行下一步； 获得当前帧的人脸区域 后， 在人脸区域内进行瞳孔定位， 获取当前帧的 瞳孔位置， 并将当前帧的瞳孔位置存入瞳孔位置 数据集合中； 使用瞳孔位置预测方程进行瞳孔位 置的预测， 并输出瞳孔预测结果。 本发明实现了 瞳孔定位追 踪的高精度、 高帧率及低延时。 权利要求书3页 说明书7页 附图1页 CN 115546876 A 2022.12.30 CN 115546876 A 1.一种瞳孔追踪方法， 其特 征在于， 包括以下步骤： 输入图像后， S1、 获取当前帧的图像， 当前帧的图像包括彩色图像和深度图像； S2、 判断上一帧的彩色图像 中是否存在人脸， 如果是， 则根据最新的瞳孔预测位置确定 当前帧的彩色图像的人脸区域， 然后执行下一步； 如果上一帧的彩色图像中没有 人脸， 或者 没有上一帧的图像， 则在当前帧的彩色图像中检测人脸区域， 如果检测到人脸区域则执行 下一步； S3、 获得当前帧的人脸区域后， 在人脸区域内进行瞳孔定位， 获取当前帧的瞳孔位置， 并将当前帧的瞳孔 位置存入瞳孔位置数据集 合中； S4、 使用瞳孔 位置预测方程进行瞳孔 位置的预测， 并输出瞳孔预测结果。 2.根据权利要求1所述的瞳孔追踪方法， 其特征在于： 所述步骤S2中， 如果在当前帧的 彩色图像中没有检测到人脸区域， 则结束对当前帧的处理， 并获取下一帧的图像， 然后返回 步骤S1， 对下一帧进行处 理。 3.根据权利要求1所述的瞳孔追踪方法， 其特征在于： 所述步骤S3中， 通过瞳孔定位获 得彩色图像中的左眼坐标和右眼坐标后， 将左眼坐标(xl,yl,zl)和右眼坐标(xr,yr,zr)转换 为 作为当前帧的瞳孔位置p， 并保存至瞳孔位置数据 集合中， 其中， xm、 ym、 zm为双眼中点 坐标， θ、 r为xr‑xm、 yr‑ym、 zr‑zm的极坐标表示。 4.根据权利要求1所述的瞳孔追踪方法， 其特征在于： 所述步骤S4中， 瞳孔位置预测的 具体步骤如下： S401、 将当前时间代入瞳孔 位置预测方程中， 计算出瞳孔预测位置； S402、 将得到的瞳孔预测位置和当前帧的瞳孔位置进行比较， 如果瞳孔预测位置中左 眼和右眼之 间的距离和当前帧的瞳孔位置中右眼和右眼之 间的距离， 这两者的平均值小于 或等于设定阈值， 则用当前帧的瞳孔位置覆盖瞳孔位置数据集合中最早一帧的瞳孔位置； 如果瞳孔预测 位置中左眼和右眼之间的距离和当前帧的瞳孔位置中右眼和右眼之间的距 离， 这两者的平均值大于 设定阈值， 则认为当前帧和上一帧分别为不同使用者的脸的图像， 此时对瞳孔 位置数据集 合进行初始化； S403、 基于瞳孔位置数据集合， 对瞳孔位置预测方程进行更新， 然后使用更新后的瞳孔 位置预测方程进行瞳孔位置预测， 将当前时间代入更新后的瞳孔位置预测方程中进行计 算， 即得到瞳孔预测位置 。 5.根据权利要求1所述的瞳孔追踪方法， 其特征在于： 所述瞳孔位置预测方程为： q＝t2 ×A+t×B+C， 式中的q表示和时间t相对应的瞳孔预测位置， A、 B、 C为拟合系数， 所述步骤 S403中， 瞳孔 位置预测方程更新的步骤如下： 基于瞳孔位置数据集合， 求解方程组{(ti2×A+ti×B+C‑qi)×w|ti‑in|)＝0|1≤i≤n}， 确 定拟合系数A、 B、 C， 式中的ti为第ti帧图像的成像时间， qi为瞳孔位置数据集合S中和成像时 间ti相对应的瞳孔 位置， w为时间加权系数； 当n＝1时， 令A＝B＝0， 求 解方程组{(ti2×A+ti×B+C‑qi)×w|ti‑in|)＝0|， 解出C； 当n＝2时， 令A＝0， 求 解方程组{(ti2×A+ti×B+C‑qi)×w|ti‑in|)＝0|， 解出B、 C； 当n＞2时， 用最小二乘法求 解方程组{(ti2×A+ti×B+C‑qi)×w|ti‑in|)＝0|， 解出A、 B、 C； 瞳孔位置数据集合每更新一次， 即对瞳孔位置预测方程更新一次， 然后使用更新后的权　利　要　求　书 1/3 页 2 CN 115546876 A 2瞳孔位置预测方程进行瞳孔 位置预测。 6.根据权利要求1所述的瞳孔追踪方法， 其特征在于： 步骤S2中， 根据瞳孔预测位置确 定当前帧的人脸区域的方法如下： a、 用最新的瞳孔 位置预测方程计算当前帧的瞳孔预测位置； b、 将上一帧的瞳孔位置和当前帧的瞳孔预测位置投影到当前帧的彩色图像上， 获得上 一帧的2d瞳孔 位置到当前帧的2d瞳孔 位置的仿射变换关系； c、 根据获得的仿射变换关系， 将上一帧的人脸区域进行仿射变换， 得到当前帧的人脸 区域。 7.一种瞳孔追踪装置， 其特 征在于， 包括： 图像获取 单元， 用于获取当前帧的图像； 人脸区域获取 单元， 用于获取当前帧的人脸区域； 瞳孔定位单 元， 用于在人脸区域中进行瞳孔定位， 获取当前帧的瞳孔 位置； 瞳孔位置预测单 元， 用于使用瞳孔 位置预测方程对瞳孔 位置进行 预测。 8.根据权利要求7所述的瞳孔追踪装置， 其特征在于： 所述人脸 区域获取单元获取当前 帧的人脸区域的过程为： 判断上一帧的彩色图像中是否存在人脸， 如果是， 则根据最新的瞳 孔预测位置确定当前帧的彩色图像的人脸区域； 如果上一帧的彩色图像中没有人脸， 或者 没有上一帧的图像， 则在当前帧的彩色图像中检测人脸区域。 9.根据权利要求7所述的瞳孔追踪装置， 其特征在于： 所述瞳孔定位单元进行瞳孔定位 的过程为： 在人脸区域内进行瞳孔定位， 获得左眼坐标和右眼坐标后， 将左眼坐标(xl,yl, zl)和右眼坐标(xr,yr,zr)转换为 作为当前帧的瞳孔位置p， 并保存至瞳孔 位置数据集 合中。 10.根据权利要求7所述的瞳孔追踪装置， 其特征在于： 所述瞳孔位置预测单元预测瞳 孔位置的过程 为： 将当前时间代入瞳孔 位置预测方程中， 计算出瞳孔预测位置； 将得到的瞳孔预测位置和当前帧的瞳孔位置进行比较， 如果瞳孔预测位置 中左眼和 右 眼之间的距离和当前帧的瞳孔位置中右眼和右眼之 间的距离， 这两者的平均值小于或等于 设定阈值， 则用当前帧的瞳孔位置覆盖瞳孔位置数据集合中最早一帧的瞳孔位置； 如果瞳 孔预测位置中左眼和右眼之 间的距离和当前帧的瞳孔位置中右眼和右眼之 间的距离， 这两 者的平均值大于设定阈值， 则认为当前帧和上一帧分别为不同使用者的脸的图像， 此时对 瞳孔位置数据集 合进行初始化； 基于瞳孔位置数据集合， 对瞳孔位置预测方程进行更新， 将当前时间代入更新后的瞳 孔位置预测方程中进行计算， 得到瞳孔预测位置； 所述瞳孔位置预测方程为： q＝t2×A+t×B+C， 式中的q表示和时间t相对应的瞳孔预测 位置， A、 B、 C为拟合系数， 瞳孔 位置预测方程更新的步骤如下： 基于瞳孔位置数据集合， 求解方程组{(ti2×A+ti×B+C‑qi)×w|ti‑in|)＝0|1≤i≤n}， 确 定拟合系数A、 B、 C， 式中的ti为第ti帧图像的成像时间， qi为瞳孔位置数据集合S中和成像时 间ti相对应的瞳孔 位置， w为时间加权系数； 当n＝1时， 令A＝B＝0， 求 解方程组{(ti2×A+ti×B+C‑qi)×w|ti‑in|)＝0|， 解出C； 当n＝2时， 令A＝0， 求 解方程组{(ti2×A+ti×B+C‑qi)×w|ti‑in|)＝0|， 解出B、 C；权　利　要　求　书 2/3 页 3 CN 115546876 A 3