(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210691813.4 (22)申请日 2022.06.17 (71)申请人 平安银行股份有限公司 地址 518000 广东省深圳市罗湖区深南 东 路5047号 (72)发明人 李骁　常鹏　赖众程　高洪喜　 聂文尚　冯晋飞　张莉　胡云飞　 邓兆卉　 (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 杜蕾 (51)Int.Cl. G06Q 40/02(2012.01) G06V 20/40(2022.01) G06V 40/16(2022.01) (54)发明名称 视频面签中用户风险评估方法、 装置、 设备 和存储介质 (57)摘要 本发明公开了一种视频面签中用户风险评 估方法、 装置、 设备和存储介质， 其方法包括： 对 每一帧人脸图像进行人脸检测， 得到每一帧人脸 图像中面部特征点； 根据每一帧人脸图像中面部 特征点的坐标， 确定得到每一帧人脸图像的面部 动作识别结果； 根据预设风险等级数据以及每一 帧人脸图像的面部动作识别结果， 确定得到每一 帧人脸图像对应的风险等级； 根据每一帧人脸图 像对应的风险等级， 得到用户风险评估结果； 通 过对面签视频中每一帧图像进行识别和风险等 级识别， 以对视频中客户行为进行自动监控， 减 少漏查错查的出现， 从而提高检测准确率； 并且 通过风险等级进行风险评估对个贷经营过程中 的风险把控进一步加强， 提升了远程坐席的服务 效率和质量。 权利要求书3页 说明书16页 附图4页 CN 115205012 A 2022.10.18 CN 115205012 A 1.一种视频面签中用户风险评估方法， 其特 征在于， 所述方法包括： 对视频图像中的每一帧人脸图像进行 人脸检测， 得到每一帧人脸图像中面部特 征点； 根据每一帧人脸图像中面部特征点的坐标， 确定得到每一帧人脸图像的面部动作识别 结果； 根据预设的风险等级数据以及每一帧人脸图像的面部动作识别结果， 确定得到每一帧 人脸图像对应的风险等级； 所述预设的风险等级 数据存储有多种面部动作 识别结果以及每 种所述面部动作识别结果对应的风险等级； 根据每一帧所述人脸图像对应的风险等级， 得到用户风险评估结果。 2.如权利要求1所述的视频面签中用户风险评估方法， 其特征在于， 所述根据每一帧人 脸图像中面部特 征点的坐标， 确定得到每一帧人脸图像中用户面部动作识别结果包括： 根据每一帧人脸图像中面部特征点的坐标进行面部检测， 得到每一帧所述人脸图像的 面部检测结果； 所述 面部检测结果表征每一帧所述人脸图像的面部是否缺失； 根据每一帧所述人脸图像中面部特征点的坐标进行眼部检测， 得到每一帧所述人脸图 像的眼部检测结果； 所述眼部检测结果表征每一帧所述人脸图像的双眼是否斜视； 根据每一帧所述人脸图像中面部特征点的坐标进行面部转向检测， 得到每一帧所述人 脸图像的面部转向检测结果； 所述面部转向检测结果表征每一帧所述人脸图像的面部是否 转向； 根据每一帧所述人脸图像的面部检测结果、 眼部检测结果和转向检测结果， 确定得到 每一帧人脸图像的面部动作识别结果。 3.如权利要求2所述的视频面签中用户风险评估方法， 其特征在于， 所述根据每一帧人 脸图像中面部特征点的坐标进行面部检测， 得到每一帧所述人脸图像的面部检测结果包 括： 针对每一帧所述人脸图像， 根据该帧人脸图像的图像尺寸分别对该帧人脸图像中面部 特征点的坐标进行坐标归一 化处理； 将该帧人脸图像中面部特 征点归一 化处理后的坐标与预设坐标值进行比较； 根据比较结果， 确定得到该帧人脸图像的面部检测结果。 4.如权利要求2所述的视频面签中用户风险评估方法， 其特征在于， 所述根据每一帧所 述人脸图像中面部特征点的坐标进行眼部检测， 得到每一帧所述人脸图像的眼部检测结果 包括： 针对每一帧所述人脸图像， 根据该帧人脸图像中面部特征点的坐标确定该帧人脸图像 中的眼部特 征点； 根据该帧人脸图像中的眼部特征点的坐标， 得到该帧人脸图像中的眼部特征点之间的 距离； 根据该帧人脸图像中的眼部特 征点之间的距离， 得到该帧人脸图像的眼部检测结果。 5.如权利要求2所述的视频面签中用户风险评估方法， 其特征在于， 所述根据每一帧所 述人脸图像中面部特征点的坐标进行面部转向检测， 得到每一帧所述人脸图像的转向检测 结果包括： 针对每一帧所述人脸图像， 根据该帧人脸图像中面部特征点的坐标确定该帧人脸图像 中的鼻梁部位特 征点、 颞部特 征点和颌部特 征点；权　利　要　求　书 1/3 页 2 CN 115205012 A 2根据该帧人脸图像中的鼻梁部位特征点、 颞部特征点和颌部特征点各自对应的坐标， 得到该帧人脸图像中的鼻梁部位特征点与所述颞部特征点之间的第一夹角， 以及所述鼻梁 部位特征点与所述颌部特 征点之间的第二夹角； 根据所述第一夹角和所述第二夹角， 确定得到所述该帧人脸图像的面部转向检测结 果。 6.如权利要求2所述的视频面签中用户风险评估方法， 其特征在于， 所述根据每一帧所 述人脸图像的面部检测结果、 眼部检测结果和 转向检测结果， 确定得到每一帧人脸图像中 的面部动作识别结果包括： 针对每一帧所述人脸图像， 将该帧人脸图像的面部检测结果、 眼部检测结果以及转向 检测结果， 分别与面部检测数据进行匹配， 得到面部动作 识别结果； 所述面部检测数据包括 多种面部识别结果以及每种面部动作识别结果对应的面部检测结果、 眼部检测结果以及转 向检测结果。 7.如权利要求2所述的视频面签中用户风险评估方法， 其特征在于， 所述根据每一帧所 述人脸图像的面部检测结果、 眼部检测结果和 转向检测结果， 确定得到每一帧人脸图像的 面部动作识别结果包括： 针对每一帧所述人脸图像， 若该帧人脸图像的面部检测结果为面部缺失， 则确定该帧 人脸图像的面部缺失区域， 并判断该帧人脸图像的面部缺失区域是否为眼部区域； 若该帧人脸图像的面部缺失区域为眼部区域， 则将眼部区域缺失设置为该帧人脸图像 中的面部动作识别结果； 若该帧人脸图像的面部缺失区域不是眼部区域， 则确定该帧人脸图像的眼部检测结果 是否为双眼斜视， 以及面部转向检测结果是否为 面部转向； 若眼部检测结果为双眼斜视和面部转向检测结果为面部转向， 则确定双眼斜视角度和 面部转向角度， 根据双眼斜视角度、 面部转向角度以及该帧人脸图像的面部缺 失区域， 得到 该帧人脸图像的面部动作识别结果； 若眼部检测结果为双眼斜视或面部转向检测结果为面部转向， 则确定双眼斜视角度或 面部转向角度， 根据双眼斜视角度和该帧人脸图像的面部缺失区域， 得到该帧人脸图像的 面部动作识别结果， 或者根据面部转向角度和该帧人脸图像的面部缺失区域， 得到该帧人 脸图像的面部动作识别结果。 8.如权利要求1所述的视频面签中用户风险评估方法， 其特征在于， 所述对视频图像中 的每一帧人脸图像进行 人脸检测， 得到每一帧人脸图像中面部特 征点包括： 对视频图像中的每一帧人脸图像进行 人脸检测； 若所述视频图像中存在检测不到面部的人脸图像， 则将预设评估结果设置为用户风险 评估结果， 并输出用户风险评估结果； 若所述视频图像中每一帧人脸图像都检测到面部， 则对每一帧所述人脸图像进行特征 点检测， 得到每一帧所述人脸图像中面部特 征点。 9.如权利要求1至8任一项所述的视频面签中用户风险评估方法， 其特征在于， 所述根 据每一帧人脸图像对应的风险等级， 得到用户风险评估结果包括： 对每一帧人脸图像对应的风险等级进行排序， 确定得到所述视频图像的最高风险等 级；权　利　要　求　书 2/3 页 3 CN 115205012 A 3