(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211344074.8 (22)申请日 2022.10.31 (71)申请人 北京石油化工学院 地址 100000 北京市大兴区清源北路19号 (72)发明人 曹莹瑜　康克　黄军芬　薛龙　 陆闯　高宗治　胡帅　 (74)专利代理 机构 北京东方汇众知识产权代理 事务所(普通 合伙) 11296 专利代理师 王庆彬 (51)Int.Cl. G06T 7/73(2017.01) G16H 20/30(2018.01) G06T 7/593(2017.01) G06V 40/16(2022.01) (54)发明名称 一种头部动态定位跟踪方法及系统 (57)摘要 本发明公开了一种头部动态定位跟踪方法 及系统， 该方法通过第一至第三深度相机分别获 取患者头部定位标记区域、 跟踪标记区域以及人 脸区域的RGB图像和深度图像， 并基于上述图像 分别建立定位坐标系、 第一跟踪坐标系和第二跟 踪坐标系， 将定位坐标系和第一深度相机坐标系 与机器人坐标系之间的变换关系相乘获得机器 人目标点位， 并控制机器人移动到该目标点位， 通过实时更新的第一跟踪坐标系和第二跟踪坐 标系以及定位坐标系分别与第一跟踪坐标系、 第 二跟踪坐标系之间的相对位置关系对目标点位 进行修正， 实现实时跟踪， 该方法治疗效率高且 成本低。 权利要求书4页 说明书13页 附图7页 CN 115471559 A 2022.12.13 CN 115471559 A 1.一种头 部动态定位跟踪方法， 应用于 机器人辅助治疗， 其特 征在于， 包括： 通过第一深度相机、 第 二深度相机和第 三深度相机分别获取患 者头部定位标记区域的 RGB图像和深度图像、 患者头部跟踪标记区域的RGB图像和深度图像以及患者人脸区域的 RGB图像和深度图像； 基于深度学习的人脸识别算法对患 者人脸区域的RGB图像进行处理得到患 者二维人脸 特征信息， 并结合患者人脸区域的深度图像将所述患者二维人脸特征信息转换为患者三 维 人脸特征信息； 如果在治疗信息库中匹配到所述患者三维人脸特征信息， 则确认患者为非首次治疗， 并根据所述患者三维人脸特征信息从所述治疗信息库中获取患者身份信息和历史治疗的 定位坐标系的信息； 如果在所述治疗信 息库中未匹配到所述患 者三维人脸特征信 息， 则确认所述患 者为首 次治疗， 并根据患者头部定位标记区域的RGB图像和深度图像 建立首次治疗的定位坐标系， 并将首次治疗的定位 坐标系的信息保存至所述治疗信息库中； 依据第一深度相机坐标系与机器人坐标系的变换关系以及当前定位坐标系的信息计 算得到机器人目标治疗点位信息， 其中， 当前定位坐标系的信息为历史治疗的定位坐标系 的信息或者首次治疗的定位 坐标系的信息； 分别基于患者头部跟踪标记区域的RGB图像和 深度图像、 患者人脸区域的RGB图像和 深 度图像建立第一跟踪坐标系、 第二跟踪坐标系， 并获取当前定位坐标系与所述第一跟踪坐 标系、 所述第二跟踪坐标系之间的相对位置关系； 根据所述第二深度相机、 所述第三深度相机实时获取的患者头部定位标记区域的RGB 图像和深度图像、 患者人脸区域的RGB图像和深度图像分别对所述第一跟踪坐标系、 所述第 二跟踪坐标系进行更新， 并基于更新后的所述第一跟踪坐标系、 所述第二跟踪坐标系 结合 所述当前定位坐标系与所述第一跟踪坐标系、 所述第二跟踪坐标系之 间的相对位置 关系对 当前定位 坐标系进行修 正， 进而得到修 正后的所述机器人目标治疗点 位信息。 2.根据权利要求1所述的头部动态定位跟踪方法， 其特征在于， 所述当前定位坐标系与 所述第一跟踪坐标系 、 所述第二跟踪坐标系之间的相对位置关系的获取步骤 包括： 所述第一深度相机、 所述第 二深度相机以及所述第 三深度相机与机器人之间分别通过 眼在手外的基于最小二乘法的手眼标定算法获得所述第一深度相机坐标系与所述机器人 坐标系之间的变换关系T11， 所述第二深度相机坐标系与所述机器人坐标系之间的变换关 系T12以及所述第三深度相机坐标系与所述机器人坐标系之间的变换关系T13； 通过对所述第一深度相机坐标系与所述机器人坐标系之间的变换关系T11， 所述第二 深度相机坐标系 与所述机器人坐标系之 间的变换关系T12以及所述第三深度相机坐标系与 所述机器人坐标系之 间的变换关系T13进 行变换计算得到所述第一深度相机坐标系与所述 第二深度相 机坐标系之间的变换关系T21， 所述第二深度相 机坐标系与所述第三深度相 机 坐标系之 间的变换关系T22以及所述第一深度相机坐标系与所述第三深度相机坐标系之间 的变换关系T23； 通过对所述第一深度相机坐标系与所述第二深度相机坐标系之间的变换关系T21， 所 述第二深度相机坐标系与所述第三深度相机坐标系之间的变换关系T22以及所述第一深度 相机坐标系与所述第三深度相机坐标系之间的变换关系T23进 行变换计算得到所述当前定权　利　要　求　书 1/4 页 2 CN 115471559 A 2位坐标系与所述第一跟踪坐标系之 间的相对位置关系T31以及所述当前定位坐标系与所述 第二跟踪坐标系之间的相对位置关系T32。 3.根据权利要求2所述的头部动态定位跟踪方法， 其特征在于， 对当前定位坐标系的修 正包括位置修正， 所述机器人目标治疗点 位信息包括治疗点 位置信息； 基于更新后的所述第 一跟踪坐标系、 所述第 二跟踪坐标系结合所述当前定位坐标系与 所述第一跟踪坐标系、 所述第二跟踪坐标系之 间的相对位置关系对所述当前定位坐标系进 行位置修 正的具体步骤 包括： 根据更新后的所述第一跟踪坐标系及所述当前定位坐标系与所述第一跟踪坐标系之 间的相对位置关系T31得到第一组定位标记运动轨迹上 的点， 同时根据更新后的所述第二 跟踪坐标系及所述当前定位坐标系 与所述第二跟踪坐标系之间的相对位置 关系T32得到第 二组定位标记运动轨 迹上的点； 使用基于最小二乘法原理的多项式回归模型对所述第一组定位标记运动轨迹上的点 和第二组定位标记运动轨迹上的点进 行拟合得到一条定位标记运动轨迹， 将拟合的一条定 位标记运动轨 迹的轨迹终点作为 修正后的机器人目标治疗点 位置信息 。 4.根据权利要求3所述的头部动态定位跟踪方法， 其特征在于， 对当前定位坐标系的修 正包括姿态修 正， 所述机器人目标治疗点 位信息包括治疗点姿态信息； 基于更新后的所述第 一跟踪坐标系、 所述第 二跟踪坐标系结合所述当前定位坐标系与 所述第一跟踪坐标系、 所述第二跟踪坐标系之 间的相对位置关系对所述当前定位坐标系进 行姿态修 正的具体步骤 包括： 根据更新后的所述第一跟踪坐标系及所述当前定位坐标系与所述第一跟踪坐标系之 间的相对位置关系T31得到的第一目标点位姿态， 并根据更新后的所述第二跟踪坐标系及 所述当前定位坐标系与所述第二跟踪坐标系之 间的相对位置关系T32得到的第二目标点位 姿态； 将所述第一目标点位姿态和所述第二目标点位姿态的算术平均值作为修正后的机器 人目标治疗点姿态信息 。 5.根据权利要求4所述的头部动态定位跟踪方法， 其特征在于， 根据患 者头部定位标记 区域的RGB图像和深度图像建立首次治疗的定位 坐标系的具体步骤 包括： 利用检测标记模型从患者头部定位标记区域的RGB图像中获取定位标记 的4个有序角 点的像素坐标， 并由4个有序角点的像素坐标确定定位标记中心点的像素坐标， 其中， 所述 定位标记为A rUco码； 基于定位标记 的4个有序角点的像素坐标、 定位标记中心点的像素坐标以及患者头部 定位标记区域的深度图像得到定位标记的4个有序角点的世界坐标以及定位标记中心点的 世界坐标； 依据坐标系变换矩阵公式、 定位标记的4个有序角点的世界坐标以及定位中心点的世 界坐标建立首次治疗的定位 坐标系。 6.根据权利要求5所述的头部动态定位跟踪方法， 其特征在于， 基于患 者头部跟踪标记 区域的RGB图像和深度图像建立第一跟踪坐标系的具体步骤 包括： 利用所述检测标记模型从患者头部跟踪标记区域的RGB图像中获取至少3个跟踪标记 的中心点的像素坐标， 其中， 所述跟踪标记为A rUco码；权　利　要　求　书 2/4 页 3 CN 115471559 A 3