(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211294103.4 (22)申请日 2022.10.21 (71)申请人 新华智云科技有限公司 地址 310012 浙江省杭州市西湖区文一西 路460号文娱中心43 0室 (72)发明人 王灿进　 (74)专利代理 机构 杭州裕阳联合专利代理有限 公司 33289 专利代理师 杨琪宇 (51)Int.Cl. G06T 13/40(2011.01) G06T 17/00(2006.01) G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 20/64(2022.01)G06V 40/20(2022.01) G06T 7/73(2017.01) (54)发明名称 一种虚拟人驱动方法及系统 (57)摘要 本申请公开了一种虚拟人驱动方法及系统， 涉及计算机视觉技术领域， 包括以下步骤： 获取 当前视频帧中目标人物的三维人脸关键点， 并根 据三维人脸关键点计算目标人物的头部旋转角 和其对应的虚拟人的重定向表情系数； 对当前视 频帧进行人体区域位置提取， 并根据提取出的人 体区域位置进行三维姿态检测以得到目标人物 各个关节 点的三维坐标； 对每个三维坐标进行滤 波， 并基于滤波后的三维坐标、 头部旋转角和重 定向表情系数对虚拟人进行混合驱动。 本申请不 仅实现了基于视觉的高精度脸部表情捕捉和重 定向， 还通过基于区域跟踪的二阶段肢体动作 捕 捉方法， 解决了动捕系统的抖动及不合理的关节 旋转的问题。 权利要求书2页 说明书7页 附图1页 CN 115546365 A 2022.12.30 CN 115546365 A 1.一种虚拟人驱动方法， 其特 征在于， 包括以下步骤： 获取当前视频帧中目标人物的三维人脸关键点， 并根据 所述三维人脸关键点计算所述 目标人物的头 部旋转角和其对应的虚拟人的重 定向表情系数； 对所述当前视频帧进行人体区域位置提取， 并根据提取出的人体区域位置进行三维姿 态检测以得到所述目标 人物各个关节点的三维坐标； 对每个所述三维坐标进行滤波， 并基于滤波后的三维坐标、 所述头部旋转角和所述重 定向表情系数对所述虚拟人进行混合驱动。 2.根据权利要求1所述的一种虚拟人驱动方法， 其特征在于， 所述获取当前视频帧中目 标人物的三 维人脸关键点， 并根据所述三维人脸关键点计算所述目标人物的头部旋转角和 其对应的虚拟人的重 定向表情系数， 包括： 获取当前视频帧中目标人物的正脸图像， 并将所述正脸图像输入预先建立的人脸三维 模型中进行三维人脸关键点预测； 基于预测的三维人脸关键点、 所述人脸三维模型和标定的相机参数计算所述目标人物 头部的旋转向量， 并根据所述旋转向量计算 其头部旋转角； 定义所述目标人物的基表情， 并根据 所述三维人脸关键点和所述基表情计算所述目标 人物对应的虚拟人的重 定向表情系数。 3.根据权利要求2所述的一种虚拟人驱动方法， 其特征在于， 所述获取当前视频帧中目 标人物的正 脸图像， 包括： 训练人脸检测模型， 利用所述人脸检测模型提取出当前视频帧中目标人物的二维人脸 关键点， 并基于所述 二维人脸关键点将所述目标 人物的脸部进行对齐以得到其 正脸图像。 4.根据权利要求1所述的一种虚拟人驱动方法， 其特征在于， 所述对所述当前视频帧进 行人体区域位置提取， 并根据提取出的人体区域位置进行三 维姿态检测以得到所述目标人 物各个关节点的三维坐标， 包括： 将所述当前视频帧输入预先训练的人体区域检测网络 中进行人体区域位置提取， 若输 出不为空， 则根据输出 的人体区域位置预测下一视频帧的人体区域位置， 并从所述当前视 频帧中裁 剪出人体区域图像； 将所述人体区域图像输入二阶段姿态网络中进行三维姿态检测， 得到所述目标人物各 个关节点的三维坐标， 所述 二阶段姿态网络包 含二维姿态检测网络和三维姿态提升网络 。 5.根据权利要求4所述的一种虚拟人驱动方法， 其特征在于， 所述二维姿态检测网络为 编码器‑解码器结构， 用于预测人体二维关键点热图和每 个人体关键点的偏移量； 所述三维姿态提升网络为多个残差模块的堆叠结构， 用于将所述二维姿态检测网络输 出的二维姿态提升为 三维姿态。 6.根据权利要求1所述的一种虚拟人驱动方法， 其特征在于， 所述对每个所述三维坐标 进行滤波， 包括： 根据式(1)对每 个所述三维坐标进行 滤波： 权　利　要　求　书 1/2 页 2 CN 115546365 A 2其中， 是滤波前t时刻第i个关节点的三维坐标， 是滤波后t时刻第i个关节点的 三维坐标， α 是自适应平 滑因子， Te是采样周期， τ 是截止频率时间常数。 7.根据权利要求1所述的一种虚拟人驱动方法， 其特征在于， 所述基于滤波后的三维坐 标、 所述头 部旋转角和所述重 定向表情系数对所述虚拟人进行混合驱动， 包括： 将所述头部旋转角和所述重定向表情系数输入渲染引擎中以对所述虚拟人的头部和 脸部进行与所述目标 人物相同的姿态旋转和表情映射； 预先建立所述虚拟人关节点与人体姿态模型间的对应关系和以虚拟人的髋关节为原 点的坐标系， 并计算初始姿态下 所述虚拟人每 个关节点的三维坐标； 根据每个关节点滤波后的三维坐标和初始姿态下的三维坐标计算其第 一偏移量， 并根 据所述第一偏移量对相应的关节点进行驱动。 8.根据权利要求1所述的一种虚拟人驱动方法， 其特 征在于， 所述方法还 包括： 将虚拟人的脚底纵坐标设为0， 根据 所述虚拟人的脚部位置和小腿、 大腿的旋转关系以 及长度， 逆向求出 所述髋关节的理论 三维坐标； 计算所述髋 关节的理论三维坐标与实际三维坐标的差值得到髋关节的第 二偏移量， 根 据所述第二偏移量对所述虚拟人进行驱动。 9.一种虚拟人驱动系统， 其特 征在于， 包括： 计算模块， 用于获取当前视频帧中目标人物的三维人脸关键点， 并根据所述三维人脸 关键点计算所述目标 人物的头 部旋转角和其对应的虚拟人的重 定向表情系数； 检测模块， 用于对所述当前视频帧进行人体区域位置提取， 并根据提取出的人体区域 位置进行三维姿态检测以得到所述目标 人物各个关节点的三维坐标； 渲染模块， 用于对每个所述三维坐标进行滤波， 并基于滤波后的三维坐标、 所述头部旋 转角和所述重 定向表情系数对所述虚拟人进行混合驱动。 10.一种存储有计算机程序的计算机可读存储介质， 其特征在于， 所述计算机程序使计 算机执行时实现如权利要求1～8中任一项所述的一种虚拟人驱动方法。权　利　要　求　书 2/2 页 3 CN 115546365 A 3