(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210726497.X (22)申请日 2022.06.24 (71)申请人 厦门美图之家科技有限公司 地址 361000 福建省厦门市 火炬高新区软 件园华讯楼C区B1F- 089 (72)发明人 李江　曲晓超　刘洛麒　刘利朋　 (74)专利代理 机构 厦门仕诚联合知识产权代理 事务所(普通 合伙) 35227 专利代理师 陈蓓蓓 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/08(2006.01) G06T 7/50(2017.01) (54)发明名称 一种基于半监督的3D骨架估计方法、 装置以 及设备 (57)摘要 本发明公开了一种基于半监督的3D骨架估 计方法、 装置、 设备及存储介质， 其包括： 获取待 处理图像， 所述待处理图像中包括人体骨架或手 部骨架； 将所述待处理图像输入骨架估计模型 中， 得到与所述人体骨架或所述手部骨架对应的 目标三维骨架坐标， 其中， 所述骨架估计模型包 括通过对训练图像数据进行特征提取， 将得到的 骨架点uvd坐标、 骨架点空间坐标以及隐变量相 机映射图像参数与预设的损失函数进行训练神 经网络得到的， 所述骨架点uvd坐标包括骨架点 的图像坐标以及骨架点的图像坐标对应的深度 值。 能够满足用户使用需求的同时， 极大的节省 了采集和标注3D骨架数据的成本 。 权利要求书2页 说明书7页 附图2页 CN 115170730 A 2022.10.11 CN 115170730 A 1.一种基于半监 督的3D骨架估计方法， 其特 征在于， 所述方法包括： 获取待处 理图像， 所述待处 理图像中包括人体骨架或手部骨架； 将所述待处理图像输入骨架估计模型中， 得到与 所述人体骨架或所述手部骨架对应的 目标三维骨架坐标， 其中， 所述骨架估计模型包括通过对训练图像数据进 行特征提取， 将得 到的骨架点uv d坐标、 骨架点空间坐标以及隐变量相机映射图像参数与预设的损失函数进 行训练神经网络得到的， 所述骨架点uv d坐标包括骨架点的图像坐标以及骨架点的图像坐 标对应的深度值。 2.根据权利要求1所述的一种基于半监督的3D骨架估计方法， 其特征在于， 所述骨架估 计模型包括通过对训练图像数据进 行特征提取， 将得到的骨架 点uvd坐标、 骨架 点空间坐标 以及隐变量相机映射图像参数与预设的损失函数进行训练神经网络得到的， 包括： 根据所述预设的损失函数计算所述骨架点uvd坐标、 所述骨架点空间坐标以及所述隐 变量相机映射图像参数与预设的标签数据的各个损失值， 并将得到的所有损失值进行加权 求和反向传播训练所述骨架估计模型。 3.根据权利要求2所述的一种基于半监督的3D骨架估计方法， 其特征在于， 所述标签数 据包括三 维标签数据； 所述根据所述预设的损失函数计算所述骨架 点uvd坐标、 所述骨架 点 空间坐标以及所述隐变量相机映射图像参数与预设的标签数据的各个损失值， 包括： 根据所述预设的损失函数， 计算所述骨架点空间坐标与 所述三维标签数据之间的第 一 损失值。 4.根据权利要求2所述的一种基于半监督的3D骨架估计方法， 其特征在于， 所述标签数 据包括二 维标签数据； 所述根据所述预设的损失函数计算所述骨架 点uvd坐标、 所述骨架 点 空间坐标以及所述隐变量相机映射图像参数与预设的标签数据的各个损失值， 包括： 根据所述预设的损失函数， 计算所述骨架点uvd坐标与所述二维标签数据的第二损失 值。 5.根据权利要求2所述的一种基于半监督的3D骨架估计方法， 其特征在于， 所述标签数 据包括二 维标签数据； 所述根据所述骨架 点uvd坐标、 所述骨架 点空间坐标以及所述隐变量 相机映射图像参数与预设的标签数据进行损失函数的计算， 包括： 利用所述隐变量相机映射图像参数对所述骨架点空间坐标进行弱 透视变换， 得到图像 空间坐标； 根据所述预设的损失函数， 计算所述图像空间坐标与 所述二维标签数据的第 三损失函 数。 6.根据权利要求5所述的一种基于半监督的3D骨架估计方法， 其特征在于， 所述标签数 据包括二 维标签数据； 所述根据所述预设的损失函数计算所述骨架 点uvd坐标、 所述骨架 点 空间坐标以及所述隐变量相机映射图像参数与预设的标签数据的各个损失值， 包括： 根据所述预设的损失函数， 计算所述图像空间坐标与所述骨架点uvd坐标的第 四损失 值。 7.根据权利要求2所述的一种基于半监督的3D骨架估计方法， 其特征在于， 所述根据 所 述预设的损失函数计算所述骨架点uv d坐标、 所述骨架点空间坐标以及所述隐变量相机映 射图像参数与预设的标签数据的各个损失值， 包括： 根据所述骨架点空间坐标计算骨架父子关节角度后与 预设角度进行比较， 若大于所述权　利　要　求　书 1/2 页 2 CN 115170730 A 2预设角度， 则将所述骨架父子关节角度作为第五损失值。 8.一种基于半监 督的3D骨架估计装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取待处 理图像， 所述待处 理图像中包括人体骨架或手部骨架； 处理单元， 用于将所述待处理图像输入骨架估计模型中， 得到与所述人体骨架或所述 手部骨架对应的目标三维骨架坐标， 其中， 所述骨架估计模型包括通过对训练图像数据进 行特征提取， 将得到的骨架 点uvd坐标、 骨架 点空间坐标以及隐变量相机映射图像参数与预 设的损失函数进行训练神经网络得到的， 所述骨架点uv d坐标包括骨架点的图像坐标以及 骨架点的图像坐标对应的深度值。 9.一种设备， 其特征在于， 包括处理器、 存储器以及存储在所述存储器内的计算机程 序， 所述计算机程序被所述处理器执行以实现如权利要求 1至7任意一项 所述的一种基于半 监督的3D骨架估计方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行以实现如权利要求 1至7任意一项 所述的一种基于 半监 督的3D骨架估计方法的步骤。权　利　要　求　书 2/2 页 3 CN 115170730 A 3