(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210715033.9 (22)申请日 2022.06.23 (71)申请人 安徽工业大学 地址 243002 安徽省马鞍山市湖东路59号 (72)发明人 李丹　赵凯　管玲　徐飞虎　 (74)专利代理 机构 安徽知问律师事务所 34134 专利代理师 平静 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01) (54)发明名称 一种基于语义分割网络的动态场景视觉 SLAM优化方法 (57)摘要 本发明公开了一种基于语义分割网络的动 态场景视觉SLAM优化方法。 该方法包括， 1： 通过 相机采集彩图和深度图； 2： 通过语义分割网络去 除先验动态物体的影响； 3： 通过轻量化追踪模块 估计当前帧位姿； 4： 通过改进的多视角几何算法 滤除非先验动态物体。 5： 多视角几何检测结果与 LR‑ASPP的检测结果进行相互验证， 得到完整的 动态区域， 过滤掉动态区域上的ORB特征点后进 入跟踪线程， 跟踪线程产生关键帧。 6： 根据关键 帧的相关数据构建动态场景下的八叉树地图。 本 发明充分利用了语义分割网络输出的语义信息 基础， 减少了区域生长算法的使用， 提高了系统 的运行速度， 并且根据关键帧构建可复用的八叉 树地图， 减小内存占用， 提高了地图查找效率。 权利要求书2页 说明书7页 附图5页 CN 114972656 A 2022.08.30 CN 114972656 A 1.一种基于语义分割网络的动态场景视 觉SLAM优化方法， 其特 征在于， 包括以下步骤： 步骤1： 通过相机获取图像数据图像帧， 包括RGB图像和深度图像； 步骤2： RGB图像通过语义分割网络去除图像中先验动态 物体的影响； 步骤3： 步骤2所 得图像通过 轻量化追踪模块估计当前帧位姿； 步骤4： 通过改进的多视角几何算法滤除步骤3所得图像 中非先验动态物体和先验动态 物体； 步骤5： 利用跟踪 线程产生关键帧； 步骤6： 根据关键帧的相关数据构建动态场景 下的八叉树 地图。 2.根据权利要求1所述的一种基于语义分割网络的动态场景视觉SLAM优化方法， 其特 征在于： 步骤1中通过 单目RGB‑D相机采集图像帧。 3.根据权利要求1或2所述的一种基于语义分割网络的动态场景视觉SLAM优化方法， 其 特征在于： 步骤2中通过LR ‑ASPP语义分割网络对图像进行处理， 该LR ‑ASPP语义分割网络以 轻量型卷积网络MobileNetV3为主干网络， RGB图像经过LR ‑ASPP语义分割网络处理， 获得像 素级的语义信息， 利用该语义信息， 剔除图像中先验动态 物体上的特 征点。 4.根据权利要求3所述的一种基于语义分割网络的动态场景视觉SLAM优化方法， 其特 征在于： 步骤3中， 剔除图像中先验动态物体上 的特征点后， 剩余特征点通过轻量化追踪模 块获得当前帧位姿。 5.根据权利要求4所述的一种基于语义分割网络的动态场景视觉SLAM优化方法， 其特 征在于： 轻量 化追踪模块只估计当前帧位姿， 不 参与后续建图。 6.根据权利要求5所述的一种基于语义分割网络的动态场景视觉SLAM优化方法， 其特 征在于： 步骤4中利用改进的多视角几何法滤除非先验动态 物体的具体方法为： 多视角几何对于每一个输入图像帧， 从距离当前最近的20个关键帧中选择与当前帧重 叠度最高的5个关键帧； 检测关键帧中动态点； 当动态点被检测出来后， 根据语义分割的结果， 获取动态点的标签， 将动态点分为两 类， 一类是拥有语义信息的动态点， 另一类是没有语义信息的动态点； 对拥有语义信 息的动态点进行语义轮廓搜索， 对没有语义信 息的动态点则在深度图中 进行区域 生长， 使能充分利用语义信息， 减少区域 生长种子点的数量； 最后结合没有语义的动态物体掩膜和拥 有语义信 息的动态物体掩膜， 获得完整的动态 物体掩膜。 7.根据权利要求6所述的一种基于语义分割网络的动态场景视觉SLAM优化方法， 其特 征在于： 步骤4中检测关键帧动态点的过程 为： 假设x是被挑选出的关键帧上的关键点， x ′是x投影到当前帧坐标系下的点， x对应的三 维点为X， 计算x， x ′， X之间角度α和投影深度lproj； 当角度α 大于某一阈值时， 判断该关键点 可能为动态点； 再通过深度图计算， 获得当前帧中x ′关键点的深度l ′， 并将其与lproj比较如 果差值Δl ＝lproj‑l′超过阈值 τz即认定其 为动态点。 8.根据权利要求7所述的一种基于语义分割网络的动态场景视觉SLAM优化方法， 其特 征在于： 所述的角度阈值和投影深度阈值， 取α ＝3 0°和 τz＝0.2m。 9.根据权利要求8所述的一种基于语义分割网络的动态场景视觉SLAM优化方法， 其特权　利　要　求　书 1/2 页 2 CN 114972656 A 2征在于： 步骤4中将多视角几何检测结果与LR ‑ASPP的检测结果进行相互验证， 得到完整的 动态区域， 过滤掉动态区域上的ORB特征点， 再经过特征点提取模块提取掩模之外的特征 点， 从而达 到剔除动态 物体的效果。 10.根据权利要求9所述的一种基于语义分割网络的动态场景视觉SLAM优化方法， 其特 征在于： 步骤6的具体过程 为： 设y∈R为 概率对数值， x为节点被占据的概 率， 那么x和y 之间的变换由l ogit变换描述： 存储y来表达节点是否被占据， 当不断观测到 “占据”时， 让y增加一个值， 否则就让y减 小一个值； 设某节点为n， 观测数据为z， 从开始到t时刻的某节点的概率对数值为L(n|z1： t‑1)， t+1 时刻为： L(n|z1： t+1)＝L(n|z1： t‑1)+L(n|zt) 当某个节点被反复观察到时， 其y值会不断增加， 当超过设定阈值时， 该节点就会被占 用， 并将在八叉树图中可视化。权　利　要　求　书 2/2 页 3 CN 114972656 A 3