摄影具身智能:面向AMR的障碍物检测算法

发布时间:2022-06-06 打印[ ]

自主移动机器人(Autonomous Mobile Robots)是指具备自主决策和行动能力的机器人。机器人不但需要感知周围环境中所有的已知物体(例如人、车、自行车等常见物体),还需要感知类别无法被明确定义的物体(例如类别未知的车轮、砖头、木块等等)。然而,遗憾的是,这些类别无法被明确定义的物体常常在环境中以障碍物的形式出现,威胁了自主移动机器人的安全和高效运行。


bare_thesis(1).jpg


面向移动机器人的障碍物检测分为两个子任务:

1、障碍物感知前置内容——可行域分割技术:可行域分割是从周围场景中预测自主移动机器人的可行驶区域的一项视觉任务,其通常会作为轨迹规划、运动规划等决策算法的前置模块。

2、视觉障碍物感知技术:在早期机器人学的研究工作中,视觉障碍物检测被建模为从三维空间中划分地面与障碍物的二元分类问题。自2017 年开始,物体检测与语义分割成为了障碍物感知的主流的基础方案,学术界涌现出一系列基于检测或分割的障碍物感知算法。这类方法直接利用深度网络学习障碍物的特征与模式(Pattern),因此难以应对变化无穷的真实世界。为了让障碍物感知模型不仅找出其见过的物体,还具有发现陌生物体的能力,许多研究人员开始将不确定性建模(Uncertainty modeling)与语义分割模型和物体检测模型结合,实现对从未见过的物体和障碍物的感知。


实验室的工作:

1、障碍物感知前置内容——可行域分割技术。从机器人的视角看去,可以说,除了障碍物就是可行域。因此道路分割也可以被看作为是障碍物分割的互补任务。在研究了道路分割中的各种问题之后,我们发现了道路分割上的痛点问题,一是道路分割的泛化性问题,二是道路分割算法目前还无法做到高精度与快速的平衡。为此,在解决该问题的时候,我们发现不同数据模态之间的特征融合机制的效率低下,是导致速度慢,且精度低的源头。因此,我们直接删除了所有跨模态的特征融合机制,并采用证据理论,分别从不同模态上对每个像素是或不是道路像素的证据进行收集。并在每个模态预测的结果上做融合,每个像素独立判断,采用确定性更大的模态的结果。最终,不但在精确度上达到了SOTA的性能,而且速度远超同期SOTA的方法。并且,我们的方法输出的Uncertainty图还表达了可能存在障碍物的位置。

代码:https://github.com/morancyc/USNet

image.png


[1] Y. Chang, F. Xue, F. Sheng, W. Liang and A. Ming, “Fast Road Segmentation via Uncertainty-aware Symmetric Network”, in International Conference on Robotics and Automation (ICRA), 2022.

[2] Feng Xue, Yicong Chang, Wenzhuang Xu, Wenteng Liang, Fei Sheng, Anlong Ming*, Evidence-based Real-time Road Segmentation with RGB-D Data Augmentation, IEEE Transactions on Intelligent Transportation Systems (TITS), revision, 2023.  


2、视觉障碍物感知技术。我们构造了一个基于非深度学习的障碍物检测框架,分别从三个方面研究了小障碍物的检测问题。了解决小障碍物特征微弱而导致的小障碍物丢失问题,我们设计了障碍物感知的遮挡边缘特征,以尽可能捕捉极小的障碍物。为了解决障碍物在场景中尺度变化极大的问题,我们设计了多步长的滑动窗口,提升了物体推荐算法捕捉到障碍物的能力。为了解决非深度学习模型无法精确捕捉障碍物的问题,我们设计了通过检测进行分割的框架,通过数量众多的物体框,实现对障碍物的分割。此外,基于障碍物与不同物体的特性差异,我们设计了主次回归器,进一步提升定位障碍物的能力。

代码:

https://github.com/XuefengBUPT/Tiny-Obstacle-Discovery

https://github.com/XuefengBUPT/Tiny-Obstacle-Discovery-ROS


image.png


[2] F. Xue, A. Ming, M. Zhou and Y. Zhou, “A Novel Multilayer Framework for Tiny Obstacle Discovery”, in International Conference on Robotics and Automation (ICRA), 2019

[3] F. Xue, A. Ming and Y. Zhou, “Tiny Obstacle Discovery by Occlusion-Aware Multilayer Regression”, in IEEE Transactions on Image Processing (TIP), vol. 29, pp. 9373-9386, 2020