自主移动机器人（Autonomous Mobile Robots）是指具备自主决策和行动能力的机器人。机器人不但需要感知周围环境中所有的已知物体（例如人、车、自行车等常见物体），还需要感知类别无法被明确定义的物体（例如类别未知的车轮、砖头、木块等等）。然而，遗憾的是，这些类别无法被明确定义的物体常常在环境中以障碍物的形式出现，威胁了自主移动机器人的安全和高效运行。
面向移动机器人的障碍物检测分为两个子任务：
1、障碍物感知前置内容——可行域分割技术：可行域分割是从周围场景中预测自主移动机器人的可行驶区域的一项视觉任务，其通常会作为轨迹规划、运动规划等决策算法的前置模块。
2、视觉障碍物感知技术：在早期机器人学的研究工作中，视觉障碍物检测被建模为从三维空间中划分地面与障碍物的二元分类问题。自2017 年开始，物体检测与语义分割成为了障碍物感知的主流的基础方案，学术界涌现出一系列基于检测或分割的障碍物感知算法。这类方法直接利用深度网络学习障碍物的特征与模式（Pattern），因此难以应对变化无穷的真实世界。为了让障碍物感知模型不仅找出其见过的物体，还具有发现陌生物体的能力，许多研究人员开始将不确定性建模（Uncertainty modeling）与语义分割模型和物体检测模型结合，实现对从未见过的物体和障碍物的感知。
实验室的工作：
1、障碍物感知前置内容——可行域分割技术。
从机器人的视角看去，可以说，除了障碍物就是可行域。因此道路分割也可以被看作为是障碍物分割的互补任务。在研究了道路分割中的各种问题之后，我们发现了道路分割上的痛点问题，一是道路分割的泛化性问题，二是道路分割算法目前还无法做到高精度与快速的平衡。为此，在解决该问题的时候，我们发现不同数据模态之间的特征融合机制的效率低下，是导致速度慢，且精度低的源头。因此，我们直接删除了所有跨模态的特征融合机制，并采用证据理论，分别从不同模态上对每个像素是或不是道路像素的证据进行收集。并在每个模态预测的结果上做融合，每个像素独立判断，采用确定性更大的模态的结果。最终，不但在精确度上达到了SOTA的性能，而且速度远超同期SOTA的方法。并且，我们的方法输出的Uncertainty图还表达了可能存在障碍物的位置。
[1] Y. Chang, F. Xue, F. Sheng, W. Liang and A. Ming*, Fast Road Segmentation via Uncertainty-aware Symmetric Network, International Conference on Robotics and Automation (ICRA), 2022.
代码：https://github.com/mRobotit/USNet
[2] Feng Xue, Yicong Chang, Wenzhuang Xu, Wenteng Liang, Fei Sheng, Anlong Ming*, Evidence-based Real-time Road Segmentation with RGB-D Data Augmentation, IEEE Transactions on Intelligent Transportation Systems (TITS), accepted, 2023.
2、视觉障碍物感知技术。
（2-1）小障碍物感知。我们构造了一个基于非深度学习的障碍物检测框架，分别从三个方面研究了小障碍物的检测问题。了解决小障碍物特征微弱而导致的小障碍物丢失问题，我们设计了障碍物感知的遮挡边缘特征，以尽可能捕捉极小的障碍物。为了解决障碍物在场景中尺度变化极大的问题，我们设计了多步长的滑动窗口，提升了物体推荐算法捕捉到障碍物的能力。为了解决非深度学习模型无法精确捕捉障碍物的问题，我们设计了通过检测进行分割的框架，通过数量众多的物体框，实现对障碍物的分割。此外，基于障碍物与不同物体的特性差异，我们设计了主次回归器，进一步提升定位障碍物的能力。
[3] Feng Xue, Yicong Chang, Tianxi Wang, Yu Zhou, Anlong Ming, Indoor Obstacle Discovery on Reflective Ground Using Monocular Camera, International Journal of Computer Vision (IJCV), vol. 132, pp. 987-1007, 2024 (Published: 20 October 2023).
代码：https://github.com/mRobotit/IndoorObstacleDiscovery-RG
[4] F. Xue, A. Ming, M. Zhou and Y. Zhou, A Novel Multilayer Framework for Tiny Obstacle Discovery, in International Conference on Robotics and Automation (ICRA), 2019
代码：https://github.com/mRobotit/Tiny-Obstacle-Discovery
[5] F. Xue, A. Ming and Y. Zhou, Tiny Obstacle Discovery by Occlusion-Aware Multilayer Regression, in IEEE Transactions on Image Processing (TIP), vol. 29, pp. 9373-9386, 2020
代码：https://github.com/mRobotit/Tiny-Obstacle-Discovery-ROS
（2-2）开放世界未知物检测 (UnSniffer)。开放集物体检测方法和开放世界物体检测方法极易产生大量的错误边界框，进而导致将场景中的背景区域误检测为障碍物，因此无法直接应用于自主移动机器人的场景。具体来说，为了从已知类别物体样本中学习未知类别物体的知识，我们提出了一种广义似物性得分及其损失函数，该似物性得分的初衷是逼迫深度学习模型在不使用图像背景区域边界框样本的条件下，从众多的候选框中找出完整包围了已知物体的边界框，从而学习所有已知类别共性的模式。
尽管未知物体在外观上变化多端，但是它们与已知物体在特征空间中具有相似性，这种广义似物性度量也可用于表述未知物体的似物性，将所有物体（包含已知物、未知物）与非物体的边界框区分开。
①为了进一步区分已知物与未知物，我们采用了负能量（Negative Energy）得分作为一种区分域外样本的度量，并设计了一种非感兴趣区域能量抑制的策略，进一步扩大非物体与物体之间的能量得分与似物性的差距。
②然后，由于未知物体在图像中的数量是无法提前预知的，我们基于图分割设计了一种后处理机制，自适应地从图像中找出最佳未知物体边界框。
③最后，通过在目前唯一公开用于测试未知物检测精度的数据集上开展实验，我们的方法部分性能远超过现有的其他方法。
[6] Wenteng Liang, Feng Xue, Yihao Liu, Guofeng Zhong, Anlong Ming*, Unknown Sniffer for Object Detection: Don't Turn a Blind Eye to Unknown Objects, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2023.
