000041.   引言

机器人作为面向未来的智能制造重点技术，其具有可控性强、灵活性高以及配置柔性等优势，被广泛的应用于零件加工、协同搬运、物体抓取与部件装配等领域。然而，传统机器人系统大多都是在结构化环境中，通过离线编程的方式进行单一重复作业，已经无法满足人们在生产与生活中日益提升的智能化需求。随着计算机技术与传感器技术的不断发展，我们期望构建出拥有更加灵敏的感知系统与更加智慧的决策能力的智能化机器人系统。机器人抓取与放置是智能化机器人系统的集中体现，近几年来在工业界与学术界得到了深入而广泛的研究。

图1 基于3D点云的机器人抓取示意图

近年来，随着低成本深度传感器与激光雷达的飞速发展，三维点云的获取越来越方便。三维点云数据相对于平面二维图像具有如下优势：（1）可以更加真实准确的表达物体的几何形状信息与空间位置姿态；（2）受光照强度变化、成像距离以及视点变化的影响较小；（3）不存在二维图像中的投影变换等问题。三维点云数据具有的以上优势使得其有望克服平面二维图像在机器人目标识别与抓取中存在的诸多不足，所以其具有很重要的研究意义以及广泛的应用前景。因此，近年来针对点云的视觉研究以及基于点云的机器人抓取成为了机器人领域新的研究热点。

000042.   基于3D点云的机器人抓取方法

图2 基于点云的机器人抓取流程示意图

基于点云的机器人抓取流程可以分为两个部分，具体如图2所示主要包含视觉感知部分与机器人抓取操作部分。机器人抓取操作部分则又包括系统标定、抓取规划与运动控制。

000042.1   三维目标识别

在基于点云的机器人抓取领域，关键的一步是目标识别与定位，也就是在点云场景中对待抓取模型进行三维目标识别以及对应的姿态估计。现有的三维目标识别算法主要包括基于局部特征的算法、基于投票的算法、基于模板匹配的算法以及基于学习的方法。

基于局部特征的目标识别算法主要包含：关键点检测、特征提取、特征匹配、假设生成、假设检验。关键点检测与特征提取组合对应的是模型与场景表征。在点云领域，经典的关键点提取算法包括Harries 3D，ISS（Intrinsic Shape Signature）算法，NARF（Normal Aligned Radial Feature）算法。特征提取部分则主要是在物体表面提取稳固的局部特征；特征匹配的作用则是建立一系列的关键点特征对应关系。经典的特征匹配算法有最近邻距离比值（NNDR）、阈值法、最近邻策略（NN）等；假设生成部分则主要是利用匹配上的特征对集合找出在场景中可能的模型位置，并建立对应的姿态估计（即计算变换假设）；假设检验部分则是为了得到假设生成部分所计算出来的潜在变换关系中真正正确的变换矩阵。

基于投票的三维目标识别算法则是直接匹配模型与场景间的固有特性，生成有限的候选姿态集后，利用先验条件构造支持函数与罚函数并对每一个姿态进行投票，进而得出最优的变换矩阵。

基于模板匹配的目标识别算法则主要是针对无纹理物体的检测。其利用已有的三维模型从不同的角度进行投影，生成二维RGB-D图像后再生成模板；然后将所有的模板与场景匹配，进而得出最优的模型位姿。

基于学习的目标识别算法，对于输入图像的每一个像素，利用其提出的回归森林预测待识别对象的身份和其在对象模型坐标系中的位置，建立所谓的“对象坐标”。采用基于随机一致性采样算法的优化模式对三元对应点对集进行采样，以此创建一个位姿假设池。选择使得预测一致性最大化的假设位姿作为最终的位姿估计结果。

000042.2   基于点云的机器人抓取技术

机器人抓取操作部分则又包括系统标定、抓取规划与运动控制。系统标定包括主要是指对相机与机器人的标定。由于对于视觉感知部分求出的待抓取目标物体的位置与姿态均处于相机坐标系下，为了进行机器人准确抓取，需要将其坐标与姿态变换到机器人坐标系下。

抓取规划部分，其主要作用是可以实现对于场景中目标物体的抓取点的提取，抓取策略应当确保稳定性，任务的兼容性和对于新物体的适应性等；此外，抓取质量可以通过对物体接触点的位置和末端夹爪的配置来进行评价。对于物体的抓取，目前主要有基于经验的方法与基于端到端的方法。

基于经验的方法则是根据特定的任务和抓取对象的几何形状，使用与之相对应的算法来进行抓取。更具体的又可以分为对已知物体的抓取和对相似物体的抓取。如果抓取对象是已知的物体，那么则可以通过学习已有的成功抓取实例，再结合具体环境进行机器人抓取。事实上，如果目标对象已知，则意味着对象的三维模型和抓取点位置在数据库中也是先验已知的。这种情况下，只需要从局部视图估计目标对象的6D位姿，并通过ICP等算法进行姿态细化与精确微调，进一步便可以得到目标物体的抓取位置，由于拥有较高的抓取精度，是目前比较流行的抓取方法。然而，当三维模型不太准确时，如物体不可测量或者易变形等情况，则会导致有较大的抓取偏差。事实上，很多情况下，抓取的目标对象与现有数据库的模型并不完全相同，但是在模型库中相似的同一类的物体，这便涉及到对相近物体的抓取。在目标对象被定位以后，利用基于关键点对应算法便可以将抓取点从模型库中存在的相似三维模型上转移到当前的局部对象中。

端到端的抓取检测则直接跳过了对于抓取目标的定位，直接从输入的图像中提取抓取点位置。在这类方法中，滑动窗口策略是比较常用的方法。对于端到端抓取检测方法，计算出的抓取点可能不是全局最优的抓取点，因为在图像中只有部分对象是可见的。

图3 不同抓取方案示意图

机器人抓取中的运动控制部分，其主要是设计从机械手目标物体抓取点的路径，这里面的关键问题就是运动表征。虽然从机械手到目标抓取点的轨迹是无限多的，但是由于机械臂的局限性，很多地方都无法达到。因此，轨迹需要规划。

轨迹规划主要有有三种方法，分别是传统的基于DMP的方法、基于模仿学习的方法和基于强化学习的方法。传统的方法考虑运动的动态性，生成运动原语。动态运动原语(Dynamic Movement Primitives, DMPs)是最流行的运动表示形式之一，可以作为反馈控制器。

在抓取过程中，由于空间有限以及障碍物等原因，会阻碍机器人接近目标物体。这需要机器人与环境进行交互。在这种需要进行避障的抓取任务中，最常见的轨迹规划方法是以抓取对象为中心建模的算法，它将目标和环境分离开来。这种方法在结构化或半结构化的环境中工作得很好，因为对象被很好地分隔开了。还有一种以障碍物为中心的方法，它利用动作原语与多个对象进行同步联系。通过这种方法，机器人可以在接触和移动目标的同时抓住目标，以清除所需的路径。

000043.   结束语

3D点云具有周围环境的几何结构和深度信息，这使得目前基于点云的方法在3D感知方面成为主流，并取得了SoTA的感知效果。本文对基于3D点云的机器人抓取技术进行了概述与总结，后续将进一步对其他经典的3D点云处理方法及其在行业的应用进行详细分析与阐述。