机器人将 3D 可变形物体操纵成所需形状的任务称为形状伺服。机器人必须估计物体的状态并将其用作反馈信号。以前解决此问题的基于学习的方法侧重于 1D 或 2D 对象，例如绳索或布料。最近的一篇论文提出了针对 3D 形状伺服问题的第一个解决方案。

作者创建了一个深度神经网络，将可变形对象的点云作为输入和输出特征向量。它们稍后会映射到所需的末端执行器位置。训练后，机器人根据对象当前和目标形状的点云计算其抓手的位置。

研究人员还研究了选择最佳操作点的问题。实验评估表明，所提出的方法使大量形状的对象变形并优于以前的方法。

在本文中，我们提出了一种利用称为 DeformerNet 的深度神经网络进行 3D 可变形对象操作的新方法。控制 3D 对象的形状需要有效的状态表示，可以捕获对象的完整 3D 几何形状。当前的方法通过在对象上定义一组特征点或仅在 2D 图像空间中使对象变形来解决此问题，这并不能真正解决 3D 形状控制问题。相反，我们明确地使用 3D 点云作为状态表示，并在点云上应用卷积神经网络来学习 3D 特征。然后使用完全连接的神经网络将这些特征映射到机器人末端执行器的位置。一旦以端到端的方式训练，DeformerNet 直接映射可变形对象的当前点云，以及目标点云形状，到机器人夹持器位置的所需位移。此外，我们研究了在给定对象的初始形状和目标形状的情况下预测操纵点位置的问题。