“熟能生巧”这个短语通常是用来形容人类的，但它同样适用于刚刚在陌生环境中部署的机器人。
想象一下，一个机器人到达一个仓库。它带着自己所接受的训练技能，比如放置物体，现在需要从一个它不熟悉的货架上取物品。起初，这台机器对此感到困难，因为它需要熟悉新的环境。为了提高，机器人需要了解在整体任务中哪些技能需要改进，然后专注于（或参数化）该动作。
现场的一名人类可以编程机器人以优化其性能，但麻省理工学院计算机科学与人工智能实验室（CSAIL）和人工智能研究所的研究人员开发了一种更有效的替代方案。在上个月的机器人：科学与系统会议上，他们提出的“估计、推断和定位”（EES）算法使这些机器能够自主练习，可能帮助它们在工厂、家庭和医院中提高有用的任务能力。
评估情况
为了帮助机器人在清扫地板等活动中变得更好，EES与一个视觉系统配合工作，该系统定位并跟踪机器的周围环境。然后，算法估计机器人执行某个动作（如清扫）的可靠性，以及是否值得进行更多的练习。EES预测如果机器人精炼该特定技能，它在整体任务中的表现将会如何，最后，它进行练习。视觉系统随后在每次尝试后检查该技能是否正确完成。
EES在医院、工厂、家庭或咖啡店等地方可能会派上用场。例如，如果你想让一个机器人清理你的客厅，它需要帮助练习像清扫这样的技能。然而，根据Nishanth Kumar SM ’24及其同事的说法，EES可以帮助该机器人在没有人类干预的情况下提高，只需进行几次练习试验。
“在这个项目开始时，我们想知道这种专业化是否可以在真实机器人上以合理的样本量实现，”Kumar说，他是描述该工作的论文的共同第一作者，电气工程和计算机科学的博士生，以及CSAIL的成员。“现在，我们有了一个算法，使机器人能够在合理的时间内通过数十或数百个数据点在特定技能上显著提高，这比标准强化学习算法所需的数千或数百万个样本要好。”
看Spot清扫
EES在波士顿动力公司的Spot四足机器人上实施时，其高效学习的能力显而易见。在人工智能研究所的研究试验中，这个背部装有机械臂的机器人在练习几个小时后完成了操作任务。在一次演示中，机器人在大约三个小时内学会了如何将球和环安全地放置在一个倾斜的桌子上。在另一次演示中，算法指导机器在大约两个小时内提高了将玩具扫入箱子的能力。这两个结果似乎都是对以前框架的升级，后者可能需要每个任务超过10小时的时间。
“我们的目标是让机器人收集自己的经验，以便更好地选择在其部署中哪些策略会有效，”共同第一作者Tom Silver SM ’20，PhD ’24说，他是电气工程和计算机科学（EECS）的校友，现在是普林斯顿大学的助理教授。“通过关注机器人所知道的，我们试图回答一个关键问题：在机器人拥有的技能库中，哪个技能现在最有用？”
EES最终可能有助于简化机器人在新部署环境中的自主练习，但目前它也有一些局限性。首先，他们使用了低矮的桌子，这使得机器人更容易看到其物体。Kumar和Silver还3D打印了一个可附加的手柄，使得Spot更容易抓住刷子。机器人没有检测到某些物品，并且错误地识别了物体的位置，因此研究人员将这些错误视为失败。
给机器人布置作业
研究人员指出，物理实验中的练习速度可以通过模拟器进一步加快。机器人最终可以结合真实和虚拟的练习，而不是在每项技能上独立进行物理工作。他们希望使系统更快，减少延迟，设计EES以克服研究人员所经历的成像延迟。在未来，他们可能会研究一种算法，该算法对练习尝试的序列进行推理，而不是规划哪些技能需要改进。
“让机器人自主学习既非常有用又极具挑战性，”乔治亚理工学院互动计算学院的助理教授、NVIDIA AI的研究科学家Danfei Xu说，他并未参与这项工作。“未来，家庭机器人将被销售给各种家庭，并期望执行广泛的任务。我们不可能事先编程它们需要知道的一切，因此它们能够在工作中学习是至关重要的。然而，让机器人自由探索和学习而没有指导可能会非常缓慢，并可能导致意想不到的后果。Silver及其同事的研究引入了一种算法，使机器人能够以结构化的方式自主练习其技能。这是朝着创造能够不断进化和自我改进的家庭机器人的重要一步。”
Silver和Kumar的合著者包括人工智能研究所的研究人员Stephen Proulx和Jennifer Barry，以及四名CSAIL成员：东北大学的博士生和访问研究员Linfeng Zhao，麻省理工学院EECS的博士生Willie McClinton，以及麻省理工学院EECS的教授Leslie Pack Kaelbling和Tomás Lozano-Pérez。他们的工作部分得到了人工智能研究所、美国国家科学基金会、美国空军科学研究办公室、美国海军研究办公室、美国陆军研究办公室和麻省理工学院智能探索的支持，并获得了麻省理工学院超级云和林肯实验室超级计算中心的高性能计算资源。
