研究使机器人更好地遵循语音指令黑眼豆豆

发布时间：2022-06-27 22:01:06

研究使机器人更好地遵循语音指令

布朗大学计算机科学家基于研究的新系统，使机器人能够更好地遵循语音指令，无论这些指令有多抽象或具体。

该开发成果于本周在波士顿举行的2017年机器人技术：科学与系统会议上进行了介绍，是朝着能够与人类协作者更无缝地通信的机器人迈出的一步。

这项研究是由Dilip Arumugam和Siddharth Karamcheti领导的，他们都是在进行这项工作时都是布朗的本科生

他们和研究生一起工作布朗计算机科学教授斯特凡妮·泰莱克斯的实验室中的Nakul Gopalan和博士后研究员Lawson LS Wong。

Arumugam说：“我们正在解决的问题是语言基础，这意味着让机器人执行自然语言命令并产生能够成功完成任务的行为。” “问题在于命令可以具有不同的抽象级别，并且可能导致机器人无法有效地计划其动作或根本无法完成任务。”

例如，假设仓库中有人与机器人叉车并排工作。该人可能对机器人伙伴说：“抓住那个托盘”。

这是一个高度抽象的命令，它包含多个较小的子步骤，即将电梯对齐，将货叉放在下面并将其提升。但是，其他常见命令可能更细粒度，仅涉及一个动作：例如，“将叉子向后倾斜一点”。

研究人员说，这些不同的抽象级别可能会给当前的机器人语言模型带来问题。大多数模型试图从命令中的单词以及句子结构中识别提示，然后从该语言推断出所需的动作。然后，推理结果将触发尝试解决任务的计划算法。

但是，如果不考虑指令的特殊性，机器人可能会为简单的指令过度计划，或者为涉及更多子步骤的抽象指令过度计划。在机器人采取行动之前，这可能导致错误的行动或过度的计划滞后。

但是，这个新系统为现有模型增加了一个新的层次。除了简单地从语言中推断出所需的任务外，新系统还分析语言以推断出不同的抽象水平。

虚拟的“清理世界”为新的语言基础软件提供了训练场。

Arumugam说：“这使我们可以将我们的任务推断以及推断出的特异性级别与一个分层计划器结合在一起，因此我们可以在任何抽象级别进行计划。” “与现有系统相比，执行任务时，我们可以大大提高性能。”

为了开发他们的新模型，研究人员使用了Mechanical Turk，亚马逊的众包市场和名为Cleanup World的虚拟任务域。

在线域由几个颜色编码的房间，一个机器人代理和一个可以操纵的对象组成，在这种情况下，该椅子可以在一个房间之间移动。

Mechanical Turk志愿者看着机器人代理在Cleanup World域中执行任务，例如，将椅子从红色房间移到相邻的蓝色房间。

然后，志愿者被要求说出他们将给机器人以什么指令来执行刚刚看过的任务。指导志愿者指导的具体程度。

说明从高级别：“将椅子带到蓝色房间”到逐步级别：“向北走五步，向右转，再走两步，得到椅子，向左转，左转，走五步向南走。” 第三层次的抽象在这两者之间的某个地方使用了术语。

研究人员使用志愿者的口头指示来训练他们的系统，以了解在每个抽象级别中使用了哪种单词。

从那里，系统学会了不仅推断所需的动作，而且推断命令的抽象级别。知道了这两者之后，系统便可以触发其分层计划算法，以从适当的级别解决任务。

培训了他们的系统后，研究人员在虚拟的“清理世界”中以及在类似于“清理世界”空间的物理世界中运行的类似于Roomba的实际机器人中对其进行了测试。

他们表明，当机器人能够推断出两个任务时和指令的特殊性时，它可以在90％的时间内每秒响应命令。相比之下，当没有具体水平的推断时，所有任务的一半需要20或更多秒的计划时间。

“我们最终希望看到的是在我们的家庭和工作场所的有益合作伙伴机器人” Tellex，谁在人-说机器人协作。“这项工作是朝着使人们能够以与我们彼此通信的相同方式与机器人进行通信的目标迈出的一步。”