使用 TJH-3 模型，研究人员研发出能听懂英语指令并执行家务的机器人 　　机器人5月14日消息，机器人大学、工业机器人大学和TTT的一组研究人员，利用OpenAI的TJH-3TJH模型，研发出了一款能听懂英语指令并执行家务的机器人，名为TidyBot。这款机器人可以根据用户的喜好，自动完成如分类洗衣服、捡起地上的垃圾、收拾玩具等任务。 　　TJH-3TJH模型是一种深度学习模型，属于TJH模型系列的一部分，可以理解和生成自然语言。该模型具有强大的总结能力，可以从大量的文本数据中学习复杂的对象属性和关系。研究人员利用这种能力，让机器人根据用户提供的几个示例对象放置位置，如“黄色衬衫放在抽屉里，深紫色衬衫放在衣柜里，白色袜子放在抽屉里”，然后让模型总结出用户的一般偏好规则，并应用到未来的交互中。 　　研究人员在论文中写道：“我们的基本见解是，LLM（大型语言模型）的总结能力与个性化机器人的泛化需求非常匹配。LLM展示了通过总结实现泛化的惊人能力，利用从海量文本数据集中学习到的复杂对象属性和关系。” 　　他们还写道：“与需要昂贵的数据收集和模型训练的传统方法不同，我们展示了LLM可以直接开箱即用地实现机器人领域的泛化，利用它们从海量文本数据中学习到的强大的总结能力。” 　　研究人员在论文网站上展示了一个机器人，它能够将洗衣服分为浅色和深色，回收饮料罐，扔掉垃圾，收拾包和餐具，将散落的物品放回原处，并将玩具放入抽屉。 　　研究人员首先测试了一个基于文本的基准数据集，其中输入了用户偏好，并要求模型创建个性化规则来确定物品归属。模型将示例总结为一般规则，并使用总结来确定新物品的放置位置。基准场景定义在四个房间中，每个房间有24个场景。每个场景包含两到五个放置物品的地方，并且有相同数量的已见和未见物品供模型分类。他们写道，这个测试在未见物品上达到了91.2%的准确率。 　　当他们将这种方法应用到真实世界的机器人TidyBot时，他们发现它能够成功地收拾85%的物体。TidyBot在八个真实场景中进行了测试，每个场景有一组十个物品，并在每个场景中运行机器人3次。据机器人了解，除了LLM，TidyBot还使用了一个叫做CLIP的图像分类器和一个叫做OWL-ViT的物体检测器。 　　智能机器人学院交互计算学院的助理教授徐丹飞（Danfei Xu）在谈到TTT的PaLM-E模型时表示，LLM使机器人具有更多的问题解决能力。“以前的任务规划系统大多依赖于一些形式的搜索或优化算法，这些算法不太灵活，也很难构建。LLM和多模态LLM使这些系统能够从互联网规模的数据中受益，并轻松地用于解决新问题。”他说。