清华、中科院、MIT联合提出Co-Pilot人机交互框架 首次用语言模型作为辅助驾驶

要点:

1、首次用语言模型作为辅助驾驶，用描述的方式来控制行动轨迹

2、Co-Pilot人机交互框架能完美把控乘客意图

3、大语言模型在自动驾驶领域进一步深入应用的可能性

11月8日 消息:近日，清华大学、中国科学院、MIT的科研人员联合研究人员对于大语言模型在人机交互领域中的应用进行了研究，设计了一种名为Co-Pilot的人机交互框架。该研究首次尝试用语言模型作为辅助驾驶，以描述的方式来控制行动轨迹，同时能够符合用户的轨迹意图。此举揭示了大语言模型在自动驾驶领域进一步深入应用的可能性，也为后续相关研究指明了方向。

论文地址：https://www.researchgate.net/figure/Co-Pilot-for-path-tracking-control-The-system-consists-of-three-modules-the-Reference_fig2_374800815

人车交互作为智能汽车发展的重要功能之一，对降低司机驾驶负担、提升乘客出行体验有很大帮助，相关功能也成为了消费者在选择时的重要标准。在此前提下，Co-Pilot人机交互框架的应用能够完美把控乘客意图。大语言模型具有理解说话者真正意图的能力，并得益于大量训练数据中的知识，具有一定的常识，通过调整提示词，对不同任务具有很好的适应性，极大提升了应用与落地的效率。因此，大语言模型为解决人机共驾问题提供了一种新的思路。

为了验证Co-Pilot架构的可行性，研究人员设计了两个不同种类的任务进行测试，实验效果达到了预期。另外，Co-Pilot架构的记忆机制能够提升信息利用效率。通过更新记忆中的内容来增强提示词，使得大语言模型进行少样本学习。因此，Co-Pilot架构在自动驾驶人机交互领域的应用具有可行性和有效性。

研究人员通过在仿真平台中开展实验，得出了验证结果。实验结果表明，情景记忆在相似任务中对Co-Pilot的推理最有帮助，使其可结合人类意图给出合理的反应。调优后的提示模式在更复杂的实验中也取得了良好效果。提示中不同记忆的组合，对于大语言模型的表现有着显著的影响。这表明了Co-Pilot架构在自动驾驶人机交互领域具有良好的应用前景。