新机器学习框架DRAGIN:用于大语言模型中的动态检索增强，胜过传统方法

划重点:

⭐️ DRAGIN 是一种适用于大型语言模型的动态检索增强生成框架，能够根据实时信息需求动态确定何时以及如何检索外部信息。

⭐️ 该框架包括两个关键组件:实时信息需求检测（RIND）和基于自注意力的查询构建(QFS)，在四个知识密集型数据集上表现优异。

⭐️ DRAGIN 在提高语言模型性能方面具有明显优势，通过优化检索激活时机和查询精度，有效增强了语言模型的生成能力。

4月3日 消息:研究人员从清华大学和北京理工大学开发了 DRAGIN，这是一种针对大型语言模型设计的动态检索增强生成框架。

该框架旨在通过在文本生成过程中实时确定何时以及如何检索外部信息，从而提高语言模型的性能。为了解决当前方法在确定何时进行检索和检索内容方面过于静态的问题，DRAGIN 引入了 RIND 和 QFS 两个关键组件。其中，RIND 主要用于确定检索时机，考虑语言模型的不确定性和令牌重要性;而 QFS 则用于构建查询，利用上下文的自注意力机制优先选择与当前上下文相关的令牌。通过这种动态检索的方式，DRAGIN 在四个知识密集型数据集上表现出色，而且无需额外的训练或提示工程。

传统的单轮检索增强方法通过将初始输入作为查询，将外部知识引入到语言模型中。以往的研究已经深入探讨了这种方法，例如 REPLUG 使用语言模型生成检索模型的训练数据，UniWeb 则自我评估是否需要检索。然而，对于需要大量外部知识的复杂任务，多轮检索变得至关重要。DRAGIN 则采用了新颖的多轮检索方法，通过 FLARE 在遇到不确定令牌时触发检索，从而提高检索相关性，同时考虑了语言模型的实时信息需求。

DRAGIN 是一个旨在解决语言模型动态检索增强方法的框架。通过 RIND 和 QFS 优化检索激活时机和查询精度，使得在知识密集型任务上取得更好的性能。尽管它依赖于基于 Transformer 的语言模型的自注意力机制，但 DRAGIN 展现出了显著的有效性。未来的工作旨在克服与自注意力可访问性相关的限制，并对查询构建技术的影响进行评估。

论文：https://arxiv.org/abs/2403.10081