Retrieval Interleaved Generation (RIG)技术：实时数据检索与响应生成的结合

想象你是一名金融分析师，正在尝试对比当前法国和意大利的GDP。你向语言模型提问，比如：

“法国和意大利目前的GDP是多少，过去五年中这些国家的GDP有哪些变化？”

使用检索增强生成（RAG），模型首先进行检索，从外部数据库或知识库中检索相关信息。然后，模型据此生成回复，例如：提供问题的答案：比如，提供问题的答案。

“法国目前的GDP约为2.9万亿美元，相比之下，意大利的GDP约为2.1万亿美元。在过去五年里，法国的GDP年均增长率为1.5%，而意大利的GDP增长相对停滞不前，年均增长率仅为0.6%。”

在这个情境下，RAG 这种技术通过其一次性检索过程让模型的响应基于实际数据，从而显著提升了模型的响应。

然而，如果需要更复杂的动态查询，特别是动态检索多个实时信息时，该过程可能就不太够用了。

输入 检索交织生成 (RIG)!!!

现在想象一下你提出一个更复杂的请求。

过去五年法国和意大利的GDP增长速度是多少？这期间两国的就业率情况怎么样？这两者相比如何？

使用 RIG，模型首先根据它内部掌握的GDP数据生成部分响应。然而，模型并没有依赖单一的检索步骤，而是在生成文本的过程中交错检索就业数据，同时继续生成文本。例如，当模型提供初始的GDP数据时，它同时获取就业数据，并实时更新响应。

“法国当前的GDP为2.9万亿美元，相比之下，意大利的GDP为2.1万亿美元。在过去的五年里，法国的GDP平均年增长率是1.5%，而意大利则为0.6%。在此期间，法国的就业率增加了2%，而意大利的就业率仅增加了0.5%。”

刚发生了什么？

RIG 通过在其生成文本的过程中不断获取相关数据，增强了响应，为复杂且多方面的查询提供了更全面和准确的响应。这种动态交织确保了每一部分信息都保持最新和准确，特别是在实时数据的应用场景中，为决策提供更精确的依据。

让我们再了解一些关于RIG吧！

在我们开始讨论RIG之前，先了解一下交错的概念很重要。

交错处理是一种在计算、调度和数据检索等领域使用的技巧，其中多个任务、过程或数据流被交替和组合，以使它们能够同时或并行进行，而无需依次完成。

简单来说，这说的是混合不同的操作，而不是先完成一个。

交错学习，这种方法。见图片来源

在检索交错生成（RIG）技术的背景下，交错指的是在生成部分回复和检索外部数据之间交替进行。模型不会等待所有数据检索完毕后再生成响应，而是将这两个任务交错进行，使得检索和生成响应的过程交替进行。

检索交织生成技术（RIG） 是自然语言处理（NLP）中的一个高级技术，其中实时数据检索与大规模语言模型（LLMs）生成响应的过程被动态地结合。与检索增强生成（RAG）中的线性流程不同，RIG 将检索过程与生成过程本身结合。它允许 LLM 在生成部分响应的同时持续查询外部数据源，并在检索和生成之间交替进行。

RAG vs. RIG 的较量

RIG的过程可以分为几个关键步骤，具体如下：

1️⃣ 用户提交查询：用户就像在传统语言模型中一样，提交查询或提示给LLM（大型语言模型）。

2️⃣ 部分响应生成：基于已有的内部知识，LLM开始生成响应。然而，该响应可能包含需要外部数据的占位符或猜测性答案。

3️⃣ 实时数据抓取：当大模型发现缺少或不完整的信息时，它会实时从外部来源查询（例如数据库、知识图谱或基于Web的API）。模型可以多次调用检索，用新获取的数据丰富回复。

4️⃣ 检索和生成的交替：在生成回复时，模型会动态地在生成回复的部分内容和按需检索数据之间交替进行。例如，如果大型语言模型开始说，“加利福尼亚的人口大约是……，”它会暂停检索具体的数字，然后继续完成这部分回复。

5️⃣ 最终回复：一旦获得了所有必要的数据，LLM 就会生成回复并把它发回给用户。

比如这样一个查询：“目前美国的国内生产总值是多少，与中国的相比呢？”

• 初始生成阶段：LLM 可能会开始说：“美国的GDP约为……”
• 检索：然后，LLM 查询可信的数据来源（如世界银行或IMF数据库）以获取最新的GDP数字。
• 交错生成：当LLM生成查询的比较部分时，它会检索中国的实时GDP数据以确保比较的准确性。
• 最终回复：完成两国的数据检索后，LLM 完成并提供基于数据的完整回复。

2024年9月，谷歌推出了DataGemma，一个革命性的解决方案，旨在解决大语言模型（LLM）中的幻觉现象。DataGemma 通过利用谷歌的Data Commons海量资源，将 LLM 的输出锚定在经过验证和值得信赖的现实世界统计数据上。通过将响应锚定在经过验证和值得信赖的现实世界统计数据基础上，DataGemma 力求提高 AI 生成内容的准确性和可靠性，使其更适合用于高风险场景。

“ 数据公共仓库 是一个公开的知识图谱，包含超过2400亿个丰富的数据点，涵盖数十万个统计指标。它从联合国（UN）、世界卫生组织（WHO）、疾病控制与预防中心（CDC）和人口普查局等值得信赖的组织获取这些公共信息。将这些数据集整合成一个统一的工具和AI模型系列，使政策制定者、研究人员以及寻求准确见解的组织受益。” — Google, 2024

谷歌推出了两款专门设计来增强大型语言模型能力的高级变体：DataGemma-RAG-27B-IT 和 DataGemma-RIG-27B-IT。这些模型代表了检索增强生成（即检索增强生成）和检索交错生成（即检索交错生成）领域的最新进展。

• RAG-27B-IT 模型利用谷歌庞大的 Data Commons 资源，使其能够将丰富的、基于上下文的信息融入其输出中，非常适合执行这些需要对复杂数据集进行深度理解和深入分析的任务。
• 同时，RIG-27B-IT 模型专注于从可信来源实时检索数据，以便在生成响应过程中动态查证和核实统计信息，确保高准确性。

这两个模型都是为了需要精确性和推理能力的任务而设计的，特别适合用于科学研究、政策制定和商业数据分析等应用。

这张图片来自

尽管RIG和RAG方法尚处于初级阶段，初步研究表明，在处理数值事实时，这些方法可能有助于提升LLM的准确性，并降低了LLM对数值事实的幻觉。

1️⃣ 减少大型语言模型中的幻觉现象（甚至比RAG还要减少更多）

通过将实时数据检索与生成过程交错进行，RIG 不断查询可信的数据源。它帮助模型的输出与现实世界中的事实信息保持一致，从而显著降低了产生虚假信息的风险。

比如说，当有人问起特定的统计数据或实时数据（例如，“2023年巴西的国内生产总值是多少？”）时，RIG系统确保答案基于从可靠数据库实时获取的数据，减少对内部旧数据的依赖。

2️⃣ 提升准确度

RIG的一个显著的好处是它能够为依赖数据的查询提供更准确的响应。在传统的LLM中，模型只能根据其预训练阶段所学的内容生成答案。如果内部知识过时了，模型就可能给出错误的答案。RIG通过在生成过程中获取实时数据来解决这一问题，确保提供的信息准确。

例如，在一个与金融相关的查询，如“当前10年期债券的利率是多少？”时，RIG会实时从金融数据库中检索数据，然后最终确定回答，从而提供准确且最新的答案。

3️⃣实时调整

RIG的一个显著优势是它能够在生成响应的过程中实时调整****。与检索增强生成（RAG）不同，RAG在生成响应前只会检索一次数据，RIG在生成响应过程中动态地进行检索。如果大规模语言模型在生成响应过程中遇到多个缺失或不完整的信息，它可以在细化响应的过程中迭代获取数据。

例如，用户问了一个由多个部分组成的复杂问题，如“法国的GDP是多少，最近的经济政策对其有何影响？”。RIG可以先检索GDP数据，然后开始生成回应，接着动态获取经济政策的相关信息，并将这些信息整合到最终的回答中。

RIG 具有很高的多功能性，使其非常适合处理需要多个数据源的复杂、实时或不断变化的查询。RIG 适用于信息不断更新的领域。RIG 在检索和生成之间灵活切换的能力非常适合需要高度精准的情境。

RIG 在以下领域非常实用：

• 医疗：获取实时患者数据、临床试验结果和最新的医学研究，提供准确的医疗见解。
• 金融：获取实时股票价格、利率或经济指标，提供及时的金融分析。
• 科学研究：提供最新的研究发现，并根据收集到的更多数据动态调整内容。
• 客户支持：基于实时的产品或政策信息提供准确的支持。

RIG 有着光明的未来。然而，它也遇到了一些挑战，包括：

• 延迟：由于持续检索导致的响应时间增加。
• 资源需求：RIG的交错处理可能会消耗更多的计算资源和令牌。
• 数据依赖性：当外部数据来源缓慢、不可靠或不完整时，会面临挑战。
• 实现复杂性：需要更复杂的架构和设计需求。

未来的检索交错生成（RIG）在人工智能研究和发展中充满令人兴奋的潜力。随着实时数据在各个行业中变得越来越重要，RIG有望进一步发展，并更好地与实时数据库整合。

随着AI模型越来越多地与现实世界的数据交互，我们可能会看到RIG集成到自主代理中，使这些自主代理能够更加灵活地应对环境变化，提供准确及时的帮助。物流、机器人或客户服务领域的自主系统将能够在需要实时决策和数据驱动洞察力的环境中，从这种适应性检索过程中获益匪浅，提供高度情境化且准确即时的响应。

谷歌的DataGemma： 一个来自谷歌的AI项目，专注于大型语言模型。https://blog.google/technology/ai/google-datagemma-ai-llm/

DataGemma 和 RIG 的文章：这篇论文的全文可以在这里找到:https://docs.datacommons.org/papers/DataGemma-FullPaper.pdf

RAG Gemma 在 huggingface 上: https://huggingface.co/google/datagemma-rag-27b-it （点击链接查看详情）

RIG Gemma（注：专有名词或技术术语，原文保持不变）在huggingface: https://huggingface.co/google/datagemma-rig-27b-it。

💚 感谢你看到这里！

⏳ 我精选内容，结合大量阅读和个人经历，分享我认为你会觉得有价值的见解。

🌱与我在LinkedIn连接，聊聊有趣的话题。

🎯 我的使命是通过人工智能、创新、产品和策略来影响、引导、和激发思想。

👏 如果你觉得有用的话，点个赞或给点掌声！

我很期待听到你的想法并向你学习，所以请在下方自由分享你的评论！