想象你在读一本悬疑小说，但许多关键线索却不知去向。你努力拼凑故事的碎片，但这些信息却被分散在各个章节里。
这就好比AI模型在缺乏必要的信息的情况下回答问题时，它们就会胡言乱语。
他们猜测，他们填补空白处——而他们也会出错。即使在像检索增强生成（RAG）这样的先进系统中，如果检索到的上下文片段不够明确或不完整时，这样的问题仍然会出现错误信息。
如果有办法确保每个线索总是在正确的位置会怎样？一种方法可以避免幻觉，并确保每个答案都合乎情理，无论何时何地获取。这就是所谓的原子问答片段化，这是解决上下文模糊、幻觉及我所说的地平线问题的最佳方案——必要信息刚好超出片段范围的问题。
这篇文章会向你展示如何通过简单地改变我们为RAG系统划分信息的方法，解决这些问题。
问题：为什么连RAG系统也会出错你可能认为检索增强生成（RAG）通过获取相关信息帮助AI正确回答问题，从而解决了幻觉现象。但即使是RAG也有盲点。有时候，它检索到的信息片段并没有将所有事实清晰呈现，更糟糕的是，重要的背景信息被排除在检索到的信息片段之外。这时就会出现幻觉。AI只能猜测或推理，这时它可能会自信地告诉你贝多芬在1930年创作了第九交响曲（哎呀，错了！）。
这两个特定的挑战引发了这些幻觉现象：
1. 上下文模糊性：当检索到的片段没有明确指出是谁或什么时，AI会进行猜测，有时这种猜测会离谱得很。
2. 视界问题：即使信息准确，必要的上下文也可能超出当前的范围——超出视界——因此AI无法掌握完整的信息，从而错误地填补缺失的部分。
例如，系统检索到一个片段说“罗斯福在二战期间担任总统。”但是等等——是哪位罗斯福？是西奥多·罗斯福还是富兰克林·罗斯福？如果这句话没有指明，AI可能会误认，把一个总统当作另一个。对于更广泛的主题，比如贝多芬或计算的历史，同样的情况也会发生在。如果缺乏明确的背景信息，错误就会发生。
解决方案：原子问答分割 —— 就像侦探一样拼接线索假设每一条信息都是一个完美打包的线索。想象一位侦探总是掌握着所有线索。他们永远不需要猜测，因为他们所需的所有信息总是触手可及。这就是原子式Q&A分割如何为RAG系统发挥作用。它确保每一对问答都是完全自包含的——没有遗漏的线索，没有模糊的信息，也没有幻觉。
采用原子问答，每个问答都独立成块。每个问答自身就能讲清楚，无需其他内容。每个问答都包含完整的信息，就像一个完整的拼图块，随时可以完美地匹配AI需要回答的问题。
但是我们怎样才能做到这一点呢？我们来看看具体的方法吧。
第一步：分解故事——细分类首先，我们将一篇长文章（比如一部侦探小说）分解为具体的部分。每个部分就像一章，专注于故事的一部分，但更重要的是，每个部分的大小适中，以便生成20到30个简单的问答对。如果某个部分的内容太多，我们会将其划分为更小、更易管理的部分。这样一来，每个部分都更容易理解和处理，就像把一个大问题拆分成许多小问题一样。
例如，如果我们正在撰写一篇关于贝多芬的文章，我们的章节可能如下：
- 早年生活与家庭
- 中期与英雄风格
- 耳聋与个人奋斗
- 主要交响乐和协奏曲
- 晚年生活和去世
目标是确保每个类别都足够专注，以便创建20至30个原子问答对，确保不会丢失上下文或将其拆分到多个部分。
第二步：制作线索——生成上下文问答一旦我们对内容进行了分类，我们就会要求AI为每个类别生成20至30组独特的问答。关键是，每个问答都是完全独立且自给自足的。这意味着每个问答都有独立的意义，无需依赖其他问答。每个问答都是一个独立的信息单元——清晰、准确且完整。因为每个细节都包含在问答中，所以不存在猜测或虚构的空间。
比如说：
Q: 路德维希·范·贝多芬是什么时候死的？
A: 路德维希·范·贝多芬在1827年3月26日死了，享年56岁。
这段问答包含了所有需要的信息，让人一目了然。名字、日期和年龄都齐了。没有含糊的地方，也没有缺少的信息。就像一个完美的侦探线索，提供了所有必要的细节，一切都说得很清楚。
但这不仅仅是填补空白。这个过程还确保了模糊术语的明确。所以在提到历史文章时，我们不会只说“罗斯福”，而是具体说明是“西奥多·罗斯福”还是“富兰克林·D·罗斯福”，视具体情况而定。
步骤 3，环节：保存线索 — 将原子式问答作为RAG构建的基石一旦问答对生成之后，每个问答对都会作为一个独立单元，分别存储在SQL数据库和向量数据库中。每个单元代表一个独立的事实——一个完整的信息单元。
- SQL 数据库：用于存储每个原子事实文本。
- 矢量数据库：即使查询措辞不同，矢量搜索仍能帮助我们找到相关片段。
这种双存储方法确保系统找到正确的原子片段，彻底消除了歧义，并在上下文中准确无误。
第4步：审查证据以确保问答中的信息真实可靠，防止虚构内容一旦我们收集完所有的问题和答案配对，我们会检查它们，确保它们已经解决了歧义并且独立完整。
- 每个名称或引用都要明确（例如使用“Ludwig van Beethoven”而不是仅仅“Beethoven”）。
- 每个问答都独立自足，不需要额外背景信息。
- 确保没有遗漏任何重要信息，所有关键信息都在问答中。
这篇评论确保没有视野限制问题和幻觉的风险。每个问答都是独立的事实，AI可以自信地找到。
结果：再也没有幻觉，也不再漏掉任何线索
这种方法的好处在于它彻底解决了幻觉问题。通过确保每个问答部分都完全独立自足，这样AI就无需猜测或假设任何内容了。每个部分都包含了所有所需的信息。
我们也消除了地平线限制——即关键背景信息超出检索到的片段范围——因为每个基础的问答对都包含了每个问答所需的全部背景。不再需要猜测，也不再会有胡言乱语。只有精准可信的答案。
原子问答拆分为何改变RAG游戏规则这种方法不仅提供没有幻觉的答案，还确保其他额外的好处。
- 避免了上下文中的歧义：通过使用全名和精确细节，我们消除了类似术语或人物之间的混淆（例如，西奥多·罗斯福与富兰克林·D·罗斯福）。
- 可以处理各种长度的文章：此方法可以处理任何长度的文章，将其分解成可以生成简洁问答对的专注类别。
- 提高检索准确性：SQL和向量数据库一起工作，提供精确匹配或上下文相关的结果，而且不会出现错误的答案。
其中一个最重要的认识是理解LLM在RAG系统中的角色。LLM不应被当作知识或事实的仓库。相反，它们擅长转换语言、执行逻辑操作和整合信息。但真正的事实来源——经过验证的具体信息——应由RAG的检索机制提供。
换句话说，虽然大语言模型（LLM）可以优雅地表达回应，解决语言问题，并进行逻辑推理，但它无法依赖准确的事实记忆。事实必须来自于检索系统获取的文档或数据库，这也是为什么原子级问答可以很好地发挥作用。大语言模型通过检索系统中存储的明确无歧义的知识片段进行引导，确保它不需要“猜测”或捏造事实。
这种将语言操作与事实知识检索分离的思维方式转变是根本性的。它重新定义了大型语言模型的角色，从知识的预言家转变为强大的语言工具，用于操控和推理，而RAG技术则提供准确的事实。两者结合，形成了一套几乎消除了虚构内容和模糊背景信息的系统。
结论：RAG的未来是原子级原子型问答分块是一项突破，可使基于检索的增强生成（RAG）系统不仅更准确，还能避免幻觉和上下文歧义。通过将每个问答转换为独立的原子块，并将其存储在SQL和向量数据库中，我们确保每一条问答都是完整、无歧义且可精准检索。
在一个由AI模型有时会因缺乏上下文而出错或困惑的世界里，原子级问答就像那位总能掌握全部线索的侦探——随时准备解开谜团。
我在这里写了更多关于如何停止幻觉的内容，
https://medium.com/@JamesStakelum/solving-the-hallucination-problem-how-smarter-methods-can-reduce-hallucinations-bfc2c4744a3e
AIAccuracy #没有更多幻觉 #100%准确的AI技术 #AI创新 #聊天机器人革命浪潮 #自然语言处理 #语言模型 #AI未来 #机器学习 #认知计算 #AI技术 #自然语言处理 #AI向善应用 #技术进步 #AI革新 #可靠AI共同学习，写下你的评论
评论加载中...
作者其他优质文章
