带有人工介入的可控代理RAG聊天功能

如我之前所写，每当RAG实现面对更复杂的查询需求时，就会面临很大挑战，因此需要类似代理的解决方案。

实现代代理程序的一个主要挑战是可观察性和可控制性的问题。

客服人员经常采用诸如思考过程或计划之类的策略来应对用户的问题，通过与大型语言模型（LLM）多次互动。

然而，在这种不断尝试的方法中，监控代理的内部工作或在执行过程中中途进行干预以纠正其轨迹却颇具挑战。

为了解决这个问题，LlamaIndex 引入了一个专门为此设计的低级别代理，用于在检索增强生成（RAG）流程上提供可控且逐步的执行。

这一演示突显了LlamaIndex的目标，即通过新API展示更高的控制和透明度，该新API能够更好地管理和浏览复杂查询及大规模数据集。

在RAG管道之上引入代理能力，可以让你推理更复杂的问题，除此之外。

人机对话功能允许人类通过聊天界面逐步进行操作，以实现分步骤的人工干预。你可以通过聊天界面向代理提问，这些问题可能需要多步推理。这些问题可能需要较长时间才能得到解决，并且在某些情况下可能给出错误的结果。

当用户通过提问来使用HITL方法时，允许在每一步后通过用户的人类反馈进行更细致的反馈。这些迭代过程较短，可以由用户控制。在此过程中，用户可以利用代理型RAG的能力。

LlamaIndex 有一个完整的Colab笔记本来展示这项功能，如下所示，您唯一需要做的更改是添加您的 OpenAI API Key。

    import os  
    import openai  
    os.environ["OPENAI_API_KEY"] = "请将您的OpenAI API密钥填写在这里"

OpenAI的大模型仍然作为代理的基础。

还有其他情况采用“人在环中”（Human-In-The-Loop）的方法。

这种方法只是暂时让人类插手帮忙，然后再次返回自动化代理。因此，人类在这一过程中被用作一种工具，与其他代理工具一起使用。

⭐️ 关注我领英，获取大模型语言的最新资讯 ⭐️

我目前是 Kore AI 的 首席布道师。我探索并撰写关于人工智能与语言交汇处的一切，包括但不限于 LLMs、聊天机器人、语音机器人、开发框架和技术架构、数据为中心的潜在空间 等等更多。

领英(https://www.linkedin.com/in/cobusgreyling)

我探索和写有关人工智能与语言交汇处的一切等领域；LLM、NLP/NLU、聊天/语音机器人、CCA等…substack.com](https://substack.com/@cobusgreyling?source=post_page-----6bc0da0adff3--------------------------------)