就这样吧:
你绝对不可能在一百万年里,甚至更别提建立自己的邮件服务器——更别提建立自己的大型语言模型了,或者在大多数情况下的自己LLM。
你吗?
可是,我看到这么多公司都在努力打造自己的RAG(检索和生成)流程。
开发人员展示他们基于Langchain的RAG管道——却不知道他们在生产中会遇到巨大的挑战。
真的——我在波士顿的一个会议上遇到了一家初创公司,他们真的使用Langchain驱动的RAG流程发布了他们的MVP,然而几天之后,他们却坐在一起讨论从技术栈中移除Langchain。
真是太糟糕了——他们没有把精力放在市场契合度或其他能推动业务发展的因素上,而是重新构建技术栈——真是浪费了开发者的精力——他们好像在自己建造大型语言模型,而不是使用OpenAI的API。
这里有个小建议:RAG即服务。
让别人来做繁重的工作,等它上线后,再进行维护和升级。
我可不是在说笑——我们不得不花40,000工时来构建这样的RAG即服务,这背后是有原因的。
我在谈论像“RAG”这样的功能,比如自动与源内容保持同步——这样当你的知识更新时,你的AI也会随之更新——你会在你的RAG系统中加入这个功能吗?
(侧注:这实现起来简直是噩梦——试着让你自己的 Google Drive 和一个 RAG 流程保持同步,你就能体会了!)
为为什么构建RAG系统有挑战性让我讲清楚一点:RAG管道的构建已经变得非常复杂。
你不再只是写代码了,你现在正应对海量数据整合、云端架构以及各种大语言模型集成的挑战。
加入诸如准确性、可审计性、错误生成和可解释性这些新问题。
例如:试着向你的老板或客户解释为什么AI会那样做——然后在RAG整个流程中调试那个单一查询。
Langchain 不适合用于生产环境。原因在这里 …从幻觉到缺少引用和来源。从数据摄入问题到查询相关性不足。从……medium.com这篇文章链接到原文:这篇文章
问题是:传统的开发方式根本跟不上业务需求。
随着 OpenAI 让用户和企业期望高涨,努力跟上客户需求(或者当你老板进来问“嘿,你的 RAG 管道能不能做 X 呀?”)
有更好选项吗?想想看:你已经在广泛使用OpenAI的大模型API——为什么?这是因为OpenAI解决了所有关于准确性和托管大模型的问题。
最好的部分是:他们每个月都在不断改进。
为什么?因为他们就是这样做的。
同样,RAG即服务的提供商日复一日地改进RAG流程——而这每天都在为你带来好处。
构建自己RAG数据管道时遇到的问题让我给你展示一下,如果你自己搭建RAG管道的话会遇到什么(相信我,这还只是问题的一半)
图片来源: datasciencedojo.com
数据访问和检索不高效问题是:
你的团队正在虚掷大量时间在搭建数据管道上。
并保持它们同步。
而最糟糕的部分是,有些集成简直离谱。
假如你的公司需要与 Google Drive 实现完全自动同步的集成——这可能需要 3 到 6 个月的时间来获得 Google 的批准。然后就是这有趣的部分,实际让自动同步功能起作用。
随着规模增加而带来的复杂性但这还不止这些:
随着项目的扩大,数据管理需求也会急剧增加。
传统系统在压力下难以承受。
整合新的数据来源变得非常棘手。
当你以为你的RAG管线只需处理文档时,你还需要处理其他内容,例如网站、例如Zendesk这样的支持网站,或是YouTube这样的频道。
让RAG保持最新信息还有一个挑战等着你
你的RAG聊天机器人程序在数据被获取的那一瞬间就开始落伍了。
想想看,如果你网站上的定价页面改变,你的RAG管道流程会立即更新吗?
手动更新既耗时又易错。
AI 实施指南:构建还是购买如果您和世界上许多其他公司一样面临同样的问题,是否要“构建或购买”AI 解决方案让您左右为难……结果?RAG 检索与生成获取了过时的信息并犯了代价高昂的错误。这是导致误报的一个关键原因。
RAG 服务简介 “即服务”是什么意思?您会得到以下内容:
无需复杂的基础设施,即可快速访问强大的RAG能力。
只需几分钟即可快速部署,而不是几个月。
最好的部分呢?由专家帮你搞定一切。
比如,我碰到过一位Hubspot早期的员工。在Hubspot早期,客户会说:“嗨,我自己就能做CRM。我为什么要买Hubspot?”
他们就会回答说:“当然可以。但请记住:我们每天从早到晚都在这样做,并且每时每刻都在改进我们的CRM系统,因为我们每天都在为成千上万的客户提供服务。”——事实证明,这句话真是太准确了,因为现在我们从Hubspot在其CRM平台上投入的数百万工时中受益。
当你自己搭建了RAG之后,你是否每天都在维护和升级它,持续20年?还是你会看起来就像是那个维护自己20年前安装的邮件服务器或CRM系统的人?(哇哦!一个古老的邮件服务器软件,叫做Postfix!)
RAG作为服务的核心特性咱们来看看功能
与您的数据源无缝地集成——让别人来处理这些数据集成,比如这样的 Sharepoint、Wordpress、Google Drive 等等。
AI 生成的幻觉:别担心——这个问题其实已经被解决了——下面是如何解决的(附实例!)从大量数据和案例中学习——通过检索增强生成来控制 AI 幻觉的方法…处理关键业务问题,比如准确性、错误或误报以及安全性。
随着您的数据增长,我们的扩展性也随之提升。想想当您的RAG(检索和生成)需要处理100GB(或4TB)的数据时会发生什么。(这可不是在开玩笑——我们最近真的收到了一个客户的要求,需要从Sharepoint导入4TB的数据。)
这一切简单易用的API,就像操作OpenAI SDK那样,一样简单。
或者如果你更喜欢的话:一个无需编码的系统,这样你的非技术人员也能轻松创建和部署RAG聊天机器人。
选择合适的供应商以下是你需要注意的:
RAG有实证记录的成功案例,寻找真实成果的案例。
我们采用了诸如SOC-2 Type 2这样的强大安全措施。安全是我们不容妥协的基本原则。
全面的L2支持和新手引导(L2指第二层)。
特别是当RAG用于商业用途时,准确性及反幻觉的基准尤为重要。
RAG的未来趋势图片来自 : customgpt.ai。
未来令人兴奋!
能够阅读包含图像和表格的复杂图文文档。想想医学期刊文章或技术文档(PDF格式)。
在准确性和防止错误信息方面取得了巨大进步,并增加了诸如内嵌引文等增强信任的因素。
语音RAG功能——只需拨打一个电话号码或用你的智能手机与知识交流,就像ChatGPT的高级语音模式一样。
能理解复杂的图形数据。
RAG即服务的行业影响影响会非常大,甚至是毁灭性的,
更快的开发速度。
减少了错误和不一致的地方
这将通过改进效率的提升带来显著的成本节约。
底线 ("# Bottom Line")为了避免你的开发团队浪费数千个小时的努力,让别人来负责繁重的工作,让你紧跟最新的RAG发展。
RAG即服务就是那个解决方案。
你有没有尝试在你的开发流程中引入RAG?在下面留言中分享你的经验,我很期待。
说白了 🚀感谢你加入_简明英语_的社区!在你离开前,还有件事想对你说:
共同学习,写下你的评论
评论加载中...
作者其他优质文章