企业在使用内部聊天机器人时为何会失败，以及如何有效利用生成式AI改善业务流程

这个标题通俗易懂，并且符合中文的表达习惯。它直接点出了文章的主要论点，即企业在内部使用聊天机器人时可能遇到的问题，以及如何更好地利用生成式AI来提升业务流程。

背景图片来自元素.envato.com，由马塞尔·穆勒编辑，2024

许多组织常常抱有以下失望：他们对生成式AI如ChatGPT或微软Co-Pilot感到兴奋，读了一些关于AI如何“使你的业务变得更好的文章”，然后寻找其他可以利用聊天机器人的应用场景，结果却大失所望。然后就进入了解释阶段。我常听到类似的话，比如“模型还不够好”或“我们需要提高员工编写更好提示的能力”。

在绝大多数情况下，这些结论大多数都是错误的，源于我们对聊天机器人（Chatbot）的理解存在问题。我为从只有三个人的团队到拥有超过三万多名员工的全球企业开发了超过三十几个生成式AI应用，并且在每个场合都发现了这种模式。

成千上万的公司告诉你，你需要某种“聊天机器人解决方案”，因为大家都在这么做。OpenAI 的 ChatGPT、微软的 Copilot、谷歌的 Gemini 以及其他很多公司在卖，正在降低创建聊天机器人的最初门槛。但让我告诉你：75% 的棘手问题，虽然可以通过生成式人工智能解决，但并不一定需要通过成为聊天机器人来解决。

我经常看到管理者、项目总监或其他决策者从这样一个想法开始：“我们这里有一些带有AI的产品，可以用来构建聊天机器人——让我们尽可能多地找到可以应用它的地方。”根据我的经验，这是错误的方法，因为你是从一个解决方案入手，试图将现有问题硬套进去。正确的方法是先研究和分析问题，然后再找到合适的AI解决方案。聊天机器人可能适合某些情况，但将每个问题都硬塞进聊天机器人是有问题的。

把解决方案强加给问题 vs. 从问题出发找到解决方案。© Marcel Müller 2024

在这篇文章中，我将分享亲手构建无数应用程序所获得的见解和方法。这些现在已上线并服务于数千用户的应用程序，塑造了我的思考——不是盲目跟随趋势，最终失望地发现未能成功。

别从聊天机器人开始想，那从哪开始好呢？答案其实很简单：先从业务流程入手。

公司内部发生的一切都是一个业务流程。业务流程是由不同的活动（“工作单元”）、事件（例如，错误）和网关（例如，决策）连接而成的流程[1]。有工具可以用来以众所周知的图表形式对业务流程进行建模[2]，并且围绕业务流程的分析和改进形成了一整套研究学科[3][4][5]。业务流程管理是一个很好的工具，因为它不仅不是空洞的理论，而且在公司中被广泛应用——即使他们不知道该叫什么。

让我给你举个例子。假设你是一家公司，为银行做房地产估价。在银行发放抵押贷款之前，他们会要求房地产评估师估算该房产的价值，这样银行就知道，万一贷款无法偿还，他们至少有实际的价格可以参考。

创建一个房地产估价报告是一个大型的业务流程，我们可以将这个过程分解为几个子流程。通常，评估师会亲自前往房屋所在地，拍照，然后坐下来撰写一份20至30页的报告，详细描述他们的估价。让我们暂时不掉入“呃，一个20至30页的报告，坐在ChatGPT前我可能更快完成”的习惯。记住：先理清流程，再考虑解决方案。

我们可以将这个过程分解为更小的子过程，比如开车到房子，拍照，然后写报告的不同部分：房子的位置描述、不同房间的状况和大小描述。当我们深入研究单个过程时，可以看到其中涉及的任务、决策点和事件。例如，写位置描述时，房地产评估师坐在桌前进行一些研究，在谷歌地图上查看周边的商店，并检查城市交通图来确定房子的连接情况和街道外观。这些都是评估员必须执行的活动（或任务）。如果房子是偏远地区的单个农场，公共交通选择可能无关紧要，因为这类房子的买家通常需要开车。在流程中选择哪条路径进行的决策称为决策点。

如BPMN 2.0中建模的示例流程。©Marcel Müller 2024

在这里我们应用的这种流程导向思维始于评估现有的流程，然后再看看是否需要加入任何人工智能。

通过对我们流程和目标的分析后，我们现在可以开始探讨一下带有AI的流程应该是什么样子。重要的是我们要考虑每一个需要采取的步骤。如果我们仅关注于创建描述这一子流程，它可能看起来是这样的：

• 看看房子周边的地方和店铺
• 描述屋内的情况
• 如果不特别偏远的话，找到最近的公交站
• 写一篇一页的文字报告

而且是的，你可以通过与聊天机器人的互动来做到这一点，与一个“AI 伙伴”一起工作，直到你完成输出。但这种方法在公司环境中有三个主要问题：

1. 可重复性：每个人的提示内容不同，这会导致输出结果因提示者的技能和经验水平而异。不过，作为一家公司，我们希望我们的输出尽量保持一致性。
2. 质量各异：你可能曾经与ChatGPT互动时，需要多次重述提示语，直到得到你想要的质量。有时你甚至会得到完全错误的答案。在这一例子中，我们还没有找到一个大型语言模型（LLM），能够准确且高质量地描述周围的商店，而不出现幻觉现象。
3. 数据和现有系统的集成：每家公司都有内部资料或知识，可能希望在这些交互中使用。虽然你可以使用聊天机器人进行检索增强生成（RAG），但这并不是最简单和最通用的方法，每次都能得到理想的结果。

这些问题源于聊天机器人背后的大模型的核心问题。

聊天机器人交互（左边）对比预定义可重复流程的编排操作（右边）。© Marcel Müller 2024

与其依赖“提示-响应”交互循环，企业应用应被设计为一系列编排的、（部分）由AI驱动的流程步骤，每个步骤都瞄准特定的目标。例如，用户可以触发一个多步骤流程，该流程整合了各种模型及可能的多模态输入，以提供更有效的结果，并将这些步骤与小型脚本结合使用，这些脚本可以不使用AI来检索数据。通过整合检索增强生成（RAG）并减少人为干预，可以创建更强大且自动化的流程。

相比于手动通过交互界面进行的编排，这种方法显著提高了效率。此外，不应完全依赖AI模型。在上述例子中，我们发现使用Google Maps API来获取附近的站点和交通枢纽的质量远远优于向GPT-4这样的优质LLM或者像Perplexity这样的网络搜索RAG引擎查询。

让我们想一想没有AI的时代。手动流程可能需要很长时间。假设一项任务手动完成需要一个小时，如果重复执行四次，总共需要四小时。用由生成型AI驱动的聊天机器人可以节省大约50%（或者其他百分比）的时间。然而，剩余时间会花在构思提示、等待回复及调整输出质量上。这样就算到位了吗？

手动操作与聊天机器人自动化相比，可以节省多少时间？© Marcel Müller 2024

虽然可以节省时间，但需要编写提示、等待并调整输出以保持一致性，在多个员工执行相同流程的团队中可能会遇到一些麻烦。为了解决这个问题，使用操作模板变得至关重要。

使用模板，流程可以被概括和参数化，从而实现可重用性。创建高质量流程模板的投入只需做一次，而针对每个案例的执行变得更加高效。用于提示创建、质量保证和输出调整的时间显著减少。这是将基于聊天机器人的解决方案与使用模板的AI支持流程编排相比的核心差异。这种核心差异对质量和可重复性有重大影响。

业务流程模板带来的实际节省。© Marcel Müller 2024

另外，我们现在有一个小范围的测试环境可以测试和验证我们的解决方案。在一个聊天机器人中，用户可以输入任何东西，以可量化的方式测试并建立信心是很难的。我们越是定义和限制用户可以输入的参数和文件范围，我们就能更好地定量验证解决方案。

在AI支持的流程中使用模板，遵循了传统流程管理中业务流程引擎的原则。当有新的案件时，这些引擎会从模板库中选择模板进行编排。在编排时，会填充相应的输入参数。

在我们房地产评估过程的例子中，我们的模板需要三个输入：房屋类型（比如单户住宅等）、内部照片系列和地址。

流程模板如下所示：

1. 使用 Google Places API 和给定的地址来查找附近的商店。
2. 使用 OpenAI 视觉 API 描述内部情况。
3. 使用 Google Places API 查找最近的交通选项，
4. 使用 1. 和 3. 的输出 JSON 对象以及交通选项的描述，通过 GPT-4 生成一段文本，结构如下：对象描述，商店信息和交通选项，然后是内部描述，最后总结并为每个方面打分。

在我们的示例中，我们使用entAIngine平台及其自带的无代码构建器开发了应用程序。

需要注意的是，在这个过程中，只有四步之一涉及大型语言模型。这其实是一件好事！因为 Google 地图 API 从不会凭空捏造信息。不过，它确实可能包含过时的数据，但绝不会凭空编造听起来可能真实的事情。此外，我们还有人工验证的环节，因为我们现在有了可以分析和确认的真实信息来源。

在传统的流程管理中，模板减少了流程的变异性，确保了流程的一致性，提高了效率和质量（比如六西格玛）。这里我们也需要采取同样的方法。

现在，我们开始了这样一个使用大模型的过程，但它也解决了许多难题。但用户又是如何与它互动的呢？

这样的流程实现可以通过手动编码实现，或者使用无代码AI流程引擎，例如entAIngine [6]。

在使用模板来建模业务流程，业务流程中互动可以以多种方式发生。根据我最近两年的经验，对于90%的生成式AI应用场景，以下接口比较重要：

• 知识检索界面：能像搜索引擎那样引用和参考相关资料。

• 文档编辑器界面功能：结合了文本处理和对模板、模型及编排流程的访问。

• 聊天界面：用于反复互动的聊天界面。

• 无需专用界面的嵌入式编排（RPA）：通过API直接整合到现有的界面中。

最关键的问题是，最有效的交互方式是什么？确实，在某些创意场景或非重复性任务中，聊天界面可能更适合。但通常并非如此。通常，用户的核心目标是创建某种文档。在这种情况下，编辑器里提供模板是更高效的互动方式。但有时，如果你有一个现有的应用程序，想要用AI增强它，你并不需要创建另一个独立的界面。挑战在于如何在现有应用中正确执行流程，获取所需数据，并在应用界面中展示结果。

这些接口不仅构成了我迄今为止遇到的大多数生成式AI应用场景的基础，还使得这些应用能够大规模集成到企业级环境中。

通过从“我如何在各个地方使用AI聊天机器人？”转变到“哪些步骤属于哪些流程，以及如何利用生成式AI在这些步骤中发挥作用？”企业为真正实现AI的影响奠定了基础。将AI与现有系统相结合，然后只需确定你需要哪种用户界面。这样，你可以获得那些仅局限于聊天机器人的企业无法想象的效率。

[1] 杜马斯等著，《业务流程管理入门》，2018，

[2] 对象管理组. “业务流程模型和记法 (BPMN) 版本 2.0.2.” 2014年1月发布

[3] van der Aalst, 2016, 过程挖掘：数据科学的应用

[4] Luthra, Sunil, 等.《全面质量管理（TQM）：原则、方法及其应用》。第1版，CRC出版社, 2020。

[5] Panagacos,《最全业务流程管理指南》，2012

网址: www.entaingine.com [6]