多年以来，大宗商品的买方、卖方、交易员和分析师只能依赖彼此割裂的数据来源，很难跟上市场变化，也很难及时做出决策。没有一个可靠信息的中心枢纽，专业人士常常要花上几个小时把数据拼凑起来，才能掌握情况、做出预测。
今天，像 Vesper 这样的大宗商品情报平台通过提供一站式方案解决了这个问题，把所有关键的价格数据、市场报告和预测汇集到一个易于访问的地方。
然而，这类平台再有帮助，它们同样装满了强大的工具和信息，用起来可能让人不知从何下手。用户常常遇到这样的难题：确定自己到底需要哪一个产品（例如，在 33 种不同的面粉之间找出需要的那一种），或者搞清楚如何解读我们的预测工具来辅助预算决策。
Vesper 的使命是继续做市场上最易用的大宗商品情报平台，持续提升可访问性和易用性。作为这一承诺的一部分，我们推出了 Vesbot：一个由 AI 驱动的聊天机器人，它在不打断工作流程的前提下提供即时的答案和指引。 Vesbot 基于专门针对 Vesper 的数据和使用场景进行调整的 ChatGPT 模型构建，能够迅速把用户和相关的洞察连接起来，引导他们了解平台的各项功能，并为复杂的决策提供结合上下文的协助。Vesbot 减少了寻找答案所花的时间，并提供全天候支持，从而简化了使用体验，让用户能够更快、更有依据地做决策，并充分发挥 Vesper 的能力。
有了 Vesbot，用户无需在庞大的平台里费力摸索，也无需等待人工支持，就能顺畅地获取 Vesper 的全部洞察与数据，把大宗商品情报的可访问性和效率带到新的水平。
在本文中，您将了解构建 Vesbot 背后的历程，包括我们选择的技术路线、遇到的挑战，以及我们正在规划的未来发展。读完之后，您会更深入地理解 Vesbot 如何工作、驱动它的 AI 创新，以及它是如何被设计成为我们的用户提供更快、更聪明的洞察的。
我们是如何着手构建一个定制聊天机器人的？
那么，我们为什么要启动这个项目，又是怎么做的呢？我相信你们中很多人已经很熟悉 ChatGPT 了。这个聊天机器人本质上是一个 AI 模型加上一个用户界面，它非常擅长用一种很像人的方式给出答案。然而，要处理针对你自己使用场景的问题可能并不容易。这是因为它缺少充分理解你问题所需的信息。要具备这种能力，模型需要熟悉与那个具体使用场景相关的数据。
让聊天机器人适配特定使用场景的方法有好几种。我们探索了多种选择，包括用一组预先设定的问答来训练聊天机器人，或者针对特定情景使用基于规则的系统。最终，我们选择了检索增强生成（Retrieval-Augmented Generation，RAG）这一路线。
RAG 之所以突出，是因为它让聊天机器人能够实时访问并从一个庞大的数据库中检索信息，确保回答始终是最新的。这种方式让聊天机器人可以调取最相关的数据来准确回答问题。此外，RAG 增强了聊天机器人给出符合上下文的回答的能力，同时也给了我们灵活性，可以用贴合您独特需求的数据和洞察来定制它。
大语言模型及其适配
在这一章里，我会介绍一些对理解 RAG 系统至关重要的关键技术概念。如果您已经熟悉这些概念，可以直接跳到“RAG 是如何工作的？”一节。
大语言模型（LLM）
LLM 通常基于 Transformer 架构，也就是说它们接收输入、对其编码，然后再解码以生成输出，和其他基于 Transformer 的模型一样。LLM 与普通 Transformer 的关键区别在于，它们是在极其庞大的数据集上训练的，数据来源包括网站、书籍、研究论文等等。这种大规模的训练让 LLM 得以发展出对语言的深刻理解。
可以把 LLM 想象成一个超级学习者，它读过数十亿个句子，从而像人一样理解语言，包括上下文和文化上的暗示。它从海量的书面材料中自行学习，不需要任何人明确地教它。正是这种自学能力，让 LLM 在各种场景中都非常有用，比如驱动聊天机器人。
LLM 用途极广，可以应用到任何涉及文本的项目上。举例来说，它们可以分析一篇新闻文章的语气，判断它是正面还是负面的。我们用 LLM 来创建能够自然对话的聊天机器人，在对话中给出更直观、更像人的回应。
提示词（Prompting）
我们可以把提示词理解为与 LLM 沟通的一种方式。通过给它一组指令，您可以让 LLM 适配您的具体使用场景。提示词的质量至关重要，因为指令越有效，您得到的答案就越好。设想您正在向 ChatGPT 提问，但得到的回答并不太是您期望的。您可能会换一种问法、补充更多上下文，或者指明某些细节。这个不断打磨输入的过程，本质上就是提示词工程。
微调
微调是指我们训练一个已经预训练好的模型，让它在某个特定任务上表现得更好。对 LLM 来说，这涉及使用监督学习方法，即用带标签的数据集来训练模型。例如，如果您要为情感分析微调一个 LLM，您会使用一个每段文本都被标注为“正面”或“负面”的数据集。在微调过程中，模型会调整自己的内部参数，以便更准确地预测标签。这个过程会定制 LLM，提升它在您具体项目上的准确度。微调让模型在您的特定应用上的表现优于它原本的形态。
RAG
既然您已经理解了 LLM、提示词和微调这些概念，我们来谈谈我们为自己的应用所选择的方法：RAG。
简单地说，RAG 是一种让您把自己的数据加入 LLM 的技术，从而让它生成更准确、更相关的回答。这种方法解决了 LLM 普遍面临的两大挑战：幻觉和信息过时。
幻觉发生在 LLM 生成错误信息的时候，这往往是因为它并不知道答案，却仍然试图给出一个。信息过时则是另一个问题，因为 LLM 是在截至训练日期可获得的数据上训练的，因此缺少最新的信息。
既然我们要构建的是一个聊天机器人，向用户提供最新且正确的信息就至关重要。过时或错误的回答会侵蚀信任，削弱这个应用的有效性。
借助 RAG，我们可以缓解这些问题。模型会从一个特定的、保持更新的数据集中检索相关信息，并把它与自身的语言生成能力结合起来，确保回答既准确又及时。
接下来，我会再多讲一点 RAG 是如何工作的，以及要有效落地它需要哪些步骤。
RAG 是如何工作的？
要完整理解 RAG 如何让 LLM 产出更准确、更贴合上下文的回答，我们需要探讨三个关键组成部分：外部文档、检索过程和增强阶段。上面这张图详细说明了这些概念。
外部文档
LLM 是在大型数据集上训练的，但它们并不包含超出原始训练数据之外的特定信息或最新信息。外部数据的形式可以多种多样，比如结构化数据库、PDF 或纯文本文档，这些数据需要被纳入模型的知识库。为此，外部数据会被转换成数值格式并存储在向量数据库中，使 LLM 能够访问和解读它们。
检索
一旦我们把外部数据存入了向量数据库，下一步就是检索过程。我们的外部数据包含许多不同的文档，而检索的目标，是只从这些文档中返回与用户查询相关的部分。在这个过程中，最相关的文档会依据一个相关性评分被返回，这个评分基于查询与文档内容的匹配程度。
举例来说，如果一位用户向 FAQ 聊天机器人提出“我想修改我的账户”这样的问题，检索系统会在数据中搜索与账户管理相关的文档。此外，算法可能会优先选择那些专门针对常见账户变更或流程的文档，确保用户得到最相关、最有帮助的信息。
增强
一旦相关文档被检索出来，LLM 就会结合这些数据以及给定的提示词来生成回答。在这一步里，提示词起着关键作用。正如前面提到的，一个精心设计的提示词可以显著影响 LLM，让它产出符合您期望的回答。把准确的外部数据与精心设计的提示词结合起来，RAG 便能确保 LLM 给出精确且贴合上下文的答案。
高质量文档的重要性
我们的帮助与支持聊天机器人是否有效，根植于我们提供给 RAG 系统的信息的质量与组织方式。通过认真筛选和组织这些文档，我们确保聊天机器人能够对用户的提问给出精确而有用的回答。
为了让聊天机器人发挥最大作用，我们把数据组织成了几个不同的部分。鉴于这是一个为 Vesper 平台定制的聊天机器人，纳入与平台各项功能相关的完整文档就非常必要。我们纳入了以下类型的文档：
平台导航与结构：
- 目的：帮助用户轻松地在 Vesper 平台中找到路径。
- 内容：对平台结构的详细说明，包括如何进入不同板块以及如何使用各项功能。这也包括产品指南，为使用工具的特定部分提供分步说明。
功能文档：
- 目的：针对平台的具体功能提供快速而准确的答案。
- 内容：关于数据下载和 API 集成等高级功能的信息。
市场报告与区域洞察：
- 目的：说明我们在各类大宗商品上覆盖了哪些类型的分析。
- 内容：对各类大宗商品相关报告的解释，以及它们在平台内的相关性与用法。
数据可用性：
- 目的：告知用户 Vesper 平台上有哪些可用的数据序列。
- 内容：平台上可用数据的完整清单。
利用这些数据，下面的例子展示了聊天机器人现在如何能够就非常具体的平台相关问题为我们的用户提供支持：
外部数据质量的重要性
在开发这个聊天机器人的整个过程中，我们遇到了与文档质量和结构相关的挑战。高质量、组织良好的文档至关重要，因为它们直接影响聊天机器人检索并给出准确信息的能力。结构糟糕或已经过时的文档会导致不相关或错误的回答，这可能削弱用户对系统的信任，在最坏的情况下甚至弊大于利。
为了解决这个问题，我们确保所有文档都组织良好并定期更新。这不仅改善了检索过程，也确保用户能得到尽可能最新、最准确的信息。随着我们继续扩展聊天机器人的能力，保持这些文档的质量与时效性仍然是重中之重。
未来的发展方向
我们目前的聊天机器人运行得很好，会在很多方面帮到我们的用户，但我们的目标是更好的表现。我们力求通过分析用户的交互，持续改进为用户提供的服务。这样我们就能看到用户都在提出哪些类型的请求，并据此指导未来的开发方向。举例来说，如果有大量关于市场当前状况的询问，我们可以探索如何更好地向用户提供市场信息。
未来我们面临的最大挑战之一，是确保聊天机器人持续提供最新的信息。这需要定期用最新数据更新它的知识库，在变化很快的领域尤其如此。我们的目标不仅是让聊天机器人感觉像一个真正的对话伙伴，也要确保它始终给出最新、最相关的信息。通过聚焦这些方面，我们希望能就各种主题提供及时的协助，确保我们的用户得到准确而有用的回答。
我们很期待看到这个聊天机器人成长为一个真正全面的助手，它不仅能回答问题，还能提供市场洞察、个性化的建议，甚至帮助处理复杂的决策。
欢迎关注 Vesper 的 Machine Learning Engineer Tuğçe Güneş 的文章，随时了解我们在这段开发旅程中的进展！
