企业官网建设流程全解析

网站服务器做缓存,wordpress 关闭头像,手机网站源码带后台,自学程序员的步骤RAG的工作流程涉及3个主要阶段#xff1a;数据准备、数据召回和答案生成。 数据准备阶段包括识别数据源、从数据源提取数据、清洗数据并将其存储在数据库中。数据召回阶段包括根据用户输入的查询条件从数据库中检索相关数据。答案生成阶段则是利用检索到的数据和用户输入的查…RAG的工作流程涉及3个主要阶段数据准备、数据召回和答案生成。数据准备阶段包括识别数据源、从数据源提取数据、清洗数据并将其存储在数据库中。数据召回阶段包括根据用户输入的查询条件从数据库中检索相关数据。答案生成阶段则是利用检索到的数据和用户输入的查询条件生成输出结果。输出质量的高低取决于数据质量和检索策略。数据召回是从大型文本数据库中检索与输入相关的信息。召回的数量越大正确答案被召回的概率也就越高答案生成一旦检索到用户问题相关的数据片段RAG系统就将其与用户的问题和相关数据一起传递给生成器LLM。LLM利用检索到的数据和用户的查询或任务生成输出。输出的质量取决于数据的质量和检索策略同时生成输出的指令也会极大地影响输出的质量。不同类型的数据库向量存储库向量存储库非常适合存储文本、图像、音频等非结构化数据并根据 语义相似性搜索数据。向量模型用于为数据库中存储的数据生成向量嵌入。搜索引擎在RAG系统中可以从通用搜索引擎如百度、Bing等或内部搜索引擎如Elasticsearch、Solr等中检索数据。在RAG架构的检索阶段使用问题/任务详细信息查询搜索引擎搜索引擎返回最相关的文档。图数据库图数据库以节点和边的形式存储数据。它适用于存储结构化数据如表格、文档等并使用数据之间的关系搜索数据。RAG的优缺点优点高质量的答案生成降低答案生成的幻觉在生成过程中检索器可以从大量文档中检索问题相关的信息然后基于这些信息生成回答。这使得整个系统能够充分利用现有知识生成更准确、更具深度的回答也意味着模型出现幻觉答案的概率更小。可扩展性由于RAG采用了检索—生成的框架因此只需更新检索部分的数据就可以使模型适应新的知识领域。这使得RAG在面对新领域或不断更新的知识库时具有很强的适应性。模型可解释性我们可以理解模型是如何生成回答的。由于RAG的特性我们可以很容易地追溯模型是从哪些文档中提取信息的。这使得我们可以评估模型的回答是否基于可靠的数据来源从而提高模型的可信度。成本效益由于RAG的知识库能够与生成模型解耦因此只要拥有一定的数据量企业便可将RAG作为微调的替代方法而微调可能需要大量资源。这种模式对中小企业非常友好。从另一个角度来看由于企业的数据都是私有的提供相关文档作为背景信息可以使生成结果更加准确、更具实用性以满足企业的特定任务需求。缺点依赖于检索模块RAG系统给出的答案极其依赖于检索的质量。依赖于现有的知识库RAG依赖于一个现有的文档数据库进行检索。首先如果没有一个大规模的知识库就无法发挥RAG的优点。其次如果知识库覆盖面不够无法召回相应的知识块那么模型因为需要遵循指令的约束而无法给出答案这就会影响到整个系统的问题覆盖率。推理耗时由于RAG系统需要先检索文档然后生成答案相比于纯粹的大模型推理整个系统的推理耗时会更长。在使用网页端ChatGPT的时候它以流式打字机的模式展示并按字来输出结果所以用户可能不会感觉很慢。上下文窗口限制召回模块输出的文档片段数量需要考虑到生成模型能处理的最大长度RAG的使用场景文档问答RAG系统可以从大量文档中检索相关信息帮助回答用户提出的问题。这种方法可以显著提高回答质量和准确性因为它利用了大量现有的知识资源。图谱问答知识图谱是一种以三元组形式存储各种知识的结构化表示方法。它提供了一种统一、可维护和可扩展的知识表示形式。在图谱问答场景中RAG系统可以从知识图谱中检索相关实体和关系以回答用户的问题。这种方法可以有效地处理复杂的问题因为它可以灵活地组合和推理知识图谱中的多跳信息。工具召回在智能代理agent应用中RAG系统可以根据用户的问题从预先配置好的工具列表中检索出对问题回复有帮助的工具然后模型会判断是否调用某个工具生成一个观察结果来确定最终的答案。这种方法可以提高回答的实用性和针对性因为它可以根据问题的具体情况选择合适的工具。示例召回在传统的FAQ问答系统中人工会提前配置好各种可能的问答对。当用户咨询新的问题时RAG系统可以检索出与问题相关的问答对并进行回复。这种方法可以提高回答的速度和准确性因为它利用了预先准备好的、经过验证的问答对。通过不断更新和扩展问答对库RAG系统可以持续提高其性能和覆盖范围。除此之外还有一些衍生的场景例如会话召回、上下文召回等。伸缩法则是指随着模型的大小、数据集的大小以及用于训练的计算量的增加模型的性能会提升。