企业官网建设流程全解析

内江规划建设教育培训中心网站,上海企业网站建设电话,媒介平台,石家庄新闻头条新闻实现一个支持引用文本的RAG系统不仅能够动态整合外部知识库#xff0c;还可以在生成答案的同时提供引用文本#xff0c;从而显著增强答案的可信度和可解释性。 在人工智能迅速发展的今天#xff0c;大语言模型#xff08;如GPT-4#xff09;展示出了强大的语言生成能力。…实现一个支持引用文本的RAG系统不仅能够动态整合外部知识库还可以在生成答案的同时提供引用文本从而显著增强答案的可信度和可解释性。在人工智能迅速发展的今天大语言模型如GPT-4展示出了强大的语言生成能力。然而这类模型也有其局限性比如无法动态更新知识库、对特定领域信息掌握不足以及容易生成“看似合理但错误”的答案。为了解决这些问题**RAGRetrieval-Augmented Generation**应运而生。RAG的最大特点在于它不仅生成答案还能提供答案的上下文引用文本。这种能力显著提高了系统的可信度和可解释性尤其在需要验证信息来源的应用场景如法律、医学、学术研究等中具有重要价值。1. 业务需求描述知识库中的文档可能会不断更新例如新增文件、修改现有文件等。系统需要能够检测到这些变化并自动完成以下任务识别新增或更新的文件通过计算文件的哈希值。生成嵌入并存储到向量数据库中。避免重复处理已存在的文档提升效率。系统不仅需要生成针对用户问题的自然语言答案还需要明确标明答案的来源提供可验证的引用文本。这一功能对提升系统的可信度和可解释性至关重要。用户提问后系统检索最相关的片段将其作为上下文提供给生成模型。在每个文本片段中附加文件名、来源路径、片段内容等元信息。2. 系统的工作流程RAG系统的实现可以分为以下几个步骤每一步都起着至关重要的作用。以下流程图展示了一个完整的RAG系统工作流程可以看出在生成答案的同时系统会提供引用文档内容作为支撑这与仅提供答案的传统生成式模型形成了鲜明对比。3. 关键技术要点3.1 文件更新与动态管理为了确保系统知识库的实时性我们通过计算文件哈希值检测文档的更新或新增。一旦检测到新文件或文件变化系统会自动生成新嵌入并更新向量数据库。3.1 提供引用文本的重要性在实际应用中系统提供引用文本的能力可以解决以下问题增强可信度用户不再只是依赖生成模型的“黑盒答案”而是可以验证引用内容的准确性。提升可解释性对于复杂问题引用上下文能让用户了解生成答案的依据和背景。支持领域审查在需要严格审查的领域如法律、医学引用文本是不可或缺的。4. LangChain组件概述LangChain是一个非常适合的工具框架。LangChain通过模块化设计简化了从数据加载到问答生成的全流程操作。当前系统使用到的核心模块包括数据加载器Loader支持多种数据格式的加载如文本、PDF等。文本分割器Text Splitter将长文本分割为适合检索的短片段。嵌入与向量存储将文本映射到高维向量空间并存储用于快速检索。Prompt管理灵活设计生成模型的输入提示Prompt。问答链Chain将检索和生成串联完成从问题到答案的闭环。接下来我们将实现一个支持引用文本的RAG系统介绍核心实现思路。相关阅读5. 核心实现思路完整代码已放到学习资料包中langchain_rag_1.py5.1. 文档加载与预处理RAG系统的第一步是将文档加载进来。LangChain提供了强大的文档加载工具如DirectoryLoader可以一次性加载整个文件夹中的文本文件。加载后的文档需要经过预处理包括清理无关字符和分割文本。loader DirectoryLoader( dir_path, glob**/*.txt, loader_clsTextLoader, loader_kwargs{encoding: utf-8} )在文本分割阶段系统会将文档切分成多个小片段每个片段长度控制在500个字符左右并设置一定的重叠区间如50个字符。这种分割方式确保了上下文的完整性即使某些答案跨段落分布也能在检索时保持语义连续性。text_splitter RecursiveCharacterTextSplitter(chunk_size500, chunk_overlap50) texts text_splitter.split_documents(data)5.2. 嵌入与存储分割后的文本片段需要通过嵌入模型如OpenAI Embeddings转化为向量表示。嵌入模型会将文本映射到高维向量空间其中相似的文本会具有更接近的向量表示。生成的向量存储在向量数据库如Chroma中。在存储向量时我们附加了文档的元信息Metadata包括文档来源如文件名、路径。文档的哈希值用于检测更新。元信息的存储是实现引用文本的关键因为它允许我们在检索阶段返回片段的来源和内容。embeddings OpenAIEmbeddings(modeltext-embedding-3-large, base_urlhttps://api.openai-hk.com/v1) vectorstore Chroma.from_documents( documentstexts, embeddingembeddings, collection_namebook_demo, persist_directory./chroma_db )相关阅读5.3. 问题检索与答案生成当用户输入问题时系统首先会根据问题检索最相关的文本片段。这一阶段的目标是找到支持答案的上下文而不是直接生成答案。LangChain中检索模块通过向量相似度计算如余弦相似度完成这一任务。检索到的上下文片段将与用户问题一起作为输入提供给生成模型。一个精心设计的Prompt模板会引导生成模型利用上下文回答问题。例如上下文信息如下---------------------{context}---------------------请根据以上提供的上下文信息不依赖其他外部知识回答以下问题问题: {input}答案:在这个Prompt中{context}是系统检索到的相关文档片段而{input}是用户的问题。生成模型会在上下文的基础上生成准确的答案。def create_rag_chain(vectorstore, top_k3): 创建RAG问答链 Args: vectorstore: 向量存储实例 top_k (int): 检索的文档数量 Returns: RetrievalChain: RAG链实例 llm ChatOpenAI( modelgpt-4o-mini, temperature0, base_urlhttps://api.openai-hk.com/v1 ) retriever vectorstore.as_retriever(search_kwargs{k: top_k}) PROMPT PromptTemplate.from_template( 上下文信息如下 --------------------- {context} --------------------- 请根据以上提供的上下文信息不依赖其他外部知识回答以下问题 问题: {input} 答案: ) question_answer_chain create_stuff_documents_chain(llm, PROMPT) return create_retrieval_chain(retriever, question_answer_chain)5.4. 提供引用文本除了最终答案系统还会将检索到的上下文片段作为引用文本一并展示。例如对于问题“菩提祖师身边有多少个人”系统可能会返回如下结果问题菩提祖师身边有多少个人答案菩提祖师身边有三十个小仙侍立台下。引用文档Source 1:text : 这猴王整衣端肃随童子径入洞天深处观看一层层深阁琼楼一进进珠宫贝阙说不尽那静室幽居直至瑶台之下。见那菩提祖师端坐在台上两边有三十个小仙侍立台下。果然是 大觉金仙没垢姿西方妙相祖菩提 不生不灭三三行全气全神万万慈。 空寂自然随变化真如本性任为之…file_hash : 2545120aa977ff5dddc91f4cdabc808esource : …\data\xiyouji\西游记第一回.txtSource 2:text: “…”这种引用形式不仅让用户知道答案的来源还能验证答案是否准确。如果答案不够明确用户可以直接查阅引用文档的全文。for i, doc in enumerate(response[context]): print(f\nSource {i1}:) print(f text: {clip_text(doc.page_content, threshold350)}) for key in doc.metadata: if key ! pk: val doc.metadata.get(key) clipped_val clip_text(val) if isinstance(val, str) else val print(f {key}: {clipped_val})6. 应用场景支持引用文本的RAG系统在以下领域有着广泛的应用前景企业知识管理帮助企业员工快速查询内部文档同时提供引用内容便于验证。法律咨询在生成法律建议的同时附上相关法规或案例的引用文本。学术研究支持研究人员检索论文片段回答问题并标明来源。医疗问答提供医学知识回答的同时附加权威文献或指南内容。实现一个支持引用文本的RAG系统不仅能够动态整合外部知识库还可以在生成答案的同时提供引用文本从而显著增强答案的可信度和可解释性。这一能力使得RAG系统在知识密集型领域大有可为。未来系统可以进一步扩展系统功能例如支持多模态数据如图像、表格或实时抓取外部信息为用户提供更全面的智能服务。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】