企业官网建设流程全解析

申请网站建设费用的请示,安徽省建设工程信息网百度,公司快速建站,网站建设详细教程视频本站文章一览#xff1a; 假设有一组文档#xff08;PDF、Notion页面、客户问题等#xff09;#xff0c;你想要总结内容。可以利用大模型来帮你。今天来系统看下利用大模型来对文本进行总结的方法#xff0c;以LangChain的使用为例。 参考#xff1a;python.langchain.c…本站文章一览假设有一组文档PDF、Notion页面、客户问题等你想要总结内容。可以利用大模型来帮你。今天来系统看下利用大模型来对文本进行总结的方法以LangChain的使用为例。参考python.langchain.com/docs/use_ca…0. 方法概述在利用大模型总结文本的过程中最主要的工作是如何将文档内容传递给大模型。目前有两种常见的方法Stuff方法简单地将所有文档“填充”到单个提示中。这种方法的主要优点是简单但缺点是当文档很长或数量很多时可能会超出模型的上下文窗口限制导致信息丢失或模型性能下降。Map-reduce方法这种方法分为两步。首先在“map”步骤中单独对每个文档进行摘要。然后在“reduce”步骤中将这些摘要合并成一个最终摘要。这种方法的主要优点是它可以处理大量或长文档因为它在合并之前先对它们进行了压缩。但是这种方法可能需要额外的逻辑来确保在“reduce”步骤中生成的最终摘要是有意义和连贯的。1. 实操练习1.1 快速开始1.1.1 代码示例from langchain.chains.summarize import load_summarize_chain from langchain_community.document_loaders import WebBaseLoader from langchain_openai import ChatOpenAI loader WebBaseLoader(https://lilianweng.github.io/posts/2023-06-23-agent/) docs loader.load() llm ChatOpenAI(temperature0, model_namegpt-3.5-turbo-1106) chain load_summarize_chain(llm, chain_typestuff) result chain.run(docs) print(result)代码示例中使用了 LangChain 的load_summarize_chain来总结文本chain_typestuff表明采用 Stuff 方式。后面会给大家展示load_summarize_chain的部分实现。1.1.2 运行一下运行结果如下1.2 Stuff方法这种方法就是直接将全部文本塞给大模型让大模型直接总结。1.2.1 StuffDocumentsChain在上面的示例代码中我们使用load_summarize_chain时传入的chain_typestuff其实底层用的是 LangChain 中的StuffDocumentsChain。看下直接StuffDocumentsChain的使用示例from langchain.chains.combine_documents.stuff import StuffDocumentsChain from langchain.chains.llm import LLMChain from langchain.prompts import PromptTemplate # Define prompt prompt_template Write a concise summary of the following: {text} CONCISE SUMMARY: prompt PromptTemplate.from_template(prompt_template) # Define LLM chain llm ChatOpenAI(temperature0, model_namegpt-3.5-turbo-16k) llm_chain LLMChain(llmllm, promptprompt) # Define StuffDocumentsChain stuff_chain StuffDocumentsChain(llm_chainllm_chain, document_variable_nametext) docs loader.load() print(stuff_chain.run(docs))Prompt很简单一眼就能看出其工作原理它就是将docs全部扔给了大模型让大模型给出一个简要的总结prompt_template Write a concise summary of the following: {text} CONCISE SUMMARY:1.3 Map-Reduce方法首先使用LLMChain将每个文档映射到一个单独的摘要。然后使用ReduceDocumentsChain将这些摘要合并为一个全局摘要。1.3.1 代码示例1.3.1.1 文本分块text_splitter CharacterTextSplitter.from_tiktoken_encoder( chunk_size1000, chunk_overlap0 ) split_docs text_splitter.split_documents(docs)1.3.1.2 对分块文本的总结Chain# Map map_template The following is a set of documents {docs} Based on this list of docs, please identify the main themes Helpful Answer: map_prompt PromptTemplate.from_template(map_template) map_chain LLMChain(llmllm, promptmap_prompt)重点看Prompt给定一个文档列表根据这个文档列表识别出主题思想。来看下其执行的结果输入分割后的一段文本输出这段文本的主题思想。每段文本都调用一次大模型执行一次该操作所以注意你的API KEY的次数消耗…1.3.1.3 ReduceDocumentsChain有了上面分块的总结下面的步骤就是根据分块总结合并成一条完整的总结。在LangChain中可以使用ReduceDocumentsChain类来实现此步骤。# Reduce reduce_template The following is set of summaries: {docs} Take these and distill it into a final, consolidated summary of the main themes. Helpful Answer: reduce_prompt PromptTemplate.from_template(reduce_template) # Run chain reduce_chain LLMChain(llmllm, promptreduce_prompt, verboseTrue) # Takes a list of documents, combines them into a single string, and passes this to an LLMChain combine_documents_chain StuffDocumentsChain( llm_chainreduce_chain, document_variable_namedocs, verboseTrue ) # Combines and iteratively reduces the mapped documents reduce_documents_chain ReduceDocumentsChain( # This is final chain that is called. combine_documents_chaincombine_documents_chain, # If documents exceed context for StuffDocumentsChain collapse_documents_chaincombine_documents_chain, # The maximum number of tokens to group documents into. token_max4000, verboseTrue )从代码中可以看到ReduceDocumentsChain设置了4个参数我们分别来解释下。combine_documents_chain这是最终执行总结的Chain。它的值为combine_documents_chain。而combine_documents_chain定义为一个StuffDocumentsChain类型的Chain也就是简单地将前面分块总结的内容塞给大模型让它根据分块总结再汇总总结一次。collapse_documents_chain这个Chain的作用是来处理塞给大模型的Token超限的情况。如果文本特别多分块特别多那分块总结出来的东西也会非常多。单纯的将分块总结内容合并在一起还是很有可能超过大模型上下文窗口限制。这个Chain会按设置的最大Token数将内容再次拆分然后再利用StuffDocumentsChain进行分块总结直到最终各分块总结合并起来能一次塞给大模型才停止。这是个递归分割总结的过程注意Token或者调用次数的消耗都是钱啊…token_max最大Token数超过这个Token数执行上面的collapse_documents_chainverbose开详细日志来直观感受下它的运行合并分块总结内容作为输入输出最终总结结果本例中分块总结文本合并后没有超限所以没用到collapse_documents_chain。1.3.1.4 Map-Reduce组合Chain: MapReduceDocumentsChain# Combining documents by mapping a chain over them, then combining results map_reduce_chain MapReduceDocumentsChain( # Map chain llm_chainmap_chain, # Reduce chain reduce_documents_chainreduce_documents_chain, # The variable name in the llm_chain to put the documents in document_variable_namedocs, # Return the results of the map steps in the output return_intermediate_stepsFalse, verboseTrue )1.3.2 运行及结果print(map_reduce_chain.run(split_docs))2. 部分源码1ReduceDocumentsChain中如果Token超限的处理collapse_documents_chain直接一个 while 循环压缩Token数。2load_summarize_chain的封装在1.1中我们使用了chain_type stuff它其实也可以使用 “map_reduce” 或 “refine”。如果chain_type设置为map_reduce看它的源码跟我们1.3节中的代码几乎一样。load_summarize_chain就是对这几种方法的高层封装def _load_map_reduce_chain( llm: BaseLanguageModel, map_prompt: BasePromptTemplate map_reduce_prompt.PROMPT, combine_prompt: BasePromptTemplate map_reduce_prompt.PROMPT, combine_document_variable_name: str text, map_reduce_document_variable_name: str text, collapse_prompt: Optional[BasePromptTemplate] None, reduce_llm: Optional[BaseLanguageModel] None, collapse_llm: Optional[BaseLanguageModel] None, verbose: Optional[bool] None, token_max: int 3000, callbacks: Callbacks None, *, collapse_max_retries: Optional[int] None, **kwargs: Any, ) - MapReduceDocumentsChain: map_chain LLMChain( llmllm, promptmap_prompt, verboseverbose, callbackscallbacks ) _reduce_llm reduce_llm or llm reduce_chain LLMChain( llm_reduce_llm, promptcombine_prompt, verboseverbose, callbackscallbacks ) # TODO: document prompt combine_documents_chain StuffDocumentsChain( llm_chainreduce_chain, document_variable_namecombine_document_variable_name, verboseverbose, callbackscallbacks, ) if collapse_prompt is None: collapse_chain None if collapse_llm is not None: raise ValueError( collapse_llm provided, but collapse_prompt was not: please provide one or stop providing collapse_llm. ) else: _collapse_llm collapse_llm or llm collapse_chain StuffDocumentsChain( llm_chainLLMChain( llm_collapse_llm, promptcollapse_prompt, verboseverbose, callbackscallbacks, ), document_variable_namecombine_document_variable_name, ) reduce_documents_chain ReduceDocumentsChain( combine_documents_chaincombine_documents_chain, collapse_documents_chaincollapse_chain, token_maxtoken_max, verboseverbose, callbackscallbacks, collapse_max_retriescollapse_max_retries, ) return MapReduceDocumentsChain( llm_chainmap_chain, reduce_documents_chainreduce_documents_chain, document_variable_namemap_reduce_document_variable_name, verboseverbose, callbackscallbacks, **kwargs, )3. 总结本文我们学习和实践了利用 LangChain 进行文本总结的两种方法知道了其实现原理所以我们应该不用 LangChain的这些封装也可以自己实现一套文档总结流程。其实LangChain 还有其它的文档总结的Chain例如 RefineDocumentsChain 和 AnalyzeDocumentsChain大体原理与本文介绍的两种方式都差不多主要是封装的差异感兴趣的也可以去试试。想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”