企业官网建设流程全解析

无锡专业制作网站,中国最权威的网站排名,网络优化工程师有前途吗,翠竹营销网站设计在本教程中#xff0c;我们将会研究 LangChain 的细节#xff0c;这是一个利用语言模型开发应用程序的框架。首先#xff0c;我们会介绍有关语言模型的基本概念#xff0c;这将对本教程有一定的辅助作用。 尽管 LangChain 主要提供了 Python 和 JavaScript/TypeScript 语言…在本教程中我们将会研究 LangChain 的细节这是一个利用语言模型开发应用程序的框架。首先我们会介绍有关语言模型的基本概念这将对本教程有一定的辅助作用。尽管 LangChain 主要提供了 Python 和 JavaScript/TypeScript 语言的版本但是也有在 Java 中使用 LangChain 的可选方案。我们将会讨论组成 LangChain 框架的构建基块然后在 Java 中进行实验。背 景在深入探讨为何需要一个框架来构建语言模型驱动的应用程序之前我们必须首先了解什么是语言模型除此之外我们还会介绍在使用语言模型时遇到的一些典型的复杂问题。大语言模型语言模型是自然语言的一个概率模型可以生成一系列单词的概率。大语言模型LLM是以规模庞大为特征的一种语言模型。它们是人工智能网络可能会有数十亿个参数。LLM 通常会使用自监督和半监督学习技术在大量无标记的数据上进行预训练。然后使用微调和提示工程等各种技术对预训练模型进行调整使其适用于特定的任务这些 LLM 能够执行多种自然语言处理任务如语言翻译和内容摘要。它们还能完成内容创建等生成型任务。因此它们在问题回答这样的应用中极具价值。几乎所有主流的云服务提供商都在它们的软件产品中加入了大语言模型。例如微软 Azure 提供了 Llama 2 和 OpenAI GPT-4 等 LLM。Amazon Bedrock 提供了来自 AI21 Labs、Anthropic、Cohere、Meta 和 Stability AI 的模型。提示工程LLM 是在大量文本数据集上训练的基础模型。因此它们可以捕获人类语言内在的语法和语义。但是我们必须对其进行调整以便于让其执行我们希望它们执行的特定任务。提示工程是调整 LLM 最快的方法之一。这是一个构建文本的过程文本可以被 LLM 解释和理解。在这里我们使用自然语言文本来描述希望 LLM 执行的任务我们创建的提示有助于 LLM 执行上下文内的学习这种学习是临时性的。我们可以使用提示工程来促进 LLM 的安全使用并构建新的能力比如利用领域知识和外部工具来增强 LLM。这是一个活跃的研究领域新技术层出不穷。但是像思路链chain-of-thought提示这样的技术已经非常流行。该技术的理念是让 LLM 在给出最终答案之前通过一系列的中间步骤来解决问题。词嵌入正如我们看到的LLM 能够处理大量的自然语言文本。如果我们将自然语言中的单词表示为 词嵌入word embedding那么 LLM 的性能就会大大提高。这是一种实值向量real-valued vector能够对单词的含义进行编码。通常词嵌入是通过 Tomáš Mikolov 的 Word2vec 或斯坦福大学的 GloVe 等算法生成的。GloVe 是一种无监督学习算法根据语料库中全局的单词 - 单词间共现co-occurrence统计数据进行训练在提示工程中我们将提示转换为词嵌入使模型能够更好地理解提示并做出响应。除此之外它还有助于增强我们提供给模型的上下文使它们能够提供更多符合上下文的答案。例如我们可以从现有的数据集生成词嵌入并将其存储到向量数据库中。此外我们还可以使用用户提供的输入对该向量数据库执行语义搜索。然后我们将搜索结果作为模型的附加上下文。使用 LangChain 的 LLM 技术栈正如我们已经看到的创建有效的提示是在所有应用中成功利用 LLM 的关键因素。这包括让与语言模型的交互具有上下文感知的能力并且能够依靠语言模型进行推理。为此我们需要执行多项任务包括创建提示模板、调用语言模型以及从多个数据源向语言模型提供用户特定的数据。为了简化这些任务我们需要一个像 LangChain 这样的框架将其作为 LLM 技术栈的一部分在开发需要链接多个语言模型的应用并且需要调用过去与语言模型交互生成的信息时该框架会非常有用。此外还有一些更复杂的用例涉及到将语言模型作为推理引擎。最后我们还可以执行日志记录、监控、流式处理以及其他必要的维护和故障排除任务。LLM 技术栈正在快速发展以解决其中的许多问题。不过LangChain 正在迅速成为 LLM 技术栈的重要组成部分。面向 Java 的 LangChainLangChain 在 2022 年以开源项目的形式启动并很快在社区的支持下赢得了广泛关注。它最初由 Harrison Chase 用 Python 语言开发很快就成为人工智能领域发展最快的初创公司之一。2023 年初继 Python 版本后LangChain 又推出了 JavaScript/TypeScript 版本。它很快就变得非常流行并开始支持多种 JavaScript 环境如 Node.js、Web 浏览器、CloudFlare Worker、Vercel/Next.js、Deno 和 Supabase Edge 函数。遗憾的是目前还没有适用于 Java/Spring 应用的 LangChain 官方 Java 版本。不过有一个名为LangChain4j的 LangChain Java 社区版本。它适用于 Java 8 或更高版本支持 Spring Boot 2 和 3。LangChain 的各种依赖可以从 Maven 中央仓库获取。我们可能需要在应用程序中添加一个或多个依赖项这取决于我们要使用的特性dependency groupIddev.langchain4j/groupId artifactIdlangchain4j/artifactId version0.23.0/version /dependency例如在本教程的后续章节中我们还将需要一些依赖以便于继续支持与 OpenAI 模型集成、提供嵌入式支持以及类似 all-MiniLM-L6-v2 的句子转换器sentence-transformer模型。LangChain4j 的设计目标与 LangChain 相同它提供了一个简单而一致的抽象层以及众多的实现。它已经支持多个语言模型供应商如 OpenAI和嵌入数据存储商如 Pinecone。不过由于 LangChain 和 LangChain4j 都在快速发展Python 或 JS/TS 版本支持的特性可能在 Java 版本中还不存在。不过基本概念、一般结构和词汇在很大程度上是相同的。LangChain 的构建基块LangChain 以模块组件的形式为我们提供了多个有价值的提议。模块化组件提供了有用的抽象以及一系列用于处理语言模型的实现。我们以 Java 为例讨论其中的一些模块。模型 I/O在使用任何语言模型时我们都需要与之进行交互的能力。LangChain 提供了必要的构建基块比如模板化提示以及动态选择和管理模型输入的能力。同时我们还可以使用输出解析器从模型输出中提取信息提示模板是为语言模型生成提示的预定义配方可能包括说明、few-shot 样例和特定的上下文PromptTemplate promptTemplate PromptTemplate .from(Tell me a {{adjective}} joke about {{content}}..); MapString, Object variables new HashMap(); variables.put(adjective, funny); variables.put(content, computers); Prompt prompt promptTemplate.apply(variables);在这里我们创建了一个可以接受多个变量的提示模板。这些变量是我们从用户输入中接收到的并输入到提示模板中。LangChain 支持与两种模型集成即语言模型和聊天模型。聊天模型也由语言模型支持但提供聊天的能力ChatLanguageModel model OpenAiChatModel.builder() .apiKey(OPENAI_API_KEY) .modelName(GPT_3_5_TURBO) .temperature(0.3) .build(); String response model.generate(prompt.text());在这里使用特定的 OpenAI 模型和相关的 API 秘钥创建了一个聊天模型。我们可以通过免费注册从 OpenAI 获取 API 秘钥。参数 temperature 用来控制模型输出的随机性。最后语言模型的输出可能不够结构化不足以进行展示。LangChain 提供的输出解析器可以帮助我们对语言模型的响应进行结构化处理例如以 Java 的 POJO 的形式从输出中提取信息。记忆内存通常利用 LLM 的应用程序都会有一个对话界面。所有对话的一个重要方面就是要能够参考对话早期引入的信息。存储过去交互信息的能力被称为记忆内存memoryLangChain 提供了为应用程序添加记忆内存的关键功能。我们需要从记忆内存中读取信息的能力以增强用户的输入。然后我们需要将当前运行的输入和输出写入记忆内存的能力ChatMemory chatMemory TokenWindowChatMemory .withMaxTokens(300, new OpenAiTokenizer(GPT_3_5_TURBO)); chatMemory.add(userMessage(Hello, my name is Kumar)); AiMessage answer model.generate(chatMemory.messages()).content(); System.out.println(answer.text()); // Hello Kumar! How can I assist you today? chatMemory.add(answer); chatMemory.add(userMessage(What is my name?)); AiMessage answerWithName model.generate(chatMemory.messages()).content(); System.out.println(answer.text()); // Your name is Kumar. chatMemory.add(answerWithName);在这里我们使用TokenWindowChatMemory实现了一个固定窗口的聊天内存它允许我们读写与语言模型交换的聊天信息。LangChain 还提供了更复杂的数据结构和算法以便于从记忆内存中返回选定的信息而不是所有的信息。例如它支持返回过去几条信息的摘要或者只返回与当前运行相关的信息。检索大语言模型通常是在大量的文本语料库中训练出来的。因此它们在一般任务中相当高效但是在特定领域任务中可能就没有那么有用了。因此我们需要检索相关的外部数据并在生成步骤将其传递给语言模型。这个过程被称为“检索增强生成Retrieval Augmented GenerationRAG”。它有助于将模型建立在相关的准确信息之上并让我们深入了解模型的生成过程。LangChain 为创建 RAG 应用程序提供了必要的构建基块首先LangChain 提供了文档加载器用于从存储位置检索文档。其次还提供了用于准备文档的转换器transformer以便于进一步的处理。例如我们可以让它将大文档拆分为小块Document document FileSystemDocumentLoader.loadDocument(simpsons_adventures.txt); DocumentSplitter splitter DocumentSplitters.recursive(100, 0, new OpenAiTokenizer(GPT_3_5_TURBO)); ListTextSegment segments splitter.split(document);在这里我们使用FileSystemDocumentLoader从文件系统加载文档。然后使用OpenAiTokenizer将文档拆分为小块。为了提高检索效率通常会将文档转换为嵌入内容并将其存储在向量数据库中。LangChain 支持多种嵌入式提供商和方法并且能够与几乎所有的向量存储集成EmbeddingModel embeddingModel new AllMiniLmL6V2EmbeddingModel(); ListEmbedding embeddings embeddingModel.embedAll(segments).content(); EmbeddingStoreTextSegment embeddingStore new InMemoryEmbeddingStore(); embeddingStore.addAll(embeddings, segments);在这里我们使AllMiniLmL6V2EmbeddingModel创建文档片段的嵌入内容。然后我们将嵌入内容存储在基于内存的向量存储中。现在我们已经将外部数据以嵌入的形式保存在向量存储中了并且做好准备进行检索了。LangChain 支持多种检索算法如简单的语义搜索以及复杂的复合检索String question Who is Simpson?; //The assumption here is that the answer to this question is contained in the document we processed earlier. Embedding questionEmbedding embeddingModel.embed(question).content(); int maxResults 3; double minScore 0.7; ListEmbeddingMatchTextSegment relevantEmbeddings embeddingStore .findRelevant(questionEmbedding, maxResults, minScore);我们创建了用户问题的嵌入然后使用问题嵌入从向量存储中检索相关的匹配项。现在我们可以将检索到的匹配项作为上下文进行发送将其添加到我们想要发送给模型的提示中。LangChain 的复杂应用到目前为止我们已经了解了如何使用单个组件创建基于语言模型的应用程序。LangChain 还提供了用于创建更复杂应用的组件。例如我们可以使用链和代理来构建功能更强的自适应应用。链一般来讲应用程序需要按照特定顺序调用多个组件。这就是 LangChain 中所说的链chain。它简化了复杂应用程序的开发过程使得调试、维护和改进都变得更加容易。它对于组合多个链以形成更复杂的应用程序也很有用因为这些应用可能需要与多个语言模型交互。LangChain 提供了创建此类链的便捷方法并提供了很多预构建的链ConversationalRetrievalChain chain ConversationalRetrievalChain.builder() .chatLanguageModel(chatModel) .retriever(EmbeddingStoreRetriever.from(embeddingStore, embeddingModel)) .chatMemory(MessageWindowChatMemory.withMaxMessages(10)) .promptTemplate(PromptTemplate .from(Answer the following question to the best of your ability: {{question}}\n\nBase your answer on the following information:\n{{information}})) .build();在这里我们使用了一个预构建的链ConversationalRetreivalChain它允许我们使用聊天模型、检索器、记忆内存和提示模板。现在我们只需要使用该链就可以执行用户查询String answer chain.execute(Who is Simpson?);链自带默认的记忆内存和提示模板。创建自定义链也很容易。创建链的功能使得复杂应用程序的模块化实现变得更加容易。代理LangChain 还提供了更强大的结构如代理agent。与链不同的是代理使用语言模型作为推理引擎来决定采取哪些行动以及行动的顺序。我们还可以让代理访问恰当的工具以执行必要的行为。在 LangChain4j 中代理是作为 AI 服务的形式来使用的可以用来声明式地定义复杂的行为。我们看一下是否能够以工具的形式为 AI 服务提供一个计算器并使语言模型能够执行运算。首先我们定义一个具有基本计算器功能的类并使用自然语言描述每个功能以便于模型理解public class AIServiceWithCalculator { static class Calculator { Tool(Calculates the length of a string) int stringLength(String s) { return s.length(); } Tool(Calculates the sum of two numbers) int add(int a, int b) { return a b; } }然后我们定义 AI 服务的接口并以此为基础进行构建。这个接口非常简单但是它也能描述更复杂的行为interface Assistant { String chat(String userMessage); }现在我们使用刚刚定义的接口和创建的工具通过 LangChain4j 提供的构建器工厂创建一个 AI 服务Assistant assistant AiServices.builder(Assistant.class) .chatLanguageModel(OpenAiChatModel.withApiKey(OPENAI_API_KEY)) .tools(new Calculator()) .chatMemory(MessageWindowChatMemory.withMaxMessages(10)) .build();就是这么简单现在我们可以开始向语言模型发送一些包含计算的问题了String question What is the sum of the numbers of letters in the words \language\ and \model\?; String answer assistant.chat(question); System.out.prtintln(answer); // The sum of the numbers of letters in the words language and model is 13.运行这段代码后我们会发现语言模型现在可以执行计算了。需要注意的是语言模型在执行一些需要它们具有时间和空间的概念或执行复杂运算程序的任务时会遇到困难。不过我们可以随时通过为模型补充必要的工具来解决这个问题。结 论在本教程中我们介绍了利用大语言模型创建应用程序的一些基本元素。此外我们还讨论了将 LangChain 这样的框架作为开发此类应用程序的技术栈的一部分的价值。基于此我们探索了 LangChain4j 的一些核心要素LangChain4j 是 LangChain 的 Java 版本。这些库会在未来迅速发展。但是它们也已让开发由语言模型驱动的应用程序的过程变得更加成熟而有趣想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”