2026/3/12 6:31:39
网站建设
项目流程
做网站送的小程序有什么用,河南省建设厅资质公示,wordpress全静态化,做网站可以用什么软件本文系统介绍AI大模型应用开发核心技术与实践#xff0c;涵盖Messages、RAG、Tools、ReAct、Agent、Fine-tuning及Prompt工程等关键技术。通过实际案例讲解大模型交互原理、知识库构建、工具调用和微调方法#xff0c;并提供系统化学习路径#xff0c;帮助开发者掌握从基础概…本文系统介绍AI大模型应用开发核心技术与实践涵盖Messages、RAG、Tools、ReAct、Agent、Fine-tuning及Prompt工程等关键技术。通过实际案例讲解大模型交互原理、知识库构建、工具调用和微调方法并提供系统化学习路径帮助开发者掌握从基础概念到企业级应用的全流程为小白提供清晰的大模型学习指南。AI 大模型应用开发作为新兴领域不断出现新的技术LLM、Prompt、RAG、Agent、Fine-tuning、MCP等本文聚焦 AI 大模型应用开发带领大家入门带领大家了解 AI 大模型应用开发的全攻略。1、AI 大模型应用开发全攻略尽管市面上的大语言模型LLMs种类繁多但大家在使用时其实都是通过 API 来与大模型交互的。这些大模型的接口通常遵循一些通用的规范比如 OpenAI 的标准。下面我们就以 OpenAI 接口为例来聊聊这些大模型都有哪些能力。当你和大模型交流时除了可以控制大模型输出的随机性之外最关键的参数就是 Messages 和 Tools。可以说现在市面上的各种大模型应用都是基于这两个参数设计的。1.1、Messages - 大模型是如何“记住”对话的Messages 是一个对话记录的列表里面的角色包括System代表系统级别的指令通常用来放置提示词。User用户发出的指令。AssistantLLM 给出的回复。不同厂商可能会在这个基础上增加一些额外的定义。大模型所谓的“记忆”对话其实是依赖于这个列表来传递信息的。比如第一轮对话中我告诉大模型我的名字。第二轮对话时如果问大模型我是谁它就能“记住”我的名字。这是因为我在 Messages 列表中提供了这个名字信息。提示词的不稳定性容易被指令注入攻击。看完这三张图我们来总结一下为什么大模型能“记住”之前的对话呢其实它并不是真的记住了而是每次请求时系统都会给它之前对话的内容。大模型的每次请求调用都是无状态的它的行为完全取决于你每次提供的信息。那么大模型的提示词Prompt有什么用呢提示词可以进一步控制或者说覆盖大模型的行为具有高优先级但同时也存在不稳定的风险。希望这样的解释能帮助你更好地理解大语言模型的工作原理和它们的应用方式。1.2、RAG - 检索增强生成让我们深入了解一种重要的大模型应用范式检索增强生成简称 RAGRetrieval-Augmented Generation。简单来说RAG 就是利用检索到的知识来提升生成答案的质量。举个例子假设我手头有一堆关于数据仓库的问题和答案QA我想基于这些 QA 来创建一个问答机器人让它能够根据这些 QA 来回答用户的问题。这个问答机器人的工作流程就是检索到的 QA - 利用检索到的 QA 来回复用户这正是 RAG 的典型应用场景。显然RAG 的最终目标是为用户提供可靠的答案。构建 RAG 链路相对简单但要达到好的效果却不容易。从流程中我们可以发现两个关键点知识库检索召回这里需要解决如何检索到最相关、最准确的答案。基于知识库的 LLM 回答这里需要解决的是如何让模型在众多知识中给出自信且准确的回答。这些都是业界正在不断探索的问题没有统一的标准答案只有最适合当前业务需求的方案。1. 3、Tools - 大模型能执行任何工具很多同学经常对大语言模型LLM的能力有所误解比如询问大模型是否能执行数据库操作或者是否能将数据仓库中的数据导入到对象存储等。这些问题通常源于对大模型的“Tools”参数理解不足。“Tools”是一个工具集合的数组其中包含了工具的作用描述和所需参数例如天气查询工具的定义如图示。使用这些工具时通常需要两次调用大模型第一次、将用户的查询和工具信息一起提供给模型模型会根据这些信息推理出需要执行相应的工具及其参数。后端系统根据大模型的选择结果执行相应的工具获取结果。第二次再次请求大模型此时上下文中包含了工具执行的结果大模型基于这些信息生成回复。总结一下大模型本身并不能直接执行任何工具但能决定接下来要执行哪些工具。一旦做出选择实际的工具执行将由配合的系统通常是 Agent完成并获取结果。1.4、ReAct - 推理 行动接下来我们可以探讨第二个重要的大模型范式ReAct推理行动。需要强调的是大模型的许多范式都是对人类行为的模拟因此我们可以通过生活中的案例来理解大模型。案例老板让写一份调研外部大模型框架的报告工具互联网搜索、PPT、思维导图思考 (Reasoning): 需要调研外部大模型框架明确调研目标是了解行业内的主要框架、特点和应用场景。需要先明确有哪些主流框架然后针对性地收集资料。 行动 (Acting): 行动 使用互联网搜索“主流大模型框架 2024/2025”、“开源大模型框架”。 观察 (Observation): 观察 搜索结果显示PyTorch、TensorFlow、JAX等是主流框架还有一些新兴框架如 MindSpore、Paddle 等。思考 (Reasoning): 我已经拿到了想要的资料接下来使用思维导图搭建汇报思路 行动 (Acting): 行动 使用思维导图工具搭建报告的初步框架包括框架名称、开发语言、主要特点、优势、劣势、应用场景。 观察 (Observation): 观察 初步框架包括框架名称、开发语言、主要特点动态图/静态图、分布式训练支持等、优势、劣势、应用场景NLP、CV等。思考 (Reasoning): 信息基本收集完毕需要将所有信息整理成结构化的报告并使用PPT进行总结和分析。 行动 (Acting): 行动 使用PPT工具将思维导图中的内容整理成PPT并撰写文字说明。 观察 (Observation): 观察 完成了PPT初稿内容比较全面但需要进行排版美化。这个思考的流程就是 *ReAct 模式*。1.5、Agent - 自主完成复杂任务许多人可能已经注意到大模型在数学计算方面并不擅长如果直接用它们来做计算器很容易出现错误。这里我们用 llama_index 的 Agent 框架来举个例子我们定义了三个工具函数乘法、加法和减法。然后我们构建了一个 Agent 来执行这些操作模式。import osfrom dotenv import load_dotenvfrom llama_index.core.agent import ReActAgentfrom llama_index.core.tools import FunctionToolfrom llama_index.llms.azure_openai import AzureOpenAIdef multiply(a: int, b: int) - int: Multiply two integers and returns the result integer return a * bdef add(a: int, b: int) - int: Add two integers and returns the result integer return a bdef subtract(a: int, b: int) - int: subtract two integers and returns the result integer return a - b# 加载 .env 文件load_dotenv()# 初始化工具multiply_tool FunctionTool.from_defaults(fnmultiply)add_tool FunctionTool.from_defaults(fnadd)subtract_tool FunctionTool.from_defaults(fnsubtract)llm AzureOpenAI(modelgpt-4o, # 或者 gpt-4 enginegpt-4o, deployment_namegpt-4o, api_keyos.getenv(AZURE_KEY), azure_endpointhttps://ilm-dev.openai.azure.com, api_version2023-07-01-preview)# 初始化Agentagent ReActAgent.from_tools([multiply_tool, add_tool, subtract_tool], llmllm, verboseTrue)response agent.chat(What is 60-(20(2*4))? Calculate step by step ) Running step cba1a160-74c3-4e34-bcc4-88e6a678eaf9. Step input: What is 60-(20(2*4))? Calculate step by step Thought: The current language of the user is: English. I need to use a tool to help me answer the question.To solve the expression \(60 - (20 (2 * 4))\) step by step, I will first calculate the multiplication inside the parentheses.Action: multiplyAction Input: {a: 2, b: 4}Observation: 8 Running step 5455108e-ac53-4115-8712-68f2457a9b82. Step input: NoneThought: Now that I have the result of the multiplication, I can proceed to the next step, which is to add 20 and 8.Action: addAction Input: {a: 20, b: 8}Observation: 28 Running step 4d8fae00-83bd-4205-9993-f0e0119f408d. Step input: NoneThought: Now that I have the result of the addition, I can proceed to the final step, which is to subtract 28 from 60.Action: subtractAction Input: {a: 60, b: 28}Observation: 32 Running step ce5d1075-ff11-47a2-b286-d7a715dc40ba. Step input: NoneThought: I can answer without using any more tools. Ill use the users language to answer.Answer: The result of the expression \(60 - (20 (2 * 4))\) is 32.之前有朋友问到在这种流程中大语言模型LLM究竟扮演了什么角色大模型最突出的能力是理解自然语言并进行推理我们可以尝试将规则进一步复杂化比如用“张三”来代表减法“李四”代表加法“王二”代表乘法。那么问题“张三(李四(王二王24))”等于多少呢如果要求一步步计算尽管表现可能仍有不足但大模型展现出了对自然语言的容错能力能够像人类一样去思考而不是遵循一成不变的逻辑。Thought: The current language of the user is English. I need to use a tool to help me answer the question. The expression given is 60张三(20李四(2王二4)), which translates to 60 - (20 (2 * 4)). I will calculate step by step.First, I need to calculate the multiplication part: 2王二4, which is 2 * 4.Action: multiplyAction Input: {a: 2, b: 4}Observation: 8 Running step 48262cb8-5c3a-47b7-b13b-449787c27078. Step input: NoneThought: The result of 2王二4 is 8. Now, I need to calculate the addition part: 20李四8, which is 20 8.Action: addAction Input: {a: 20, b: 8}Observation: 28 Running step 1cccd5c6-3d96-4014-a579-1c997765a1da. Step input: NoneThought: The result of 20李四8 is 28. Now, I need to calculate the subtraction part: 60张三28, which is 60 - 28.Action: subtractAction Input: {a: 60, b: 28}Observation: 32 Running step 65d33d20-1009-4482-a6d2-7af20333640c. Step input: NoneThought: I can answer without using any more tools. Ill use the users language to answer.Answer: The result of 60张三(20李四(2王二4)) is 32.1.6、Fine-tuning 微调- 让大模型具备精确处理公司任务的能力让我们通过一个具体的生产案例来说明这一点。当我们为 World First 提供客服服务时遇到了很多特殊的业务知识例如用户在万里汇下载的银行对账单并不等于下载交易流水单。这里涉及到具体的业务背景银行对账单是亚马逊要求的账户证明文件。这类业务背景知识对于大模型来说很难掌握这时就需要引入微调Fine-tuning将这部分知识整合到大模型中。目前业界的主流做法正在逐渐减少对微调的依赖因为这个过程既耗时又费力而且不总是能带来预期的正面效果。更多的工程实践倾向于将提示词Prompt复杂化和动态化在工程上做更多的容错处理工作。1.7、Prompt 提示词工程- 说人话调优提示词大模型工程中的核心提示词的优秀与否决定了你是否需要链路上做额外的兜底。调优提示词有三种实践方式直接使用提示词、提示词中引入 CoTChain-of-Thought、提示词中引入动态 Few-Shot。大语言模型LLM确实能够引发工作方式和思考模式的重大变革它们让问题的解决方式变得依赖于你的创造力。然而业务成效并不完全依赖于大模型。许多人误以为拥有了 LLM就能轻松解决业务效果、开发效率和交付质量等问题这种将所有问题都推给 LLM 的想法是一个很大的误区。以客服场景为例最初大家都认为客服是非常适合应用大型模型的场景我最初也是这么认为的。但深入实践后发现事实并非如此特别是在对专业度和准确率有明确要求的场景中。客服作为售后服务用户带着问题和情绪而来他们需要的是明确的解决方案而不是机械式的安慰和模糊的答案。因此业务能力和人性化是客服成功的关键因素。确定这些关键因素后再去思考 LLM 能在这些方面带来哪些帮助然后构建你的解决方案这样的应用方式才是可靠的。简而言之大模型可以是一个强大的工具但它们并不是万能的。在构建解决方案时我们需要综合考虑业务需求、用户期望和模型的能力以确保我们提供的服务既有效又人性化。如何系统的学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】01.大模型风口已至月薪30K的AI岗正在批量诞生2025年大模型应用呈现爆发式增长根据工信部最新数据国内大模型相关岗位缺口达47万初级工程师平均薪资28K数据来源BOSS直聘报告70%企业存在能用模型不会调优的痛点真实案例某二本机械专业学员通过4个月系统学习成功拿到某AI医疗公司大模型优化岗offer薪资直接翻3倍02.大模型 AI 学习和面试资料1️⃣ 提示词工程把ChatGPT从玩具变成生产工具2️⃣ RAG系统让大模型精准输出行业知识3️⃣ 智能体开发用AutoGPT打造24小时数字员工熬了三个大夜整理的《AI进化工具包》送你✔️ 大厂内部LLM落地手册含58个真实案例✔️ 提示词设计模板库覆盖12大应用场景✔️ 私藏学习路径图0基础到项目实战仅需90天第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】