企业官网建设流程全解析

福建自己建设网站,重庆网站设计制作案例,app设计原理,做音乐网站用什么程序RAG技术解决了大语言模型的知识截止和幻觉问题。文章系统梳理了RAG技术的发展历程#xff0c;从基础的Naive RAG#xff0c;到Advanced RAG的检索优化#xff0c;Modular RAG的工程化实现#xff0c;Graph RAG的关系推理#xff0c;再到最新的Agentic RAG的智能化决策。每…RAG技术解决了大语言模型的知识截止和幻觉问题。文章系统梳理了RAG技术的发展历程从基础的Naive RAG到Advanced RAG的检索优化Modular RAG的工程化实现Graph RAG的关系推理再到最新的Agentic RAG的智能化决策。每种技术各有特点和适用场景未来RAG将向更智能化和多元化数据方向发展成为大模型应用的重要增强技术。1、RAG 是什么介绍 RAG 前先介绍大语言模型LLM面临的两个问题一是 LLM 的知识截止二是 LLM 存在幻觉现象。1.1知识截止LLM 训练不是实时的而是离线训练好的。在训练过程中使用的数据都是提前准备的而且大多数是公开、开源的数据这就导致了 LLM 训练后具备的知识是有范围的。换句话说**模型知识仅限于训练数据所涵盖的知识范围**对于新的知识比如今天的新闻或未训练的知识比如未公开的数据模型本身不具备这些知识仅具备推理能力。1.2 幻觉现象幻觉现象有多种维度的解释。一方面LLM 是一个条件概率模型以前文作为条件的词表概率逐词生成文本这一机制导致其可能出现**看似逻辑严谨概率高但其实缺乏事实依据的生成也就是“一本正经地胡说八道”。另一方面LLM 的训练过程是对训练数据的知识进行压缩提炼的过程但不是无损压缩知识**边缘知识容易在主流知识冲击下出现扭曲导致产生了幻觉。打个比方LLM 好比一个多年备战的考生当他在做试题的时候遇到他从没学过的新学科知识点时就无从下笔**知识截止当他遇到他没掌握牢固的知识点时就凭借模糊的记忆或真或假地编了个答案幻觉现象**。1.3 RAG而 RAG 就是一种能够有效幻觉模型知识截止和幻觉现象的方法。RAG 是检索增强生成Retrieval-Augmented Generation的缩写。检索增强生成是指对大语言模型LLM输入进行优化使其能够在生成响应之前引用训练数据来源之外的知识作为回答的根据。这是一种经济高效地改进 LLM 输出的方法让 LLM 保持相关性、准确性和实用性。RAG系统有两个最主要的组成部分检索Retrieval查询外部数据源例如知识库、向量数据库或者网页搜索API。常见的检索方法有全文检索、向量检索、图检索等。生成Generation将检索信息提供给 LLM生成回答。对于大模型这个考生来说RAG 就像参考书或者“第二个大脑”让模型遇到没学过或者学不牢的知识点时可以翻一翻书找参考资料提高回答问题的准确性。2、RAG 的发展从近年 RAG 的发展历程看RAG 主要经历了 Naive RAG、Advanced RAG、Modular RAG、Graph RAG以及最近热门的 Agentic RAG 几种类型的发展。Naive RAG是 RAG 最基础的实现。Advanced RAG是在 Naive RAG 的基础上对检索前、检索、检索后分别进行优化。Modular RAG代表了主流 RAG 的工程化实现。Graph RAG利用图检索能力让 RAG 增强 multi-hop 检索和丰富上下文。Agentic RAG利用 Agent 能力让 RAG 有了智能化的思考分析大大增强了检索能力。2.1 Naive RAGNaive RAG 是 RAG 系统的最基本实现使用单一的全文检索或向量检索从文档集合中检索出与 query 相关的文档直接将检索的文档用于增强 LLM 的生成。Naive RAG 具有几个局限性缺乏语义理解全文匹配依赖词汇匹配无法捕捉到 query 与文档之间的语义关联向量检索受限于间接匹配语义理解能力也不足。输出效果差由于缺乏对 query、文档的高级预处理、后处理召回的文档容易包含过多或过少信息导致最终生成的回答过于宽泛。效果优化困难系统过于依赖单一检索技术未对 query、文档进行增强导致优化局限于检索技术。2.2 Advanced RAGAdvanced RAG 在 Naive RAG 的基础上对检索前、检索、检索后三个阶段进行改进。在检索前阶段增强文档质量比如优化章节结构、增强标题等过滤低质量信息优化索引结构优化 chunk size 使得 context 粒度符合应用场景的需求优化索引信息对 chunk 进行提取、增强作为 embedding 文本对用户 query 的进行 rewriting。在检索阶段使用域内知识对 embedding 进行 fine-tune或使用 llm-based embedding 模型生成对上下文理解更准确的语义向量。在检索后阶段增加 reranking 提高检索文档的相关性增加 context-compression 使提供给模型的信息更加集中。2.3 Modular RAGModular RAG 是当前主流的 RAG 系统设计将检索和生成分解为独立可复用的组件从而实现特定域的优化和任务适应性。Modular RAG 将 RAG 系统所使用到的多种检索、存储、路由等等全部模块化并且可以根据特定的场景对这些模块进行重新排列如多种检索方式的混合检索等以取得更好的效果。2.4 Graph RAGGraph RAG 使用图结构来扩展传统的 RAG 系统利用图的关系和层级结构增强 multi-hop 推理和 context 丰富度。Graph RAG 可以生成的结果更丰富更准确特别是对于需要关系理解的任务。Graph RAG 具备以下局限性高质量图数据依赖高质量的图数据对 Graph RAG 非常关键如果处理出高质量的图数据有时很困难特别是对于无结构的纯文本或标注质量不高的数据。应用的复杂性对于一个 RAG 系统同时支持非结构化数据和图数据的混合检索会增加检索系统设计和实现的复杂性。2.5 Agentic RAG与前面的静态 RAG 不同Agentic RAG 使用能够动态决策和工具调用的 LLM-based agent来解决更加复杂、实时和多域的查询。得助于 LLM-based 的工具调用能力**Agentic RAG 能够使用更多更复杂的工具来辅助检索**比如搜索引擎、计算器等各类以 API 形式能够访问的工具。另外 **Agentic RAG 可以根据实际的检索场景动态决策**比如决定是否进行检索、决定使用什么工具检索、评估检索到的上下文决定是否需要继续检索等等。总结RAG特点优点Naive RAG- 单一索引如TF-IDF、BM25、向量检索- 简单易于实现 - 缓解模型幻觉Advanced RAG- 文档增强 - 索引优化 - query重写 - reranking- 更准确的检索 - 增强检索相关性Modular RAG- 混合检索 - 工具、API集成 - 模块化、工程化的实现- 更强的灵活性 - 适应更多元的场景Graph RAG- 图结构索引 - multi-hop推理 - 基于图节点的上下文内容增强- 关系推理能力 - 适合结构化数据Agentic RAG- 使用LLM-based agents - 动态决策、检索 - 自动流程优化- 更高的检索准确性 - 适合更复杂、更多域的任务从 RAG 近年来的发展的来未来 RAG 的发展有几个方向智能化随着 LLM 应用的发展功能越来越复杂对 RAG 的要求也会越来越高。Agentic RAG 是这个方向的开始未来更加智能的 RAG 才能成为 LLM 的“好搭档”。数据多元化Graph RAG 让 RAG 有了图检索的能力但是如何将普通文本、图数据以及其他类型的数据比如代码、图片等等多元化的数据兼容到一个统一的 RAG 系统里进行索引、检索、排序未来复杂 LLM 应用将会对这个能力提出挑战。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】