灯具网站怎么做新手可以做网站营运吗
2026/4/11 23:42:29
在线旅游网站建设方案asp.net做网站原理
在线旅游网站建设方案,asp.net做网站原理,建设网站运营,大连做网站谁家售后好在介绍RAG之前#xff0c;我们需要思考一个关键问题#xff1a;知识从哪里获取呢#xff1f;AI知识的来源#xff1f;AI会不会胡说#xff1f;
首先 AI 原本就拥有一些通用的知识#xff0c;对于不会的知识#xff0c;还可以利用互联网搜索。但是这些都是从网络获取…在介绍RAG之前我们需要思考一个关键问题知识从哪里获取呢AI知识的来源AI会不会胡说首先 AI 原本就拥有一些通用的知识对于不会的知识还可以利用互联网搜索。但是这些都是从网络获取的、公开的知识。对于企业来说数据是命脉也是自己独特的价值随着业务的发展企业肯定会积累一波自己的知识库比如往期用户的恋爱咨询和成功案例、以及自家的恋爱课程如果让 AI 能够利用这些知识库进行问答效果可能会更好而且更加个性化。如果不给 AI 提供特定领域的知识库AI 可能会面临这些问题如果不给 AI 提供特定领域的知识库AI 可能会面临这些问题知识有限AI 不知道你的最新课程和内容编故事当 AI 不知道答案时它可能会 “自圆其说” 编造内容无法个性化不了解你的特色服务和回答风格不会推销不知道该在什么时候推荐你的付费课程和服务一、什么是 RAG**RAGRetrieval-Augmented Generation检索增强生成**是一种结合信息检索技术和 AI 内容生成的混合架构可以解决大模型的知识时效性限制和幻觉问题。简单来说RAG 就像给 AI 配了一个 “小抄本”让 AI 回答问题前先查一查特定的知识库来获取知识确保回答是基于真实资料而不是凭空想象。从技术角度看RAG 在大语言模型生成回答之前会先从外部知识库中检索相关信息然后将这些检索到的内容作为额外上下文提供给模型引导其生成更准确、更相关的回答。通过 RAG 技术改造后AI 就能准确回答关于特定内容的问题在合适的时机推荐相关课程和服务用特定的语气和用户交流提供更新、更准确的建议可以简单了解下 RAG 和传统 AI 模型的区别特性传统大语言模型RAG 增强模型知识时效性受训练数据截止日期限制可接入最新知识库领域专业性泛化知识专业深度有限可接入专业领域知识响应准确性可能产生 “幻觉”基于检索的事实依据可控性依赖原始训练可通过知识库定制输出资源消耗较高需要大模型参数模型可更小结合外部知识二、RAG 工作流程RAG 技术实现主要包含以下 4 个核心步骤文档收集和切割向量转换和存储文档过滤和检索查询增强和关联1、文档收集和切割**文档收集**从各种来源网页、PDF、数据库等收集原始文档**文档预处理**清洗、标准化文本格式文档切割将长文档分割成适当大小的片段俗称 chunks基于固定大小如 512 个 token、固定长度基于语义边界如段落、章节基于递归分割策略如递归字符 n-gram 切割2、向量转换和存储**向量转换**使用 Embedding 模型将文本块转换为高维向量表示可以捕获到文本的语义特征**向量存储**将生成的向量和对应文本存入向量数据库支持高效的相似性搜索3、文档过滤和检索**查询处理**将用户问题也转换为向量表示**过滤机制**基于元数据、关键词或自定义规则进行过滤**相似度搜索**在向量数据库中查找与问题向量最相似的文档块常用的相似度搜索算法有余弦相似度、欧氏距离等**上下文组装**将检索到的多个文档块组装成连贯上下文4、查询增强和关联**提示词组装**将检索到的相关文档与用户问题组合成增强提示**上下文融合**大模型基于增强提示生成回答**源引用**在回答中添加信息来源引用**后处理**格式化、摘要或其他处理以优化最终输出5、完整工作流程分别理解上述 4 个步骤后我们可以将它们组合起来形成完整的 RAG 检索增强生成工作流程三、RAG 相关技术1、Embedding 和 Embedding 模型Embedding 嵌入是将高维离散数据如文字、图片转换为低维连续向量的过程。这些向量能在数学空间中表示原始数据的语义特征使计算机能够理解数据间的相似性。Embedding 模型是执行这种转换算法的机器学习模型如Word2Vec文本、ResNet图像等。不同的 Embedding 模型产生的向量表示和维度数不同一般维度越高表达能力更强可以捕获更丰富的语义信息和更细微的差别但同样占用更多存储空间。2、向量数据库向量数据库是专门存储和检索向量数据的数据库系统。通过高效索引算法实现快速相似性搜索支持 K 近邻查询等操作。注意并不是只有向量数据库才能存储向量数据只不过与传统数据库不同向量数据库优化了高维向量的存储和检索。AI 的流行带火了一波向量数据库和向量存储比如 Milvus、Pinecone 等。此外一些传统数据库也可以通过安装插件实现向量存储和检索比如 PGVector、Redis Stack 的 RediSearch 等。3、召回召回是信息检索中的第一阶段**目标是从大规模数据集中快速筛选出可能相关的候选项子集。**强调速度和广度而非精确度。用户输入查询词font stylecolor:rgb(15, 17, 21);background-color:rgb(235, 238, 242);如何学习Python编程/font搜索引擎首先对查询进行基础分析理解其核心意图是寻找Python编程的学习资源、指南或教程。为后续粗略排序和精细排序提供候选集。4、精排和 Rank 模型精排精确排序是搜索 / 推荐系统的最后阶段使用计算复杂度更高的算法考虑更多特征和业务规则对少量候选项进行更复杂、精细的排序。比如短视频推荐先通过召回获取数万个可能相关视频再通过粗排缩减至数百条最后精排阶段会考虑用户最近的互动、视频热度、内容多样性等复杂因素确定最终展示的 10 个视频及顺序。**Rank 模型排序模型**负责对召回阶段筛选出的候选集进行精确排序考虑多种特征评估相关性。现代 Rank 模型通常基于深度学习如 BERT、LambdaMART 等综合考虑查询与候选项的相关性、用户历史行为等因素。举个例子电商推荐系统会根据商品特征、用户偏好、点击率等给每个候选商品打分并排序。5、混合检索策略混合检索策略结合多种检索方法的优势提高搜索效果。常见组合包括关键词检索、语义检索、知识图谱等。比如在 AI 大模型开发平台 Dify 中就为用户提供了 “基于全文检索的关键词搜索 基于向量检索的语义检索” 的混合检索策略用户还可以自己设置不同检索方式的权重。推荐语义比重高关键词比重低