企业官网建设流程全解析

廊坊网站建设哪家权威,网站建设行业咨讯文章,企业管理软件系统网,做公司年报网站登录密码是什么今天想和大家深入探讨一下检索增强生成#xff08;RAG#xff09;中的一个重要环节——重排序#xff08;Rerank#xff09;。 RAG 技术一直以来都备受关注#xff0c;尤其是当它与大模型#xff08;LLM#xff09;结合后#xff0c;人们都满怀期待地认为#xff1a;这…今天想和大家深入探讨一下检索增强生成RAG中的一个重要环节——重排序Rerank。RAG 技术一直以来都备受关注尤其是当它与大模型LLM结合后人们都满怀期待地认为这下终于可以轻松解决那些复杂的问答任务了然而现实往往并不如人意。很多开发者在完成一个 RAG 流程后都会感到困惑为什么它的效果并没有达到预期呢其实和大多数工具一样RAG 的使用虽然简单但想要真正精通却并非易事。事实上RAG 并不仅仅是将文档存储到向量数据库中然后在其上简单地添加一个 LLM。虽然这种方式在某些情况下可能会奏效但并不总是有效。因此今天我们就来聊聊当现有的 RAG 流程无法达到理想效果时我们该怎么办。如果你经常遇到 RAG 表现欠佳的情况这里有一个最容易且最快实施的解决方案——重排序Rerank。一、召回率与上下文窗口在深入探讨解决方案之前我们先来剖析一下传统 RAG检索增强生成流程中存在的问题。在 RAG 的应用中我们常常需要对海量的文本文档进行语义搜索这些文档的数量可能从几万篇到几百亿篇不等。为了在大规模搜索中保证足够的速度我们通常会采用向量搜索技术。具体来说就是将文本转换为向量形式将它们放置在同一个向量空间中然后利用余弦相似度等相似性度量方法来比较这些向量与查询向量之间的接近程度。向量搜索的关键在于向量本身。这些向量本质上是将文本背后的“含义”压缩成一个低维向量通常是 768 维或 1024 维。然而这种压缩过程不可避免地会导致部分信息的丢失。由于信息丢失我们常常会遇到这样的情况向量搜索返回的前几篇文档中可能遗漏了重要的相关信息。而这些相关信息可能出现在我们设置的 top_k 阈值之外。那么如果这些位置靠后的相关信息能够帮助我们的 LLM大型语言模型生成更好的回答我们该怎么办呢最直接的方法就是增加返回的文档数量提高 top_k 值并将这些文档全部传递给 LLM。这里涉及到的衡量指标是召回率它表示的是“我们检索到了多少相关文档”。召回率并不考虑检索到的文档总数因此我们可以通过返回所有文档来“操纵”这个指标从而得到完美的召回率。然而我们并不能返回所有文档。LLM 对于能够接收的文本量是有限制的这个限制被称为上下文窗口。例如Anthropic 的 Claude 这样的 LLM其上下文窗口可以达到 100K 个 Token这意味着我们可以放入几十页的文本。那么我们是否可以通过返回大量文档尽管不能是全部并“填满”上下文窗口来提高召回率呢答案是否定的。我们不能使用上下文填充的方法因为这会降低 LLM 的*召回性能*。这里所说的 LLM 的召回率与我们之前讨论的检索召回率是不同的概念。研究表明随着我们在上下文窗口中放入更多的标记LLM 的召回率会逐渐降低。当我们填满上下文窗口时LLM 也不太可能遵循指令因此上下文填充并不是一个好的解决方案。这就引出了一个问题我们可以通过增加向量数据库返回的文档数量来提高检索召回率但如果把这些文档全部传递给 LLM就会损害 LLM 的召回率。那么我们该怎么办呢解决这个问题的方法是通过检索大量文档来最大化检索召回率然后通过最小化传递给 LLM 的文档数量来最大化 LLM 的召回率。要做到这一点我们需要对检索到的文档进行重新排序只保留对 LLM 最相关的文档。而实现这一操作的关键就是重排序Rerank。二、Rerank 的强大之处重排序模型也被称为交叉编码器是一种特殊的模型。它接收一个查询和文档对作为输入并输出一个表示相似度的分数。我们利用这个分数根据文档与查询的相关性对文档进行重新排序。在现代检索系统中通常采用两阶段检索的策略。在第一阶段通常会使用一个双编码器或稀疏嵌入模型来从大规模数据集中快速检索出一组相关文档。这些模型能够在海量数据中高效地筛选出初步的候选文档集合。然后在第二阶段重排序模型Rerank登场。它的任务是对第一阶段检索到的文档进行更细致的重新排序。Rerank 模型通过更复杂的计算对文档的相关性进行更精准的评估从而提升最终返回结果的质量。搜索工程师们在两阶段检索系统中使用 Rerank 已经有很长时间了。这种策略的核心在于从大数据集中检索出一小部分文档的速度远远快于对大量文档进行重新排序的速度。简单来说Rerank 的运行速度相对较慢而检索器的运行速度非常快。为什么采用两阶段检索采用两阶段检索的原因主要有以下几点第一、效率与精度的平衡第一阶段检索阶段使用双编码器或稀疏嵌入模型能够在大规模数据集中快速检索出一组相关文档。这些模型的设计目标是高效地筛选出初步的候选文档集合虽然它们的精度可能有限但速度非常快。第二阶段重排序阶段Rerank 模型对第一阶段检索到的文档进行重新排序。虽然 Rerank 的运行速度较慢但它能够更精准地评估文档的相关性从而提升最终返回结果的质量。第二、资源优化如果直接对大规模数据集进行重新排序计算成本会非常高昂且效率低下。通过两阶段检索第一阶段快速筛选出一小部分文档第二阶段再对这些文档进行精细排序这样可以显著降低计算资源的消耗。第三、灵活性与扩展性两阶段检索系统允许在不同阶段使用不同的模型和技术。例如第一阶段可以使用高效的向量检索模型第二阶段可以使用更复杂的交叉编码器模型。这种分阶段的策略使得系统更加灵活可以根据具体需求进行优化和扩展。重排序模型的作用重排序模型Rerank在两阶段检索系统中扮演着至关重要的角色。它通过对第一阶段检索到的文档进行重新排序确保最终返回的文档不仅数量适中而且相关性更高。具体来说Rerank 的作用包括提升相关性通过更复杂的计算Rerank 能够更精准地评估文档与查询的相关性从而提升最终返回结果的质量。优化上下文窗口由于 LLM 的上下文窗口有限Rerank 可以帮助我们在有限的上下文窗口中选择最相关的文档从而最大化 LLM 的性能。减少噪声Rerank 可以去除那些虽然在第一阶段被检索到但实际相关性较低的文档从而减少噪声提高系统的整体性能。三、为什么要用 Rerank如果 Rerank 的速度这么慢那为什么我们还要使用它呢答案很简单Rerank 比嵌入模型要准确得多。第一、双编码器的局限性双编码器模型的准确性较低主要有两个原因1、信息压缩导致的丢失双编码器需要将一个文档的所有可能含义压缩成一个单一的向量。这种压缩过程不可避免地会导致信息丢失。因为向量的维度是固定的而文档的含义可能是多维度的。例如一个文档可能包含多种主题和细节但双编码器只能将其压缩成一个固定维度的向量这就导致了部分信息的丢失。2、缺乏查询上下文双编码器在处理文档时没有查询的上下文信息。因为在用户查询之前我们已经创建了文档的嵌入向量。这意味着双编码器无法根据具体的查询来调整文档的表示。例如同一个文档在不同的查询下可能有不同的相关性但双编码器无法动态地调整文档的向量以适应不同的查询。第二、Rerank 的优势相比之下Rerank 模型具有显著的优势1、直接处理原始信息Rerank 模型可以直接处理原始的文档和查询信息而不是依赖于压缩后的向量。这意味着信息丢失更少能够更准确地评估文档与查询的相关性。例如Rerank 模型可以分析文档中的具体句子和段落而不是仅仅依赖于一个固定的向量表示。2、动态分析文档含义因为 Rerank 是在用户查询时运行的所以可以根据具体的查询来分析文档的特定含义而不是试图生成一个通用的、平均的含义。例如对于一个包含多种主题的文档Rerank 可以根据用户的查询动态地提取与查询最相关的部分从而提高相关性评估的准确性。第三、Rerank 的代价尽管 Rerank 模型在准确性上有显著优势但它也有一个明显的代价——时间。1、双编码器模型双编码器模型将文档或查询的含义压缩成一个单一向量。在用户查询时双编码器以与处理文档相同的方式处理查询。例如假设你有 4000 万条记录使用编码器模型和向量搜索同样的操作可以在不到 100 毫秒内完成。2、Rerank 模型Rerank 模型需要直接处理原始文档和查询计算复杂度更高因此速度较慢。例如使用像 BERT 这样的小型重排序模型在 V100 GPU 上为了返回一个查询结果可能需要等待 50 多个小时。四、总结尽管 Rerank 模型的运行速度较慢但其在准确性上的优势使其在许多场景中不可或缺。通过两阶段检索系统我们可以在第一阶段快速筛选出候选文档然后在第二阶段通过 Rerank 模型进行精细排序从而在保证效率的同时显著提升检索结果的质量。这种策略在处理复杂的问答任务和生成任务时尤为重要因为它能够确保最终返回的文档不仅数量适中而且相关性更高。普通人如何抓住AI大模型的风口领取方式在文末为什么要学习大模型目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 大模型作为其中的重要组成部分 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 为各行各业带来了革命性的改变和机遇 。目前开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景其中应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过30%。随着AI大模型技术的迅速发展相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业人工智能大潮已来不加入就可能被淘汰。如果你是技术人尤其是互联网从业者现在就开始学习AI大模型技术真的是给你的人生一个重要建议最后只要你真心想学习AI大模型技术这份精心整理的学习资料我愿意无偿分享给你但是想学技术去乱搞的人别来找我在当前这个人工智能高速发展的时代AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料能够帮助更多有志于AI领域的朋友入门并深入学习。真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发大模型全套学习资料展示自我们与MoPaaS魔泊云合作以来我们不断打磨课程体系与技术内容在细节上精益求精同时在技术层面也新增了许多前沿且实用的内容力求为大家带来更系统、更实战、更落地的大模型学习体验。希望这份系统、实用的大模型学习路径能够帮助你从零入门进阶到实战真正掌握AI时代的核心技能01教学内容从零到精通完整闭环【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块内容比传统教材更贴近企业实战大量真实项目案例带你亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌02适学人群应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。vx扫描下方二维码即可本教程比较珍贵仅限大家自行学习不要传播更严禁商用03入门到进阶学习路线图大模型学习路线图整体分为5个大的阶段04视频和书籍PDF合集从0到掌握主流大模型技术视频教程涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向新手必备的大模型学习PDF书单来了全是硬核知识帮你少走弯路不吹牛真有用05行业报告白皮书合集收集70报告与白皮书了解行业最新动态0690份面试题/经验AI大模型岗位面试经验总结谁学技术不是为了赚$呢找个好的岗位很重要07 deepseek部署包技巧大全由于篇幅有限只展示部分资料并且还在持续更新中…真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发