企业官网建设流程全解析

工程建设动态管理网站,wordpress电脑手机端同时,wordpress 安装主题 主机名,网站开发入职转正申请书本文全面综述了检索增强生成(RAG)技术的发展历程、架构与应用。RAG结合检索与生成两大核心组件#xff0c;有效解决了大模型的幻觉问题#xff0c;提升了输出的事实准确性。文章详细分析了多种检索方法(BM25、DPR等)、生成器模型(T5、BART等)及多模态RAG框架#xff0c;同时…本文全面综述了检索增强生成(RAG)技术的发展历程、架构与应用。RAG结合检索与生成两大核心组件有效解决了大模型的幻觉问题提升了输出的事实准确性。文章详细分析了多种检索方法(BM25、DPR等)、生成器模型(T5、BART等)及多模态RAG框架同时探讨了RAG面临的扩展性、检索质量、偏见等挑战并展望了多模态融合、个性化、伦理隐私等未来发展方向。1. 引言1.1 检索增强生成RAG概览RAGRetrieval-Augmented Generation融合了两大核心组件i检索模块负责从外部知识库中检索相关文档或信息利用密集向量表示从大型数据集如维基百科或私有数据库中识别相关文档。ii生成模块负责处理这些信息产出类似人类语言的文本检索到的文档随后被送至生成模块该模块通常基于 transformer 架构构建。RAG有助于减少生成内容的“幻觉”现象确保文本更具事实性和上下文适宜性。RAG已广泛应用于多个领域包括:开放领域问答对话智能体个性化推荐。1.2 混合检索和生成的新系统在RAG出现之前自然语言处理NLP主要依赖于检索或生成方法。基于检索的系统例如传统的信息检索引擎能够高效地根据查询提供相关文档或片段但无法合成新信息或以连贯的叙述形式呈现结果。基于生成的系统随着 transformer 架构的兴起纯生成模型以其流畅性和创造力受到欢迎却常常在事实准确性上有所欠缺。这两种方法的互补性使得大家开始尝试检索和生成的混合系统。最早的混合系统可以追溯到DrQA使用检索技术来获取问答任务的相关文档。1.3 RAG 的局限性在面对模糊查询或特定知识领域的检索时仍可能出现错误。依赖于如DPRDense Passage Retrieval所使用的密集向量表示有时也会检索出不相关或偏离主题的文档。因此需要通过引入更精细的查询扩展和上下文消歧技术来提升检索技术的精准度。理论上检索与生成的结合应该是天衣无缝的但在实际操作中生成模块有时难以将检索到的信息有效整合进回应中导致检索事实与生成文本间的不一致或不连贯。计算成本也是一个备受关注的点因为需要对每个查询执行检索和生成两个步骤这对于大规模应用尤其资源密集。模型剪枝或知识蒸馏等技术可能有助于在不牺牲性能的前提下降低计算负担。伦理问题尤其是偏见和透明度问题。AI和LLM中的偏见是一个广泛研究且不断演变的领域研究者们识别出包括性别、社会经济阶层、教育背景在内的多种偏见类型。虽然RAG通过检索更平衡的信息有潜力减少偏见但仍存在放大检索来源偏见的风险。而且确保检索结果在选择和使用过程中的透明度对于维护这些系统的信任至关重要。2. RAG系统的核心构件与架构概览2.1 RAG模型概览RAG模型包括两个核心组件检索器利用密集段落检索DPR或传统BM25算法等技术从语料库中检索最相关的文档。生成器将检索到的文档整合成连贯、上下文相关的回答。RAG的强项在于其能够动态利用外部知识在性能上超越了依赖静态数据集的生成模型如GPT-3。2.2 RAG系统中的检索器2.2.1 BM25BM25是一种使用较广的信息检索算法利用词频-逆文档频率TF-IDF来根据相关性对文档进行排序。尽管是一种经典方法依然是许多现代检索系统包括RAG模型中使用的系统的一个标准算法。BM25根据查询词在文档中的出现频率来计算文档的相关性得分同时考虑文档长度和词在整个语料库中的频率。尽管BM25在关键词匹配方面表现出色但它在理解语义含义上存在局限。例如BM25无法捕捉词与词之间的关系并且在处理需要上下文理解的复杂自然语言查询时表现不佳。但是BM25因简单高效而被广泛采用。适用于基于关键词的简单查询任务尽管像DPR这样的现代检索模型在处理语义复杂的任务时往往性能更好。2.2.2 密集段落检索DPR密集段落检索Dense Passage RetrievalDPR是一种新的信息检索方法。使用一个高维向量空间查询和文档都被编码成高维向量。采用双编码器架构分别对查询和文档进行编码从而实现高效的最近邻搜索。与BM25不同DPR在捕捉查询和文档之间的语义相似性方面表现出色使其在开放域问答任务中极为有效。DPR的优势在于其能够根据语义含义而非关键词匹配来检索相关信息。通过在大量问答对语料库上训练检索器DPR能够找到与查询上下文相关的文档哪怕查询和文档没有使用完全相同的词汇。最新的研究通过将DPR与预训练语言模型结合进一步优化了DPR。2.2.3 REALMRetrieval-Augmented Language ModelREALM将检索过程融入语言模型的预训练确保检索器与生成器协同优化以适应后续任务。REALM的创新之处在于能够学习检索出能够提升模型在特定任务上表现的文档比如问答或文档摘要。训练过程中REALM对检索器和生成器进行同步更新优化检索流程以更好地服务于文本生成任务。REALM的检索器被训练为能够识别出既与查询相关又有助于生成准确、连贯回答的文档。因此REALM显著提升了生成回答的质量尤其是在需要依赖外部知识的那些任务上。最新研究显示在某些知识密集型任务中REALM超越了BM25和DPR特别是在检索与生成紧密结合的情况下。RAG的精髓在于检索段落的质量但许多现有方法依赖于基于相似性的检索Mallen等2022。Self-RAG和REPLUG通过利用大型语言模型LLM增强检索能力实现了更灵活的检索。初次检索后交叉编码器模型通过联合编码查询和检索文档来重新排序结果计算相关性得分。这些模型虽然提供了更丰富的上下文感知检索但计算成本较高。RAG系统利用LLM中的自注意力机制来管理输入和检索文本各部分的上下文和相关性。在将检索信息整合到生成模型时采用交叉注意力机制以确保在生成过程中突出最相关的信息片段。2.3 RAG系统中的生成器在 RAG 中生成器是将检索到的信息与输入查询融合生成最终输出的关键环节。一旦检索组件从外部资源中提取出相关知识生成器便会将这些信息编织成连贯、符合上下文的回应。大型语言模型LLM构成了生成器的核心确保生成的文本流畅、准确并与原始查询保持一致。2.3.1 T5T5(Text-to-Text Transfer Transformer是RAG系统中用于生成任务的常用模型之一。T5的灵活性体现在其将所有NLP任务视为文本到文本的任务。这种统一的框架使得T5能够针对广泛的任务进行微调包括问答、摘要和对话生成。通过整合检索与生成基于T5的RAG模型在多个基准测试中超越了传统生成模型如GPT-3和BART特别是在Natural Questions数据集和TriviaQA数据集上。此外T5在处理复杂多任务学习方面的能力使其成为需要应对多样化知识密集型任务的RAG系统的首选。2.3.2 BARTBARTBidirectional and Auto-Regressive Transformer特别适合处理从嘈杂输入中生成文本的任务例如摘要和开放域问答。作为一种去噪自编码器BART能够重建损坏的文本序列使其在需要从不完整或嘈杂数据中生成连贯、事实性输出的任务中表现出色。当与RAG系统中的检索器结合时BART已被证明能够通过外部知识提高生成文本的事实准确性。3. 跨模态的检索增强型生成模型3.1 基于文本的RAG模型基于文本的RAG模型是目前最为成熟且广泛研究的类型。依托文本数据执行检索与生成任务推动了问答、摘要和对话智能体等应用的发展。BERT和T5等Transformer架构构成了文本RAG模型的基石运用自注意力机制来捕捉文本内的上下文联系从而提升检索的精确度和生成的流畅度。3.2 基于音频的RAG模型基于音频的RAG模型将检索增强型生成的理念拓展至音频领域为语音识别、音频摘要和语音界面中的对话智能体等应用开辟了新天地。音频数据常通过Wav2Vec 2.0等预训练模型衍生的嵌入表示来呈现。这些嵌入作为检索和生成组件的输入使得模型能够有效地处理音频数据。3.3 基于视频的RAG模型基于视频的RAG模型融合视觉与文本信息增强了视频理解、字幕生成和检索等任务的表现。视频数据通过 I3D TimeSformer 等模型的嵌入表示来呈现。这些嵌入捕捉了时间与空间特征对于有效的检索和生成至关重要。3.4 多模态RAG模型多模态RAG模型融合了文本、音频、视频和图像等多种模态的数据为检索和生成任务提供了一种更全面的方法。例如Flamingo这样的模型将不同模态整合进一个统一的框架内实现了文本、图像和视频的同时处理。跨模态检索技术涉及在不同模态间检索相关信息。“检索即生成Retrieval as generation”通过结合文本到图像和图像到文本的检索将检索增强型生成RAG框架扩展到了多模态应用。利用大规模的配对图像和文本描述数据集在用户查询与存储的文本描述相匹配时能够快速生成图像“检索即生成”。4. 现有RAG框架一览基于智能体的RAG一种新的智能体检索增强型生成RAG框架采用了分层的多智能体结构子智能体使用小型预训练语言模型SLMs针对特定的时间序列任务进行微调。主智能体将任务分配给这些子智能体从共享知识库中检索相关提示。这种模块化多智能体方法实现了较高的性能展现了在时间序列分析中相较于特定任务方法的灵活性和效率。RULERULE是一个多模态RAG框架旨在提升医学视觉-语言模型Med-LVLM的事实准确性通过引入校准选择策略控制事实风险并开发偏好优化策略平衡模型内在知识与检索上下文证明了其在提升Med-LVLM系统事实准确性方面的有效性。METRAGMETRAG一个多层次、思维增强thoughts enhanced的检索增强型生成框架结合文档相似性和实用性来提升性能。包括一个任务自适应摘要器以产生蒸馏后内容摘要。利用这些阶段的多次思考LLM生成知识增强内容在知识密集型任务上与传统方法相比展现出更优越的性能。RAFTRetrieval Augmented Fine-Tuning干扰文档是检索增强型微调RAFTZhang等2024的关键特征之一用不相关、干扰性文档训练模型如何辨别而直接引用相关来源。结合思维链推理增强了模型的推理能力。RAFT在特定领域的RAG任务中表现出一致的性能提升包括PubMed、HotpotQA和Gorilla数据集作为LLMs的后训练增强。FILCOFILCO旨在提升生成模型在开放域问答和事实验证等任务中提供的上下文质量解决对检索段落过度或不足依赖的问题可能导致生成输出中的幻觉问题。该方法通过词汇和信息论方法识别有用的上下文并通过训练上下文过滤模型在测试期间提炼检索上下文提高了上下文质量。Self-RAG反思标记是自反思检索增强型生成Self-RAGAsai等2023的关键属性通过结合检索与自反思来提高大型语言模型LLMs的事实准确性。与传统方法不同Self-RAG自适应地检索相关段落并使用反思标记评估和提炼其响应允许模型根据特定任务需求调整行为并在开放域问答、推理、事实验证和长篇生成任务中表现出优越性能。RAG的智能性和有效性在很大程度上取决于检索质量对知识库的更多元数据理解将增强RAG系统的有效性。MK Summary一种以数据为中心的检索增强型生成RAG工作流程超越了传统的检索-阅读模式采用了准备-重写-检索-阅读框架通过整合上下文相关、时间关键或特定领域的信息来增强LLMs。其创新点包括生成元数据、合成问题和答案QA并引入文档集群的元知识摘要MK摘要。CommunityKG-RAGCommunityKG-RAG是一个零样本框架将知识图谱KGs中的社区结构整合到检索增强型生成RAG系统中。通过利用KGs中的多跳连接提高了事实检查的准确性和上下文相关性超越了不需要额外领域特定训练的传统方法。RAPTORRAPTOR引入了一种层次化方法来增强检索增强型语言模型解决了传统方法只检索短的、连续文本块的限制。RAPTOR通过递归嵌入、聚类和总结文本形成摘要树以在不同抽象级别检索信息。实验表明RAPTOR在需要复杂推理的问答任务中表现出优越性能。当与GPT-4配对时RAPTOR在QuALITY基准测试中的准确性提高了20%。4.1 基于长上下文的RAG框架近期推出的支持长期上下文的大型语言模型LLMs如Gemini-1.5和GPT-4显著提升了RAG性能。Self-RouteSelf-Route 通过模型自省动态分配查询至RAG或LC从而优化计算成本与性能。为RAG和LC在处理长期上下文任务时的最佳应用提供了深刻见解。SFR-RAGSFR-RAG是一个小巧而高效的RAG模型旨在增强LLMs对外部上下文信息的整合同时减少幻觉现象。LA-RAGLA-RAG是一种新型RAG范式旨在提升LLMs中的自动语音识别ASR能力。亮点在于其能够利用细粒度的标记级语音数据存储和语音到语音的检索机制通过LLM的上下文学习提高ASR的精确度。HyPA-RAGLLMs在AI法律和政策背景下因知识过时和幻觉而面临挑战。HyPA-RAG是一个混合参数自适应检索增强型生成系统通过自适应参数调整和混合检索策略提高了精确度。在NYC Local Law 144的测试中HyPA-RAG展现了更高的正确性和上下文精度有效应对了法律文本的复杂性。MemoRAGMemoRAG引入了一种新型RAG范式克服传统RAG系统在处理模糊或非结构化知识时的局限。MemoRAG的双系统架构利用轻量级长距离LLM生成草稿答案并指导检索工具而更强大的LLM则负责完善最终输出。这一框架针对更好的线索提取和记忆容量进行了优化在复杂和简单的任务中都显著超越了传统RAG模型。NLLB-E5NLLB-E5推出了一个可扩展的多语言检索模型解决支持多语言尤其是像印度语这样的低资源语言所面临的挑战。借助NLLB编码器和E5多语言检索器的蒸馏方法NLLB-E5能够实现跨语言的零样本检索无需多语言训练数据。在Hindi-BEIR等基准测试上的评估显示了其强大的性能突显了任务特定的挑战并推动了全球包容性的多语言信息获取。5. RAG的挑战与局限性•扩展性与效率RAG的一大挑战在于其扩展性。鉴于检索组件依赖外部数据库应对庞大且日增的数据集需要高效的检索算法。高昂的计算和内存需求也使得RAG模型难以在实时或资源受限的环境中部署。•检索品质与相关性保证检索文档的品质和相关性是一个重要议题。检索模型有时可能返回无关或过时的信息这会降低生成内容的准确性。特别是在长篇内容生成方面提升检索精确度仍是研究的热点。•偏见与公正性与其它机器学习模型一样RAG系统可能因检索数据集中的偏见而表现出偏见。基于检索的模型可能会放大检索知识中的有害偏见导致生成的输出带有偏见。开发用于检索和生成的偏见缓解技术是一个持续的挑战。•连贯性RAG模型常在将检索到的知识融入连贯、与上下文相关联的文本中遇到难题。检索到的内容与生成模型输出之间的衔接并不总是完美可能会导致最终回答中出现不一致或事实性幻觉。•可解释性与透明度与众多AI系统类似RAG模型往往被视作不透明的黑箱操作6. 未来方向6.1 强化多模态融合在RAG模型中整合文本、图像、音频和视频数据需着眼于提升多模态融合技术实现不同数据类型间的无缝交互包括• 研发更先进的方法来对齐和合成跨模态信息。• 需要更多创新来增强多模态输出的连贯性和情境适应性。• 提升RAG系统跨不同模态检索相关信息的能力。例如结合基于文本的查询与图像或视频内容检索可以增强视觉问答和多媒体搜索等应用。6.2 扩展性与效率随着RAG模型在更广泛的大规模应用中部署其扩展性变得至关重要。研究应聚焦于开发高效扩展检索和生成过程的方法同时不牺牲性能。分布式计算和高效索引技术对于处理庞大数据集至关重要。提升RAG模型的效率需要优化检索和生成组件以减少计算资源和延迟。6.3 个性化与适应性未来的RAG模型应专注于根据个体用户的偏好和情境个性化检索过程。这包括开发基于用户历史、行为和偏好调整检索策略的技术。通过深入理解查询和文档库的上下文和情感增强RAG模型的上下文适应性对于提升生成响应的相关性至关重要。研究应探索基于互动上下文的动态调整检索和生成过程的方法包括将用户反馈和上下文线索整合到RAG流程中。6.4 伦理与隐私考量解决偏见是未来研究的关键领域尤其是针对RAG模型的偏见。随着RAG系统在多样化应用中的部署确保公平性并减少检索和生成内容中的偏见至关重要。未来的RAG研究应聚焦于保护隐私的技术以在检索和生成过程中保护敏感信息。包括开发安全数据处理方法和隐私意识的检索策略。模型的可解释性也是持续改进RAG研究的一个关键领域。6.5 跨语言及低资源语言支持拓展RAG技术以支持多语言尤其是资源匮乏的语言是一个充满希望的发展方向。致力于提升跨语言检索与生成能力确保在不同语言中都能提供准确且相关的结果。提升RAG模型对低资源语言的有效支持需要开发在有限训练数据下进行内容检索与生成的方法。研究应聚焦于转移学习与数据增强技术以提高在边缘语言中的表现。6.6 高级检索机制未来RAG研究应探索能够适应变化查询模式和内容需求的动态检索机制。包括构建能够根据新信息和用户需求演进而动态调整检索策略的模型。研究混合检索方法结合密集检索与稀疏检索等不同策略有望提升RAG系统的效果。研究应着眼于如何整合多样化的检索方式以适应各种任务并达到最佳性能。6.7 与新兴技术的融合将RAG模型与脑机接口BCIs相结合可能在人机交互和辅助技术领域开辟新的应用。研究应探讨RAG系统如何利用BCI数据来提升用户体验和生成具有上下文感知的响应。RAG与增强现实AR和虚拟现实VR技术的结合为创造沉浸式互动体验提供了机遇。未来的研究应调查RAG模型如何被用于增强AR和VR应用通过提供上下文相关的信息和交互提升用户体验。论文原文: https://arxiv.org/abs/2410.12837如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】