企业官网建设流程全解析

asp.net网站管理系统,凡客建站官网登录入口,网络公司都有哪些,淄博易宝网站建设亲爱的小伙伴们#xff0c;大家好呀#xff01;今天小编要给大家带来一个超级有趣又前沿的话题——RAG#xff08;Retrieval-Augmented Generation#xff0c;检索增强型生成#xff09;。相信很多小伙伴听到这个名字可能会一头雾水#xff0c;接下来就跟着小编从RAG概念…亲爱的小伙伴们大家好呀今天小编要给大家带来一个超级有趣又前沿的话题——RAGRetrieval-Augmented Generation检索增强型生成。相信很多小伙伴听到这个名字可能会一头雾水接下来就跟着小编从RAG概念、RAG分类、RAG基本流程、RAG实践、RAG评估和RAG优化等方向一起走进RAG的奇妙世界看看它到底有什么魔力让它在人工智能领域备受关注RAG介绍RAG概念RAGRetrieval-Augmented Generation检索增强生成是一种将大规模语言模型LLM与外部知识源检索相结合的人工智能技术框架旨在提高模型的问答和生成能力。它通过从外部知识库中检索相关信息来增强语言模型的输出从而生成更准确、更丰富上下文的响应。实际上RAG的本质是InContext Learning即RAG(检索增强生成) 检索技术 LLM 提示。同样地RAG最主要的目标是为了增强LLM能力来抵消LLM的知识局限、幻觉问题和数据安全三大局限性。并且RAG 通常来说还是省略了模型微调的成本能更快基于语义做专有领域的热装卸即在系统运行过程中在不切换模型的同时通过动态地加载、更新或切换知识库达到不同垂域的知识参考效果。RAG分类在介绍完RAG的概念后想必大家已经清楚具体RAG的作用了。这些关键节点也随着大模型的发展在不断变化着因此可以根据发展阶段将RAG分成如下三类也代表RAG主要的发展阶段包括经典的NaiveRAG、模块化的ModularRAG和智能体基座的RAG具体框架如下图。基于上面的图片小编也对三个阶段做出了一些总结。第一种经典的Naive RAG主要包括“索引-检索-生成”流程通常基于文本处理第二种Modular RAG相比Naive RAG具备较灵活的知识整合能力与检索策略。在知识库的整理阶段涉及复杂的Chunk编排在检索阶段进阶的RAG能支持对检索的前后额外处理第三种Agentic RAG搭载在智能体基座上因此拥有更强大的检索能力除了维护私域数据的检索之外额外维护一套工具链路增强知识检索能力。大家很明显的看到这三种RAG发展阶段是逐渐将RAG工程化与模块化的过程并且尽可能地与智能体进行适配。RAG基本流程介绍完RAG内容后大家听的可能还是一头雾水接下来介绍一下RAG的基本流程。RAG 的基本流程包含了整理知识库、使用嵌入模型、载入向量数据作索引、查询与检索和LLM生成回答的过程。图中的术语可能相对大家来说比较陌生因此小编整理了关键概念大家来看一下吧。整理知识库将已有的多源数据格式整理/切分成文本块具体文本块(Chunks)内裁剪窗口和块间排布结构可以根据实际任务设计。而对于多源数据的整合模式则需要考虑数据的关系以及元数据的定义使用嵌入模型(Embeddings)对于Chunk转化成向量模式删去无意义助词捕捉Chunk核心含义在欧拉空间的位置载入向量数据库做索引针对Embedding后的Chunks存储使用向量数据库维护便于批量查询查询与检索用户的输入同样被嵌入后在向量数据库匹配过滤topK记录LLM生成回答给定ChatTemplate将用户输入与检索的信息填入作为Prompt输入模型会产生对专有知识的输出。简单来说RAG的主要流程就是大模型在对询问回答的时候借助在线的检索能力对回答的参考能力进一步作出描述。RAG医疗场景实践有了上面的RAG理论基础现在和小编一起对已有的RAG知识做一次工程上的尝试吧。本次实践以医疗场景中的智能问诊为示例通过场景介绍、模块构建、大模型微调和Agent集成与业务工具拓展等方面带大家进一步感受RAG的超强能力。RAG场景介绍现在针对医院智能问诊场景做出实践。智能问诊场景中RAG框架需要借助代表静态资产的医学知识例如临床医疗指南NCCN、UpToDate和医学论文PubMed等和代表动态资产的患者日志病历例如患者电子病历EMR等进行简单/推理性质的询问其中主要技术链路如下图。上述的主要流程为首先用户输入问题LLM基座这里使用DeepSeek-R1根据用户的提问进行意图感知考虑需要调用的基础工具基于医学知识文档的RAG或者是需要联表查询的SQL Tools接着相关的业务工具会获取相关医学概念知识/文献数据/具体患者病历然后已有的Prompt模板拼接用户的Query和相关文档输入带有LLM基座此时LLM基座收到带有参考资料的询问就激活已微调好的Adapter输出相关的推理过程与标准回答。这套流程涵盖上下文保存的过程因此能够支持患者的多轮问答。RAG模块构建RAG模块首先需要针对已有的资料进行切分与嵌入由于数据都是Markdown格式因此考虑使用MarkdownHeadSplitter对一级标题和二级标题做一个切分具体的内容再根据长度进行滑窗切分相关核心代码如下headers_to_split_on [ (#, Header 1), (##, Header 2), (###, Header 3), ] loader TextLoader(filename, encodingutf-8) documents loader.load() text_splitter MarkdownHeaderTextSplitter( headers_to_split_onheaders_to_split_on, strip_headersFalse ) text_splitter MarkdownTextSplitter( chunk_size200, chunk_overlap20 ) docs text_splitter.split_text(documents[-1].page_content) for idx, doc in enumerate(docs): text doc inputs tokenizer.encode(text, max_lengthMAX_LENGTH, add_special_tokensFalse) text tokenizer.decode(inputs) metadata {} metadata[start_index] idx documents.append(Document(page_contenttext, metadatametadata))因此后续拼接后得到的字段就包括两级标题以及内容例如这篇文章的一级标题是“RAG医疗场景实践”二级标题是“RAG模块构建”则格式化后的Chunk是RAG医疗场景实践-RAG模块构建-(具体内容)切分好的Chunk需要持久化部署在向量数据库内为在线的模型提供多次查询这边采用轻量级易于启动的单机部署数据库Milvus进行实践。同样地考虑所有的中文嵌入模型使用BAAI/bge-large-zh对所有切分的Chunks嵌入至784维的稠密向量中即text of document - Vector(784)在初始化好持久化查询的向量数据库后具体的检索流程如下用户输入的Query同样使用BAAI/bge-large-zh嵌入成查询向量针对查询向量从Milvus向量数据库中查询到TopK个相似结果其中相似度度量采用余弦相似度具体公式如下( A,B代表两个向量)考虑注意力对头尾的聚焦能力比中间文本更强因此使用重排器FlagReranker(也是基于Bge系列的重排器)进行重排得到更加符合问题的参考文档块将文档块和Query使用Prompt模板规则化输入微调后的LLM基座即可得到回答DeepSeek-R1微调适配DeepSeek-R1是作为Reasoning模型对于RAG包括智能问诊适配的一个尝试这边针对已有的资产进行简单询问或带有推理的询问其中构造相关的问答对(query, documents, response)格式具体如下(问下这个布洛芬怎么吃?, [布洛芬是一種非类固醇消炎止痛药..., 患者id-问诊日期-病症-药方...], 口服成人一次1片一日2次早晚各一次)考虑模型的参数量、训练性能与具体指令功能的匹配进行Lora微调即可具体微调的过程和原理不做展开这边给出Lora的部分关键参数。LoraConfig( lora_alpha32, lora_dropout0.1, r16, biasnone, task_typeCAUSAL_LM, target_modules[k_proj, q_proj, v_proj, up_proj, down_proj, gate_proj] )后续将训练好的权重作为Adapter和DeepSeek-R1一块在vllm上进行部署。Agent集成与业务工具的拓展使用LangGraphLangSmith做一个智能体服务的集成其中主要包含Start节点、意图识别节点与绑定BaseTool节点具体智能体相关在此不做展开。同样地能够基于LangGraph搭建类似RAG或者是别的知识图谱的基础工具因为都包括三个组件静态资料、持久化容器与暴露的API。关于LangGraph调用的节点流程如下图。以上就是RAG的具体在医疗场景的实践但是这个实践还是有很多可以优化的地方因此小编在文章最后也总结了相关RAG优化内容大家一起来看一下吧~RAG评估现在大家已经对RAG的使用场景已经熟悉了那么如何评价下RAG的对于内容检索和整体生成精度的优劣呢这边小编带大家来看一下关于RAG评估的知识。通常对RAG评估需要考量RAG检索、生成、意图等方面其实这是一个比较困难的评估过程因为并没有绝对客观的量化标准检索环节的评估MRR(Mean Reciprocal Rank)平均倒数排名用于评估信息检索的指标。记确定正确的检索条目Chunk考虑Chunk在实际检索中的排名倒数如果检索排名是n则MRR(1) 1 / nHR(Hit Rate)命中率评估召回文档的比率即TopK中正确的Chunk占比生成环节的评估借助RagasBleuScore基于精度做评分n-gram匹配对数量 / 系统生成的翻译总n-gram数 可能使用短文本惩罚ROUGE-N基于召回做评分n-gram匹配对数量 / 参考的翻译总n-gram数scorer AspectCritic( namemaliciousness, definitionIs the submission intended to harm, deceive, or exploit users?, ) scorer.llm openai_model await scorer.single_turn_ascore(sample)同样地答案性质评估还包括Perplexity、时效性、拒答程度RAG优化方向RAG的优化方向可以根据检索优化、生成优化与RAG增强三个方面其中检索优化主要针对文档准备、分块存储处理、索引检索策略的阶段主要有如下优化方向数据链路优化需要对表格数据列表数据和流程图数据做额外Chunk切分因此在考虑数据的时候也考虑分块同样可以考虑元素嵌入滑动窗口技术检索、摘要嵌入TopK检索并对文档给出完整的上下文、图索引匹配实体-关系对作查询但是GraphRAG耗时耗成本以及针对稠密的向量可以直接进行相似度的匹配但是对于稀疏向量的检索最佳匹配方式是BM25基于TF-IDFAltas模式检索器基于Contriever设计将模型与检索器基于同种损失函数共同训练而生成优化主要强调模型对已有信息的感知能力和提升Response的事实准确度主要有如下优化方向Context 顺序优化由于通用注意力对越靠后的文本注意力越强因此可以重新根据之前几轮的对话重新给出文献的排序并且根据最新的Query相关性过滤已有的记忆模型微调如果数据并不是特别隐私或者面向的用户都是私域内部模型微调也能加强对指令感知训练数据专业问答、通用任务等在处理数据时可以考虑针对原有的Response做人工标注来做RL增强。​最后我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包✅AI大模型学习路线图✅Agent行业报告✅100集大模型视频教程✅大模型书籍PDF✅DeepSeek教程✅AI产品经理入门资料完整的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】​​为什么说现在普通人就业/升职加薪的首选是AI大模型人工智能技术的爆发式增长正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议到全国两会关于AI产业发展的政策聚焦再到招聘会上排起的长队AI的热度已从技术领域渗透到就业市场的每一个角落。智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200%远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。​​资料包有什么①从入门到精通的全套视频教程⑤⑥包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图还有视频解说全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤ 这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。所有的视频教程由智泊AI老师录制且资料与智泊AI共享相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌构建起前沿课程智能实训精准就业的高效培养体系。课堂上不光教理论还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌​​​​如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】**​