企业官网建设流程全解析

小网站模板下载 迅雷下载 迅雷下载不了,百度关键词优化多少钱一年,网站设计科技有限公司,网上做任务的网站有哪些内容一、研究背景#xff1a;当LoRA遇上强化学习#xff0c;谁才是最强王者#xff1f; 最近大语言模型#xff08;LLM#xff09;在数学推理等复杂任务上的表现越来越惊艳。特别是基于可验证奖励的强化学习#xff08;Reinforcement Learning with Verifiable …一、研究背景当LoRA遇上强化学习谁才是最强王者最近大语言模型LLM在数学推理等复杂任务上的表现越来越惊艳。特别是基于可验证奖励的强化学习Reinforcement Learning with Verifiable Rewards简称RLVR这个训练范式已经成为进一步提升模型推理能力的主流方法。简单来说就是让模型做数学题做对了给奖励做错了不给通过这种方式让模型越来越聪明。但问题来了——强化学习训练特别烧钱需要海量算力。为了降低成本研究者们通常会用参数高效微调PEFT方法其中最流行的就是LoRA低秩适应。LoRA的核心思想很简单不更新所有参数只训练一小部分低秩矩阵就能达到不错的效果。但这里有个关键问题大家默认用LoRA真的是因为它最适合强化学习吗这篇论文的作者团队来自浙江大学、香港科技大学、布朗大学等机构就盯上了这个问题。他们发现虽然LoRA的各种变体层出不穷但在强化学习场景下大家几乎都还在用最原始的标准LoRA。这太奇怪了——明明在监督学习场景下DoRA、AdaLoRA等变体已经被证明比标准LoRA更强为什么在强化学习中就没人系统研究过呢于是作者们提出了核心研究问题哪种参数高效方法最适合强化学习为了回答这个问题他们构建了一个大规模评测基准在DeepSeek-R1-Distill模型家族1.5B和7B参数规模上测试了超过12种PEFT方法涵盖MATH-500、AIME24/25等数学推理任务。论文的三大核心发现非常颠覆认知结构变体完胜标准LoRADoRA、MiSS、AdaLoRA这些结构变体的表现持续超越标准LoRADoRA甚至比全参数微调还要强**SVD初始化会翻车**PiSSA、MiLoRA这类基于奇异值分解SVD的初始化策略在强化学习中会彻底崩溃。作者通过频谱分析揭示了背后的机制这些方法强制在主成分上更新但强化学习偏偏需要在非主成分空间学习两者根本不兼容。参数压缩不是越狠越好VeRA、Rank-1适配器这种极端压缩方法会严重限制模型的可塑性导致性能崩盘。强化学习需要一定的表达能力下限压得太狠反而学不到东西。二、相关工作RLVR与PEFT的前世今生RLVR用验证器调教模型传统的RLHF基于人类反馈的强化学习需要人工标注成本高昂。而RLVR换了个思路对于数学题、代码这类有确定答案的任务直接用规则验证器比如检查数学答案是否正确给奖励。这种方法的核心算法是GRPO组相对策略优化。GRPO的工作原理是给模型一道题让它生成多个答案比如8个然后用这一组答案的奖励来计算优势值判断哪些答案应该被强化哪些应该被抑制。目标函数大概长这样后来还出现了DAPO、Dr. GRPO等改进版本主要解决训练不稳定、样本效率低等问题。比如DAPO引入了非对称裁剪策略让低概率的探索token更容易被提升Dr. GRPO去掉了长度归一化避免模型偏好长而错的答案。PEFT家族十八般武艺各显神通PEFT方法可以分成几大类基线方法全参数微调性能上限和标准LoRA效率基线。LoRA的核心公式是其中是冻结的预训练权重和是低秩矩阵是秩通常远小于原始维度。结构变体这类方法改变了LoRA的架构设计。比如DoRA把权重更新拆成方向和幅度两部分AdaLoRA用类似SVD的结构动态调整秩MiSS通过子网络选择来分配参数。初始化策略保留LoRA架构但改变初始化方式。PiSSA和MiLoRA用SVD把分解然后用主成分或次要成分初始化适配器LoRA给和设置不同的学习率。极致压缩为了省显存LoRA-FA冻结只训练VeRA更狠连低秩矩阵都冻结只训练缩放向量。其他PEFT比如LayerNorm Tuning只调归一化层参数IA³通过逐元素乘法缩放激活值。三、核心方法如何公平竞赛这12种PEFT实验设计为了确保评测的公平性和可靠性作者们下了很大功夫模型选择用DeepSeek-R1-Distill系列的1.5B和7B模型。这些模型已经经过监督微调SFT具备基础推理能力和标准输出格式把推理过程放在think标签里最终答案放在\boxed{}里。数据集使用DAPO-Math-17k数据集约17,400道高质量数学题在AIME24/25、MATH-500、AMC等六个数学推理基准上评测。训练配置统一超参数——学习率1e-5、LoRA秩32、dropout 0.05。每道题生成8个答案用DAPO算法训练。1.5B模型训练1024步批次大小1287B模型训练8192步批次大小32。奖励机制非常严格的二元奖励——答案完全正确得1分否则0分。用latex2sympy和math_verify来验证数学等价性。评测指标为了应对AIME这类样本量小的基准的统计波动采用Avgk指标k次生成的平均准确率和Pass1k次生成中至少有一次正确。消融实验的四个维度为了验证发现的稳健性作者们做了非常全面的消融研究批次大小32 vs 128测试PEFT方法是否像SFT那样偏好小批次。算法变体GRPO、DAPO、Dr. GRPO验证结论是否依赖特定算法。学习率1e-5、5e-6、1e-6确认最优学习率范围。LoRA秩1、8、16、32探索秩与性能的关系。四、实验效果三大发现颠覆认知发现1LoRA已经过时结构变体才是王道实验结果一出来就很震撼标准LoRA42.5%全面落后于全参数微调44.9%而结构变体们则大放异彩DoRA平均准确率46.6%不仅超越LoRA甚至比全参数微调还强在AIME24上达到39.0%在AMC上71.9%。AdaLoRA44.2%稳定超越LoRA。MiSS43.4%也比LoRA表现更好。为什么会这样作者认为标准LoRA的低秩约束太死板无法应对强化学习中复杂的策略调整需求。而DoRA通过解耦幅度和方向AdaLoRA通过自适应秩分配MiSS通过参数分片都提供了更灵活的优化空间更符合RLVR的优化动态。核心结论别再无脑用标准LoRA了在强化学习场景下结构变体才是最优选择。发现2SVD初始化的灾难性崩溃这个发现特别有意思。理论上PiSSA和MiLoRA这类SVD初始化方法应该挺合理的PiSSA用主成分大奇异值初始化假设重要信息集中在主成分。MiLoRA反其道而行用次要成分小奇异值初始化认为这样能保留更多新信息。结果呢**PiSSA直接崩盘到0.2%准确率MiLoRA也只有18.0%**。这是怎么回事作者做了深入的频谱分析见图3。关键发现是强化学习更新主要发生在非主成分空间。最近的研究Zhu et al., 2025揭示RLVR为了保护预训练模型的知识结构会避开高曲率的主成分在低曲率的非主成分子空间学习。PiSSA为什么失败它强制在主成分上更新和RLVR的非主成分偏好直接冲突导致训练崩溃。MiLoRA为什么失败虽然初始化在次要成分但这些成分的奇异值太小接近0导致初始适配器几乎为零。没有足够的初始偏置梯度会自动滑向主成分方向因为梯度沿着最大方差方向最终还是退化成主成分更新。频谱分析图显示MiLoRA最终的更新分布和PiSSA几乎一样都在主成分上有明显尖峰而全参数微调的更新是均匀分布在整个频谱上的。核心结论基于SVD的初始化策略不适合RLVR。如果想改进初始化应该像LoRA那样调整学习率动态而不是玩SVD分解的花样。发现3参数压缩的表达力地板很多人可能觉得参数越少越好——既省显存又省算力。但实验揭示了一个残酷真相强化学习对参数量有下限要求。对比一下不同方法的可训练参数比例全参数100%准确率44.9%LoRA1.55%准确率42.5%MiSS0.99%准确率43.4%——压缩到LoRA的2/3性能反而略好LoRA-FA冻结一半参数准确率43.0%——还能接受VeRA0.0029%准确率40.7%——崩了IA³只调缩放向量准确率22.3%——崩得更厉害LN Tuning只调归一化层准确率41.8%——勉强能用但明显变弱Rank-1 LoRA准确率40.5%——和基线模型一样等于没训练为什么会这样作者解释说强化学习的监督信号是稀疏的只有0或1的奖励信号不像监督学习有密集的token级别反馈。这种稀疏信号需要足够的参数空间来承载复杂的策略调整。极端压缩方法如VeRA只训练缩放向量创造了一个信息瓶颈严重限制了模型学习推理行为的能力。核心结论参数高效不等于参数越少越好。要在效率和表达力之间找平衡别把模型饿得太厉害。消融实验结论稳如泰山作者做的消融实验也很有料批次大小和SFT不同RLVR对批次大小不那么敏感。小批次32略好于大批次128但差距不大。这可能是因为强化学习的稀疏奖励不会像SFT的密集信号那样撑爆适配器容量。算法变体无论用GRPO、DAPO还是Dr. GRPO结论都一致——说明PEFT方法的优劣是由稀疏可验证奖励这个根本特性决定的,而不是具体算法细节。学习率验证了之前的缩放律——最优学习率大约是。太大会不稳定太小学不动。LoRA秩Rank32 Rank16 Rank8 Rank1。别信Rank1就够了的鬼话保持适中的秩16-32才是王道。7B模型验证结论可扩展为了证明发现不是1.5B小模型的特殊现象作者在7B模型上重复了实验。结果非常一致LoRA54.8%DoRA55.0%LoRA55.5%最佳MiSS53.4%DoRA和LoRA仍然稳定超越标准LoRA说明结构优化和学习率调整的优势在大模型上依然有效。五、论文总结给强化学习训练指一条明路这篇论文做了一件非常扎实的工作第一次系统评测了PEFT方法在强化学习中的表现。三大发现为我们指明了方向停用标准LoRA改用结构变体DoRA、MiSS、AdaLoRA在RLVR场景下明显更强DoRA甚至能超越全参数微调。如果你还在用标准LoRA训练强化学习模型那真的该升级工具箱了。远离SVD初始化的坑PiSSA和MiLoRA在强化学习中会翻车原因是它们和RLVR的非主成分更新特性存在根本性冲突。如果想优化初始化学LoRA调学习率就好别折腾SVD分解。保持适度的参数量极端压缩VeRA、IA³、Rank-1会让模型饿到学不动。强化学习的稀疏信号需要足够的表达能力别为了省那点显存牺牲性能。作者们还很诚实地指出了未来工作方向迁移到更高性能的训练框架如VeRL、深入研究适配器动态的理论机制、扩展到多模态和长期训练场景、解决权重合并的数值稳定性问题等。最后的最后这篇论文给强化学习社区提供了一份PEFT选型指南如果你要训练数学推理、代码生成等基于验证器反馈的模型DoRA是首选LoRA是备选标准LoRA只能算能用但不够好而SVD初始化和极端压缩方法请直接避开。这份指南值得每个做RLVR的研究者和工程师收藏如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】