企业官网建设流程全解析

沈阳做网站公司哪家好,重庆建设工程交易中心官网,十大免费不收费的网站,业务网站在线生成本文将带你深入了解机器学习中两个最著名的“抱团”流派#xff1a;Bagging 和 Boosting。 1. 为什么要“抱团”#xff1f;#xff08;集成学习#xff09; 在机器学习里#xff0c;我们经常发现#xff1a;单个模型#xff08;比如一棵决策树#xff09;往往不够聪明…本文将带你深入了解机器学习中两个最著名的“抱团”流派Bagging和Boosting。1. 为什么要“抱团”集成学习在机器学习里我们经常发现单个模型比如一棵决策树往往不够聪明要么容易钻牛角尖过拟合要么太粗心欠拟合。为了解决这个问题聪明的科学家们想到了一个办法“三个臭皮匠顶个诸葛亮”。既然一个模型不行那我就搞一堆模型让它们一起投票做决定这种方法就叫集成学习 (Ensemble Learning)。而Bagging和Boosting就是组织这帮“臭皮匠”的两种不同管理模式。2. Bagging民主投票的“议会模式”全称Bootstrap Aggregating自助聚合(1) 核心思想并行 投票Bagging 就像是一个民主议会。招募议员它找来很多个模型通常是决策树。分发资料它从总题库里随机抽样出一堆题目给第一个议员看再随机抽一堆给第二个议员看……注意是有放回抽样大家看到的题目可能部分重叠。独立学习每个议员关起门来互不干扰自己学自己的。最终表决遇到新问题时所有议员一起投票。如果是分类问题是猫还是狗少数服从多数。如果是回归问题房价多少大家取平均值。(2) 生动例子随机森林 (Random Forest)随机森林就是 Bagging 的典型代表。想象你要判断一个水果是不是苹果。议员 A 看了看颜色说是苹果。议员 B 闻了闻味道说是梨。议员 C 摸了摸形状说是苹果。…最后 100 个议员里80 个说是苹果20 个说是梨。结论这是苹果。(3) 它的强项稳定因为它把大家的意见平均了所以不容易受个别极端数据的影响。防过拟合主要作用是降低方差 (Variance)。3. Boosting知错能改的“接力模式”含义提升Boost(1) 核心思想串行 纠错Boosting 就像是一个闯关接力游戏或者是一个补习班。第一个人先上用所有题目训练第一个模型。它肯定会有做错的题。划重点把第一个人做错的那些题加粗、标红增加权重。第二个人接着上第二个模型主要盯着这些“错题”学。它可能把旧错题做对了但又犯了新错误。继续接力第三个模型再盯着前两个人做错的题学……最终决策把所有人的意见加起来。但是成绩好的模型说话分量重成绩差的说话分量轻加权投票。(2) 生动例子AdaBoost, XGBoost想象你在背单词。第一轮你把整本书背了一遍考试得了 60 分。错了 40 个词。第二轮你不再从头背了专门死磕那 40 个错词。考试得了 70 分但还有几个顽固的词记不住。第三轮你专门针对那几个顽固的词进行特训……最后把这几轮的“你”组合起来就是一个超级学霸。(3) 它的强项精准它专门死磕难题所以准确率通常非常高。提能力主要作用是降低偏差 (Bias)。4. 区别与联系一张表看懂特性Bagging (议会模式)Boosting (接力模式)代表算法随机森林 (Random Forest)AdaBoost, GBDT, XGBoost, LightGBM模型关系独立并行大家各干各的依赖串行后人踩着前人肩膀训练数据随机采样大家看的题不一样调整权重后者专攻前者做错的题最终决策平权投票一人一票加权投票谁厉害谁说了算主要作用减少方差更稳防过拟合减少偏差更准攻克难题对异常值不敏感抗噪能力强敏感容易被异常值带偏因为会死磕它5. 总结如果你觉得模型太复杂、容易过拟合或者数据比较少用Bagging如随机森林来维稳。如果你觉得模型太简单、准确率不够高想追求极致的精度用Boosting如 XGBoost来提分。现在的算法比赛如 Kaggle中Boosting系列尤其是 XGBoost, LightGBM, Catboost往往是拿冠军的神器而Bagging则是工业界稳定可靠的老黄牛。