企业官网建设流程全解析

床上爱做网站,齐诺网站建设东莞网站建设做网站,网站开发合同 中英文,网络营销策划方案简介本文详细介绍 特征工程 (Feature Engineering)。在机器学习界流传着一句名言#xff1a;“数据和特征决定了机器学习的上限#xff0c;而模型和算法只是逼近这个上限而已。” 如果你把机器学习比作做菜#xff0c;那么#xff1a; 数据就是刚买回来的原材料#xff08;带着…本文详细介绍特征工程 (Feature Engineering)。在机器学习界流传着一句名言“数据和特征决定了机器学习的上限而模型和算法只是逼近这个上限而已。”如果你把机器学习比作做菜那么数据就是刚买回来的原材料带着泥土的土豆、活鱼。模型就是烹饪工具炒锅、烤箱。特征工程就是备菜过程洗菜、切片、腌制。只有菜备得好炒出来的菜才好吃。1. 什么是特征工程简单来说特征工程就是把原始数据变成模型能看懂、能更好利用的数据的过程。计算机很笨它只认识数字而且喜欢“规整”的数字。它看不懂“2023年10月1日”它只知道这是一个字符串。它看不懂“红色”它只知道这是文字。它看不懂“身高180cm”和“体重70kg”谁大谁小因为它不知道单位不同。特征工程就是充当“翻译官”和“加工厂”把这些原始信息转化为高质量的数值特征。(图示原始杂乱的数据经过特征工程的“加工”变成了模型喜欢的数值形式)2. 为什么要搞特征工程Garbage In, Garbage Out (垃圾进垃圾出)。如果你直接把原始数据丢给模型模型大概率会“消化不良”或者“胡乱猜测”。提高准确率好的特征能让模型更容易找到规律。降低复杂度有时候一个好特征顶得上十个烂特征能让模型跑得更快。增强解释性处理后的特征往往更能反映业务逻辑。3. 常见的特征工程“招式”让我们结合具体的例子来看看怎么做特征工程。3.1 处理缺失值 (Missing Values)场景收集的用户数据里有些人的“年龄”是空的。直接丢弃如果空的很少直接把这行删了。简单粗暴填充 (Imputation)填平均值大家都填 30 岁。填众数填出现最多的人的年龄。模型预测根据他的收入、职业猜一个年龄填进去。高级3.2 数值处理 (Numerical Processing)场景你要预测房价。归一化/标准化 (Scaling)“面积”是 100 平方米“房间数”是 3 个。数字 100 比 3 大太多模型可能会误以为“面积”比“房间数”重要 30 倍。解决把它们都压缩到 0 到 1 之间或者变成标准正态分布让它们“平起平坐”。分箱 (Binning)年龄从 1 岁到 100 岁都有。有时候我们不关心具体几岁只关心是“小孩”、“青年”还是“老人”。解决把 0-18 岁变成 119-60 岁变成 260 变成 3。这叫离散化。3.3 类别编码 (Categorical Encoding)场景衣服颜色有“红”、“黄”、“蓝”。计算机不认识字。序号编码 (Label Encoding)红1黄2蓝3。问题模型会觉得 3 1难道“蓝”比“红”大这不合理。独热编码 (One-Hot Encoding)创建三个新列[是红, 是黄, 是蓝]。红 [1, 0, 0]黄 [0, 1, 0]蓝 [0, 0, 1]这样它们就平等了。3.4 时间特征 (Date/Time Features)场景数据里只有一列“2023-10-01”。拆解提取出“年”、“月”、“日”、“小时”。周期性提取“是否周末”、“是否节假日”、“星期几”。业务逻辑如果是电商数据提取“距离双十一还有几天”。3.5 文本特征 (Text Features)场景用户评论“这个东西太好用了”。词袋模型 (Bag of Words)统计每个词出现的次数。TF-IDF计算词的重要性过滤掉“的”、“了”这种废话。Word2Vec/Embedding把词变成向量让“国王”和“王后”在数学空间里靠得很近。3.6 组合特征 (Feature Combination)场景你有“长”和“宽”。创造新特征计算“面积 长 x 宽”。有时候两个特征单独看没啥用乘在一起就是神特征。4. 总结特征工程是一门艺术它非常依赖你对业务的理解。如果你懂股票你会知道“5日均线”比单纯的“今日股价”更有用。如果你懂医疗你会知道“BMI指数”比单纯的“身高、体重”更能反映健康状况。好的数据科学家80% 的时间都在做特征工程只有 20% 的时间在调模型。