企业官网建设流程全解析

手机购物网站源码,大连建设监察执法网站,制作一个门户网站需要多少钱,在线直播网站开发浙大疏锦行 一、预训练核心概念 1.预模型的定义 对比人类学习#xff1a; 预训练 九年义务教育#xff08;学通用知识#xff1a;语文、数学、基础科学#xff09;#xff1b;你的具体任务 大学专业课#xff08;比如计算机、医学#xff09;#xff1b;直接从头…浙大疏锦行一、预训练核心概念1.预模型的定义对比人类学习预训练 九年义务教育学通用知识语文、数学、基础科学你的具体任务 大学专业课比如计算机、医学直接从头训练 跳过九年义务教育直接学专业课效率低、学不会。在深度学习中预训练是指针对某一类通用任务如图像特征提取在大规模通用数据集如 ImageNet、COCO上用大量算力训练一个基础模型如 ResNet、VGG让模型学习到该领域的通用特征表示能力训练完成后保存模型的权重参数即 “预训练权重”后续针对具体任务如猫狗分类直接复用这些权重无需从零开始训练。核心关键词拆解关键词解释CV 场景大规模通用数据集不是你的小众任务数据如几百张猫狗图而是覆盖范围广的数据集如 ImageNet 含 1000 类自然图像通用特征表示模型学到的不是 “识别猫 / 狗”而是 “识别边缘、纹理、圆形、方形、物体轮廓” 等所有图像共有的特征预训练权重训练完成后保存的模型参数.pth 文件是 “通用知识” 的载体复用后续任务直接加载这些权重不用从随机初始化的参数开始训2.预训练的核心逻辑CNN 的特征提取规律是 “从通用到专属”底层卷积层学通用特征边缘、纹理、颜色—— 所有图像任务都需要高层卷积层学专属特征物体部件、场景—— 不同任务有差异。预训练的本质就是用海量数据把 “底层通用特征” 学透这一步需要大量算力和数据个人 / 小团队做不到后续任务只需要在这个基础上微调高层特征适配自己的任务即可。3.预训练的核心价值解决 “数据不足” 问题你的任务可能只有几千张样本如自定义猫狗分类从零训练 CNN 会过拟合但复用预训练权重几千张样本也能训出高精度模型节省算力 / 时间训练 ResNet18 在 ImageNet 上需要几十 / 上百 GPU 小时个人复现几乎不可能直接用预训练权重几分钟就能加载完成提升模型泛化能力预训练学到的通用特征能让模型适应不同场景的图像比如不同角度的猫、不同光线的狗降低入门门槛不用从零设计模型、调参基于预训练模型就能快速落地任务。4. 常用预训练模型PyTorch 内置模型名特点适用场景ResNet18/34轻量、速度快、精度适中中小数据集、普通分类任务ResNet50/101精度高、参数量大高精度要求、大数据集MobileNetV2超轻量、移动端适配部署场景低算力VGG16/19结构简单、特征提取能力强学术研究、特征提取二、核心预训练策略策略 1纯特征提取Freeze All Backbone1. 定义冻结预训练模型的所有主干层卷积层、Transformer 层等仅训练新增的 “分类头 / 任务头”全连接层—— 主干层只负责提取通用特征不做任何修改。2. 适用场景数据集极小几千张样本如小批量的猫狗分类、自定义手写字符新任务与预训练数据集如 ImageNet差异大如 MNIST 手写数字 vs ImageNet 自然图像算力有限CPU / 低配 GPU无法承担大量计算。3. 实操方法import torch import torch.nn as nn from torchvision import models # 加载ResNet18预训练模型 model models.resnet18(pretrainedTrue) # 核心冻结所有主干层参数不计算梯度 for param in model.parameters(): param.requires_grad False # 仅修改并训练分类头 in_features model.fc.in_features model.fc nn.Linear(in_features, 2) # 适配猫狗分类2类 # 优化器仅优化分类头参数主干层无梯度无需优化 optimizer torch.optim.Adam(model.fc.parameters(), lr1e-3)4. 优缺点优点缺点训练速度极快仅训少量参数无法适配新任务的专属特征精度上限低完全避免过拟合主干层无更新对差异大的任务通用特征可能不适用算力要求极低CPU 也能训-策略 2分层微调Unfreeze Top Layers1. 定义不冻结全部主干层仅解冻预训练模型的后几层高层前几层低层保持冻结 —— 因为低层前几层学习的是通用特征边缘、纹理、颜色所有图像任务都适用无需修改高层后几层学习的是专属特征物体部件、场景需要适配新任务。2. 适用场景数据集中等几万张样本如常规的猫狗分类、花卉分类新任务与预训练数据集有一定相似度如自然图像分类 vs ImageNet算力中等入门级 GPU如 RTX 3060。3. 实操方法model models.resnet18(pretrainedTrue) # 核心仅解冻最后2个卷积块高层冻结前几层 # ResNet18的层结构conv1 → layer1 → layer2 → layer3 → layer4 → fc for name, param in model.named_parameters(): # 仅解冻layer3、layer4高层 if layer3 in name or layer4 in name: param.requires_grad True else: param.requires_grad False # 修改分类头 model.fc nn.Linear(model.fc.in_features, 2) # 优化器分层设置学习率高层小学习率分类头大学习率 optimizer torch.optim.Adam([ {params: model.layer3.parameters(), lr: 1e-4}, # 高层小学习率避免破坏预训练权重 {params: model.layer4.parameters(), lr: 1e-4}, {params: model.fc.parameters(), lr: 1e-3} # 分类头大学习率全新层 ])4. 优缺点优点缺点平衡精度和速度仅训部分参数需要调试 “解冻层数”如解冻 2 层 / 3 层无统一标准适配任务专属特征精度显著提升比纯特征提取稍费算力不易过拟合前几层仍冻结-策略 3全量微调Unfreeze All Layers1. 定义解冻预训练模型的所有层主干层 分类头一起训练 —— 让预训练模型在保留通用特征的基础上完全适配新任务的专属特征。2. 适用场景数据集大几十万 / 百万张样本如大规模电商商品分类新任务与预训练数据集高度相似如动物分类 vs ImageNet算力充足中高端 GPU如 RTX 4090/A100。3. 实操方法model models.resnet18(pretrainedTrue) # 核心解冻所有层默认requires_gradTrue无需额外设置 # for param in model.parameters(): # param.requires_grad True # 修改分类头 model.fc nn.Linear(model.fc.in_features, 2) # 优化器全量小学习率关键避免破坏预训练权重 optimizer torch.optim.Adam(model.parameters(), lr1e-4) # 比分类头单独训小10倍4. 优缺点优点缺点精度上限最高完全适配新任务训练速度慢训全部参数算力要求高能挖掘任务的专属特征易过拟合数据集小时-易破坏预训练的通用特征学习率过大时策略 4增量预训练Domain Adaptation1. 定义先在新任务的 “领域数据集”上对预训练模型做 “增量训练”仅训主干层不训分类头再冻结主干层训练分类头 —— 解决 “预训练数据集与新任务领域差异大” 的问题。2. 适用场景新任务领域特殊如医学影像、遥感图像、工业缺陷检测与 ImageNet 差异极大有一定规模的 “领域无标签 / 有标签数据”如几千张医学影像。3. 实操方法# 步骤1加载预训练模型冻结分类头增量训练主干层 model models.resnet18(pretrainedTrue) # 冻结分类头仅训主干层 for param in model.fc.parameters(): param.requires_grad False # 用领域数据集如医学影像训练主干层适配领域特征 optimizer torch.optim.Adam(model.parameters(), lr1e-4) # 训练若干轮如5轮→ 主干层适配医学影像特征 # 步骤2冻结主干层训练分类头医学影像分类 for param in model.parameters(): param.requires_grad False model.fc nn.Linear(model.fc.in_features, 5) # 5类医学影像 optimizer torch.optim.Adam(model.fc.parameters(), lr1e-3) # 训练分类头4. 优缺点优点缺点解决 “领域差异大” 的问题精度显著提升需要额外的领域数据集保留预训练通用特征同时适配领域特征多一轮训练耗时更长