企业官网建设流程全解析

qq空间可以做网站吗,wordpress建站博客园,设计腕儿官网,宁波搜索引擎优化seo一、彩色和灰度图片测试和训练的规范写法 在深度学习中#xff0c;彩色#xff08;RGB#xff09;和灰度图片的训练与测试核心规范是#xff1a;保持预处理逻辑一致、通道数与模型输入匹配、数据格式统一。 1.单通道图片的规范写法 import torch import torch.nn as nn i…一、彩色和灰度图片测试和训练的规范写法在深度学习中彩色RGB和灰度图片的训练与测试核心规范是保持预处理逻辑一致、通道数与模型输入匹配、数据格式统一。1.单通道图片的规范写法import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader , Dataset # DataLoader 是 PyTorch 中用于加载数据的工具 from torchvision import datasets, transforms # torchvision 是一个用于计算机视觉的库datasets 和 transforms 是其中的模块 import matplotlib.pyplot as plt import warnings # 忽略警告信息 warnings.filterwarnings(ignore) # 设置随机种子确保结果可复现 torch.manual_seed(42) device torch.device(cuda if torch.cuda.is_available() else cpu) print(f使用设备: {device})# 1. 数据预处理 transform transforms.Compose([ transforms.ToTensor(), # 转换为张量并归一化到[0,1] transforms.Normalize((0.1307,), (0.3081,)) # MNIST数据集的均值和标准差 ]) # 2. 加载MNIST数据集 train_dataset datasets.MNIST( root./data, trainTrue, downloadTrue, transformtransform ) test_dataset datasets.MNIST( root./data, trainFalse, transformtransform ) # 3. 创建数据加载器 batch_size 64 # 每批处理64个样本 train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) test_loader DataLoader(test_dataset, batch_sizebatch_size, shuffleFalse) # 4. 定义模型、损失函数和优化器 class MLP(nn.Module): def __init__(self): super(MLP, self).__init__() self.flatten nn.Flatten() # 将28x28的图像展平为784维向量 self.layer1 nn.Linear(784, 128) # 第一层784个输入128个神经元 self.relu nn.ReLU() # 激活函数 self.layer2 nn.Linear(128, 10) # 第二层128个输入10个输出对应10个数字类别 def forward(self, x): x self.flatten(x) # 展平图像 x self.layer1(x) # 第一层线性变换 x self.relu(x) # 应用ReLU激活函数 x self.layer2(x) # 第二层线性变换输出logits return x # 初始化模型 model MLP() model model.to(device) # 将模型移至GPU如果可用 # from torchsummary import summary # 导入torchsummary库 # print(\n模型结构信息) # summary(model, input_size(1, 28, 28)) # 输入尺寸为MNIST图像尺寸 criterion nn.CrossEntropyLoss() # 交叉熵损失函数适用于多分类问题 optimizer optim.Adam(model.parameters(), lr0.001) # Adam优化器 # 5. 训练模型记录每个 iteration 的损失 def train(model, train_loader, test_loader, criterion, optimizer, device, epochs): model.train() # 设置为训练模式 # 新增记录每个 iteration 的损失 all_iter_losses [] # 存储所有 batch 的损失 iter_indices [] # 存储 iteration 序号从1开始 for epoch in range(epochs): running_loss 0.0 correct 0 total 0 for batch_idx, (data, target) in enumerate(train_loader): # enumerate() 是 Python 内置函数用于遍历可迭代对象如列表、元组并同时获取索引和值。 # batch_idx当前批次的索引从 0 开始 # (data, target)当前批次的样本数据和对应的标签是一个元组这是因为dataloader内置的getitem方法返回的是一个元组包含数据和标签。 # 只需要记住这种固定写法即可 data, target data.to(device), target.to(device) # 移至GPU(如果可用) optimizer.zero_grad() # 梯度清零 output model(data) # 前向传播 loss criterion(output, target) # 计算损失 loss.backward() # 反向传播 optimizer.step() # 更新参数 # 记录当前 iteration 的损失注意这里直接使用单 batch 损失而非累加平均 iter_loss loss.item() all_iter_losses.append(iter_loss) iter_indices.append(epoch * len(train_loader) batch_idx 1) # iteration 序号从1开始 # 统计准确率和损失 running_loss loss.item() #将loss转化为标量值并且累加到running_loss中计算总损失 _, predicted output.max(1) # output是模型的输出logits形状为 [batch_size, 10]MNIST 有 10 个类别 # 获取预测结果max(1) 返回每行即每个样本的最大值和对应的索引这里我们只需要索引 total target.size(0) # target.size(0) 返回当前批次的样本数量即 batch_size累加所有批次的样本数最终等于训练集的总样本数 correct predicted.eq(target).sum().item() # 返回一个布尔张量表示预测是否正确sum() 计算正确预测的数量item() 将结果转换为 Python 数字 # 每100个批次打印一次训练信息可选同时打印单 batch 损失 if (batch_idx 1) % 100 0: print(fEpoch: {epoch1}/{epochs} | Batch: {batch_idx1}/{len(train_loader)} f| 单Batch损失: {iter_loss:.4f} | 累计平均损失: {running_loss/(batch_idx1):.4f}) # 测试、打印 epoch 结果 epoch_train_loss running_loss / len(train_loader) epoch_train_acc 100. * correct / total epoch_test_loss, epoch_test_acc test(model, test_loader, criterion, device) print(fEpoch {epoch1}/{epochs} 完成 | 训练准确率: {epoch_train_acc:.2f}% | 测试准确率: {epoch_test_acc:.2f}%) # 绘制所有 iteration 的损失曲线 plot_iter_losses(all_iter_losses, iter_indices) # 保留原 epoch 级曲线可选 # plot_metrics(train_losses, test_losses, train_accuracies, test_accuracies, epochs) return epoch_test_acc # 返回最终测试准确率 # 6. 测试模型不变 def test(model, test_loader, criterion, device): model.eval() # 设置为评估模式 test_loss 0 correct 0 total 0 with torch.no_grad(): # 不计算梯度节省内存和计算资源 for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) test_loss criterion(output, target).item() _, predicted output.max(1) total target.size(0) correct predicted.eq(target).sum().item() avg_loss test_loss / len(test_loader) accuracy 100. * correct / total return avg_loss, accuracy # 返回损失和准确率 # 7. 绘制每个 iteration 的损失曲线 def plot_iter_losses(losses, indices): plt.figure(figsize(10, 4)) plt.plot(indices, losses, b-, alpha0.7, labelIteration Loss) plt.xlabel(IterationBatch序号) plt.ylabel(损失值) plt.title(每个 Iteration 的训练损失) plt.legend() plt.grid(True) plt.tight_layout() plt.show() # 8. 执行训练和测试设置 epochs2 验证效果 epochs 2 print(开始训练模型...) final_accuracy train(model, train_loader, test_loader, criterion, optimizer, device, epochs) print(f训练完成最终测试准确率: {final_accuracy:.2f}%)2.彩色图片的规范写法import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader import matplotlib.pyplot as plt import numpy as np # 设置中文字体支持 plt.rcParams[font.family] [SimHei] plt.rcParams[axes.unicode_minus] False # 解决负号显示问题 # 1. 数据预处理 transform transforms.Compose([ transforms.ToTensor(), # 转换为张量 transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) # 标准化处理 ]) # 2. 加载CIFAR-10数据集 train_dataset datasets.CIFAR10( root./data, trainTrue, downloadTrue, transformtransform ) test_dataset datasets.CIFAR10( root./data, trainFalse, transformtransform ) # 3. 创建数据加载器 batch_size 64 train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) test_loader DataLoader(test_dataset, batch_sizebatch_size, shuffleFalse) # 4. 定义MLP模型适应CIFAR-10的输入尺寸 class MLP(nn.Module): def __init__(self): super(MLP, self).__init__() self.flatten nn.Flatten() # 将3x32x32的图像展平为3072维向量 self.layer1 nn.Linear(3072, 512) # 第一层3072个输入512个神经元 self.relu1 nn.ReLU() self.dropout1 nn.Dropout(0.2) # 添加Dropout防止过拟合 self.layer2 nn.Linear(512, 256) # 第二层512个输入256个神经元 self.relu2 nn.ReLU() self.dropout2 nn.Dropout(0.2) self.layer3 nn.Linear(256, 10) # 输出层10个类别 def forward(self, x): # 第一步将输入图像展平为一维向量 x self.flatten(x) # 输入尺寸: [batch_size, 3, 32, 32] → [batch_size, 3072] # 第一层全连接 激活 Dropout x self.layer1(x) # 线性变换: [batch_size, 3072] → [batch_size, 512] x self.relu1(x) # 应用ReLU激活函数 x self.dropout1(x) # 训练时随机丢弃部分神经元输出 # 第二层全连接 激活 Dropout x self.layer2(x) # 线性变换: [batch_size, 512] → [batch_size, 256] x self.relu2(x) # 应用ReLU激活函数 x self.dropout2(x) # 训练时随机丢弃部分神经元输出 # 第三层输出层全连接 x self.layer3(x) # 线性变换: [batch_size, 256] → [batch_size, 10] return x # 返回未经过Softmax的logits # 检查GPU是否可用 device torch.device(cuda if torch.cuda.is_available() else cpu) # 初始化模型 model MLP() model model.to(device) # 将模型移至GPU如果可用 criterion nn.CrossEntropyLoss() # 交叉熵损失函数 optimizer optim.Adam(model.parameters(), lr0.001) # Adam优化器 # 5. 训练模型记录每个 iteration 的损失 def train(model, train_loader, test_loader, criterion, optimizer, device, epochs): model.train() # 设置为训练模式 # 记录每个 iteration 的损失 all_iter_losses [] # 存储所有 batch 的损失 iter_indices [] # 存储 iteration 序号 for epoch in range(epochs): running_loss 0.0 correct 0 total 0 for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(device), target.to(device) # 移至GPU optimizer.zero_grad() # 梯度清零 output model(data) # 前向传播 loss criterion(output, target) # 计算损失 loss.backward() # 反向传播 optimizer.step() # 更新参数 # 记录当前 iteration 的损失 iter_loss loss.item() all_iter_losses.append(iter_loss) iter_indices.append(epoch * len(train_loader) batch_idx 1) # 统计准确率和损失 running_loss iter_loss _, predicted output.max(1) total target.size(0) correct predicted.eq(target).sum().item() # 每100个批次打印一次训练信息 if (batch_idx 1) % 100 0: print(fEpoch: {epoch1}/{epochs} | Batch: {batch_idx1}/{len(train_loader)} f| 单Batch损失: {iter_loss:.4f} | 累计平均损失: {running_loss/(batch_idx1):.4f}) # 计算当前epoch的平均训练损失和准确率 epoch_train_loss running_loss / len(train_loader) epoch_train_acc 100. * correct / total # 测试阶段 model.eval() # 设置为评估模式 test_loss 0 correct_test 0 total_test 0 with torch.no_grad(): for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) test_loss criterion(output, target).item() _, predicted output.max(1) total_test target.size(0) correct_test predicted.eq(target).sum().item() epoch_test_loss test_loss / len(test_loader) epoch_test_acc 100. * correct_test / total_test print(fEpoch {epoch1}/{epochs} 完成 | 训练准确率: {epoch_train_acc:.2f}% | 测试准确率: {epoch_test_acc:.2f}%) # 绘制所有 iteration 的损失曲线 plot_iter_losses(all_iter_losses, iter_indices) return epoch_test_acc # 返回最终测试准确率 # 6. 绘制每个 iteration 的损失曲线 def plot_iter_losses(losses, indices): plt.figure(figsize(10, 4)) plt.plot(indices, losses, b-, alpha0.7, labelIteration Loss) plt.xlabel(IterationBatch序号) plt.ylabel(损失值) plt.title(每个 Iteration 的训练损失) plt.legend() plt.grid(True) plt.tight_layout() plt.show() # 7. 执行训练和测试 epochs 20 # 增加训练轮次以获得更好效果 print(开始训练模型...) final_accuracy train(model, train_loader, test_loader, criterion, optimizer, device, epochs) print(f训练完成最终测试准确率: {final_accuracy:.2f}%) # # 保存模型 # torch.save(model.state_dict(), cifar10_mlp_model.pth) # # print(模型已保存为: cifar10_mlp_model.pth)二、展平操作在PyTorch中处理张量Tensor时以下是关于展平Flatten、维度调整如view/reshape等操作的关键点这些操作通常不会影响第一个维度即批量维度batch_size图像任务中的张量形状输入张量的形状通常为(batch_size, channels, height, width)例如(batch_size, 3, 28, 28)其中batch_size代表一次输入的样本数量。NLP任务中的张量形状输入张量的形状可能为(batch_size, sequence_length)此时batch_size同样是第一个维度。1. Flatten操作- 功能将张量展平为一维数组但保留批量维度。- 示例- 输入形状(batch_size, 3, 28, 28)图像数据- Flatten后形状(batch_size, 3×28×28) (batch_size, 2352)- 说明第一个维度batch_size不变后面的所有维度被展平为一个维度。2. view/reshape操作- 功能调整张量维度但必须显式保留或指定批量维度。- 示例- 输入形状(batch_size, 3, 28, 28)- 调整为(batch_size, -1)- 结果展平为两个维度保留batch_size第二个维度自动计算为3×28×282352。总结- 批量维度不变性无论进行flatten、view还是reshape操作第一个维度batch_size通常保持不变。- 动态维度指定使用-1让PyTorch自动计算该维度的大小但需确保其他维度的指定合理避免形状不匹配错误。三、dropout操作Dropout 是一种正则化技术核心逻辑是训练阶段随机让神经网络中一部分神经元节点暂时 “失活”输出置为 0不参与前向和反向传播测试阶段所有神经元都正常工作且会自动对权重做缩放补偿框架已内置无需手动处理。浙大疏锦行