企业官网建设流程全解析

wordpress 修改文章作者,优化一个网站可以做多少关键词,网站推广策划报告,网站服务器基本配置[机器学习-从入门到入土] 现代机器学习 个人导航 知乎#xff1a;https://www.zhihu.com/people/byzh_rc CSDN#xff1a;https://blog.csdn.net/qq_54636039 注#xff1a;本文仅对所述内容做了框架性引导#xff0c;具体细节可查询其余相关资料or源码 参考文章…[机器学习-从入门到入土] 现代机器学习个人导航知乎https://www.zhihu.com/people/byzh_rcCSDNhttps://blog.csdn.net/qq_54636039注本文仅对所述内容做了框架性引导具体细节可查询其余相关资料or源码参考文章各方资料文章目录[机器学习-从入门到入土] 现代机器学习个人导航维度与数据表示卷积网络的应用场景卷积网络的设计动机不变性与同变性1. 不变性invariance2. 同变性equivariance一维卷积convolution 1d1. Padding 与 Valid 模式2. 卷积层计算流程3. 通道channels4. 感受野Receptive fields二维卷积convolution 2d采样操作1. 下采样downsampling2. 上采样upsampling3. 普通卷积与转置卷积对比4. 1×1 卷积经典卷积网络与应用1. 图像分类2. 目标检测3. 语义分割卷积网络不易过拟合的原因维度与数据表示1维1d向量vector2维2d矩阵matrix3维3d张量tensor卷积网络的应用场景图像分类image classification判断图像所属类别目标检测object detection不仅判断图像类别还需定位目标位置图像分割image segmentation逐像素划分图像所属类别卷积网络的设计动机图像数据的特点导致全连接层不适用维度灾难图像往往是高维的如224 × 224 50176 224\times22450176224×22450176个维度全连接层参数规模过大空间相关性缺失图像的近邻像素在统计学上往往是相关的全连接层无法体现该特性变换不变性差图像在几何变换时希望其可解释性保持不变全连接层难以做到卷积层的优势独立处理每个局部图像区域 - 可并行使用在整个图像中共享的参数与全连接层相比参数更少利用空间关系无需在每个位置重新学习像素含义不变性与同变性1. 不变性invariance若函数f [ x ] f[x]f[x]对于变换t [ x ] t[x]t[x]的输出结果保持不变则称函数具有不变性f [ t [ x ] ] f [ x ] f[t[x]] f[x]f[t[x]]f[x]2. 同变性equivariance改变输入和改变输出的结果一致满足如下关系f [ t [ x ] ] t [ f [ x ] ] f[t[x]]t[f[x]]f[t[x]]t[f[x]]-卷积操作满足同变性一维卷积convolution 1d1. Padding 与 Valid 模式Padding 模式在输入数据的两侧填充元素使卷积后输出尺寸与输入尺寸一致Valid 模式不进行填充仅对输入数据的有效区域进行卷积输出尺寸小于输入尺寸步长: stride卷积核大小: kernel size膨胀/空洞: dilatedDilation2代表每2个元素取1个size按实际取到的元素个数来算2. 卷积层计算流程卷积层通过以下步骤计算输出对输入进行卷积运算加上偏置项β \betaβ然后将每个结果通过激活函数a [ ⋅ ] a[\cdot]a[⋅]传递卷积网络: 3 weights, 1 biash i a [ β ω 1 x i − 1 ω 2 x i ω 3 x i 1 ] a [ β ∑ j 1 3 ω j x i j − 2 ] \begin{aligned} h_i \mathrm{a}\left[\beta \omega_1 x_{i-1} \omega_2 x_i \omega_3 x_{i1}\right] \\ \mathrm{a}\left[\beta \sum_{j1}^{3} \omega_j x_{ij-2}\right] \end{aligned}hi​​a[βω1​xi−1​ω2​xi​ω3​xi1​]a[βj1∑3​ωj​xij−2​]​全连接网络:D 2 D^2D2weights,D DDbiasesh i a [ β i ∑ j 1 D ω i j x j ] h_i \mathrm{a}\left[\beta_i \sum_{j1}^{D} \omega_{ij} x_j\right]hi​a[βi​j1∑D​ωij​xj​]3. 通道channels单一卷积会导致信息丢失邻近输入平均、ReLU 剪切负值通常并行计算多个卷积每个卷积生成一组隐藏变量称为特征图或通道通道与卷积核的关系:卷积核的个数→ \to→输出通道数C o C_oCo​单个卷积核的层数→ \to→输入通道数C i C_iCi​参数量计算:核大小为K KK输入通道C i C_iCi​输出通道C o C_oCo​卷积核参数维度为Ω ∈ R C i × C o × K \Omega \in \mathbb{R}^{C_{i}\times C_{o}\times K}Ω∈RCi​×Co​×K两个卷积核:一个卷积核, 但是有两层:4. 感受野Receptive fields感受野指输出特征图上的一个像素点对应输入图像上的区域大小例H1 每个单元感受野为 3H2 为 5H3 为 7H4 为 11规律卷积层数越多感受野越大 → 这是卷积网络设计多层结构的核心原因二维卷积convolution 2d适用场景: 图像数据、金融时间序列、音频、文本等参数量计算:核大小为K × K K\times KK×K输入通道C i C_iCi​输出通道C o C_oCo​卷积核与偏置参数维度为ω ∈ R C i × C o × K × K β ∈ R C o \boldsymbol{\omega} \in \mathbb{R}^{C_{i} \times C_{o} \times K \times K} \qquad \beta \in \mathbb{R}^{C_{o}}ω∈RCi​×Co​×K×Kβ∈RCo​卷积核与输出通道的关系:单个卷积核→ \to→单个输出通道多个卷积核并行计算→ \to→多个输出通道采样操作1. 下采样downsampling目标缩小特征图尺寸增大感受野常用方法子采样最大池化平均池化步长为2的卷积2. 上采样upsampling目标放大特征图尺寸常用方法重复拷贝最大上采样双线性插值转置卷积/反卷积3. 普通卷积与转置卷积对比特性普通卷积下采样转置卷积上采样目标缩小特征图尺寸如4 × 4 → 2 × 2 4\times4 \to 2\times 24×4→2×2放大特征图尺寸如2 × 2 → 4 × 4 2\times2 \to 4\times 42×2→4×4输入/输出关系一个输出像素由局部多个输入像素计算得到一个输入像素会贡献给局部多个输出像素4. 1×1 卷积核心作用在不改变空间维度的情况下调整通道数计算方式输出层每个元素是同一空间位置上所有通道的加权和参数维度1 × 1 × C i × C o 1\times1\times C_i\times C_o1×1×Ci​×Co​本质在每个空间位置上对通道数据运行全连接网络结合偏置和激活函数应用场景将当前表征与其他并行计算的结果相结合经典卷积网络与应用1. 图像分类数据集ImageNet训练集1,281,167 张图像验证集50,000 张图像测试集100,000 张图像类别数1000 类经典网络:AlexNet2012技术创新数据增强2048倍扩充、Dropout 正则化网络结构8个隐藏层前5层卷积后3层全连接ReLU 激活函数输入尺寸224 × 224 × 3 224\times224\times3224×224×3参数量约6000万大部分集中在全连接层VGG2015核心区别网络深度提升19个隐藏层网络结构多组3 × 3 3\times33×3卷积层与最大池化层交替后接3个全连接层ReLU 激活函数输入尺寸224 × 224 × 3 224\times224\times3224×224×3参数量1.44亿大部分集中在全连接层2. 目标检测任务目标识别并定位图像中的多个物体经典方法YOLOYou Only Look Once输入尺寸448 × 448 448\times448448×448RGB 图像网络结构24个卷积层 最大池化层逐步减小尺寸增加通道数类似VGG最终卷积层输出尺寸7 × 7 7\times77×7通道数1024特征图重塑为向量经全连接层映射为4096维特征最后全连接层输出预测结果输出编码7 × 7 7\times77×7网格每个位置的目标信息每个边界框参数中心点坐标( x , y ) (x,y)(x,y)、宽高、置信度置信度评估预测框与真实标注框的重叠程度后处理去除低置信度框抑制同一目标的重复框保留置信度最高的框3. 语义分割任务目标逐像素分配类别标签如果该像素与训练数据库中的任何对象都不对应则不分配标签网络结构编码器-解码器网络沙漏网络核心思路先通过卷积下采样压缩特征再通过上采样恢复图像尺寸示例流程224 × 224 × 3 → 4096 → 224 × 224 × 21 224\times224\times3 \to 4096 \to 224\times224\times21224×224×3→4096→224×224×2121个类别叫编码器解码器网络或沙漏网络:卷积网络不易过拟合的原因具有更好的归纳偏置inductive bias强迫网络对每个图像区域进行相似处理权重共享减少参数冗余在更小的输入输出范围内学习映射关系