企业官网建设流程全解析

网站后端用什么软件做,给公司制作网站吗,海外求购信息网,国外 网站 设计文章目录 一、先明确核心结论二、关键原理#xff1a;log-softmax的数学变形#xff08;核心优化点#xff09;三、实战实现#xff1a;仅计算target位置的交叉熵#xff08;无全类别softmax#xff09;四、为什么工程中仍用「全类别softmax」#xff1f;#xff08;核…文章目录一、先明确核心结论二、关键原理log-softmax的数学变形核心优化点三、实战实现仅计算target位置的交叉熵无全类别softmax四、为什么工程中仍用「全类别softmax」核心原因1. 小类别数场景浪费可忽略计算效率差异极小2. GPU/框架的硬件级优化全类别计算被高度加速3. 多场景兼容需求全类别概率有额外实用价值五、什么场景下「仅计算target位置」的优化才值得做六、总结上篇文章 交叉熵损失原理和手动实现你的判断完全正确从计算需求来看交叉熵损失仅需要真实标签target对应位置的softmax概率而常规做法对所有类别计算softmax确实存在大量无用工计算和内存占用的浪费尤其是在类别数极多的场景下比如分类任务有上万/十万类别这种浪费会被放大。一、先明确核心结论常规交叉熵F.cross_entropy/log_softmaxnll_loss对全类别计算softmax确实存在无用工因为仅target位置的结果会被最终使用可以通过数学变形仅计算target位置的log-softmax值完全避免全类别softmax计算从原理上消除这种浪费但工程中常规做法仍被广泛使用核心原因是「计算效率平衡」和「框架优化支持」小类别数场景下浪费可忽略。二、关键原理log-softmax的数学变形核心优化点要理解如何仅计算target位置的结果先回顾softmax和log-softmax的原始公式假设模型输出logits为z [ z 0 , z 1 , . . . , z C ] \boldsymbol{z} [z_0, z_1, ..., z_C]z[z0​,z1​,...,zC​]C CC为类别数对第k kk个类别softmax和log-softmax为softmax ( z k ) e z k ∑ i 0 C e z i \text{softmax}(z_k) \frac{e^{z_k}}{\sum_{i0}^C e^{z_i}}softmax(zk​)∑i0C​ezi​ezk​​log_softmax ( z k ) z k − log ⁡ ( ∑ i 0 C e z i ) \text{log\_softmax}(z_k) z_k - \log\left(\sum_{i0}^C e^{z_i}\right)log_softmax(zk​)zk​−log(i0∑C​ezi​)这两个公式的核心特点对任意类别log-softmax仅依赖「该类别logit」和「所有logit的指数和log-sum-exp」。因此当我们只需要**真实标签target对应的类别t tt**的log-softmax值时无需计算所有类别的softmax/log-softmax只需计算log_softmax ( z t ) z t − logsumexp ( z ) \text{log\_softmax}(z_t) z_t - \text{logsumexp}(\boldsymbol{z})log_softmax(zt​)zt​−logsumexp(z)其中logsumexp ( z ) log ⁡ ( ∑ i 0 C e z i ) \text{logsumexp}(\boldsymbol{z}) \log\left(\sum_{i0}^C e^{z_i}\right)logsumexp(z)log(∑i0C​ezi​)PyTorch中可通过torch.logsumexp直接计算。基于这个变形仅target位置的交叉熵损失可直接推导为CrossEntropy − log_softmax ( z t ) logsumexp ( z ) − z t \text{CrossEntropy} - \text{log\_softmax}(z_t) \text{logsumexp}(\boldsymbol{z}) - z_tCrossEntropy−log_softmax(zt​)logsumexp(z)−zt​三、实战实现仅计算target位置的交叉熵无全类别softmax基于上述数学推导我们可以实现无浪费版的交叉熵损失计算完全避开F.softmax/F.log_softmax的全类别计算代码如下基于你的测试数据importtorchimporttorch.nn.functionalasF# 复用你的测试数据logitstorch.tensor([[2.0,1.0,0.1],[0.5,3.0,0.2]])# [2,3]batch2num_classes3targetstorch.tensor([0,1])# 真实标签[2]# 核心优化仅计算target位置的交叉熵无全类别softmaxdefcross_entropy_only_target(logits,targets):# step1: 计算所有logit的logsumexpdim-1类别维度keepdim保持维度方便广播log_sum_exptorch.logsumexp(logits,dim-1,keepdimTrue)# [2,1]# step2: 提取每个样本target位置的logitgather按索引取值dim-1类别维度target_logitslogits.gather(dim-1,indextargets.unsqueeze(-1))# [2,1]# step3: 按公式计算每个样本的损失logsumexp - target_logitslosslog_sum_exp-target_logitsreturnloss.squeeze(-1)# 压缩维度返回[2]对应reductionnone# 计算无浪费版损失loss_optimizedcross_entropy_only_target(logits,targets)loss_optimized_meanloss_optimized.mean()# 与原版对比验证结果一致loss_originalF.cross_entropy(logits,targets,reductionnone)loss_original_meanF.cross_entropy(logits,targets)print( 优化版 vs 原版 结果对比 )print(f优化版每个样本损失{loss_optimized})print(f原版每个样本损失{loss_original})print(f优化版平均损失{loss_optimized_mean:.6f})print(f原版平均损失{loss_original_mean:.6f})print(f结果是否完全一致{torch.allclose(loss_optimized,loss_original)})输出结果 优化版 vs 原版 结果对比 优化版每个样本损失tensor([0.4170, 0.1269]) 原版每个样本损失tensor([0.4170, 0.1269]) 优化版平均损失0.271993 原版平均损失0.271993 结果是否完全一致True可以看到优化版仅计算target位置的结果与原版全类别计算的损失值完全一致但彻底避免了其他类别的无用工计算。四、为什么工程中仍用「全类别softmax」核心原因既然优化版更高效为什么PyTorch的F.cross_entropy、各类框架和实战代码仍默认使用全类别softmax核心是3个工程化层面的平衡而非原理问题1. 小类别数场景浪费可忽略计算效率差异极小实际业务中大部分分类任务的类别数C CC较小比如C 10 C10C10、C 100 C100C100全类别计算softmax的耗时/内存开销与仅计算target位置的优化版相比差异几乎可以忽略GPU单指令多线程架构下少量数据的计算耗时无明显区别。此时「全类别计算的代码简洁性」远大于「微小的效率提升」没必要为了极微的优化增加代码复杂度。2. GPU/框架的硬件级优化全类别计算被高度加速GPU的设计擅长批量并行计算PyTorch、CUDA等框架对softmax/log_softmax做了硬件级的极致优化比如使用向量化指令、共享内存全类别softmax的计算速度被大幅提升。而优化版的「logsumexpgather」操作虽然计算量更少但属于“零散操作”无法充分利用GPU的并行计算能力在C CC不大时实际运行速度甚至可能略慢于优化后的全类别softmax。3. 多场景兼容需求全类别概率有额外实用价值实战中模型输出的全类别softmax概率并非只有“计算损失”这一个用途还有很多核心场景需要用到模型推理时需要输出所有类别的概率用于判断预测置信度比如取top-5概率训练过程中可能需要计算分类准确率、混淆矩阵需要全类别概率来确定模型的预测类别一些进阶训练技巧比如标签平滑、硬负例挖掘也需要全类别概率分布。如果仅计算target位置的结果后续需要全类别概率时还需重新计算一次softmax反而会增加整体计算量得不偿失。五、什么场景下「仅计算target位置」的优化才值得做只有当类别数C CC极大时工程中一般C ≥ 10000 C \geq 10000C≥10000比如百万级类别分类、词表极大的NLP任务这个优化才会体现出显著的效率提升和内存节省计算量全类别softmax的时间复杂度为O ( B × C ) O(B \times C)O(B×C)B BB为batch_sizeC CC极大时计算量会呈指数级增长内存占用全类别softmax需要存储B × C B \times CB×C的概率矩阵C 10 6 C10^6C106、B 32 B32B32时仅这个矩阵就需要约128MB内存float32而优化版无需存储该矩阵内存占用几乎可以忽略。这类大类别数场景也是工业界中「仅计算target位置」优化的主要应用场景。六、总结你的核心判断正确常规交叉熵对全类别计算softmax确实存在无用工浪费仅target位置的结果会被最终使用优化原理利用log-softmax的数学变形通过logsumexp提取target位置logit可仅计算需要的结果损失值与原版完全一致工程现状小类别数场景下全类别softmax因「代码简洁、GPU并行优化、多场景兼容」成为主流浪费可忽略优化适用场景仅当类别数极大万级/百万级时「仅计算target位置」的优化才会带来显著的效率/内存收益。简单来说原理上确实有浪费但工程中因场景和硬件优化这种浪费在大部分情况下是可接受的甚至是更优的选择。