企业官网建设流程全解析

旅游网站的系统建设的意义,wap 网站模板,福州网站制作公司,wordpress外链提示插件在大型语言模型#xff08;LLM#xff09;的文本生成过程中#xff0c;解码#xff08;Decoding#xff09; 阶段决定了模型最终输出什么内容。为了平衡生成的准确性和多样性#xff0c;我们通常会使用三个关键参数#xff1a;Temperature、Top-k 和 Top-p。 本文档详细…在大型语言模型LLM的文本生成过程中解码Decoding阶段决定了模型最终输出什么内容。为了平衡生成的准确性和多样性我们通常会使用三个关键参数Temperature、Top-k和Top-p。本文档详细解释这三个参数的原理并着重分析 Top-k 与 Top-p 的区别。1. Temperature (温度)作用全局控制概率分布的“平滑”程度。模型输出的是一组 Logits原始得分。在转化为概率Softmax之前我们会将 Logits 除以 Temperature (TTT)。T1T 1T1(低温)效果放大高概率和低概率之间的差距。概率高的词会变得更高更突出概率低的词会变得更低。结果生成内容非常保守、确定性强。适合数学解题、代码生成等需要精确答案的场景。T1T 1T1(高温)效果缩小差距使概率分布趋于平坦Uniform。结果低概率的词也有机会被选中。生成内容更随机、有创造力但也更容易产生幻觉或胡言乱语。2. Top-k Sampling作用强行截断只保留前 k 个可能的词。原理将所有候选词按概率从高到低排序只保留前kkk个例如k50k50k50。将这kkk个词之后的词概率归零然后重新归一化剩余的词。Top-k 的局限性无法适应不同的预测置信度Top-k 的最大问题在于kkk是一个固定值而模型对不同上下文的预测**确定性Confidence**是动态变化的。这会导致两种极端情况情况一模型非常确定k 太大引入噪声例子床前明月光疑是地上__假设的概率分布霜: 0.90 (90%)鞋: 0.005糖: 0.005…脏: 0.001Top-k (k50) 的问题虽然 “霜” 显然是正确答案但 Top-k 强行保留了前 50 个词。这意味后 49 个干扰项虽然概率低依然被保留在候选池中。如果此时Temperature 较高例如 T1.5“霜” 的优势会被削弱模型就有可能“抽风”选中第 30 名的“脏”字导致生成完全离谱的内容。情况二模型很不确定k 太小抹杀多样性例子今天中午我准备吃__假设的概率分布米饭: 0.15面条: 0.14饺子: 0.13…寿司: 0.08…汉堡: 0.05Top-k (k5) 的问题前 5 个词的概率加起来可能只有0.150.140.130.120.110.650.150.140.130.120.11 0.650.150.140.130.120.110.65(65%)。排在第 10 名的“寿司” (8%) 和第 1 名的“米饭” (15%) 差别并不大都是合理的选项。但因为k5k5k5的死板限制“寿司”被直接淘汰了。这极大地限制了生成的丰富性。3. Top-p (Nucleus) Sampling作用动态截断保留累积概率达到 p 的最小集合。原理设定一个阈值ppp例如 0.9。将候选词按概率排序后从高到低逐个累加直到总概率超过ppp为止。只保留这组词。Top-p 如何解决 Top-k 的问题Top-p 的候选集大小Candidate Set Size是动态变化的应对“非常确定”的情况在床前明月__的例子中霜(0.90) 一个词就达到了p0.9p0.9p0.9的阈值。结果候选集大小自动变为1。彻底剔除了“鞋”、“糖”等噪声。应对“很不确定”的情况在中午吃什么的例子中为了凑够p0.9p0.9p0.9模型需要把前 15 个甚至前 20 个食物都选进来。结果候选集大小自动变为20。保留了所有合理的选项。总结最佳实践参数推荐配置场景Temperature0.0 - 0.3代码、数学、事实问答 (精准)0.7 - 1.0创意写作、聊天 (多样)Top-k40 - 100传统的截断方式通常配合 Temperature 使用Top-p0.9 - 0.95现代 LLM 的首选通常能比 Top-k 获得更好的生成质量通常建议优先使用Top-p来过滤候选词然后再配合Temperature来调整分布的平滑度。