企业官网建设流程全解析

网站欢迎页模板,福田做网站,网站建设免费网站,百度客户端下载安装深度强化学习与无监督神经网络模型解析 深度强化学习 在深度强化学习领域，Q - learning和REINFORCE是两种重要的方法。它们在收集环境信息以指导神经网络（NN）方面存在差异。Q - learning每走一步，就会检查NN对结果的预测是否接近实际发生的情况。从Q - learning的损失函数…深度强化学习与无监督神经网络模型解析深度强化学习在深度强化学习领域，Q - learning和REINFORCE是两种重要的方法。它们在收集环境信息以指导神经网络（NN）方面存在差异。Q - learning每走一步，就会检查NN对结果的预测是否接近实际发生的情况。从Q - learning的损失函数来看，如果预测和结果相同，就无需更新。而REINFORCE则是在完成一整局游戏（从初始状态到游戏结束）后才改变NN的参数。不过，我们也可以采用类似Q - learning的方式，但按照REINFORCE的参数修改时间表进行操作。这样虽然学习速度会变慢，因为参数更改的频率降低了，但由于计算的是实际的折扣奖励，所以参数的更改会更优。Actor - Critic方法在探讨了Q - learning和REINFORCE的差异后，我们来关注它们的相似之处。在这两种方法中，NN要么计算一个策略，要么在Q - learning中计算一个可以轻松用于创建策略的函数。因此，这两种情况下的NN都在近似一个单一的函数，该函数告诉我们如何行动，这类强化学习（RL）程序被称为actor方法。接下来介绍Actor - Critic方法，这类程序包含两个NN子组件，每个子组件都有自己的损失函数：一个是actor程序，另一个是critic程序。这里重点介绍优势Actor - Critic方法（a2c），它是一个不错的选择，因为它效果良好，并且可以从REINFORCE逐步改进得到。我们先介绍第一个版本（增量版）a2c–，并将其应用于推车杆游戏。a2c被称为优势Actor - Critic方法是因为它使用了“优势”的概念。状态 - 动作对的优势是状态 - 动作Q值