网站技术策划人员要求,宿迁市房地产信息网,阿里巴巴跨境电商平台,网页升级访问自动分类目录#xff1a;《深入理解强化学习》总目录 为了大致评估贪心方法和 ϵ − \epsilon- ϵ−贪心方法相对的有效性#xff0c;我们将它们在一系列测试问题上进行了定量比较。这组问题是2000个随机生成的 k k k臂赌博机问题#xff0c;且 k 10 k10 k10。在每一个赌博机问…分类目录《深入理解强化学习》总目录 为了大致评估贪心方法和 ϵ − \epsilon- ϵ−贪心方法相对的有效性我们将它们在一系列测试问题上进行了定量比较。这组问题是2000个随机生成的 k k k臂赌博机问题且 k 10 k10 k10。在每一个赌博机问题中如下图显示的那样动作的真实价值为 q ∗ ( a ) , a 1 , 2 , ⋯ , 10 q_*(a), a1, 2, \cdots, 10 q∗(a),a1,2,⋯,10从一个均值为 0 0 0方差为 1 1 1的标准正态高斯分布中选择。当对应于该问题的学习方法在 t t t时刻选择 A t A_t At时实际的收益 R t R_t Rt则由一个均值为 q ∗ ( A t ) q_*(A_t) q∗(At)方差为 1 1 1的正态分布决定。在下图中这些分布显示为灰色区域。我们将这一系列测试任务称为10臂测试平台。对于任何学习方法随着它在与一个赌博机问题的1000时刻交互中经验的积累我们可以评估它的性能和动作。这构成了一轮试验。用2000个不同的赌博机问题独立重复2000个轮次的试验我们就得到了对这个学习算法的平均表现的评估。
下图在一个10臂测试平台上比较了上述的贪心方法和两种 ϵ − \epsilon- ϵ−贪心方法 ϵ 0.01 \epsilon0.01 ϵ0.01和 ϵ 0.1 \epsilon0.1 ϵ0.1。所有方法都用采样平均策略来形成对动作价值的估计。上部的图显示了期望的收益随着经验的增长而增长。贪心方法在最初增长得略微快一些但是随后稳定在一个较低的水平。相对于在这个测试平台上最好的可能收益 1.55 1.55 1.55这个方法每时刻只获得了大约1的收益。从长远来看贪心的方法表现明显更糟因为它经常陷入执行次优的动作的怪圈。下部的图显示贪心方法只在大约三分之一的任务中找到最优的动作。在另外三分之二的动作中最初采样得到的动作非常不好贪心方法无法跳出来找到最优的动作。 ϵ − \epsilon- ϵ−贪心方法最终表现更好因为它们持续地试探并且提升找到最优动作的机会。 ϵ 0.1 \epsilon0.1 ϵ0.1的方法试探得更多通常更早发现最优的动作但是在每时刻选择这个最优动作的概率却永远不会超过91因为要在 ϵ 0.1 \epsilon0.1 ϵ0.1的情况下试探。 ϵ 0.01 \epsilon0.01 ϵ0.01的方法改善得更慢但是在图中的两种测度下最终的性能表现都会比 ϵ 0.1 \epsilon0.1 ϵ0.1的方法更好。为了充分利用高和低的 ϵ \epsilon ϵ值的优势随着时刻的推移来逐步减小 ϵ \epsilon ϵ也是可以的。 ϵ − \epsilon- ϵ−贫心方法相对于贪心方法的优点依赖于任务。比方说假设收益的方差更大不是1而是10由于收益的噪声更多所以为了找到最优的动作需要更多次的试探而 ϵ − \epsilon- ϵ−贪心方法会比贪心方法好很多。但是如果收益的方差是0那么贪心方法会在尝试一次之后就知道每一个动作的真实价值。在这种情况下贪心方法实际上可能表现最好因为它很快就会找到最佳的动作然后再也不会进行试探。但是即使在有确定性的情况下如果我们弱化一些假设对试探也有很大的好处。例如假设赌博机任务是非平稳的也就是说动作的真实价值会随着时间而变化。在这种情况下即使在有确定性的情况下试探也是需要的这是为了确认某个非贪心的动作不会变得比贪心动作更好。如我们将在接下来的几章中所见非平稳性是强化学习中最常遇到的情况。即使每一个单独的子任务都是平稳而且确定的学习者也会面临一系列像赌博机一样的决策任务每个子任务的决策随着学习的推进会有所变化这使得智能体的整体策略也会不断变化。强化学习需要在开发和试探中取得平衡。
参考文献 [1] 张伟楠, 沈键, 俞勇. 动手学强化学习[M]. 人民邮电出版社, 2022. [2] Richard S. Sutton, Andrew G. Barto. 强化学习第2版[M]. 电子工业出版社, 2019 [3] Maxim Lapan. 深度强化学习实践原书第2版[M]. 北京华章图文信息有限公司, 2021 [4] 王琦, 杨毅远, 江季. Easy RL强化学习教程 [M]. 人民邮电出版社, 2022
