珠海建网站设计,网站开发所需要的书籍,产品设计协作平台,北京语言大学网页设计作业强化学习
策略网络输入状态s#xff0c;输出动作a的概率分布如下#xff1a; π ( a ∣ s ) \pi(a|s) π(a∣s)
多次训练轨迹如下
r表示回报横轴为T, 1个回合的步骤数纵轴为N, 回合数#xff0c;1行代表1条轨迹#xff0c;符合概率分布P [ s 11 a 11 r 11 … … s 1 t …强化学习
策略网络输入状态s输出动作a的概率分布如下 π ( a ∣ s ) \pi(a|s) π(a∣s)
多次训练轨迹如下
r表示回报横轴为T, 1个回合的步骤数纵轴为N, 回合数1行代表1条轨迹符合概率分布P [ s 11 a 11 r 11 … … s 1 t a 1 t r 1 t … … s 1 T a 1 T r 1 T … … … … … … s n 1 a n 1 r n 1 … … s n t a n t r n t … … s n T a n T r n T … … … … … … s N 1 a N 1 r N 1 … … s N t a N t r N t … … s N T a N T r N T ] \begin{bmatrix} s_{11} a_{11} r_{11} …… s_{1t} a_{1t} r_{1t} …… s_{1T} a_{1T} r_{1T}\\ …… …… ……\\ s_{n1} a_{n1} r_{n1} …… s_{nt} a_{nt} r_{nt}…… s_{nT} a_{nT} r_{nT} \\ …… …… ……\\ s_{N1} a_{N1} r_{N1} …… s_{Nt} a_{Nt} r_{Nt} …… s_{NT} a_{NT} r_{NT}\\ \end{bmatrix} s11a11r11……s1ta1tr1t……s1Ta1Tr1T………………sn1an1rn1……sntantrnt……snTanTrnT………………sN1aN1rN1……sNtaNtrNt……sNTaNTrNT
策略轨迹 τ s 1 a 1 , s 2 a 2 … … s T a T \tau s_{1} a_{1} , s_{2} a_{2}……s_{T} a_{T} τs1a1,s2a2……sTaT
发生的概率 P ( τ ) P ( s 1 a 1 , s 2 a 2 … … s T a T ) P(\tau) P(s_{1} a_{1} , s_{2} a_{2}……s_{T} a_{T}) P(τ)P(s1a1,s2a2……sTaT) P ( s 1 ) π ( a 1 ∣ s 1 ) P ( s 2 ∣ s 1 , a 1 ) π ( a 2 ∣ s 2 ) P ( s 3 ∣ s 1 , a 1 , s 2 , a 2 ) … … P(s_{1})\pi(a_{1}|s_{1})P(s_{2}|s_{1},a_{1})\pi(a_{2}|s_{2})P(s_{3}|s_{1},a_{1},s_{2},a_{2})…… P(s1)π(a1∣s1)P(s2∣s1,a1)π(a2∣s2)P(s3∣s1,a1,s2,a2)…… P ( s 1 ) ∏ t 1 T − 1 π ( a t ∣ s t ) P ( s t 1 ∣ s 1 , a 1 , . . . . . . , s t , a t ) P(s_{1})\prod_{t1}^{T-1}\pi(a_{t}|s_{t})P(s_{t1}|s_{1},a_{1},......,s_{t},a_{t}) P(s1)t1∏T−1π(at∣st)P(st1∣s1,a1,......,st,at)
根据 马尔科夫性(Markov Property)简化为 P ( τ ) P ( s 1 ) ∏ t 1 T − 1 π ( a t ∣ s t ) P ( s t 1 ∣ s t , a t ) P(\tau) P(s_{1})\prod_{t1}^{T-1}\pi(a_{t}|s_{t})P(s_{t1}|s_{t},a_{t}) P(τ)P(s1)t1∏T−1π(at∣st)P(st1∣st,at)
