山东川畅信息技术有限公司网站建设,网站怎么加代码,网站开发基本流程ppt,做网站人员工资文章目录专栏传送门0.引言1.逆强化学习发展历程2.需要准备的专栏传送门 0.简介 1.学徒学习 2.最大熵学习 0.引言 \qquad相比于深度学习#xff0c;国内强化学习的教程并不是特别多#xff0c;而相比强化学习#xff0c;逆强化学习的教程可谓是少之又少。而本人想将整理到的资…
文章目录专栏传送门0.引言1.逆强化学习发展历程2.需要准备的专栏传送门 0.简介 1.学徒学习 2.最大熵学习 0.引言
\qquad相比于深度学习国内强化学习的教程并不是特别多而相比强化学习逆强化学习的教程可谓是少之又少。而本人想将整理到的资料融合到一块并记录下来因此开辟了这个分栏。有关这个领域的应用倒是有很多博客可以参考但真正介绍原理很清楚的博客很少因此本系列以介绍原理为主辅助代码实验。 \qquad逆强化学习Inverse Reinforcement LearningIRL其实是模仿学习Imitation LearningIL的一种与普通IL方法不同的是其通过学习Expert求得Environment的奖励函数Reward再结合正强化学习Forward Reinforcement Learning达到与环境互动模仿专家系统行为的目的。 \qquad与普通强化学习不同强化学习虽然不像监督学习一样需要知道样本的标签但是需要知道每一个样本对应的奖励函数Reward然而逆强化学习则利用人类的行为求取这个Reward。在这个过程中会遇到各种问题但是成功的案例也不少最典型的要数美国berkly大学做的机器人摆盘子和倒弹珠的实验 http://rll.berkeley.edu/gcl \qquad在该实验中机器人将10个盘子依次摆放到对应位置是一个特定的强化学习任务这个任务的损失函数很难人为界定但是可以通过人工演示正确的范例来让机器人加以学习从而达到学习环境奖励函数并优化Policy的目的。
\qquadIRL领域open-access的papers有很多可惜本人水平有限理解太浅。虽说知乎和CSDN的大V们也做过很多介绍可惜看了之后都是失望大于期望的这些博客大多参考了国外的课程可惜播放源大多数都不是国内源虽说打不开本人将链接也贴在下方以作参考。
莫烦python-强化学习系列台湾大学-深度强化系学习系列视频非国内源台湾大学-模仿学习简介非国内源美国Berkly大学-模仿学习课程非国内源模仿学习行为克隆逆强哈学习教学非国内源
1.逆强化学习发展历程
IRL的重要论文OpenAI提供的论文 论文链接 \qquad如果翻看近些年IRL的论文就会发现其IRL的思想早在2000年左右就已经提出了但它的热门期也是随着2013年Deep RL的出现而开始的。目前主要的方法有以下几种
学徒学习Apprenticeship Learning, 2004最大熵学习Maximum Entropy Learning2010引导损失函数学习Guided Cost Learning2016GailGenerative Adversarial Imitation Learning2016DeepMimicExample-Guided Deep Reinforcement Learning of Physics-Based Character Skills2018VailVariational Discriminator Bottleneck: Improving Imitation Learning2018MetaMimicOne-Shot High-Fidelity Imitation,2018
\qquad本人在这个领域也属于小白水平目前只大概了解了前4种方法的原理若有错误或不清晰的地方还望大家指正后续系列方法的整理会持续更新。 \qquadIRL与RL一样它的分类方法也基本遵循了以下原则图片来自OpenAI的spiningup官网 \qquad首先出现的Model-Free的方法其次出现Model-Based方法。在Model-Free方法中大家也是先研究Q-Learning系列的Value-Based方法然后再研究Policy-Based方法。这里的Model指的是Dynamic Model在MDP中指状态转移概率矩阵很多时候这个矩阵无法求得就必须依赖Model-Free的方法通常Model-Free都是基于Policy Optimization或者Sample Based的以下是一些Model-Based和Model Free的IRL方法整理。
Model-BasedModel-FreeMaximum Margin Optimization, Apprenticeship Learning, Maximum Entropy Learning, Deep Maximum Entropy LearningRelative Entropy Learning, Path Integral Entropy Learning, Guided Cost Loss, Model-Free Imitation Learning via Policy Optimization
\qquad在深度学习盛行之后也出现了很多IRL的Deep Learning的方法当然只要知道了梯度如何计算其实深度学习和线性函数是一回事。
2.需要准备的
博客篇幅不宜过长因此以下基础知识内容本系列的博客不会再详细赘述还望读者自行学习毕竟基础不牢地动山摇嘛
强化学习的基础知识可以看引言中莫烦的视频或者参考OpenAI官网教程深度学习的基本理论其实这才是最好学的好在B站有不少在这里就不作推荐了概率论的基础知识说实话高数和线代用的不是特别多但是对概率论基础知识的掌握还是非常必要的Linux的开发环境强化学习的仿真环境gym目前只支持Linux呀虽说有人在Windows上成功了但也不是Official Support的
\qquad后续会根据第一章提到的发展历程更新这个系列的博客欢迎同道之人交流探讨
