强化学习学习笔记(一):初识强化学习

发布时间:2023-02-01 13:00

一、强化学习及关键因素

        1.奖励:强化学习的目标就是要最大化在长时间里的总奖励。奖励有正有负,机器人花费的时间和能量就属于负奖励。

        2.策略:决策者会根据不同的观测决定采用不同的动作,这种从观测到动作的关系称为策略。强化学习试图修改策略以最大化奖励。

二、强化学习与监督学习和非监督学习的区别

        监督学习:知道每个动作的正确答案,可以通过逐步对比来学习。监督学习希望能将学习结果运用到未知的数据,要求结果可推广、可泛化。监督学习一般运用于判断、预测等任务,如判断图片的内容、预测股票价格等,而强化学习不适用于这样的任务;

        非监督学习:旨在发现数据之间隐含的结构,一般用于聚类等任务,而强化学习不适用于这样的任务;

        强化学习:只能通过奖励信号来学习,因为不知道每一步的正确答案,所以有较长的时延才能根据奖励知道正确与否(AlphaGo下围棋,只有这盘棋结束才知道之前的每一步下得好不好),所以强化学习注重更长远的性能。

三、智能体/环境接口

  强化学习学习笔记(一):初识强化学习_第1张图片

        1.智能体:一个强化学习系统里可以有一个或多个智能体。我们并不需要对智能体本身进行建模,只需要了解它(们)在不同环境下可以做出的动作,并接受奖励信号。

        2.环境:强化系统里除智能体意外的所有实物,是智能体交互的对象。

        3.智能体观测环境,获得环境的观测,记为O

           智能体根据观测做出决策,决定对环境施加动作,记为A

           环境受智能体动作的影响,改变自己的状态,记为S,环境给决策者奖励,记为R

           其中观测O、动作A、奖励R是智能体可以直接观测到的。

        4.建模表述问题在第二章马尔科夫决策过程中详细介绍。

四、强化学习的分类

强化学习学习笔记(一):初识强化学习_第2张图片

         深度强化学习:强化学习和深度学习是两个独立的概念。

强化学习学习笔记(一):初识强化学习_第3张图片

         对于强化学习而言,在问题规模比较小时,能够获得精准解;当问题规模比较大时,常常使用近似的方法。

        深度学习则利用神经网络来近似复杂的输入/输出关系。

        对于规模比较大的强化学习问题,可以考虑利用深度学习来实现近似。

五、预备知识和预先准备

        基础概率论知识。一些明星算法比如AlphaGo需要学习微积分和深度学习。

        Python以及Python扩展库(Gym库、numpy、TensorFlow)

        os:我这技术方面是着实不过关,等所有理论整明白点再集中解决那些个技术问题。当然,Python实现部分也会更新学习笔记,敬请期待!

        

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号