网站开发技术及软件介绍,模板网站多少钱,网站设计的专业流程,客户关系管理名词解释来源#xff1a;机器之心编辑#xff1a;杜伟、魔王、陈萍在过去 6 亿年中#xff0c;进化带来了不同类型的「无尽之形最美」#xff08;endless forms most beautiful#xff09;#xff0c;从古老的两侧对称虫到多种多样的动物形态。这些动物还展示出了显著的具身智能机器之心编辑杜伟、魔王、陈萍在过去 6 亿年中进化带来了不同类型的「无尽之形最美」endless forms most beautiful从古老的两侧对称虫到多种多样的动物形态。这些动物还展示出了显著的具身智能embodied intelligence利用进化的形态学习复杂任务。具身认知领域认为智能体可以快速学得这种智能行为它们的形态也能很好地适应环境。然而AI 领域更多地关注「非具身认知」如语言、视觉或游戏等。当人工具身智能体的形态能够很好地适应环境则它们可以在多种复杂环境中学习控制任务然而创建这类智能体很有挑战性原因如下这需要在大量可能形态中进行搜索通过终身学习评估智能体适应度需要大量计算时间。因此之前的研究要么在极度有限的形态搜索空间中进化智能体要么在给出的固定人工设计形态下找出最优参数。评估适应度fitness的难度使得先前研究避免直接基于原始感官观察学习自适应控制器使用少量参数 (≤ 100) 学习人工设计控制器学习预测一种形态的适应度模仿拉马克进化Lamarckian而不是达尔文进化直接跨代传输学得的信息。此外之前研究主要局限于平地移动的简单任务智能体具备的自由度 (DoF) 较少或者形体构型由立方体组成将学习控制器这一问题进一步简化。如何克服这些局限呢近日来自斯坦福大学的研究者 Agrim Gupta、Silvio Savarese、Surya Ganguli 和李飞飞提出了一种新型计算框架——深度进化强化学习 (Deep Evolutionary Reinforcement Learning, DERL)该框架能够在环境、形态和控制这三种复杂度维度下同时规模化创建具身智能体。DERL 框架如下图 1 所示DERL 为在计算机模拟实验执行大规模具身智能体创建活动打开了大门这有助于获得对学习和进化如何协作构建环境复杂度、形态智能和控制任务易学性之间复杂关系的科学洞见。此外DERL 还缓解了强化学习的样本低效性创建具身智能体不仅可以使用较少的数据还能够泛化解决多种新任务。DERL 通过模仿达尔文进化论中错综复杂的跨代进化过程来搜索形态空间通过终身神经学习来评估给定形态通过智能控制解决复杂任务的速度和质量。论文作者之一、斯坦福大学教授李飞飞表示「该研究不仅提出了新型计算框架深度进化强化学习DERL并通过形态学习首次证明了达尔文 - 鲍德温效应。形态学习是自然界动物进化必不可少的技能现已在我们创建的 AI 智能体中展现。」。论文地址https://arxiv.org/pdf/2102.02202.pdf具身智能体能执行哪些任务本研究创建的具身智能体可以在平地 (FT)、多变地形 (VT) 和多变地形中的非抓握操作 (MVT) 三种环境中执行巡视patrol、点导航point navigation、避障obstacle、探索exploration、逃脱escape、爬坡incline、斜坡推箱子push box incline和控球manipulate ball等任务。以下三张动图分别为具身智能体的避障上、斜坡推箱子中和控球下行为。避障。斜坡推箱子。控球。DERL用于创建具身智能体的计算框架对于学习每个智能体通过只接收低层次的自我本体感受和外部感受观察来感知世界并通过由深度神经网络参数确定的随机策略来选择其动作上图 1b深度神经网络的参数通过近端策略优化 (PPO) 学习得到。总体来说DERL 允许研究者在 1152 个 CPU 上进行大规模实验涉及平均 10 代的进化搜索并训练了 4000 种形态每种形态有 500 万次智能体 - 环境交互即学习迭代。该研究可以在并行异步parallel asynchronous比赛中训练 288 个形态因此在任意给定时刻整个学习和进化过程可在 16 小时内完成。据了解这是迄今为止最大规模的形态进化和 RL 同步模拟。UNIMALUNIversal aniMAL 形态设计空间为了克服以往形态搜索空间表达能力的限制该研究引入了一个 UNIversal aniMALUNIMAL设计空间上图 1e。该研究的基因型genotype 是一个运动树对应于由电机驱动的铰链连接的 3D 刚性部件的层次结构。运动树的节点由两种组件类型构成表示智能体头部的球体构成树的根和表示肢体的圆柱体。进化通过三类变异算子进行无性繁殖1通过长出或删除肢体来收缩或生长运动树上图 1d2改变现有肢体的物理特性如长度和密度上图 1d;3修改四肢之间关节的属性包括自由度、旋转角度限制以及齿轮比。最重要的是该研究只允许保持两侧对称的成对变异这是动物形体构型在进化过程中最古老的特征起源于 6 亿年前。一个关键的物理结果是每个智能体的质心都位于矢状面从而减少了学习左右平衡所需要的控制程度。尽管有这一限制但该研究提出的形态设计空间极具表达力包含大约 1018 种独特的智能体形态至少有 10 个肢体。智能体「变形记」在复杂环境中进化出不同的形态该研究称DERL 使智能体首次超出了平地移动任务在 3 种环境中同时进化多种智能体形态和学习控制器且 3 种环境的难度是逐步增加的平地 (FT)、多变地形 (VT) 和多变地形中的非抓握操作 (MVT)。DERL 能够为这 3 种环境找出成功的形态解。首先智能体在 FT 环境中移动其次智能体在地势高低不平的 VT 环境中移动最后智能体在 MVT 环境中移动并推动箱子研究者分析了不同形态描述子在这 3 种环境中的变化参见下图 3发现环境对形态进化有极大影响。当在所有环境中进化的智能体具备类似的质量和控制复杂度时VT/MVT 智能体比 FT 智能体在前进方向上移动时间较长在高度方向上移动时间较短而 FT 智能体所占的空间小于 VT/MVT。FT 智能体占据空间较少的属性反映了一个常见策略在身体上间隔较远地安装肢体使之具备完整的运动范围参见下图 2i、7a、8a。FT 智能体展示出向前倒的移动步态和蜥蜴样的移动方式下图 2iVT 智能体与 FT 较为相似但它具备额外的机制使步态更稳。最后MVT 智能体发展出类似钳或爪的前伸手臂从而完成将箱子推到目标位置的任务。环境复杂度衍生出形态智能上文关于环境对形态进化的影响的分析主要聚焦于不同形态描述子或形态复杂度但其关键挑战是设计智能体时要确保它能快速适应任意新任务。因而研究者转而通过描述一种形态中的具身智能来了解如何通过组合学习和进化获得这种能力。具体而言研究者计算形态对学习大量测试任务的促进作用。这一方法类似于通过计算潜在神经表示经由迁移学习在下游任务上的性能来评估其质量。研究者一共创建了一组 8 个任务下图 4a可分为 3 个领域分别测试智能体形态的敏捷性巡视、点导航、避障与探索、稳定性逃脱与爬坡和操纵能力斜坡推箱子和控球。每个任务的控制器都是从头学习从而确保性能差异均来自形态上的不同。研究者首先测试了这一假设在更复杂环境中的进化会带来更智能的形态从而在测试任务中性能更好参见上图 4b。结果表明在 MVT 环境中进化出的智能体性能在 7 项测试任务中优于在 FT 中进化的智能体在涉及敏捷性和稳定性的 6 个任务中VT 智能体在 5 项任务里优于 FT 智能体在操纵任务中性能相似。为了测试学习速度研究者以 1/5 学习迭代重复了相同实验参见上图 4c发现 MVT/VT 智能体和 FT 智能体在所有任务中的区别更大了。这些结果表明在更复杂环境中进化出的形态确实更智能因为它们促进智能体更好、更快地学习多种新任务。证明了更强形式的形态学鲍德温效应一个多世纪以前美国心理学家鲍德温Baldwin推测存在一种替代机制通过这种机制最初在早代进化中终身学得的行为将逐渐在后代later generation中成为本能甚至可能通过基因传播。表面上这种鲍德温效应看起来像拉马克遗传Lamarckian inheritance但严格来说它源于达尔文主义Darwinian 。然而长期以来生物学家一直认为鲍德温效应在复杂环境中可能保持在形态进化和感觉运动学习sensorimotor learning的层面。所以尽管这一猜想广为流传但迄今为止尚无研究证明体内或计算机vivo or in silico形态进化中的鲍德温效应。在模拟中研究者找到了证明鲍德温效应在形态学中存在的首个证据这反映在三个环境中达到前 100 个智能体标准适应度水平level of fitness所需训练时间的快速减少如下图 5a 所示。值得注意的是仅在 10 代之内平均训练时间就减少为原来的一半。研究者提供了如何加速学习的示例如下图 5d 所示他们展示了 FT 中进化的智能体在不同代中的学习曲线在学习结束时第 8 代智能体的表现两倍优于第 1 代智能体而且可以在后者 1/5 的时间里达到相同的最终适应度。研究者还注意到他们在模拟中对于快速学习没有遇到任何显式的选择压力这是因为一个形态的适应度仅由学习结束时自身的性能决定。尽管如此进化依然选择速度更快的学习者这样做也没有任何选择压力。因此研究者通过证明技能获取速度的显式选择压力对于鲍德温效应并不是必要的实际发现了比以往文献中猜想的形式更强的鲍德温效应。有趣的是形态学鲍德温效应的存在可以在未来研究中得到进一步探索以创建更低样本复杂度和更高泛化性的具身智能体。形态智能以及强大鲍德温效应的机制基础接下来该研究将探索进化如何产生形态智能上图 4bc以及如何选择更快的学习者而无需对学习速度施加任何直接选择压力的潜在机制基础。该研究假设按照具身认知embodied cognition中的推测进化发现的形态可以更有效地利用智能体主体与环境之间物理交互的被动动力学passive dynamics从而简化学习控制的问题它既能在新的环境中实现更好的学习形态智能又能跨代实现更快的学习鲍德温效应。任何这样的智能形态学都可能表现出能量效率和被动稳定性的物理特性因此该研究对这两种特性进行了研究。研究者将能源效率定义为每单位质量完成一个目标所消耗的能量见附录 D。令人惊讶的是在没有能源效率直接选择压力的情况下进化选择了能效形态解决方案上图 5c。研究证实能源效率并不是简单地通过降低肢体密度来实现的上图 3e。相反在所有三种环境中总体质量实际上都在增加这表明能源效率是通过选择更有效地利用身体 - 环境相互作用的被动物理动力学的形态来实现的。此外在任意固定代能源效率更高的形态表现得更好下图 6a学习速度也更快下图 6b。同样地在所有的三种环境中随着时间的推移进化选择更被动稳定的形态见附录 D尽管相对于 FT、VT/MVT 中稳定形态的比例更高这表明在这些更复杂的环境中稳定性的相对选择压力更高上图 5b。因此随着进化的推移能源效率上图 5c和稳定性上图 5b都以一种与学习速度紧密相关的方式提高上图 5a。查看这些智能体的效果请戳未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
