网站后台管理系统怎么开发,微企点网站建设,十大传媒公司,高端营销型网站建设品牌来源#xff1a;智源社区整理#xff1a;沈磊贤编辑#xff1a;李梦佳导读#xff1a;我们的日常生活中无时无刻不涉及到决策#xff0c;如果说感知智能是从观察到发现规律的过程#xff0c;那么决策智能就是从规律再返回到感知世界#xff0c;进而改变数据的过程。这样… 来源智源社区整理沈磊贤编辑李梦佳导读我们的日常生活中无时无刻不涉及到决策如果说感知智能是从观察到发现规律的过程那么决策智能就是从规律再返回到感知世界进而改变数据的过程。这样的逻辑可以描述整个生命体的规律同时也为我们设计通用人工智能提供了方向和思路。生命体是如何进行决策的机器在较复杂的决策空间中怎样学习如今火爆的NLP大模型如何能够帮助我们进行智能决策针对这些问题在2022北京智源大会的强化学习与决策智能论坛上来自伦敦大学学院计算机系的汪军教授作了题为《智能决策大模型》的报告。同时智源社区也对汪军教授进行了专访针对该领域内的前沿趋势进行了深入探讨。汪军伦敦大学学院计算机系教授英国艾伦·图灵研究所The Alan Turing InstituteFellow。主要研究智能信息系统包括机器学习、强化学习、多智能体、数据挖掘、计算广告学、推荐系统等。汪军教授目前已发表 200 多篇学术论文出版两本学术专著并多次获得最佳论文奖。决策的机理是什么笛卡尔在17世纪作为哲学家和数学家就开始思考人是如何做决策的当时的科学还是比较落后笛卡尔给出的解释比较机械即二元论的观点。笛卡尔认为在大脑中有某个特定的器官叫松果体为心灵和肉体之间的交互提供了场所。心灵的东西虽然是无法解释的但是笛卡尔认为心灵的东西可以控制人体各种各样的行为动作通过他的导引能够进行一些日常的决策和行动。这是他对人的决策的解释。松果体此外相关研究中另一个理论来解释人甚至生命的思路是“熵增熵减”的原理。整个宇宙是一个熵增的过程即从有序变无序的状态。假设某个封闭的空间被抽成了真空在一边划一个裂缝将气体放进去慢慢扩散到整个空间这种气体的扩散就是从有序变成无序的状态。生命体则相反吸收能量是从无序走向有序的状态于是从人生下来到死亡是一个熵减的过程。人的生活日常其实是在找规律即使生活环境在变人内在环境的很多东西是不会变的比如说身体的体温身体体液的成分等。所以作为一个生命体无论外界的情况如何变化其内部总是希望保持一个恒定的状态。人工智能技术是人产生的它必然是帮助我们解决这个不变性问题。从这个角度不难理解作为一个生命体是如何做决策。下图中假设左侧的整个环境是不可知的右侧作为一个生命体的简单模型抑或人工智能体的模型“他”可以观测到外界的状态但是无法100%观察到自然界的固有的规律。基于已有的观测个体在内部会对真实的世界产生一个估计代表了个体对外界的理解。当它有这个理解以后就可以采取行动对外界做出改变比如人可以改变世界细胞可以释放出某些物质来与病毒做斗争。外界受影响之后又会出现新的状态整个过程迭代反复。所以感知智能是从观察到发现规律的过程决策智能就是从规律再返回到感知世界进而改变数据的过程。这样的逻辑可以描述整个生命体的规律同时也为我们设计通用人工智能提供方向和思路。一个环境和个体交互的简单模型。左边是环境右边是个体决策智能智能决策中主要涉及三个层面感知、认知和决策。感知是主观的是个体的感知每个人不一样。这就是为什么会有高级动物会有所谓的艺术等。很多事物难以用语言描述但可以用其他的方式进行表达人和人之间会在这种表达中产生共鸣这是感知的固有规律。决策背后的机理是什么呢效用理论 Utility theory。是John Von Neumann提出的。他是一位非常著名的数学家同时也是计算机学科的奠基人物。他同时也创立了Games Theory在经典的《Games Theory》中他提供了一套数学工具来揭示如何做决策其本质是优化某一个特定的函数选择能够最大化函数的值。智能朴素的理解为从状态到行为的映射使得长期的受益最优。以经典的巴甫洛夫条件反射实验为例狗为什么可以跟铃声和食物产生联系为什么一有铃声它就会产生唾液那就是因为它学习到了主人敲铃的时候会把这个食物给它对狗这个生命体来说可以迅速地跑到摇铃处去获取食物它的行为最优的表现是它可以适应环境获取食物从长时间来达到它的受益。决策中的安全与风险在互联网时代需要做更加精细的决策安全与风险是其中重要的部分。在这个方面汪军教授介绍了他带领的华为诺亚实验室伦敦团队2022年发表在ICML上的工作SAUTE RL。几乎肯定或以概率为一的满足安全约束对于在现实应用中部署强化学习 (RL) 至关重要。例如飞机着陆和起飞在理想情况下应该以概率 1 发生。汪军教授团队通过引入安全增强的马尔可夫决策过程MDP来解决这个问题其中通过将安全约束增强到状态空间并重塑目标来消除安全约束。团队证明了 Saute MDP 满足 Bellman 方程并更接近于解决几乎肯定满足约束的 Safe RL。团队认为 Saute MDP 采用了一个不同角度对待安全决策问题。例如新提出的方法具有即插即用的特性即任何 RL 算法都可以“炒”。此外状态增强允许跨安全约束的策略泛化。最终表明当约束满足非常重要时Saute RL 算法可以超越其最先进的算法。在下图所示的实验中可以Saute RL 算法在一些极端的测试下安全性仍然是绿色的图中虚线表示100%安全。Saute RL 算法在一些安全性要求较高的场景广泛应用比如电力、自动驾驶等。https://arxiv.org/pdf/2202.06558.pdf另外一个更难的问题是如何保证模型训练安全。汪军教授团队将类似的方法运用到训练中。训练过程中加入一个安全状态它会记录历史上的操作是否安全在学习的过程中可以根据安全状态选择安全的路径。Enhancing Safe Exploration Using Safety State Augmentation, under submission, 2022小数据的决策提高样本利用率的贝叶斯优化决策智能在互联网广告等方面应用广泛其表现形式丰富多样如强化学习、运筹优化等其本质上是一个优化的问题。给定一个目标函数f如果f是已知的就是白盒优化如果是未知的则是黑盒优化。优化的目的是找到决策的输入值x使得函数最大化f。从这个角度来讲它的应用非常广泛比如电厂、EDA、医疗抗体等这些本质上都是黑盒优化的问题。黑盒优化中比较好的方法是贝叶斯优化允许在优化中试错从理论上可以保证能够找到全局的最优同时也尽量减少实验的次数在数据很稀疏的情况下效果明显。https://arxiv.org/abs/2012.03826很多决策的问题可以归根为黑盒优化问题。汪军教授带领的华为诺亚实验室团队2022年发表在DATE上的工作BOiLS则是在EDA上的一次尝试。在逻辑综合logic synthesis过程中优化电路的结果质量是一项艰巨的挑战需要探索指数大小的搜索空间。虽然专家设计的操作有助于发现有效的序列但逻辑电路复杂性的增加有利于自动化程序。受机器学习成功的启发很多研究将深度学习和强化学习应用于逻辑综合应用但是这些技术都因样本复杂性高而无法广泛应用。为了实现高效和可扩展的解决方案团队提出了BOiLS这是第一个采用现代贝叶斯优化来导航合成操作空间的算法。BOiLS不需要人工干预并通过新颖的高斯过程内核和受信任区域约束的采集有效地权衡探索与利用。在EPFL基准的一组实验中 BOiLS 在样本效率和 QoR 值方面明显优于现有技术。https://arxiv.org/pdf/2111.06178.pdf另一个例子是有关医疗领域的自动化抗体设计。抗体是典型的Y形多聚体蛋白能够进行高度特异性的分子识别。位于抗体可变链末端的CDRH3区域支配着抗原结合特异性。因此设计最佳抗原特异性CDRH3区域以开发治疗性抗体来对抗有害病原体是当务之急。然而CDRH3序列空间的组合特性使得不可能详尽有效地搜索最佳结合序列。针对此问题汪军教授团队提出了AntBO一种组合贝叶斯优化框架可实现CDRH3区域的高效计算设计。在理想情况下抗体应与其靶抗原结合并且不会产生任何有害结果。因此团队引入了CDRH3信任区域它将搜索限制在具有可开发性分数的序列上。为了对AntBO进行基准测试团队使用 Absolut!软件套件作为黑盒预言机因为它可以以不受限制的方式在计算机上对设计抗体的目标特异性和亲和力进行评分。188种抗原的结果证明了AntBO在设计具有不同生物物理特性的CDRH3区域方面具有明显优势。在不到200种蛋白质设计中AntBO可以推荐优于从690万个实验获得的CDRH3最佳结合序列的抗体序列以及常用遗传算法基线中提取的最佳序列。此外AntBO仅在38种蛋白质设计中无需领域知识并发现了非常高亲和力的CDRH3序列。所以AntBO使自动化抗体设计方法更接近于体外实验实际上可行的方法。https://arxiv.org/abs/2201.12570大数据大模型的决策提高泛化能力在大数据模型中汪军教授认为多智能体强化学习不是只能应用在游戏中游戏场景中的关键决策问题可以放大在游戏场景中将这些技术研究清楚之后就可以应用到各种各样的场景里。针对此问题汪军教授介绍了组内的近期代表性工作汪军教授团队在可训练求解器和数据生成器之间引入了一个two-player zero-sum框架以提高基于深度学习的求解器对旅行商问题(TSP)的泛化能力。基于Policy Space Response Oracle (PSRO)方法团队提出的框架输出了一组响应最好的求解器这些求解器可以混合并输出一个组合模型该模型对生成器的可利用性最小从而获得在不同的TSP任务上最普遍的性能。团队对不同类型和大小的各种TSP实例进行了实验。结果表明即使在求解器从未遇到过的任务上新提出的求解器也能实现最先进的性能而其他基于深度学习的求解器的性能由于过度拟合而急剧下降。https://arxiv.org/pdf/2110.15105离线强化学习是利用先前收集的离线数据集来学习最佳策略而无需访问真实环境。考虑到代理之间以及与环境的交互增加这种范式对于多代理强化学习 (MARL) 任务也是可取的。然而在 MARL 中还没有研究过带有在线微调的离线预训练范式也没有用于离线 MARL 研究的数据集或基准。汪军教授团队通过提供大规模数据集来促进研究并使用它们来检查Decision Transformer在MARL环境中的使用包括以下三个方面对MARL离线预训练的泛化研究1单代理和多代理之间2从离线预训练到在线微调3到少样本的多个下游任务和零射击能力。团队首先介绍了第一个基于星际争霸II环境的具有不同质量水平的离线MARL数据集然后提出了用于有效离线学习的多智能体决策转换器MADT的新颖架构。MADT利用Transformer的序列建模能力并将其与离线和在线MARL任务无缝集成。MADT的一个关键作用是它学习了可以在不同任务场景下和不同类型的代理之间转移的通用策略。在星际争霸II离线数据集上MADT 优于最先进的离线RL基线。当应用于在线任务时预训练的MADT显著提高了样本效率并且在少样本和零样本情况下都具有强大的性能。https://arxiv.org/pdf/2112.02845GPT 系列和 BERT 等大序列模型SM在视觉、语言和最近的强化学习任务上表现出出色的性能和泛化能力。一个自然的后续问题是如何将多智能体决策抽象为一个SM问题并从SM的繁荣发展中受益。汪军教授团队介绍了一种名为 Multi-Agent Transformer (MAT)的新型架构该架构有效地将协作多智能体强化学习 (MARL)转化为SM问题其中任务是将智能体的观察序列映射到智能体的最佳动作序列。目标是在MARL和SM之间架起一座桥梁以便为MARL释放现代序列模型的建模能力。MAT的核心是编码器-解码器架构它利用多智能体优势分解定理将联合策略搜索问题转换为顺序决策过程。与Decision Transformer 等现有技术仅适合预先收集的离线数据不同MAT以在线策略方式通过来自环境的在线试验和错误进行训练。为了验证MAT团队在 StarCraftII、Multi-Agent MuJoCo、Dexterous Hands Manipulation 和 Google Research Football 基准上进行了广泛的实验。结果表明与包括MAPPO和HAPPO在内的强大基线相比MAT实现了卓越的性能和数据效率。https://arxiv.org/pdf/2205.14953.pdf总结汪军教授主要介绍了智能决策的问题和方法同时也探讨了NLP大模型对智能决策泛化性带来的好处且单智能体已经无法满足现有的应用需求未来还需要在多智能体上进行长期的探索。QA您一开始是如何进入强化学习领域的推荐系统、搜索系统互联网广告系统等领域本质上是一个决策的过程根据历史数据预测用户的喜好等。决策智能是让机器来帮助人类进行更加智能的决策。我们发现强化学习是对决策系统的一种数学的表达和框架当然要包括贝叶斯优化和其他形式。所以我们就对强化学习产生了兴趣并进一步应用到推荐系统等领域。强化学习最吸引人的地方在哪儿内部原因是任何研究都需要一个well-defined的问题决策是一个长期研究的问题我们发现强化学习和决策在本质上相通可以利用强化学习来解决一些决策问题。外部原因是AlphaGo等一系列工作的成功促使我们去研究强化学习。强化学习也催生了很多分支比如多智能体强化学习博弈论和机器学习相结合的强化学习在经济学上的应用等。我们对这些新的问题都很感兴趣。学术界近期有哪些强化学习工作值得关注安全鲁棒性是一个重要的工作DeepMind将CVNLP和强化学习结合在一起具有很好的前瞻性这种跨模态跨领域的问题值得关心。强化学习和优化的结合可以在现实中广泛应用如EDA电力工厂决策医疗抗体设计等。强化学习通过跨任务的大模型可以解决一系列的问题的任务群。您过去一段时间内的研究兴趣和研究进展是我们并不是一定要做强化学习只要是和决策智能相关的有价值的问题我们都会做比如决策的安全性我们在华为诺亚实验室里做了安全鲁棒性相关的工作以及一些多智能体强化学习和大模型的工作。多智能体强化学习未来有哪些应用一个重要的方向是应用在机器人上但是未来需要重点考虑与人的交互。游戏也是一个重要的应用在游戏中学习的普适性问题可以广泛应用到其他领域。另一个值得关注的方向是大模型的应用多智能体也是一个sequence问题可以用大模型中的离线训练方法来提升性能。您担任伦敦大学学院计算机教授相比于中国和美国英国的AI研究有何特色大家熟知的英国AI研究可能是DeepMind其实还有其它高校研究也非常活跃。英国整体的AI研究实力很强。英国的学术氛围很好由于语言的优势很多欧洲的研究者都会到英国来进行研究。欧洲其他国家比如德国可能会更偏工业性一点学术上可能没有那么重视但是英国就不会存在这些问题。英国的很多高科技企业和资本以及高校的结合会产生一些不一样的工作具有一个比较好的研究土壤因为他可以吸引整个欧洲的AI人才使得研究质量和影响力是其他地区无法比拟的。目前CV和NLP研究火热决策智能研究热度较低青年学者应该如何选择研究方向我不觉得决策智能的研究热度较低主流的机器学习会议每年会产生很多和决策智能相关的论文虽然相比于CV和NLP要弱一些但是目前呈现上升的趋势。决策智能拥有很多的落地场景和学术研究问题青年学者如果想做一些有前瞻性的工作可以考虑在决策智能领域展开研究。我们每年夏天会组织一个强化学习研讨会RLChina (http://rlchina.org)会邀请学术界和工业界的大牛来全面地介绍相关工作也会邀请投资人和创新公司来探究技术落地地可能性所以我们这一系列工作也是为青年学者搭建一个交流和学习地平台。为什么英国可以孕育出DeepMind这样优秀的AI企业我认为一个重要的原因是英国可以吸收整个欧洲的AI人才。另一个原因是人才眼界的问题他们在研究上的能力很强更愿意做一些突破性的工作敢于比别人更早地问一些前瞻性地问题敢于承担一定的风险。此外他们一般没有考核性的论文指标不是paper-driven地工作可以相对自由地去探索问题。您认为做研究最珍贵的品质是什么创新性是必须的另外一个是学术品位特别是了解什么问题不应该去做要做一些长期性和前瞻性的问题而且问问题比做问题更重要。自己能够定一个方向然后长期地进行探究。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
