受欢迎的网站建设公司,拓者设计吧卧室效果图,wordpress只显示纯文字,公司怎么注册邮箱帐号编辑/绿萝去年#xff0c;麻省理工学院#xff08;MIT#xff09;的研究人员开发出了「液体」神经网络#xff0c;其灵感来自小型物种的大脑#xff0c;不仅能在训练阶段学习#xff0c;而且还能持续不断地适应。可用于自动驾驶和飞行、大脑和心脏监测、天气预报和股票定…编辑/绿萝去年麻省理工学院MIT的研究人员开发出了「液体」神经网络其灵感来自小型物种的大脑不仅能在训练阶段学习而且还能持续不断地适应。可用于自动驾驶和飞行、大脑和心脏监测、天气预报和股票定价。但是随着神经元和突触数量的增加这些模型的计算成本变得越来越高需要笨拙的计算机程序来解决其潜在的复杂数学问题。现在同一个研究团队发现了一种缓解这一瓶颈的方法即通过求解两个神经元通过突触相互作用背后的微分方程解锁了一种新型快速高效的 AI 算法——「封闭式连续时间」(CfC) 神经网络。这些模型具有与液态神经网络相同的特征灵活、因果关系、稳健性和可解释性但速度快几个数量级且可扩展。因此这种类型的神经网络可用于任何涉及随着时间的推移深入了解数据的任务。「我们称之为 [CfC] 的新机器学习模型用封闭形式近似取代了定义神经元计算的微分方程保留了液体网络的美丽特性而不需要数值积分」该研究的主要作者 Daniela Rus 教授说「CfC 模型具有因果性、紧凑性、可解释性并且可以高效地进行训练和预测。它们为安全关键型应用程序开辟了可信赖的机器学习之路。」该研究以「Closed-form continuous-time neural networks」为题于 2022 年 11 月 15 日发布在《Nature Machine Intelligence》上。论文链接https://www.nature.com/articles/s42256-022-00556-7由常微分方程 (ODE) 构建的连续神经网络架构可用于对具有复杂动态的数据进行建模。这些模型将静态神经网络的深度维度和递归神经网络 (RNN) 的时间维度转换为连续向量场从而实现非均匀采样数据的参数共享、自适应计算和函数逼近。虽然基于 ODE 的神经网络具有精心的记忆和梯度传播设计但在相对较小的基准测试中与先进的离散循环模型相比具有竞争力但由于使用了先进的数值微分方程 (DE) 求解器它们的训练和推理速度很慢。随着数据、任务和状态空间的复杂性增加即需要更高的精度这就变得更加麻烦。在这里该研究团队推导出一个封闭的连续深度模型它具有基于 ODE 的模型的建模能力但不需要任何求解器来建模数据。图 1神经和突触动力学。来源论文在这项工作中研究人员用相应的非线性算子替换描述神经元与其输入非线性突触连接的相互作用的非线性 DE 的积分即解。这在原则上可以使用函数式泰勒展开来实现。然而在液态时间常数 (LTC) 网络的特定情况下可以利用封闭形式的表达式来表示系统对输入的响应。所提出的连续神经网络产生了相当快的训练和推理速度同时与基于 ODE 的对应网络一样具有表现力。研究人员为一类明确模拟时间的连续神经网络提供了近似封闭形式解的推导。研究人员应用线性 ODE 理论来分析求解 LTC DE 的动力学。然后剖析所获得的封闭形式解决方案的属性并设计一类新的神经网络模型称之为封闭形式连续深度网络 (CfC)。CfC 在其公式中具有明确的时间依赖性不需要数值 ODE 求解器来获得它们的时间展开。因此它们最大限度地平衡了求解器的准确性和效率。表 1模型的计算复杂度。与基于 ODE 的同类算法相比这种明确的时间依赖性允许 CfC 在训练和推理时间方面至少快一个数量级而不会损失准确性。图 2 显示了一个基于 LTC 的自动驾驶训练网络。进一步说明了在给定相同参数化的情况下所提出的解决方案与单神经元 ODE 所展示的实际动力学有多接近。图 2封闭形式解在实践中的紧度。来源论文近似于 LTC 网络的封闭形式解决方案同时在很大程度上保留了其等效 ODE 系统的轨迹。研究人员将其解决方案开发成 CfC 模型在复杂时间序列预测任务的训练和推理方面该模型至少比神经 ODE 快 100 倍。此外CfC 在一系列任务上的表现优于最先进的同类模型在通过运动传感器识别人类活动、模拟步行机器人的物理动力学建模以及基于事件的顺序图像处理方面具有更高的速度和性能。例如在一项医学预测任务中新模型在 8,000 名患者的样本中速度提高了 220 倍。图 3PhysioNet。来源论文使用互联网电影数据库IMDB包含 25,000 个训练句和 25,000 个测试句进行情感分析CfC 优于高级 RNN 基准测试。图 4 IMDB 数据集的结果。来源论文在物理动力学建模中CfC 的性能大大优于其他基线这支持了它们对不规则采样的物理动力学进行建模并具有缺失相位的强大能力。值得一提的是在这项任务中CfCs 甚至以 18% 的优势明显优于 transformer。表 3每个时间步的回归。来源论文CfC 在自动驾驶中能够稳健地学习执行自主导航CfC 与 ODE 具有相似的稳健性。此外与 NCP 类似CfC 具有参数效率。他们在其 RNN 组件中使用大约 4,000 个可训练参数执行端到端自主车道保持任务。图 5 车道保持模型的参数计数。来源论文「基于微分方程的神经网络系统很难求解并扩展到例如数百万和数十亿个参数。获得神经元如何相互作用的描述而不仅仅是阈值但解决细胞之间的物理动力学使我们能够建立更大规模的神经网络」Hasani 说。「这个框架可以帮助我们解决更复杂的机器学习任务实现更好的表示学习并且应该成为任何未来嵌入式智能系统的基本构建块。」Boeing 公司 Aurora Flight Sciences 的人工智能和机器学习小组负责人 Sildomar Monteiro 说「最近的神经网络例如神经 ODE 和液体神经网络都有由表示无限潜在状态的特定动力系统组成的隐藏层而不是显式的层堆栈。」「这些隐式定义的模型已经显示出最先进的性能同时需要的参数比传统架构少得多。但是由于训练和推理所需的高计算成本它们的实际采用受到限制。」他补充说这篇论文「显示了这类神经网络的计算效率有了显著提高……且有可能实现与安全关键型商业和国防系统相关的更广泛的实际应用。」相关报道https://techxplore.com/news/2022-11-brain-dynamics-flexible-machine-learning.html
