网站留言系统编写代码,金花关键词工具,昆明官网seo费用,wordpress 前台发布文章选自#xff1a;Singularity Hub编译#xff1a;网易智能参与#xff1a;李擎摘要#xff1a;在GPU上运行的神经网络已经在人工智能领域取得了一些惊人的进步#xff0c;但这两者的合作还并不完美。IBM的研究人员希望能设计出一种专门用于运行神经网络的新的芯片#xff… 选自Singularity Hub编译网易智能参与李擎摘要在GPU上运行的神经网络已经在人工智能领域取得了一些惊人的进步但这两者的合作还并不完美。IBM的研究人员希望能设计出一种专门用于运行神经网络的新的芯片从而提供更快、更有效的替代方案。直到本世纪初研究人员才意识到为视频游戏设计的GPU图形处理单元可以被用作硬件加速器以运行比以前更大的神经网络。这要归功于这些芯片能够并行进行大量计算而不是像传统CPU那样按顺序处理它们。这对于同时计算构成深度学习神经网络的数百个神经元的权重特别有用。GPU的引入使这一领域得到了发展但这些芯片仍然需要将处理和存储分开这意味着大量的时间和精力都花在了两者之间的数据传输上。这促使人们开始研究新的存储技术这些技术能够存储和处理同一位置的权重数据从而提高速度和能源效率。这种新的存储设备通过调整它们的电阻水平以模拟的形式存储数据——也就是说数据被存储在一个连续的范围内而不是数字存储器的二进制1和0。因为信息存储在存储单元的电导中所以可以简单地在存储单元间传递电压并让系统通过物理方法来进行计算。但是这些设备固有的物理缺陷意味着它们的行为并不一致这导致了目前使用它们来训练神经网络的分类精度明显低于使用GPU。“我们可以在一个比GPU更快的系统上进行训练但如果训练操作不那么准确那是没有用的”领导该项目的IBM Research博士后研究员Stefano Ambrogio在接受Singularity Hub采访时说“到目前为止还没有证据表明使用这些新设备能像使用GPU一样精确。”但研究又有了新的进展。在上周发表在《自然》杂志上的一篇论文中Ambrogio和他的同事们描述了他们是如何利用新兴的模拟记忆和更传统的电子元件组合来创造出一种芯片这种芯片可以与GPU的精度相匹配同时运行速度更快能耗更少。这些新的存储技术难以训练深层神经网络的原因是这个过程需要将每个神经元的权重进行上下数千次的刺激直到网络完全对齐。改变这些设备的电阻需要重新配置它们的原子结构而且每次的操作过程都不一样Ambrogio说。这些刺激并不总是完全相同这导致了对神经元权重的不精确的调整。研究人员通过创造“突触单元”来解决这个问题这些“突触单元”每一个都对应于网络中的单个神经元同时具有长期和短期记忆。每个单元格由一对相变存储器PCM单元和三个晶体管以及一个电容的组合构成PCM在电阻中存储权重数据电容将权重数据存储为电荷。PCM是一种“非易失性存储器”这意味着即使没有外部电源它也能保留存储的信息而电容器是“易失性的”所以只能在几毫秒内保持它的电荷。但是电容器没有PCM设备的可变性因此可以快速而准确地编程。当神经网络对图像进行训练以完成分类任务时只有电容器的权重会被更新。在浏览到几千张图片后权重数据会被转移到PCM单元进行长期存储。PCM的可变性意味着权重数据的转移仍然有可能包含错误但是由于该单元只是偶尔更新所以可以在不增加系统复杂性的情况下再次检查电导。Ambrogio说如果直接在PCM单元上进行训练这就不可行了。为了测试他们的设备研究人员对他们的网络进行了一系列流行图像识别的基准测试结果达到了与谷歌领先的神经网络软件TensorFlow相当的精确度。但重要的是他们预测最终构建出的芯片将比GPU的能效高280倍而且在每平方毫米面积上实现的算力将达到CPU的100倍。值得注意的是研究人员还没有完全构建出这一芯片。虽然在测试中使用了真正的PCM单元但其它组件是在计算机上模拟的。Ambrogio表示他们希望在投入时间和精力打造完整的芯片之前先检查一下这种方法是否可行。他说他们决定使用真正的PCM设备因为对这些设备的模拟还不太可靠但其它组件的模拟技术已经很成熟了他们有信心基于这个设计建立一个完整的芯片。它目前也只能在全连接神经网络上与GPU竞争在这个神经网络中每个神经元都与上一层的神经元相连接Ambrogio说。但实际上许多神经网络并没有完全连接或者只有某些层完全连接在一起。但Ambrogio说最终的芯片将被设计成可以与GPU合作的形式从而在处理其它连接时也能够处理全连接层的计算。他还认为这种处理全连接层的更有效的方法可以被更广泛地应用。这样的专用芯片能够使哪些事情成为可能Ambrogio说有两个主要的应用一是将人工智能应用到个人设备上二是使数据中心更加高效。后者是大型科技公司的一大担忧因为它们的服务器消耗了大量的电费。如果直接在个人设备上应用人工智能用户就可以不必在云端分享他们的数据从而增加隐私性但Ambrogio说更令人兴奋的前景是人工智能的个性化。他说“在你的汽车或智能手机上应用这个神经网络它们就能够不断地从你的经验中学习。”“你的手机会专门针对你的声音进行个性化你的汽车也会根据你的习惯形成独特的驾驶方式。”未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
