节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

互联网 3个月前 站长
61 0

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

新智元报道

编纂:袁榭 好困

【新智元导读】为了战胜现下年夜型神经收集模子一跑就要大批耗电的弊病,德国与瑞士研讨者在模仿人脑架构的神经拟态芯片上取得冲破,无望以此芯片用当下千分之一的能耗运转将来年夜型AI。

作为现在最胜利的人工智能算法,人工神经收集,能够疏松地模仿了人脑中实在神经收集的庞杂链接。

不外与人脑的高能效比拟,切实是太费电了。

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

于是,神经拟态盘算应运而生,这种技巧更切近模拟了人脑的运作机理与物理定律。

但是,因为器件掉配困难,模仿神经元的质性会与计划略有差别,且电压跟电流程度在差别的神经元之间也有差别。

比拟之下,AI算法的练习则是在存在完整分歧的数字神经元的盘算机上实现的。

因而,现实在神经拟态芯片上运转时,常常会呈现「不服水土」的成绩。

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

2022年1月在美国国度迷信院院刊上宣布的一篇论文,提醒了绕过此困难的一种道路。

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

论文链接: https://www.pnas.org/content/119/4/e2109194119

由瑞士弗雷德里希米歇尔生物医疗研讨所的研讨者弗里德曼·曾克,与德国海德堡年夜学的研讨者约翰内斯·希密尔结合构成的团队,在脉冲神经收集这一范例的AI算法上取得新停顿。

脉冲神经收集应用模拟人脑中的特点脉冲交换讯号,能够在神经拟态芯片上运转,学会怎样代偿芯片中的器件掉配。

此论文是AI迈向神经拟态运算的明显一步。

模仿神经收集

与现有AI运转装备差别,神经拟态盘算并不将数据在长距离间隔的CPU与存储卡之间搬运。

神经拟态芯片计划模拟果冻般人脑的基本架构,将盘算单位(神经元)置于存储单位(衔接神经元的突触)旁边。

为了让计划更像人脑,研讨者将神经拟态芯片联合模仿盘算,如斯能像实在神经元一样处置连续一直的旌旗灯号。

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

如许产出的芯片,与现下依附处置0与1的二元基本旌旗灯号的数码盘算形式跟架构,有明显差别。

以人脑作为计划指南,神经拟态芯片许诺有朝一日闭幕AI等年夜数据量运算任务的高耗能。可怜的是,AI算法在神经拟态芯片的模仿版本上运转后果欠安。

这是由于器件掉配的缺点:在出产进程中,芯片里模仿神经元的微型组件巨细呈现不婚配。

因为单个芯片缺乏以运转最新的AI练习进程,算法必需在传统盘算机长进行预练习。

但之后将算法转输到芯片上时,一旦赶上模仿硬件不婚配的成绩,算法就两眼一争光了。

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

基于人脑计划的盘算形式是模仿盘算而非数码盘算,这点差异奥妙而要害。

数码盘算只能无效浮现人脑脉冲旌旗灯号的二元性方面:脉冲旌旗灯号作为一道冲过神经元的电旌旗灯号,状况存在二元性,要么输出了,要么没输出,这就是0与1的差别。

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

不外现实上由于人脑细胞中有电压变更,当细胞内电压超越比细胞外电压高到必定水平的特定阈值,就会输出脉冲。

如斯一来,脉冲是在必定时段内连续不停地输出的,并且神经元决议输出脉冲的状况也是连续不停的,这实在是一种模仿旌旗灯号的状况。

瑞士苏黎世联邦理工学院的神经拟态工程研讨者夏洛特·弗伦克尔说:「模仿态表现了人脑运算形式的中心之美。胜利效仿人脑的这一要害方面,将是神经拟态运算的主驱动要素之一。」

2011年,海德堡年夜学的一组研讨职员开端开辟一种既有模仿态又无数码态的神经拟态芯片,为神经迷信试验模仿年夜脑。

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

尔后,团队又宣布了新一版的芯片「BrainScaleS-2」,此中每个模仿神经元都模仿了脑细胞的输入-输出电流跟电压变更。

不外,因为材质的导电质性差别于真人脑,芯片在速率上要比人脑快1000倍。

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

在这项新的任务中,经由过程将芯片归入算法的练习进程,脉冲神经收集能够进修怎样改正BrainScaleS-2芯片上的电压差异。

为了处置器件掉配的成绩,团队还专门为脉冲神经收集开辟了全新的方式,将芯片用梯度替换法这种进修方式与盘算机交互。

梯度替换法经由过程连续转变神经元之间的衔接,来只管增加神经收集在履行义务中的过错数目(相似于非脉冲神经收集应用的反向传布)。

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

梯度替换法可能在盘算机上的练习进程中改正芯片的不完美之处。

起首,让脉冲神经收集应用芯片上模仿神经元的差别电压履行一项简略的义务,并将电压的记载发还盘算机。

而后,让算法主动进修怎样最好地转变其神经元之间的衔接,以便仍能与模仿神经元很好地共同,在进修的同时连续更新芯片上的神经元。

终极,当练习实现后,脉冲神经收集就能在芯片上顺遂地履行义务了。

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

研讨职员表现,他们的神经收集在语音跟视觉义务上,到达了与在盘算机上履行义务的顶级脉冲神经收集雷同的正确性。

换句话说,该算法正确地懂得到它须要做哪些转变来战胜器件掉配的成绩。

苏塞克斯年夜学的盘算神经迷信家托马斯·诺沃特尼表现:「这个体系正如预期的那样存在令人印象深入的能效:运转所耗费的能量比尺度处置器少1000倍阁下。」

但是,弗伦克尔指出,神经拟态芯片依然须要在为相似的语音跟视觉辨认义务而特殊优化的硬件眼前证实本人。

诺沃特尼也指出,这种方式可能难以扩大到年夜型的现实义务,由于它依然须要在盘算机跟芯片之间往返搬运数据。

团队的最终目的则是让脉冲神经收集能够从头至尾地在神经拟态芯片上练习跟运转,而不须要借助传统盘算机。

不外,计划并出产所需的新一代芯片可能要数年的时光。

作者先容

弗里德曼·曾克

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

瑞士苏黎世弗雷德里希米歇尔生物医疗研讨所的神经盘算迷信家。主研讨偏向为仿生的脉冲神经收集的进修、影象、信息处置进程,以及呆板进修与神经盘算迷信的交汇。

约翰内斯·希密尔

节能1000倍!仿人脑神经芯片跑AI模子居然这么省电

德国海德堡年夜学物理学院公用集成电路试验室主任、电子视觉研讨组担任人。研讨偏向是混杂态超年夜范围集成电路体系的信息处置利用,特殊是仿生神经收集模子的模仿利用偏向。

参考材料:

https://www.quantamagazine.org/ai-overcomes-stumbling-block-on-brain-inspired-hardware-20220217/

版权声明:站长 发表于 2022年2月25日 下午5:20。
转载请注明:节能1000倍!仿人脑神经芯片跑AI模子居然这么省电 | URL导航

相关文章