建设网站的技巧,徐州网站外包,怎么在网站底部做备案号,网站建设方案博客12月22日#xff0c;有幸听了南京大学周志华教授题为“新型机器学习神经元模型的探索”的讲座。现场热闹非凡#xff0c;大家像追星一样拿着“西瓜书”找周教授签名。周教授讲得依旧循循善诱#xff0c;由浅入深#xff0c;听得我很入迷#xff0c;故作此记。 周教授首先就… 12月22日有幸听了南京大学周志华教授题为“新型机器学习神经元模型的探索”的讲座。现场热闹非凡大家像追星一样拿着“西瓜书”找周教授签名。周教授讲得依旧循循善诱由浅入深听得我很入迷故作此记。 周教授首先就人工智能领域火热发展的原因提出了自己的见解强调了人工智能中基础算法相较于算力的基础性作用算力提升论或为误解应当是算法带来基础性突破然后算力的提升才能在其后一段时间内放大算法突破带来的红利。 周教授随后举例说明BP算法在深层神经网络里存在着梯度消失问题而2006年随着Hinton的深层模型问世深度学习一直在近二十年的时间内火热不已并随着算力不断提升在不同领域有着越来越亮眼的表现。
接着周教授乘势抛出了两个贯穿本次演讲始终的公式“神经网络神经网络模型学习算法”而神经网络模型神经元模型网络结构。周教授解释道学习算法指的就是BP算法这种历久弥新的算法而本次演讲的重点——神经元模型指的就是受生物神经元接受多个电信号输入达到阈值后激活并输出的启发所设计的机器学习神经元数学模型即著名的M-P神经元模型形如 y f ( ∑ i 1 n w i x i − θ ) y f(\sum_{i1}^n w_i x_i - \theta) yf(i1∑nwixi−θ) 周教授指出关于神经网络的大多数研究都注重在网络结构上做设计而关于神经元模型的研究甚少甚至问世近80年的M-P神经元模型到今天仍然遍地在用。此外近来关于神经元模型的研究又开始有所浮现讨论能否有别的神经元模型可以使用。在这样的背景下周教授团队着手了新型神经元模型的相关研究。
周教授首先分享了他们团队在分岔脉冲神经网络 (Bifurcation Spiking Neural Network) 方面的研究1。
首先脉冲神经网络中一种被广泛研究的神经元模型叫做Leaky integrate and fire (LIF) 模型LIF神经元模型除了考虑信号的传递和神经元激活还考虑了信号传递的时间累计过程其一般形式为 τ d u d t − u R f ( I ( t ) ) \tau \frac{du}{dt} -u R f(\bold{I(t)}) τdtdu−uRf(I(t))
周教授团队从动力系统视角进行分析发现基于LIF神经元模型的脉冲神经网络的解空间是分开的三部分由参数 τ \tau τ决定。因此提出了分岔脉冲神经网络Bifurcation Spiking Neural Network, BSNN实现了自适应动力系统将解空间连起来解决了解空间分岔的问题使得解空间可达。
周教授进一步分享了他们团队提出的一种生物上合理且具有灵活的突触可塑性的全新神经元模型Flexible Transmitter (FT) Model 2. 这种FT神经元模型参考了生物神经元的神经递质传递过程尤其是突触的收缩和发育过程神经递质不仅起到信号传递作用还会控制突触发育和收缩使得神经递质的接受量相应增大和缩小这一过程如下图所示。 FT神经元模型可以表示为 ( s t , r t ) f ( w x t , v r t − 1 ) (s_t,r_t) f(wx_t,vr_{t-1}) (st,rt)f(wxt,vrt−1)
用复数进行数学上的抽象可表示为 s t r t i f ( w x t , v r t − 1 i ) s_t r_t \bold{i} f(wx_t,vr_{t-1} \bold{i} ) strtif(wxt,vrt−1i)
周教授强调这种FT神经元模型的能力更加强大因为M-P神经元模型只是FT神经元模型的一个子集。
一种简单基于FT神经元模型的FT神经网络 (FTNet) 同样也被展示 s t r t i f ( W x t , V r t − 1 i ) \bold{s_t} \bold{r_t i} f( \bold{Wx}_t, \bold{Vr}_{t-1} \bold{i} ) strtif(Wxt,Vrt−1i)
周教授认为这种新型FT神经元模型和基于其上的FT神经网络具有更加强大的能力可以解决以前基于M-P神经元的神经网络无法解决的问题。周教授团队在一些简单的任务上和常见的神经网络进行对比例如在MNIST数据集上和CNN、RNN、基于M-P神经元的FCN、基于脉冲神经网络的SNN等结果显示基于FT神经元的神经网络具有最高的Accuracy。但这并非没有代价周教授毫不掩饰地指出了FT神经网络存在的问题即更多的计算时间。
演讲结束后老师同学们都很感兴趣不断提出自己的疑惑并向周教授请教。而周教授也非常耐心、坦诚地回答整个问答环节持续了超过半小时。 Zhang, Shao-Qun, Zhao-Yu Zhang, and Zhi-Hua Zhou. “Bifurcation spiking neural network.” The Journal of Machine Learning Research 22.1 (2021): 11459-11479. ↩︎ Zhang, Shao-Qun, and Zhi-Hua Zhou. “Flexible transmitter network.” Neural Computation 33.11 (2021): 2951-2970. ↩︎
