几十年来，构建类脑计算机硬件的努力一直在进行，但该领域尚未出现突破时刻。现在，领先的研究人员表示，开始构建第一个可以解决实际问题的大规模神经形态设备的时机已经成熟。
本文引用地址：
为人工智能的最新进展提供动力的神经网络大致受到大脑的启发，展示了从生物学中汲取灵感的技术的潜力。但相似之处只是肤浅的，当今 AI 背后的算法和硬件的运行方式与生物神经元完全不同。
神经形态工程师希望，通过设计更忠实地复制大脑工作方式的技术，我们将能够模仿其令人难以置信的计算能力和能源效率。这种方法的核心是使用脉冲神经网络，其中计算神经元通过使用活动峰值进行通信来模拟它们的生物表亲，而不是传统神经网络中使用的数值。但是，尽管经过了几十年的研究，私营部门的兴趣日益浓厚，但大多数示范活动仍然是小规模的，而且这项技术还没有取得商业突破。
在 1 月份发表在《自然》杂志上的一篇论文中，该领域的一些领先研究人员认为，这种情况可能很快就会改变。他们认为，神经形态计算已经从学术原型成熟为能够应对现实世界挑战的生产就绪设备，现在已准备好向大规模系统飞跃。 与该论文的作者之一 Steve Furber 进行了交谈，他是 ARM 微处理器（现在为大多数手机提供支持的技术）的首席设计师，也是 SpiNNaker 神经形态计算机架构的创建者。
史蒂夫·福伯 （Steve Furber） 谈关于下列问题：
为什么神经形态计算正处于关键时刻
软件与硬件
打破研究孤岛
规模与生物学合理性
忆阻器的影响
在论文中，您说神经形态计算正处于一个关键时刻。这是什么意思？
史蒂夫·福伯：我们已经证明，该技术可以支持几乎任意规模的脉冲神经网络，并且可以使用它们做一些有用的事情。当前的关键是，我们确实需要一些杀手级应用的演示。
SpiNNaker 项目始于 20 年前，专注于为脑科学做出贡献，如果您想构建脑细胞功能模型，神经形态学是一项显而易见的技术。但在过去的 20 年里，重点已经转移到工程应用上。要在工程领域真正起飞，我们需要一些神经形态优势的展示。
与此同时，在这 20 年里，基于一种完全不同的神经网络的主流 AI 出现了爆炸式增长。这非常令人印象深刻，显然产生了巨大的影响，但它开始遇到一些严重的问题，尤其是在大型语言模型 （LLM） 的能源需求方面。现在人们期望神经形态方法可能会通过显着减少那些不可持续的能源需求来做出贡献。
我们即将拥有足以支持神经形态形式的 LLM 的规模的神经形态系统。我认为在较小的一端也有很多重要的应用程序开发。特别靠近传感器，使用基于事件的图像传感器和神经形态处理系统可以提供非常低能耗的视觉系统，可以应用于安全和汽车等领域。
当您谈到实现大规模神经形态计算机时，这与已经存在的系统相比如何？
Furber：已经有很多例子，比如大型 Intel Loihi 2 系统 Hala Point。这是一个非常密集、大规模的系统。自 2016 年以来，我们一直在 [英国曼彻斯特大学] 上运行服务的 SpiNNaker 1 机器在系统中有五十万个 ARM 内核，到 2018 年扩展到 100 万个。这是相当大的规模。我们在 SpiNNaker 2 [SpiNNcloud Systems，总部位于德国德累斯顿] 上的合作者开始销售 500 万个核心级别的系统，他们将能够运行相当多的 LLM。
现在，神经形态平台需要进化多少是一个有待回答的问题。它们可以以相当简单的方式进行转换以使其运行，但这种简单的转换不一定能获得最佳的能源性能。
那么，硬件不是真正的问题吗，而是在它上面有效地构建一些东西吗？
Furber：是的，我认为过去 20 年已经见证了概念验证硬件系统以所需的规模出现。而是弄清楚如何充分利用他们，这就是差距。其中一些只是复制为基于 GPU 的机器学习开发的高效且有用的软件堆栈。
可以在 neuromorphic 硬件上构建应用程序，但仍然非常困难。最大的缺失组件是类似于 TensorFlow 和 PyTorch 的高级软件设计工具，这些工具使构建大型模型变得简单明了，而不必深入到详细描述每个神经元的级别。
有相当多样化的神经形态技术，这有时会使不同群体之间的研究结果难以转化。您如何打破这些孤岛？
Furber：尽管硬件实现通常大不相同，但更高级别有很多共同点。所有神经形态平台都使用尖峰神经元，神经元本身也相似。在较低级别上，您有各种各样的细节，但可以通过实现一个软件层来弥合这些较低级别的硬件差异与较高级别的共性。
我们在这方面取得了一些进展，因为在欧盟的 Human Brain Project 中，我们有一个小组一直在开发 PyNN 语言。它得到了 SpiNNaker（一个多核心神经形态系统）和海德堡大学的 BrainScaleS 系统（一个模拟神经模型）的支持。
但事实是，许多神经形态系统都是在实验室中开发的，并且只由该实验室内的其他人使用。因此，它们对追求共性没有贡献。英特尔一直在尝试通过在 Loihi 系统上构建 Lava 软件基础设施并鼓励其他人参与来做出贡献。因此，有朝这个方向前进的步伐，但远未完成。
对于神经形态技术的生物学合理性需要有多大，意见不一。该领域需要在这里达成一些共识吗？
Furber：我认为硬件平台和使用的神经元模型的多样性是研究领域的一个优势。多样性是一种探索空间的机制，让您有最好的机会找到开发严肃的大规模应用程序的最佳答案。但是，一旦你这样做了，是的，我认为你需要减少多样性并更多地关注共性。因此，如果神经形态即将从一个主要由研究驱动的领域过渡到一个主要由应用驱动的领域，那么我们预计会看到这种变化。
如果该领域想要实现规模化，它是否必须牺牲一点生物学上的合理性？
Furber：生物保真度和工程可控性之间存在权衡。复制 LLM 中使用的极其简单的神经模型不需要很高的生物保真度。现在，可以说，如果您可以整合更多的生物细节和功能，则可以将这些模型所需的神经元数量减少一个重要因素。如果这是真的，那么最终整合这些更复杂的模型可能是值得的。但要证明情况确实如此，仍然是一个很大的研究问题。
近年来，忆阻器（模拟神经元某些功能的存储设备）引起了人们的广泛关注。这是否改变了人们接近神经形态计算的方式？
Furber：我确实认为，正在开发的技术有可能在非常低的水平上提高硬件效率方面产生变革性。但是，当我观察英国的神经形态研究格局时，其中很大一部分集中在新型设备技术上。可以说，人们对此的关注有点过分了，因为系统问题总体上是相同的。
除非我们能够在系统级问题上取得进展，否则支撑技术是什么并不重要，我们已经有平台可以支持系统级问题的进展。
该论文表明，大规模神经形态计算的时机已经成熟。近年来，有什么变化让您对此持积极态度，还是更像是一种战斗号召？
Furber：它有点介于两者之间。有证据表明它正在发生，神经形态领域有许多有趣的初创公司正在设法生存下来。因此，这证明拥有大量可用资金的人开始准备在神经形态技术上花钱。更广泛的社区都相信 Neuromorphic 的时代即将到来。当然，主流机器学习在能源方面面临的巨大问题，这是一个迫切需要解决的问题。一旦有令人信服的证明神经形态学可以改变方程式，那么我认为我们将看到事情开始转变。
0 条