神经形态超级计算机正在兴起。


德国的SpiNNcloud Systems(德累斯顿工业大学的子公司)正在开发一种具有多达100亿个神经元的神经形态超级计算机。

SpiNNaker2 系统是过去十年中耗资 10 亿欧元的欧洲项目的一部分,该项目以 ARM 创始人之一 Steve Furber 教授的工作为基础。

SpiNNaker2 神经形态超级计算机旨在处理事件驱动的神经网络、深度神经网络和基于符号规则的 AI。这与英特尔上个月推出的具有10亿个神经元的Hala Point系统不同。

“我们正在推出最大的商用混合超级计算机,它结合了基于事件的属性以及分布式深度神经网络和基于规则的引擎,因为您可以在ARM内核上灵活地实时交换信息,”SpiNNcloud联合首席执行官Hector Gonzalez告诉eeNews Europe。

在德国德累斯顿建造的最初的半尺寸实现将拥有多达500万个神经元。它使用具有 152 个 ARM M4F 微控制器内核的定制芯片,该芯片基于 Global Foundries 的 22nm 绝缘体 FDX 工艺构建,使用自适应反偏置(ABB)来降低功耗。

外围还有神经网络加速器内核和内存管理内核,以及指数和对数函数以及两个真随机数发生器 (RNG),用于对每个内核中 PLL 的热噪声进行采样,以进行随机或随机游走操作。

一张卡上有 48 个芯片,一个机架上有 90 个卡,8 个机架上有 8 个芯片,总共有 5.25m 的核心。

这台 5m 核心的超级计算机有 50 亿个神经元,因为每个核心有 1000 个神经元,但 10m 核心是我们用 1440 块板提供的最大尺寸——限制是路由和保持实时性能。最初的系统在 1 毫秒内更新,但您越大,难度就越大。有了 1440 块板,我们仍然可以在 1 毫秒内完成更新。

该系统混合使用芯片级的同步操作和电路板和机架之间的异步通信。芯片的电压可以在0.45V和0.6V的阈值之间动态变化,具体取决于数据要求,例如,对于通过系统传输的数据尖峰,频率也可以动态变化。

Gonzalez说:“这是节能计算,但你也可以获得人工智能和以基于事件的方式操作代码的能力,不仅围绕尖峰框架,而且我们还可以在不同规模上使用稀疏性,不仅用于计算,而且在通信级别和不同的网络上。这在GPU架构中是很难做到的。”

神经形态超级计算机将在云端提供,可以同时托管许多不同类型的人工智能框架,用于传感器网络或提高生成式人工智能的准确性和安全性。

Gonzalez说:“我们已经与智慧城市中的人们进行了对话,他们对传感器流的实时处理,使用并行的小型网络进行药物发现感兴趣,这非常适合机器。”

“你可以扩展符号引擎以及 DNN,它可以是 YOLO 或 LLM 的 GPT 层,它们可以非常擅长不产生幻觉、处理不完整的数据,这也可用于具有推理功能的传感器流。”

“我们也对运行大脑模型非常感兴趣,由于连接要求,这些模型通常很难在其他网络中运行。”

首批客户之一是美国的桑迪亚国家实验室。“类脑计算需要可编程的动力学、基于事件的通信和极端规模,”桑迪亚国家实验室的Fred Rothganger说:“SpiNNaker2 是当今最灵活的神经超级计算机架构。在桑迪亚,我们很高兴能在这个神奇的系统上构建应用程序。”

曼彻斯特大学的Furber团队在过去七年中一直在为超级计算机开发软件堆栈,通过美国华盛顿大学开发的TVM接口,将用于脉冲网络、基于图形的DNN和符号逻辑的工具结合起来。

2023年初,SpiNNaker2项目获得了250万欧元的资助。这笔资金由欧洲创新委员会(EIC)授予,作为其为深科技初创公司提供的一揽子资金的一部分。

EIC从提交给过渡赠款计划的289个提案中选择了27个项目,以获得总计7930万欧元的欧盟资金。该计划旨在将欧洲研究项目的研究成果转化为商业上可行的业务。

德累斯顿工业大学负责研究的副校长Angela Rösen-Wolff教授补充说:“EIC的资助将使SpiNNaker2能够扩展到移动应用,例如CeTI卓越集群中的人机交互,并在现实的工业环境中进行测试。

SpiNNcloud Systems联席首席执行官Christian Eichhorn表示:“ChatGPT等人工智能现在正在进入我们的日常生活,因此代表了一场可与互联网相媲美的革命。训练这个人工智能模型一个月消耗的电量相当于3000户家庭的用电量。目前还无法预测使用人工智能导致的未来电力消耗规模。我们正在为大规模应用开发最节能的计算硬件,因为这将是显著减少人工智能碳足迹的关键。

von SpiNNcloud Systems联合首席执行官Hector Gonzalez补充道:“我们的灵感来自人脑,它只需要30瓦就可以处理最复杂的任务。计算技术的未来必须受到大脑的启发。

(如有版权问题,请联系删除)


世界上最大的神经形态超级计算机的目标是100亿个神经元

点赞(0)

微信公众账号

微信扫一扫加关注

返回
顶部