IBM 的低功耗芯片可能会在生成式 AI 中得到应用：大幅降低电力需求

8月24日消息:大型语言模型是 ChatGPT 等技术背后的人工智能技术，正如其名称所示：它们很大。它们通常拥有数十亿个计算节点和巨量的连接。所有这些意味着需要频繁地进行内存读写，并且需要消耗大量电力才能实现。而问题可能会变得更加严重。

一种潜在的避免方法是将内存和处理混合使用。IBM 和英特尔都制造了芯片，使单个神经元配备了执行其功能所需的所有内存。另一种方法是在内存中执行操作，这种方法已经通过相变内存得到证明。

IBM 指出，由于人工智能的存在，自动转录的准确性在过去十年中得到了极大提高。然而，用于帮助训练和操作这些以及其他人工智能系统的硬件变得越来越昂贵且耗能。为了训练最先进的 AIGPT-3，OpenAI 花费了 460 万美元，让 9200 个 GPU 运行了两周。

现在，IBM 推出了一个更接近于功能性 AI 处理器的相变芯片，在周三发布于《自然》杂志上的一篇论文中展示了该公司硬件可以以较低能耗占用实现合理准确率的语音识别。

相变

相变内存已经开发了一段时间。它提供闪存内存持久性但与现有挥发性 RAM 非常接近的性能。它通过加热小块材料并控制其冷却速度来运作。缓慢冷却，则形成有序结晶体导电良好；快速冷却，则形成无序混乱体电阻更高。这两种状态之间的差异可以存储一个位，直到施加足够的电压再次熔化材料。

这种行为也非常适合神经网络。在神经网络中，每个节点接收输入，并根据其状态确定将多少信号转发给其他节点。通常，这被视为表示网络中单个神经元之间连接强度的方法。由于相变内存的行为，该强度也可以由模拟模式下操作的单个内存位来表示。

当存储数字位时，最大化相变内存开和关状态之间的差异以限制错误。但是完全有可能将一位比特设置为介于其开和关状态之间任何值得电阻值，从而允许进行模拟行为。这些潜在值得平滑渐变可用于表示节点之间连接强度——通过对相变内存进行通流即可获得等效于神经网络节点行为。

如上所述，IBM 已经证明了它能够工作。今天描述的芯片则更接近功能处理器，在规模上更接近处理大型语言模型所需求。

芯片

新芯片核心组件称为「tile」，是一个交叉条形数组（类似正方形网格），由 512 个单位宽、2048 个单位深的单个相变位组成。每个芯片包含 34 个这样的 tile，即约 3500 万个相变位。该芯片还具有所有位所需的高速通信硬件，甚至可以在不需要任何模拟到数字转换的情况下跨越不同 tile 进行通信。板载传统处理器单元以及一些静态 RAM 帮助控制此通信流量，并处理芯片中模拟和数字部分之间的翻译。

系统也是灵活的，因为它允许任何连接强度由可变数量比特来保持。并且芯片之间可以进行通信，从而将更大问题分割并分布在多个芯片上。这里展示的最大的工作涉及分布在五个芯片上的 1.4 亿个相变位。

为了使这项技术真正发挥作用，研究人员使用现有的 AI 系统，并设置相变位的状态以匹配。一旦设置完成，分析可以重复运行，而芯片的相变部分不需要额外消耗能量。

研究人员利用这种硬件在两个语音识别任务中展示了其性能。其中一个较简单，涉及在语音中识别少量关键字，例如你可能需要处理自动呼叫系统上遇到的交互。第二个是通用语音识别，尽管词汇表略有压缩。在这两种情况下，该硬件能够与传统处理器上运行等效 AI 系统的性能相匹配。

因此，在峰值性能时，该芯片每瓦特功率可执行 124 万亿次操作。这比传统处理器执行等效操作所需的功率要低得多。

IBM 之前的模拟表明，模拟 AI 的能效可以是适用于 AI 应用的最佳 GPU 的 40 到 140 倍。到目前为止，这些估计还缺乏实际展示。

必须注意的是，这不是通用 AI 处理器。它只适用于特定类型的神经网络，并非所有问题都适合那种类型的神经网络。它承诺节省能源也基于网络保持静态。任何需要重新配置节点之间连接来解决问题都意味着重新设置相变位状态，并且需要更多电力。

这也意味着该芯片对于训练 AI 没有太大用处。实际上，用于开发在其上执行的神经网络的训练过程必须进行调整，以确保结果可以转换为相变芯片。

尽管如此，在匹配正确类型的问题时，该芯片可能会显著减少能源消耗。而且在这方面还有更大的潜力。该芯片采用 14 纳米工艺制造，远未达到最先进水平。研究人员表示，他们没有采取任何措施来优化处理器中专用于通信和数字/模拟转换部分的能源使用。

IBM 科学家于 8 月 23 日在《自然》杂志在线版上详细介绍了他们的发现：

https://www.nature.com/articles/s41586-023-06337-5