NVIDIA 的 Project DIGITS 会淘汰苹果的 M4 Max AI 芯片吗？

随着NVIDIA在2025年1月6日宣布他们的Project DIGITS，苹果公司终于在成本效益/大内存AI领域迎来了竞争对手。这真是个好消息！

苹果的价格可能看起来很高，但配备128GB内存的M4 Max比配备80GB NVIDIA A100卡的PC便宜得多。是的，A100在计算能力（可能快20倍以上）和内存带宽（高4倍）方面要快得多，但它的价格要贵得多，并且消耗的电力也更多。另一方面，苹果的M系列Pro/Max在48-128GB内存的人工智能处理上，比任何没有大型NVIDIA或AMD加速器的PC或服务器都要快得多。这为苹果的M系列Max/Ultra电脑开辟了一个市场，而NVIDIA显然想进入这个领域。以激进的价格定位（起价3000美元）与全配置的M4 Max MacBook Pro或未来的M4 Max/Ultra Mac Studio苹果机型竞争。

基于目前Project DIGITS公布的资料，我的性能估计和预期如下：

这看起来是一个8芯片的LPDDR5X内存系统，宽度可能是512位——和M4 Max一样，内存带宽大概只有550GB/s，约为5090的四分之一。由于LLM令牌生成的性能（如果不能批量处理的话）很大程度上受限于内存带宽，因此与M4 Max相比，纯LLM响应性能可能不会有显著提升，而未来的M4 Ultra可能会快一倍。

但是，在 Project DIGITS 上进行 LLM 提示处理、训练和批处理可能会比目前在 Apple 设备上快许多倍，这得益于其预期的极强计算能力（但其功耗需求也可能更高）。其 GPU 性能的限制在于外形尺寸/TDP（热设计功率）。同样大小的 Mac mini 当前可以持续满负荷运行，其 CPU/GPU/ANE/RAM/SSD 的最大功耗为 140W。基础版 Mac Studio 体积更大，可以散去的最大热量为 150W（但有较大的额外散热余量），而 Ultra 版本由于采用了更好的散热器，可以轻松处理高达 300W 的功耗。如果 Project DIGITS 的功率范围为 150W，那么其系统所能达到的持续性能可能仅略高于 M4 Max。

项目DIGITS的一个强大优势是NVLink（即），它能够连接成集群。其速度目前还未公布，但预计其速度将比苹果的Thunderbolt 5快数倍。

但真正让 Project DIGITS 稳居领先地位的可能并不是硬件。真正厉害的功能可能是 CUDA 和其他软件。在我看来，苹果在低端或者高内存 ML 系统软件上的主要不足——我预计英伟达将通过 Project DIGITS 来填补这些不足——是：

a) MPS/MLX vs. CUDA — 支持现代浮点格式如 fp8（以及其他格式）似乎完全不在苹果 MPS 的考虑范围内。苹果对 Pytorch 的支持和 MLX 正在取得进展，但仍存在一些不足，导致计算不得不回到 CPU 上进行。更别提最近 NVIDIA 连续发布的所有 AI 软件公告了……相比之下，NVIDIA 的情况就完全不同了。

b) 缺少GPU虚拟化功能——在苹果设备上无法在容器或虚拟机中运行依赖GPU的软件是一个巨大的缺点——例如出于安全原因。你完全信任你使用的所有（开源）应用及其依赖项的整个供应链条吗？那些每周或每天更新的应用？容器化的隔离有助于解决这些问题。我非常讨厌为了“沙箱化”的开发/AI工作而在我的M2 Max Mac Studio上使用双启动——虚拟机或容器要好得多、更容易。

这就是为什么我在考虑购买一个DIGITS盒子。（注：DIGITS是NVIDIA的深度学习训练系统工具。）可能我还会在短期内买一个便宜的Jetson Nano Orion超级开发套件。为了学习NVIDIA的软件套件，我预计这会相当类似。即使这个“Jetson Nano Orin Super”的性能可能只类似于配备8GB内存的M2 Mac mini。这可能是因为NVIDIA将它的价格降低到了基础款M4 Mac mini 16GB价格的一半以下。NVIDIA的16GB Jetson Orin NX开发套件仍然超过900美元。虽然这款设备比基础款的M4 Mac mini更贵（尽管Mac的内存速度更快），但它运行CUDA和NVIDIA的开发环境。

我完全换成了苹果的M1芯片（是的，我也有一个Snapdragon X Elite笔记本电脑）。不过它们不支持用于AI的NVIDIA (e)GPU。但现在终于有希望解决了……

作者注: 这是初步的快速反应。我会在获得更多信息后更新内容。
2025–01–11: 更新了关于热效应和NVLink的更多想法