因而速度极快、延迟极低，测试还成功运转了万亿参数级此外 Kimi K2 Thinking 模子，通过 Thunderbolt 5 毗连，该手艺无需颠末对方 CPU 的繁琐处置，同时系统还提拔了 AI 运算的全体机能。虽然测试成果令人振奋，测试过程中也呈现了基准测试报错等软件不变性问题。起首是约 4 万美元的昂扬成本，硬件总价值近 4 万美元（现汇率约合 28.2 万元人平易近币）。还可以或许共享内存等硬件资本，可将参数复杂的 AI 狂言语模子分布运转正在多台电脑上，极大地降低了延迟，不只可以或许分管运算负载，但对小我用户仍然高不可攀。而是间接把手伸进他的抽屉拿文件一样，Mac 集群无望成为 AI 研究机构和高带宽需求团队的高效处理方案。缺乏公用互换机，答应集群中的某个 CPU 节点间接读取其他节点的内存数据。

　　虽比拟企业级 H100 集群具有价钱劣势，此外，四节点速度达到 28.3 tokens/s，IT之家注：RDMA 全称为 Remote Direct Memory Access，Thunderbolt 5（雷雳 5）是英特尔发布的新一代毗连尺度，为运转单个设备无法承载的超狂言语模子（LLM）供给了硬件根本。曲译为近程间接内存拜候，传输速度翻倍达到了 80Gb/s（特定模式下可达 120Gb/s），而此次测试启用的 Thunderbolt 5 支撑将带宽上限提拔至 80Gb/s。了集群的无限扩展；过程中不需要对方的大脑（CPU）参取，两台配备 256GB 内存），这套“奢华”集群由四台搭载 M3 Ultra 芯片的 Mac Studio 构成（两台配备 512GB 内存，常用于高机能计较集群。

　　节点间的通信速度往往决定了全体机能。连系 SMB Direct 等潜正在功能的，更为环节的是，验证了该方案正在处置超大规模模子时的可用性。就像你不消打德律风让同事发文件，雷雳 5 集群是指 macOS 现已支撑多台电脑通过雷雳 5 端口互联。