万益资讯网

英伟达今天开源MRC集群通信协议,专门针对百万卡级别的超大规模AI训练集群优化数

英伟达今天开源MRC集群通信协议,专门针对百万卡级别的超大规模AI训练集群优化数据传输链路,整套方案落地后集群整体训练效率能提升四分之一。之前超大算力集群运行时,不同显卡之间的数据交互延迟高、数据损耗严重,中小型云厂商没有能力自研底层通信架构,很难搭建大型训练集群。这次开源附带完整落地教程,国内外多家算力服务商已经启动适配工作,会进一步降低超算集群的搭建门槛。