大模型之家讯 2月25日,人工智能公司DeepSeek宣布开源其全新开发的DeepEP通信库。作为首个专门针对混合专家(MoE)模型训练和推理设计的开源通信库,DeepEP以其高效的全员沟通机制、对NVLink和RDMA等技术的支持以及强大的GPU资源控制能力而备受关注。该库不仅在节点间实现了高吞吐量内核,还在推理解码中展现了低延迟优势,并原生支持FP8调度功能,为AI模型的高效训练和推理提供了重要工具。
大模型之家讯 2月25日,人工智能公司DeepSeek宣布开源其全新开发的DeepEP通信库。作为首个专门针对混合专家(MoE)模型训练和推理设计的开源通信库,DeepEP以其高效的全员沟通机制、对NVLink和RDMA等技术的支持以及强大的GPU资源控制能力而备受关注。该库不仅在节点间实现了高吞吐量内核,还在推理解码中展现了低延迟优势,并原生支持FP8调度功能,为AI模型的高效训练和推理提供了重要工具。