当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库

5个月前 (02-25)Deepseek最新资讯295

【DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库】财联社2月25日电,DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍,DeepEP是第一个用于MoE(混合专家)模型训练和推理的EP(Expert Parallelism,专家并行)通信库,可以实现高效且优化的全对全通信,支持包括FP8在内的低精度运算,适配现代高性能计算需求。同时,DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化,不仅提供了高吞吐量,还支持SM(Streaming Multiprocessors)数量控制,兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景,DeepEP还提供了纯RDMA的低延迟内核,支持自适应路由,能实现更灵活的GPU资源控制,满足不同场景需求。

“DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库” 的相关文章

“算”启“新”局 从三个维度探与DeepSeek合作前路——访立昂技术总裁周路

“算”启“新”局 从三个维度探与DeepSeek合作前路——访立昂技术总裁周路

新华财经乌鲁木齐3月14日电(记者郝玉、郭燕、王菲)当前,DeepSeek崛起引领全球AI产业浪潮,给各行业带来机遇和挑战。但其背后,是算力、云计算作为重要支撑。近期,记者对话立昂技术股份有限公司总裁...

DeepSeek+腾讯双重龙头!“强得可怕”,连创历史新高!

DeepSeek+腾讯双重龙头!“强得可怕”,连创历史新高!

云计算利好频出。2月18日,A股主要指数集体调整。截至收盘,沪指跌0.93%,深证成指跌1.61%,两大科创指数跌幅均在2%左右水平。沪深两市成交额接近1.8万亿元,较昨日缩量逾千亿。行业板块呈现普跌...

AI冲击波来了!多家险企宣布接入DeepSeek

AI冲击波来了!多家险企宣布接入DeepSeek

国产开源大模型DeepSeek一经发布,就以其训练成本、推理能力等方面的优异表现,在国内外引起强烈反响。近日,各家保险公司密集在官微宣布,已接入DeepSeek。那么,目前DeepSeek在保险领域的...

同程旅行宣布接入DeepSeek,成为首家接入DeepSeek大模型的OTA平台

同程旅行宣布接入DeepSeek,成为首家接入DeepSeek大模型的OTA平台

2月28日,同程旅行宣布同程程心大模型将全面接入DeepSeek,成为首家接入DeepSeek大模型的OTA平台。据悉,同程程心是同程旅行自主研发的旅游行业专属模型,未来将与DeepSeek深度协同,...

DeepSeek融入闽企智能化生产

DeepSeek融入闽企智能化生产

东南网2月28日讯(福建日报见习记者 汤海波) 日前,泉州汇成针织有限公司成功打造福建省首个纺织专用设备行业深度融合国产AI大模型DeepSeek的智能化生产体系。这家位于泉州洛江的制造业企业,通过将...

外媒:从DeepSeek到《哪吒2》 中国不断突破科技创新与艺术创造极限

外媒:从DeepSeek到《哪吒2》 中国不断突破科技创新与艺术创造极限

国际在线专稿:美国《欧亚评论》网站近日刊发学者伊姆兰·哈立德署名文章《从电影票房到人工智能:中国重新定义全球叙事》。文章聚焦近期火爆出圈的两大“中国智造”——国产AI大模型DeepSeek和国产动画影...