当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库

5个月前 (02-25)Deepseek最新资讯304

【DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库】财联社2月25日电,DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍,DeepEP是第一个用于MoE(混合专家)模型训练和推理的EP(Expert Parallelism,专家并行)通信库,可以实现高效且优化的全对全通信,支持包括FP8在内的低精度运算,适配现代高性能计算需求。同时,DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化,不仅提供了高吞吐量,还支持SM(Streaming Multiprocessors)数量控制,兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景,DeepEP还提供了纯RDMA的低延迟内核,支持自适应路由,能实现更灵活的GPU资源控制,满足不同场景需求。

“DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库” 的相关文章

阿里通义千问与DeepSeek开源两款新模型

阿里通义千问与DeepSeek开源两款新模型

钛媒体App 3月26日消息,阿里通义千问与DeepSeek均于昨日低调开源了两款新模型。阿里发布了更适合本地部署的高性能“多模态模型”Qwen2.5-VL-32B,DeepSeek则将此前热门的“基...

DeepSeek“开源周”点燃大模型开闭源之争

DeepSeek“开源周”点燃大模型开闭源之争

本报记者 秦枭 北京报道DeepSeek 近期举办的“开源周”,宛如一颗重磅炸弹,在全球AI领域激起千层浪。然而,DeepSeek“开源周”带来的影响远不止技术层面,它如同导火索,引发了大模型开源与闭...

电信运营商接入DeepSeek影响几何?

电信运营商接入DeepSeek影响几何?

中新网北京2月28日电 (记者 刘育英)中国三家电信运营商已全面接入DeepSeek,给运营商充分利用自身算力,加快赋能千行百业数智化转型,改善自身业绩带来机遇。至2月初,中国电信旗下天翼云“息壤”已...

DeepSeek加速推开ASIC时代大门

DeepSeek加速推开ASIC时代大门

近日,DeepSeek研究团队再放大招,公开NSA算法。同日,马斯克发布Grok 3模型,试与DeepSeek和Open AI来比高。此外,Open AI首款AI ASIC芯片即将完成,有望明年量产....

AI视频大模型赛道:谁能成为下一个DeepSeek?

AI视频大模型赛道:谁能成为下一个DeepSeek?

DeepSeek压力传导至“六小虎”,部分企业调整战略,如零一万物全面拥抱DeepSeek,月之暗面参与价格战。国内AI视频生成领域中,爱诗科技、生数科技、智象未来等公司崭露头角。在“百模大战”背景下...

钉钉宣布全面接入DeepSeek系列模型

钉钉宣布全面接入DeepSeek系列模型

  2025年2月17日,钉钉正式启动第八届开工节,宣布全面接入DeepSeek系列模型,并推出四大AI礼包,为企业提供“开箱即用”的智能化解决方案,覆盖协同办公、数据处理、应用开发及专属模型定制等领...