当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek发布最新技术论文,梁文锋是共创之一

4个月前 (02-18)Deepseek最新资讯208

2月18日,DeepSeek官方在海外社交平台X上发布了一篇纯技术论文报告,论文主要内容是关于NSA(Natively Sparse Attention,原生稀疏注意力),官方介绍这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。

具体来说,NSA针对现代硬件进行了优化设计,能够加速推理过程,同时降低预训练成本,且不牺牲性能。它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。

记者注意到,在这篇名为《原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力机制》(Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention)的论文署名中,DeepSeek创始人梁文锋也作为共创在列。

在论文中,DeepSeek团队表示,业界越来越认识到长上下文建模对于下一代大型语言模型的重要性,推动这一需求的应用包括深度推理、仓库级代码生成和多轮自主代理系统。然而,随着序列长度的增加,标准注意力机制的高复杂度成为了关键的延迟瓶颈。

论文提到,理论估计表明,在使用softmax架构(一种用于多分类问题的神经网络架构)时,注意力计算占解码64k长度上下文总延迟的70%-80%,这凸显了对更高效注意力机制的迫切需求。

记者将这一论文提供给DeepSeek,并让其评价对业界的影响与意义,DeepSeek称,这一技术的核心价值在于平衡效率与性能,既降低计算成本,又保持甚至提升模型能力。对行业而言,NSA为处理长上下文任务提供了一种高效的解决方案,有助于推动更强大、更经济的语言模型的发展,尤其是在需要处理长文本的应用场景中。

NSA通过高效的长序列处理能力,使模型能够直接处理整本书籍、代码仓库或多轮对话(如千轮客服场景),扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。例如,Gemini 1.5 Pro已展示长上下文潜力,NSA可进一步降低此类模型的训练与推理成本。

此外,DeepSeek提到,NSA能够降低算力门槛与部署成本。端到端稀疏训练可以减少预训练所需的计算资源(如减少A100 GPU小时数),降低企业开发大模型的资金与技术门槛。同时,可以加速推理,使长文本生成(如代码补全、故事续写)的实时性更高,适用于边缘设备或低延迟场景。

一位X用户在DeepSeek帖子下表示,“NSA 机制改变了游戏规则。超快速长上下文训练对于扩大教育领域 AI 至关重要,这与个性化学习愿景完美契合。”还有网友对此调侃“RIP Nvidia”。

自1月20日发布DeepSeek-R1并搅动AI圈以来,DeepSeek方面一直较为低调,这是这么多天以来DeepSeek唯一发布的技术动态。

“DeepSeek team is cooking! ”(DeepSeek 团队正在积极工作!)有X网友表示。

(本文来自第一财经)


“DeepSeek发布最新技术论文,梁文锋是共创之一” 的相关文章

双良节能全面启动DeepSeek全场景应用 以AI驱动产业升级

双良节能全面启动DeepSeek全场景应用 以AI驱动产业升级

2月17日,双良节能全面启动DeepSeek全产业全场景应用计划。基于DeepSeek-R1大模型的高效推理能力与成本优势,通过本地化部署实现AI与业务的深度耦合,双良将在智能制造、清洁能源等核心产业...

娄底市农业农村局举办Deep Seek智慧办公与数据安全培训

娄底市农业农村局举办Deep Seek智慧办公与数据安全培训

娄底新闻网讯(通讯员 李响炮 罗宇星)为适应以DeepSeek代表的数字化时代发展需求,提升农业农村系统干部职工对AI人工智能和数据安全的认知与应用水平,增强网络信息安全意识,3月14日,娄底市农业农...

PPIO 上线 DeepSeek-Prover-V2-671B

PPIO 上线 DeepSeek-Prover-V2-671B

4月30日,DeepSeek 在 Hugging Face 开源了 DeepSeek-Prover-V2-671B 新模型。作为一站式 AIGC 云服务平台,PPIO派欧云在第一时间上线了 DeepS...

DeepSeek-V3击败R1开源登顶!杭州黑马撼动硅谷抹去1万亿市值神话

DeepSeek-V3击败R1开源登顶!杭州黑马撼动硅谷抹去1万亿市值神话

【新智元导读】DeepSeek又卷起来了!上周刚出的DeepSeek-V3-0324在大模型竞技场排名中,打败了自己的DeepSeek-R1,成为开源AI至尊。DeepSeek依然很能打,春节余波还在...

30余个高频场景的职场应用 看这本书活用DeepSeek

30余个高频场景的职场应用 看这本书活用DeepSeek

湖南日报·新湖南客户端3月14日讯(记者 黄煌 通讯员 徐新力)随着DeepSeek的火爆出圈,越来越多的人意识到,在AI技术重构工作方式的今天,掌握DeepSeek已成为职场核心竞争力之一。如何最大...

百万年薪!DeepSeek带火AI相关岗位

百万年薪!DeepSeek带火AI相关岗位

2025年春节,中国人工智能大模型DeepSeek在全球引发轰动。DeepSeek的崛起也让相关领域的人才在这个春招季炙手可热。有企业开出百万年薪!据南方日报报道,在2月的深圳市南山区新春大型招聘活动...