当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek发布最新技术论文,梁文锋是共创之一

4个月前 (02-18)Deepseek最新资讯210

2月18日,DeepSeek官方在海外社交平台X上发布了一篇纯技术论文报告,论文主要内容是关于NSA(Natively Sparse Attention,原生稀疏注意力),官方介绍这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。

具体来说,NSA针对现代硬件进行了优化设计,能够加速推理过程,同时降低预训练成本,且不牺牲性能。它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。

记者注意到,在这篇名为《原生稀疏注意力:硬件对齐且可原生训练的稀疏注意力机制》(Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention)的论文署名中,DeepSeek创始人梁文锋也作为共创在列。

在论文中,DeepSeek团队表示,业界越来越认识到长上下文建模对于下一代大型语言模型的重要性,推动这一需求的应用包括深度推理、仓库级代码生成和多轮自主代理系统。然而,随着序列长度的增加,标准注意力机制的高复杂度成为了关键的延迟瓶颈。

论文提到,理论估计表明,在使用softmax架构(一种用于多分类问题的神经网络架构)时,注意力计算占解码64k长度上下文总延迟的70%-80%,这凸显了对更高效注意力机制的迫切需求。

记者将这一论文提供给DeepSeek,并让其评价对业界的影响与意义,DeepSeek称,这一技术的核心价值在于平衡效率与性能,既降低计算成本,又保持甚至提升模型能力。对行业而言,NSA为处理长上下文任务提供了一种高效的解决方案,有助于推动更强大、更经济的语言模型的发展,尤其是在需要处理长文本的应用场景中。

NSA通过高效的长序列处理能力,使模型能够直接处理整本书籍、代码仓库或多轮对话(如千轮客服场景),扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。例如,Gemini 1.5 Pro已展示长上下文潜力,NSA可进一步降低此类模型的训练与推理成本。

此外,DeepSeek提到,NSA能够降低算力门槛与部署成本。端到端稀疏训练可以减少预训练所需的计算资源(如减少A100 GPU小时数),降低企业开发大模型的资金与技术门槛。同时,可以加速推理,使长文本生成(如代码补全、故事续写)的实时性更高,适用于边缘设备或低延迟场景。

一位X用户在DeepSeek帖子下表示,“NSA 机制改变了游戏规则。超快速长上下文训练对于扩大教育领域 AI 至关重要,这与个性化学习愿景完美契合。”还有网友对此调侃“RIP Nvidia”。

自1月20日发布DeepSeek-R1并搅动AI圈以来,DeepSeek方面一直较为低调,这是这么多天以来DeepSeek唯一发布的技术动态。

“DeepSeek team is cooking! ”(DeepSeek 团队正在积极工作!)有X网友表示。

(本文来自第一财经)


“DeepSeek发布最新技术论文,梁文锋是共创之一” 的相关文章

24B模型编程超DeepSeek全家桶,32G内存苹果电脑就能跑,专门针对真实GitHub Issue训练

24B模型编程超DeepSeek全家桶,32G内存苹果电脑就能跑,专门针对真实GitHub Issue训练

Mistral沉默好久,果然在憋大招。刚刚发布最新开源编程模型Devstral,在软件工程任务上一举超过DeepSeek全家桶和Qwen3 235B。并且参数只有24B,可以在单卡RTX4090甚至3...

12345政务服务热线接入DeepSeek借助DeepSeek大模型转写技术通话内容能实时转成文字

12345政务服务热线接入DeepSeek借助DeepSeek大模型转写技术通话内容能实时转成文字

3秒可以写一篇文章2秒可以翻译一段文字……这段时间AI智能开始走进大众视野我市积极探索“AI+政务服务”新模式与科技共同进步“叮叮叮……” 清脆的电话铃声在12345政务服务热线中心响起。“您好,请问...

总编视点|DeepSeek能给运营带来多大“深度”

总编视点|DeepSeek能给运营带来多大“深度”

运营商的终极目标不应是“引入一个DeepSeek”,而是将自身重塑为AI原生企业。DeepSeek的横空出世,不仅打破美国企图在算力上卡中国“脖子”的局面,更推动算力普惠千行百业。在这样的背景下,国内...

人福医药:将关注DeepSeek等前沿技术的发展与应用

人福医药:将关注DeepSeek等前沿技术的发展与应用

金融界3月27日消息,有投资者在互动平台向人福医药提问:董秘您好!请问贵公司是否已经部署了DeepSeek?如果已经部署了,请问主要应用于哪些具体的业务?公司接入DeepSeek有哪些成本、收益方面的...

DeepSeek说:人类可以实现数字永生吗?

DeepSeek说:人类可以实现数字永生吗?

人类是否可以实现数字永生,目前存在技术、伦理与哲学层面的多重挑战,以下是关键要点分析:1. 技术障碍◦ 意识上传的复杂性:意识本质尚未明确,目前技术仅能模拟外在行为(如声音、形象)或部分思维...

DeepSeek详细介绍DeepSeek在教育领域有哪些重要应用场景?

DeepSeek详细介绍DeepSeek在教育领域有哪些重要应用场景?

总结:DeepSeek作为基于深度学习的智能语音搜索器,不仅能在文本中进行语音识别和理解,还可以在教育领域发挥重要作用。以下是一些详细介绍教育领域内的重要应用场景: 1. **教学计划查找*...