当前位置:首页 > Deepseek应用场景 > 正文内容

1200行代码逆袭!DeepSeek工程师开源轻量级vLLM,吞吐量逼近原版

2个月前 (06-13)Deepseek应用场景254

机器之心报道

机器之心编辑部

开源社区的人应该对 vLLM 不陌生,它是一个由加州大学伯克利分校团队开发的高性能、开源 LLM 推理和服务引擎,核心目标是提升 LLM 的推理速度(吞吐量)和资源利用率(尤其是内存),同时兼容 Hugging Face 等流行模型库。

简单来说,vLLM 能让 GPT、Mistral、LLaMA 等主流模型系列跑得更快、消耗更少资源,取得这些效果的关键是其创新的注意力机制实现方案 ——PagedAttention。

近日,DeepSeek AI 研究者、深度学习系统工程师俞星凯从零开始构建了一个轻量级 vLLM 实现 ——Nano-vLLM,将代码简化到了 1200 行。

目前,该项目在 GitHub 上收获了 200 多的 Star。

GitHub 地址:https://github.com/GeeeekExplorer/nano-vllm/tree/main

具体来讲,Nano-vLLM 具有以下三个核心功能:

一是,Fase 离线推理。推理速度与 vLLM 相当。

二是,易读代码库。实现非常简洁,Python 代码减少到了 1200 行以下。

三是,优化套件。提供 Prefix 缓存、Torch 编译、CUDA 计算图等功能。

俞星凯在基准测试中采用了以下测试配置:

硬件:RTX 4070

模型:Qwen3-0.6B

总请求:256 个序列

输入长度:100–1024 tokens 之间随机采样

输出长度:100–1024 tokens 之间随机采样

基准测试结果如下表所示,Nano-vLLM 与 vLLM 的输出 token 相同,时间略长,推理速度(吞吐量)稍逊一点点。整体而言,二者表现相当。

作者简介

Nano-vLLM 开发者俞星凯目前就职于 DeepSeek,参与过 DeepSeek-V3 和 DeepSeek-R1 的开发工作。

有意思的是,根据其 GitHub 主页,他还曾开发过一个植物大战僵尸 Qt 版,该项目也已经收获了 270 多星。此外,由于毕业于南京大学,他还曾参与了不少南京大学的计算机项目,包括南京大学计算机图形学绘图系统、南京大学分布式系统 Raft 算法最简实现、南京大学操作系统 OSLab 等。

而根据其 LinkedIn 页面可知,他曾先后在腾讯、幻方(DeepSeek 母公司)和字节跳动实习过。2023 年后入职 DeepSeek 成为深度学习系统工程师。

你是 vLLM 用户吗?会考虑尝试 Nano-vLLM 吗?


“1200行代码逆袭!DeepSeek工程师开源轻量级vLLM,吞吐量逼近原版” 的相关文章

DeepSeek在线使用指南:解锁高效智能体验

DeepSeek在线使用指南:解锁高效智能体验

DeepSeek在线使用指南:解锁高效智能体验一、引言在当今信息爆炸的时代,如何快速准确地获取所需信息成为了每个人面临的挑战。DeepSeek作为一款功能强大的人工智能工具,以其高效的搜索能力、用户友...

deepseek入局搜索混战

deepseek入局搜索混战

DeepSeek应用以史上最快速度达成3000万日活。据调研机构QuestMobile,1月28日,DeepSeek日活跃用户数首次超越豆包,随后在2月1日突破3000万大关。目前DeepSeek、字...

DeepSeek实战技巧:最强使用攻略,100个精品提示词

DeepSeek实战技巧:最强使用攻略,100个精品提示词

掌握 DeepSeek 这招,1000 神级提示词带你秒变 AI 高手想成为 AI 领域的佼佼者吗?这里有一份 DeepSeek 实战技巧大礼包!涵盖从新手入门到高手进阶的全方位教程,揭秘 99% 的...

中天科技宣布接入DeepSeek大模型

中天科技宣布接入DeepSeek大模型

中天科技官微2月25日消息,日前,中天科技正式宣布接入DeepSeek大模型,并全面部署DeepSeek大模型体系。在工业互联网、智能制造、可信数据、人工智能等关键领域,DeepSeek将助力中天科技...

快递物流行业迎来“DeepSeek时刻”,以AI重构“速度-成本”最优解

快递物流行业迎来“DeepSeek时刻”,以AI重构“速度-成本”最优解

曾几何时,AI领域信奉“大力出奇迹”,随着DeepSeek横空出世,以“四两拨千斤”的创新路径,仅以数百万美元的训练成本就实现了Chat-GPT4的同等性能,同时参数量也仅为对手的几十分之一。这就是D...

协鑫能科:公司暂时没有与DeepSeek开展业务合作

协鑫能科:公司暂时没有与DeepSeek开展业务合作

金融界2月17日消息,有投资者在互动平台向协鑫能科提问:尊敬的董秘你好!新年好!公司DeepSeek有合作吗?公司回答表示:公司主要从事能源资产投资管理及综合能源服务相关业务,目前公司暂时没有与Dee...