当前位置:首页 > Deepseek应用场景 > 正文内容

1200行代码逆袭!DeepSeek工程师开源轻量级vLLM,吞吐量逼近原版

1个月前 (06-13)Deepseek应用场景237

机器之心报道

机器之心编辑部

开源社区的人应该对 vLLM 不陌生,它是一个由加州大学伯克利分校团队开发的高性能、开源 LLM 推理和服务引擎,核心目标是提升 LLM 的推理速度(吞吐量)和资源利用率(尤其是内存),同时兼容 Hugging Face 等流行模型库。

简单来说,vLLM 能让 GPT、Mistral、LLaMA 等主流模型系列跑得更快、消耗更少资源,取得这些效果的关键是其创新的注意力机制实现方案 ——PagedAttention。

近日,DeepSeek AI 研究者、深度学习系统工程师俞星凯从零开始构建了一个轻量级 vLLM 实现 ——Nano-vLLM,将代码简化到了 1200 行。

目前,该项目在 GitHub 上收获了 200 多的 Star。

GitHub 地址:https://github.com/GeeeekExplorer/nano-vllm/tree/main

具体来讲,Nano-vLLM 具有以下三个核心功能:

一是,Fase 离线推理。推理速度与 vLLM 相当。

二是,易读代码库。实现非常简洁,Python 代码减少到了 1200 行以下。

三是,优化套件。提供 Prefix 缓存、Torch 编译、CUDA 计算图等功能。

俞星凯在基准测试中采用了以下测试配置:

硬件:RTX 4070

模型:Qwen3-0.6B

总请求:256 个序列

输入长度:100–1024 tokens 之间随机采样

输出长度:100–1024 tokens 之间随机采样

基准测试结果如下表所示,Nano-vLLM 与 vLLM 的输出 token 相同,时间略长,推理速度(吞吐量)稍逊一点点。整体而言,二者表现相当。

作者简介

Nano-vLLM 开发者俞星凯目前就职于 DeepSeek,参与过 DeepSeek-V3 和 DeepSeek-R1 的开发工作。

有意思的是,根据其 GitHub 主页,他还曾开发过一个植物大战僵尸 Qt 版,该项目也已经收获了 270 多星。此外,由于毕业于南京大学,他还曾参与了不少南京大学的计算机项目,包括南京大学计算机图形学绘图系统、南京大学分布式系统 Raft 算法最简实现、南京大学操作系统 OSLab 等。

而根据其 LinkedIn 页面可知,他曾先后在腾讯、幻方(DeepSeek 母公司)和字节跳动实习过。2023 年后入职 DeepSeek 成为深度学习系统工程师。

你是 vLLM 用户吗?会考虑尝试 Nano-vLLM 吗?


“1200行代码逆袭!DeepSeek工程师开源轻量级vLLM,吞吐量逼近原版” 的相关文章

DeepSeek总结最浪费时间的7大行为,看完我开始深度反思

DeepSeek总结最浪费时间的7大行为,看完我开始深度反思

鲁迅有句名言,影响了我很多年。他说:“生命是以时间为单位的,浪费别人的时间等于谋财害命;浪费自己的时间,等于慢性自杀。”而很多人几乎每天都在慢性自杀,只是他们自己从未察觉。DeepSeek通过大数据统...

破!DeepSeek引发中国资产重估,后劲还有多大?

破!DeepSeek引发中国资产重估,后劲还有多大?

近期,资金持续加仓港股态势显著。2月18日,恒生科技指数继续上涨2%至5609.27点。上周,恒生科技指数大涨7.3%,在冲破去年10月的高位之后,创约3年来的收市新高。多只港股科技股近日已经突破去年...

江永举办青年夜校DeepSeek办公应用培训班

江永举办青年夜校DeepSeek办公应用培训班

今日永州讯(通讯员 谢文彬)4月17日晚,江永县青年夜校在县委党校举办了一场特别的DeepSeek课程,100多名来自全县各行各业的青年踊跃参与。此次课程特别邀请到湖南科技学院人工智能系主任程文志教授...

DeepSeek API 的返回值格式是什么?

DeepSeek API 的返回值格式是什么?

DeepSeek API 的返回值格式是什么?DeepSeek API的返回值格式通常是JSON格式。这种格式返回的数据包括生成的文本内容、状态码(用于判断请求是否成功)、错误信息(若请求失败时)等。...

海西:举办DeepSeek政务应用培训

海西:举办DeepSeek政务应用培训

怎么恢复误删的 DeepSeek 模型?要恢复误删的 DeepSeek 模型,可以尝试以下步骤:检查版本历史:打开 DeepSeek 界面,查找右上角的时间钟图标,点击进入。在这里,你可以看到之前所有...

成都企业“抢滩”DeepSeek

成都企业“抢滩”DeepSeek

成都企业“抢滩”DeepSeek最近,国产AI公司深度求索发布的大模型DeepSeek火爆全球,在各行各业掀起AI生态“抢滩登陆战”。自2024年12月上线并开源以来,DeepSeek就以其卓越的性能...