在美国人工智能企业专注于价格昂贵的闭源模型时,DeepSeek选择开放其技术,赢得了海外网友的称赞。10月20日,DeepSeek宣布开源内部生产级推理框架DeepInfer。这一框架在面临美国尖端芯片出口限制的情况下,帮助DeepSeek保持了与美国顶尖AI模型的竞争优势。
推理框架负责管理模型如何使用计算资源来处理用户请求,其设计直接影响延迟、吞吐量以及运行模型所需的硬件,是影响AI运营成本的重要因素。彭博社指出,通常情况下,AI公司会将推理技术视为核心竞争力而不愿公开,但DeepSeek此次公开推理框架,让外界了解其如何在降低运行成本的同时保证AI模型性能。
即使使用同一款AI模型,实际运行成本也可能因所采用的软件不同而存在较大差异。高效的软件能够减少每次请求所需的计算资源,并进一步降低能源消耗。DeepInfer整合了分布式推理、投机解码等多项技术,使得AI工作负载可以分配到不同的硬件上,从而提高输出效率并挖掘芯片性能。目前,该框架已兼容英伟达SM100 GPU和华为昇腾950 NPU。尽管其中不少底层技术已被业界广泛采用,但DeepSeek对其进行了专门优化,使这些技术更加高效地协同工作。
对于AI托管服务商来说,更低的推理成本意味着更大的利润空间,并可能转化为更低的服务价格。而对于企业用户而言,在自有基础设施上运行DeepSeek模型时,DeepInfer也能帮助降低算力成本。此外,开源后其他开发者也可以研究DeepInfer中的技术方案,并将其应用到自己的模型中。
发表回复
要发表评论,您必须先登录。