DeepSeek才是真正的OpenAI:开源技术赢得海外赞誉

  在美国人工智能企业专注于价格昂贵的闭源模型时,DeepSeek选择将自身技术对外开放,赢得了海外网友的赞誉。10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。该框架是确保大模型性能的关键,特别是在美国尖端芯片出口受限的情况下。推理框架负责管理计算资源如何处理用户请求,影响延迟、吞吐量及硬件需求,因此对AI运营成本有重要影响。

  

  彭博社指出,推理技术通常被视为核心竞争力,很少对外公开。DeepSeek此次公开推理框架,展示了它如何在降低成本的同时保持高性能。即使是同一款AI模型,实际运行成本也可能因所用软件不同而存在较大差异。高效的软件能够减少每次请求所需的计算资源,降低能源消耗。

  

  DeepInfer整合了分布式推理、投机解码等多项技术,使AI工作负载能在不同硬件上分配,提高输出效率并挖掘芯片性能。目前,该框架已兼容英伟达SM100 GPU和华为昇腾950 NPU。尽管许多底层技术已被广泛采用,但DeepSeek对其进行了专门优化,以提高协同运行效率。

  

  对于AI托管服务商来说,更低的推理成本意味着更大的利润空间,可能转化为更低的服务价格。对企业用户而言,在自有基础设施上运行DeepSeek模型时,DeepInfer也有助于降低算力成本。此外,其他开发者可以研究DeepInfer中的技术方案,并将其应用于自己的模型推理系统中。

评论

发表回复