DeepSeek于10月20日宣布开源内部生产级推理框架DeepInfer，该框架已兼容英伟达SM100 GPU和华为昇腾950 NPU

据大橘财经报道，10月20日，DeepSeek宣布开源其内部生产级推理框架DeepInfer。该框架是DeepSeek在面临美国尖端芯片出口限制背景下，确保其大模型紧追美国顶尖AI模型的核心；推理框架负责管理模型如何使用计算资源处理用户请求，会影响延迟、吞吐量、所需硬件及AI运营成本。DeepInfer整合分布式推理、投机解码等技术，可将AI工作负载分配到不同硬件上，目前该框架已兼容英伟达SM100 GPU和华为昇腾950 NPU。彭博社10月21日指出，推理技术通常被视为AI公司核心竞争力、较少公开，此次公开让外界得以了解DeepSeek如何在压低运行成本的同时保证模型性能。需要说明的是，此次发布的并非完整推理技术栈，构建完整服务还需KV缓存系统、Prefill/Decode解耦及数据并行副本间负载均衡等功能，这些未完全包含在本次开源项目中，不过大部分核心解耦功能已实现。原文未说明此次开源的具体动机原因。

来源：华尔街见闻 · 2026/10/22 · 查看原始来源