DeepSeek开源推理框架DeepInfer:单一集群服务吞吐155万亿Tokens/天,每卡每小时收入38美元(按谷价)
快科技10月20日消息,DeepSeek发布DeepSeek V4.1 Flash大规模推理部署实践文章,开源大规模云服务推理框架DeepInfer,目的是让大模型能力以合理成本服务海量用户。V4.1 Flash设计目标包括:兼容多种厂商的计算芯片并在不同硬件平台部署;用常见8卡机器做Prefill、用常见64~128卡超节点做Decode;支持将KVCache保留72小时以上以减少缓存命中时的重复Prefill计算。DeepSeek称基于DeepInfer已实现DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务,目前单一集群服务吞吐为155万亿Tokens/天,整体收入为每卡每小时38美元(按谷价)。原文未说明原因之外,DeepSeek未公布具体集群数量和显卡数量,因此无法估算其每天真实收入和Token吞吐量。文中还提到OpenAI与Anthropic两家合计Token吞吐量约100万亿Token/天、上限估计约160万亿,因其模型多、旗舰级产品参数量公认在5万亿以上而单价高,每天收入比DeepSeek高出1-2个量级,但数据不便于直接对比。
- Related manufacturers
- DeepSeek
- Impact score
- 10 / 100, low impact