AI推理芯片占数据中心工作负载多数
推理占大多数数据中心AI工作负载,但与训练不同,它需要低延迟和可预测性。现有训练芯片侧重于峰值FLOPS,可能无法满足推理的严格限制。
关注
这种转变凸显了对专门为推理设计的芯片的需求。
- Related manufacturers
- AI Chip Makers
- Impact score
- 10 / 100, low impact
推理占大多数数据中心AI工作负载,但与训练不同,它需要低延迟和可预测性。现有训练芯片侧重于峰值FLOPS,可能无法满足推理的严格限制。
这种转变凸显了对专门为推理设计的芯片的需求。
SemiAnalysis报告基于超2000颗H100的基准测试,指出GB200 NVL72因可靠性与软件问题,目前无法用于前沿模型大规模训练。新架构软件生态通常需要时间成熟,预计年底前GB200效率将有显著提升。
报告未直接影响短期交易,但GB200部署延迟可能对现有H100/H200供需格局构成轻微支撑。
You've reached the end