NuAxi半导体贸易情报

英伟达11月5日发布技术解读称HBM供应趋紧、价格上升仍将持续，援引基准称Vera Rubin NVL72较GB300 NVL72每美元智能体吞吐量最高提升30倍且每GPU HBM容量仅增约3%

发生了什么

据IT之家11月6日消息，英伟达于11月5日发布技术解读，指出随着大模型参数规模、上下文长度和智能体应用快速增长，GPU显存正面临前所未有的压力，HBM供应趋紧、价格上升，且原文称在可以预见的未来仍将持续。为破解AI内存瓶颈，英伟达探索引入全栈协同设计理念，将GPU、CPU、网络、存储和软件作为整体协同设计：推理中HBM需同时承载模型权重与KV缓存，智能体工作流部分场景需处理多达300万个token，RAG还会进一步推高内存占用。具体措施包括NVFP4低精度格式压缩模型权重和KV缓存、NVL72系统中模型权重分散至最多72颗GPU、Vera CPU的大容量LPDDR内存为暂停的上下文提供就近缓冲、Dynamo推理软件将不活跃上下文迁移至CMX上下文存储等。英伟达援引SemiAnalysis AgentX基准称，在每用户每秒125 token条件下，Vera Rubin NVL72相较GB300 NVL72的每美元智能体吞吐量最高提升30倍，而每GPU的HBM容量仅增加约3%；GB300 NVL72较H200平台在每用户每秒100 token条件下每美元吞吐量最高提升10倍。原文称AI算力竞争的关键正从显存多少转向每字节、每瓦特能产出多少有效token。