AI推理芯片占数据中心工作负载多数
推理占大多数数据中心AI工作负载,但与训练不同,它需要低延迟和可预测性。现有训练芯片侧重于峰值FLOPS,可能无法满足推理的严格限制。
这种转变凸显了对专门为推理设计的芯片的需求。
- 相关厂商
- AI Chip Makers
- 影响评分
- 10 / 100,低影响
推理占大多数数据中心AI工作负载,但与训练不同,它需要低延迟和可预测性。现有训练芯片侧重于峰值FLOPS,可能无法满足推理的严格限制。
这种转变凸显了对专门为推理设计的芯片的需求。
SK海力士提出构建下一代AI内存生态愿景。随着AI从训练转向推理,数据移动效率成为瓶颈,架构正从处理器中心向内存中心转变。
该战略定位强化了HBM及高速内存在AI基础设施中的核心地位,长期需求前景向好。
Marvell高管指出,推理模型驱动KV缓存需求在过去九个月内增长约10倍,铜连接已逼近性能极限。随着数据中心规模突破物理限制,单机架内存无法满足需求,算力扩张正从单纯芯片竞争转向互连与内存的系统级博弈。
光学互连、定制化SerDes及内存扩展技术成为下一阶段算力扩张核心变量,相关供应商将持续受益。
Meta签署多年协议,将部署数千万个AWS Graviton 5 CPU核心,延续其向Arm架构数据中心芯片的多元化战略。Counterpoint预计到2029年,基于Arm的CPU将占据AI ASIC服务器CPU市场90%的份额。
此为长期市场份额趋势,利好Arm生态厂商,但对具体半导体元件的近期交易价格无直接影响。
Google发布TurboQuant技术,宣称将KV Cache需求降至1/6。该技术引发美光、西部数据等存储股大跌,但摩根士丹利认为效率提升将刺激总量增长。
短期情绪,但长期需关注端侧AI普及带来的需求增量。
三星电子预计AI需求将导致今年内存供应持续紧张,并已开始HBM4的量产出货。公司计划提升DDR5、SOCAMM2及GDDR7等高价值产品份额,以满足数据中心AI投资需求。
行业龙头确认AI内存结构性短缺将持续,支撑相关产品价格预期。
英伟达计划在GTC发布整合Groq LPU技术的推理芯片,OpenAI已同意成为其主要客户。申万宏源报告指出,AI算力主战场正从训练转向推理,催生CPU/LPU/国产芯片突破及海量Token消耗需求。
推理芯片竞争加剧,可能重塑对SRAM、低成本HBM等专用组件的长期需求格局,并为非GPU架构创造机会。
已经到底了
爆款新品里,到底装了谁的芯片?拆开,一颗一颗给你看。
全部拆解| Analog | $0.68 | −5.9% |
|---|---|---|
| 连接器 | $0.75 | +0.2% |
| CPU | $386.74 | −21.3% |
| DDR4 | $88.40 | −0.2% |
| DDR52026-W13 | $14.89 | −11.2% |
| GPU | $478.20 | +8.2% |
| MCU | $0.68 | −61.7%异常波动 |
| MLCC | $0.01 | +54.0%异常波动 |
| MOSFET | $0.12 | −82.8%异常波动 |
| PMIC2026-W13 | $0.44 | −12.5% |
| SSD/HDD | $288.43 | 暂无 |