NuAxi半导体贸易情报

HPE Alletra MP X10000经Kamiwaza验证测试：KV缓存卸载实现最高20倍首token时间加速、17倍有效推理吞吐提升

发生了什么

HPE为其Alletra Storage MP X10000赋予新用途：保存原本会被逐出昂贵GPU内存并需重新计算的推理状态。在由Kamiwaza验证、使用NVIDIA H200 GPU、Kamiwaza AI平台和HPE Alletra MP X10000的测试中，该方案相比不使用KV缓存卸载实现了最高20倍的首token时间加速和17倍的有效推理吞吐量提升。该Kamiwaza验证的测试使用NVIDIA Nemotron 70B以及超过30个并发代理，在大上下文、多代理推理条件下进行。文章同时强调这些收益是特定于工作负载的，取决于上下文长度、并发度、缓存命中率和传输开销；20倍加速是测试结果而非普遍保证。HPE Alletra MP X10000为卸载的缓存提供共享层，RDMA for S3加速存储数据路径。此文为HPE提供的合作推广内容。