DapuStor发布KV Cache NVMe SSD卸载说明文档，称外部存储分层是扩展推理集群的实用方法

发生了什么

DapuStor发布一份5页的说明文档，解释如何将逐出的KV Cache内容分层存储到NVMe SSD，以解决重计算延迟问题。文档称，将大型KV Cache数据集卸载到更具成本效益的外部存储层，正成为扩展推理集群的实用方法，并解释了KV Cache在LLM推理中的工作原理，以及NVMe SSD如何帮助构建具成本效益的AI基础设施存储层。文档还讨论了vLLM和LMCache通过文本、图表和Python代码示例所用的机制，指出两者都支持将来自多个token的KV Cache数据打包传输以提升内存和I/O效率，外部存储系统可利用这些更大的数据块生成对闪存友好的顺序大块I/O模式，提高NVMe SSD的带宽利用率。文中提到PCIe gen5 NVMe SSD容量已升至245 TB，并期望明年更高，为构建具有良好带宽和高容量的PB级外部存储KV Cache提供了空间。原文未说明原因之外的事件性影响。

影响与信号

受影响器件与厂商

来源与时间

来源：Blocks & Files · 2026/10/26 · 查看原始来源