DDN英伟达合作优化推理,成本降两位数
DDN与英伟达达成合作,通过软件定义存储和BlueField-4 DPU优化AI推理,宣称KV缓存加载速度提升27倍,推理成本降低两位数。该方案旨在解决数据瓶颈,提升GPU利用率,使AI基础设施更具经济性。
关注
该技术突破可能重塑AI推理市场的成本结构,影响相关硬件需求。
- 相关厂商
- DDN、NVIDIA Corporation
- 料号
- BlueField-4
- 影响评分
- 25 / 100,低影响
DDN与英伟达达成合作,通过软件定义存储和BlueField-4 DPU优化AI推理,宣称KV缓存加载速度提升27倍,推理成本降低两位数。该方案旨在解决数据瓶颈,提升GPU利用率,使AI基础设施更具经济性。
该技术突破可能重塑AI推理市场的成本结构,影响相关硬件需求。
已经到底了