DDN英伟达合作优化推理,成本降两位数
DDN与英伟达达成合作,通过软件定义存储和BlueField-4 DPU优化AI推理,宣称KV缓存加载速度提升27倍,推理成本降低两位数。该方案旨在解决数据瓶颈,提升GPU利用率,使AI基础设施更具经济性。
关注
该技术突破可能重塑AI推理市场的成本结构,影响相关硬件需求。
- Related manufacturers
- DDN, NVIDIA Corporation
- Part numbers
- BlueField-4
- Impact score
- 25 / 100, low impact