Intel发布针对Xeon服务器CPU优化的AI推理软件Inference Microservice
Intel于10月16日发布Intel Inference Microservice软件,旨在最大化其Xeon服务器CPU上的AI推理性能。该容器化软件可快速针对CPU优化大语言模型(LLM),包含运行开源LLM所需的代码库、引擎和配置;启动时会检测Intel处理器并应用经验证和调优的AI推理设置,降低对AI推理优化专家的依赖。OpenAI SDK、LangChain、LlamaIndex、LiteLLM和Haystack等主流AI框架支持OpenAI API规范,该软件默认使用开源vLLM作为推理引擎。原文指出,此前针对硬件优化现有LLM需要一周时间,计算精度、跨CPU核心的负载分配、跨NUMA节点的内存分配及硬件指令集选择等设置因AI模型与处理器组合而异。Intel还计划将Inference Microservice支持扩展至其整个GPU产品线,包括面向AI推理设计的D-series GPU(此为计划)。
- Related manufacturers
- Intel
- Impact score
- 30 / 100, medium impact