25Taalas HC1芯片推理成本降至0.0075美元
Taalas推出HC1芯片将Llama 3.1 8B硬连线至ASIC,推理成本降至0.0075美元/百万Token。该技术通过物理固化权重绕过HBM,速度达17,000 tokens/秒。利空HBM及高端GPU推理需求。
Press Enter to search flash briefings
Taalas推出HC1芯片将Llama 3.1 8B硬连线至ASIC,推理成本降至0.0075美元/百万Token。该技术通过物理固化权重绕过HBM,速度达17,000 tokens/秒。利空HBM及高端GPU推理需求。
已到底