摩爾線程與硅基流動合作推進大模型推理技術

【摩爾線程攜手硅基流動實現DeepSeek-V3大模型高性能推理】1月21日訊，摩爾線程與硅基流動聯合宣佈，雙方在MTT S5000上，利用FP8低精度推理技術，完成了對DeepSeek V3 671B 滿血版大模型的深度適配與性能測試。實測單卡Prefill（預填充）吞吐超4000 tokens/s，Decode（解碼）吞吐超1000 tokens/s，單卡速度逼近國際頂尖產品。（藍鯨財經）