新一代文本模型技術的探索與應用

【面壁智能發佈基於稀疏-線性混合架構SALA訓練9B模型】2月12日訊，面壁智能正式發佈稀疏-線性注意力混合架構SALA，以及基於該架構的文本模型MiniCPM-SALA，模型僅有9B參數。據介紹，MiniCPM-SALA不使用投機採樣等加速算法，在雲端推理芯片上，當序列長度爲256K詞元時推理速度高達Qwen3-8B的3.5倍，並支持在雲端芯片和消費級端側GPU上進行高達一百萬詞元上下文長度的推理。