美團推出全新輕量化MoE模型LongCat-Flash-Lite

【美團發佈LongCat-Flash-Lite模型】2月6日訊，美團發佈LongCat-Flash-Lite。據介紹，LongCat-Flash-Lite是一款擁有685億參數，每次推理僅激活29億~45億參數的輕量化MoE模型。通過將超過300億參數高效用於嵌入層，LongCat-Flash-Lite不僅超越了參數量等效的MoE基線模型，還在與同規模現有模型的對比中展現出卓越的競爭力，尤其在智能體與代碼領域表現突出，並依託YARN技術可支持最長256K上下文，能高效處理長文檔、大規模代碼分析等場景。