【上海團隊發佈並開源記憶原生大模型MemT-1.0】10月2

【上海團隊發佈並開源記憶原生大模型MemT-1.0】10月20日訊，10月20日，來自上海的記憶張量團隊正式發佈並開源記憶原生模型MemT-1.0系列。與以往“每次對話都從零開始”的大模型不同，這一系列把可持續存在、能夠更新的內部記憶納入模型計算，讓歷史信息與任務經驗在後續相關任務中被直接調用，無需再次提供原始歷史文本。此次開源包含MemT-1.0-Flash與MemT-1.0-Nano兩款模型，參數規模分別爲288B與36B。研發團隊在選定的Transformer模塊中引入原生記憶模塊，使原有注意力與記憶注意力並行運行，記憶由此成爲模型前向傳播的一部分。（上觀新聞）