華為UCM推理記憶管理技術開源概覽

【華爲UCM推理記憶管理技術正式開源】11月5日訊，華爲針對AI推理加速的關鍵技術——UCM（UnifiedCacheManager）推理記憶數據管理正式宣佈開源。據華爲介紹，UCM目前具備四大能力：稀疏注意力、前綴緩存、預填充卸載、異構PD解耦，實現首Token時延最高降低90%，系統吞吐最大提升22倍，並達到10倍級上下文窗口擴展。（華爲數據存儲）