大語言模型部署方法專利公佈

【Deepseek關聯公司公佈大語言模型部署方法專利】8月1日訊，天眼查App顯示，deepseek關聯公司杭州深度求索人工智能基礎技術研究有限公司申請的“一種大語言模型的部署方法及系統”專利近日公佈。摘要顯示，該發明涉及人工智能領域，有益效果在於將預填充階段和解碼階段分別部署在高性能計算能力和大內存的機器上，均衡負載任務，實現最大化的硬件利用，減少閒置算力，降低整體延遲，提高吞吐量，增強系統的擴展性和容錯性。