AI 效能 · 資料查核
本地 AI 對話越長越吃記憶體?先規劃 context 長度
發布:(台灣時間)
本地 AI 不能只看模型檔案下載有多大。要承接長對話或長文件,還必須把上下文長度需要的記憶體列入測試。

上下文不是永久記憶
Ollama 文件將 context length 定義為模型在記憶體中可取得的 token 上限,並說明提高長度會增加記憶體需求。這個設定不代表模型會永久記住所有歷史,也不是越大就一定越正確。
先量工作,再調參數
整理常見問題、最長必要文件與回答長度。先用短問題建立基準,再逐步加入代表文件,記錄回覆時間、記憶體使用及是否仍答到重點。不要一開始把所有對話塞進同一次請求。
保留可比較的測試紀錄
固定模型、版本與測試資料,每次只變動一個條件。若要做摘要或知識檢索,另測是否遺漏重要條件。硬體規格與設定只能提供容量條件,仍要靠實際問答驗證品質。
延伸閱讀
原廠參考資料
來源日期:持續更新文件;查核 2026-11-14 台灣時間。資料查核:2026-11-14(台灣時間)。本文由 AI 協助整理並核對所列官方資料;檢查清單為編輯建議,不是實際客戶案例或產品效能保證。原廠文件可能更新,操作前仍應確認最新資料與公司授權。