AI 容量規劃 · 資料查核
一個人問 AI 很快,多人就卡?先測併發與等候佇列
發布:(台灣時間)
單次回覆很快,不能直接推算十位同事一起使用也一樣快。公司 AI 的容量測試,需要把同時請求、記憶體與等候時間分開記錄。

多人請求會改變資源需求
Ollama 官方文件說明,同時處理及載入模型會受可用記憶體影響;請求可能排隊,過多請求也可能得到 503 過載回應。不要只把單人展示當成正式服務容量。
做一個小型測試表
固定同一模型與代表問題,分別測一人、少量多人與預期尖峰。記錄等待開始、首次回覆、完成時間及失敗數。測試在隔離環境進行,不用正式客人的對話或真實訂單壓測。
先定義忙碌時怎麼回應
建議設計清楚的等候提示、逾時處理與轉人工路徑,避免使用者連按重送。擴充硬體前先找出瓶頸,不能只增加佇列長度就宣稱服務變快;更長佇列也可能讓人等更久。
延伸閱讀
原廠參考資料
來源日期:持續更新文件;查核 2026-11-14 台灣時間。資料查核:2026-11-14(台灣時間)。本文由 AI 協助整理並核對所列官方資料;檢查清單為編輯建議,不是實際客戶案例或產品效能保證。原廠文件可能更新,操作前仍應確認最新資料與公司授權。