AI 建置 ·
AI 客服上線怎麼驗收?用情境測試檢查轉人工、報價與停用
驗收 AI 客服要測的不只是『回答像不像真人』,而是答案是否有依據、該停止時是否停止、需要人工的工作是否確實交接。本篇是建議的驗收方法,不是宇哥電腦現有系統已通過全部測試的宣告。
先把允許做的事寫清楚
區分查詢資料、產生草稿與對外執行。例如回答服務範圍可以依知識庫處理;承諾交期、確認付款或變更訂單則需要另外定義授權規則。每種情境都寫出預期結果與負責確認的人,避免只用『智能客服』四個字概括全部功能。
建立能重跑的測試表
本篇建議每題記錄:測試編號、輸入、前置狀態、可用資料版本、預期行為、實際行為、是否通過與問題處理。使用合成或經適當處理的資料,不把真實客戶個資貼到不明工具。修改模型、提示詞、知識庫或程式後,重跑受影響的題目。
至少覆蓋五類邊界情境
除了正常問題,也測缺資料、前後矛盾、要求真人、重複訊息及服務中斷。例如缺零件單價時不應編造總價;客戶說『如果有人要找真人』不一定是在要求接管;停用 AI 後收到新訊息也不應繼續自動回覆。這些是驗收題目範例,結果必須在實際系統確認。
先驗證停止與回復,再擴大人數
由指定測試帳號進行小範圍驗證,確認資料不串客、訊息不重送、人工可以接手。上線前保留可回復版本與當次設定紀錄,並確認誰有權暫停系統。沒有測過的付款、下單或其他外部動作,不應被『一般問答通過』一起算成完成。
把結果分成已測、未測與不適用
測試項目數量不能直接代表品質。每輪報告應明列環境、版本、失敗情境與未驗證範圍。NIST AI RMF 提供風險管理與評估框架;此處的測試表是實作建議,不是官方認證或特定合規保證。
執行前檢查清單
- 回答與對外執行的權限分開
- 有可重跑的情境表與版本紀錄
- 缺資料不捏造答案或價格
- 人工接管與停用實際測過
- 正式收發與隔離測試清楚區分
常見問題
測了一百題就可以正式上線嗎?
題數不是唯一標準。高風險情境、失敗處理與實際環境仍須驗證。
模型越大就不用測轉人工嗎?
不行。接管是整個系統的流程與權限問題,不只由模型能力決定。
延伸閱讀
官方參考資料
資料核對:2026-11-12。本文由 AI 協助整理並核對所列官方資料;清單與情境為規劃建議,不是實際客戶案例或產品效能保證。平台規則可能更新,操作前仍應確認當時官方文件與公司授權。
深入閱讀:Webhook 重送與事件去重
若同一詢問出現重複回覆或建單,請搭配LINE AI 事件去重檢查,分別驗證事件識別、寫入與回覆狀態。這是整體驗收中的一項,不取代權限、轉人工與停用測試。