先說在前面:這是一個進行中的測試,還沒有結果可以分享。這篇文章記錄我們想驗證什麼、為什麼這樣設計測試,結果出來後會再補上。
石材廠的倉管和業務,每天都在回答同樣的問題:「現在有什麼料?」「這顆原石有幾片、能不能動用?」「有沒有長度 250 到 300 的光板?」這些答案都在 ERP 裡,但分散在不同頁面和好幾層彈出視窗,查一次要點很多下。
我們為石材一次加工廠開發的 ERP 已經內建 AI 智慧助理,可以回答員工手冊和操作手冊上的問題。下一步我們想知道的是:具備 computer use 能力的 AI Agent(看得到畫面、能點擊和輸入),能不能像人一樣直接操作 ERP,把這些查詢做完,而且答案可信?
如果可行,代表很多舊系統不必先重寫 API,AI 就能透過既有的操作介面幫上忙。
第一輪只讀不寫:不新增、不編輯、不刪除。每個任務都對應真實的工作情境,也都訂了驗收標準,做完可以逐條核對對錯。
只描述情境和產出,不寫點擊步驟。我們想測的是 Agent 能不能自己看懂介面,而不是照腳本操作。
把「誠實度」當成獨立的考題。查詢能力再好,只要會編造答案,就不能拿來做報價和出貨判斷。這題成本最低,所以排在前面先做。
登入由人來做。帳號密碼不交給 Agent,由人工登入後,Agent 從系統首頁接手。
測試完成後,我們會整理哪些任務 Agent 做得可靠、哪些還不行,以及失敗的原因,再更新到這篇文章。
如果您的企業也想讓 AI 協助操作既有系統,歡迎先跟我們聊聊您的情境。在測試結果出來之前,我們會誠實告知目前的能力範圍,不會用還沒驗證過的方案承接案件。