AWS AgentCore 評估框架九階段(全文來源分析)

來源資訊

摘要

AWS 用自家銷售團隊的內部 Agent(賣家以自然語言問業務問題,背後有多個子 Agent:Performance Insights、Customer Insights、Data Insights 做 text-to-SQL,另有儀表板)說明一件事:Agent 不會大聲壞掉,只會「安靜地錯」。他們的 Customer Insights Agent 上線前被查出把三個月營收 410.08 Million」、把「Sales Revenue excluding Adjustments」標成 Sales Revenue、給出資料裡不存在的 ARR 估計、把自己的推算當成有來源的事實——而監控全程是綠燈。文章主張品質要當成「Agent 的操作系統」,用九個階段串成一個閉環。

關鍵洞察

  1. 九階段用九個問題定義:①基礎:什麼叫做好?②實驗:哪個版本更好?③合併 CI:我改壞了什麼?④上線閘門 CD:可以上生產嗎?⑤Canary:有沒有東西悄悄壞了?⑥對抗:有人刻意來破會怎樣?⑦漂移:線上品質在漂嗎?⑧脈搏:現在這一刻還正常嗎?⑨回饋閉環:怎麼自動變好?作者強調這九段不是事後拼裝的工具,而是同一套評估面上的九個點。
  2. 先定商業指標,再換算評估指標(Stage 1):同一套系統對「賣家」與「主管」的成功定義不同,所以先問 Agent 存在的目的是什麼,再把每個成果對應到可追蹤的訊號,每個訊號都要有門檻與告警條件。
  3. 把「錯誤」拆成品質分類再逐類追蹤:metric swap(抓對客戶與期間、給錯指標)、wrong period(YoY 當 MoM)、wrong entity(子公司混淆)、pure hallucination(無可追溯來源的數字)、wrong symbols(幣別/單位錯)、unauthorized calculation(自行推算),各自有計量單位(每 100 次回應次數、正確率 %)。總通過率是頭條指標,但逐類追蹤才可行動。
  4. 評估器要混搭四類:AgentCore 內建(relevance/faithfulness/helpfulness)、針對每種失敗型態寫的自訂評估器、第三方開源託管評估器(DeepEval、AutoEval)、以及正確答案已知時的決定性檢查(營收、續約日、合約狀態)。沒有單一評估器能覆蓋所有失敗型態。
  5. golden set 是活文件:來源包含從真實賣家與主管查詢抽樣的生產案例(含第 7 階段線上抓到低分後回流的案例),以及每次回歸測試抓到的失敗案例;工具層與 Agent 層各有自己的 ground truth。
  6. 版本比較要看整張成績單:每次改動(prompt、工具、模型升級、資料更新)都用同一份 golden set 與同一套評估器跑,並同時看品質、延遲、成本與 context token;只有一個通過率數字不足以判斷。
  7. 最有說服力的一段是失敗清單本身:410.08 Million」這種錯誤,任何以「有回應、有延遲、沒報錯」為監控口徑的系統都會放行。

對顧哥品牌的意涵

  • 可直接支撐既有主張「Agent 上線後驗收要繼續」:這篇不是講概念,而是給了一份可對照的階段清單與失敗型態分類,適合當方法論骨架。
  • 「監控綠燈但答案是錯的」是很好的具體開場素材,比抽象講「品質會漂移」有力。
  • 對台灣中小企業與講師團隊的翻譯:不必照抄九階段,先做兩件事——把錯誤分類列出來、把每次改動都用同一組測試案例比一次。
  • 使用限制:這是 AWS 描述自家系統與自家產品(AgentCore Evaluations),不能寫成「業界標準」或「大家都該這樣做」;文中的 $410.08 例子是他們的案例,不是通用統計。

可發布角度

  1. 「監控全綠,答案是錯的」:用 410.08 Million 的例子說明為什麼成功率不等於品質。
  2. 上線前就要定義什麼叫錯:把六種錯誤型態翻成白話(抓對人給錯數字、期間錯、公司混淆、憑空生成、幣別錯、自己算的當成查到的),做成檢查清單。
  3. 改一次就要比一次:prompt、工具、模型、資料任一項變動都要用同一份測試案例重跑,並看整張成績單而不是單一數字。
  4. 小團隊的三步起手式:列出最痛的失敗型態 → 各準備 10 個案例 → 每次改版重跑並記錄差異。
  5. 不要買了評估工具就等於有驗收:四類評估器混搭的必要性,以及「正確答案已知就用決定性檢查」這種最便宜的做法。

證據與限制

  • 全文已存 raw,本頁所有細節均可回查;但文章屬供應商自述,沒有公開的樣本數、錯誤率改善幅度或成本數字。
  • 「九階段是一個閉環」「同一套評估面」是作者的設計主張,非獨立驗證的架構結論。
  • 文中案例($410.08 等)發生在 AWS 自家內部系統,不能推論為一般企業的錯誤分布。
  • 「Amazon Quick」為原文用語,未在文中進一步定義,引用時不要自行改寫成其他產品名稱。