LLM Agent 執行環境比較(每週更新)
本頁每週改寫,只放當週有證據的欄位;沒有證據的格子一律寫「本週無新證據」,不沿用舊週推測。資料來源:knowledge-monetization-weekly-scan-2026-11-15(本輪僅索引層,未抓全文;fulltext_deepening.reason=trafilatura_not_installed)。本頁不是排行榜,也不構成採購建議。
一、本週 LLM Agent 比較表(2026-11-07 ~ 2026-11-15)
| 平台/模型/工具鏈 | 本週關鍵更新(來源+日期) | Agent runtime/工具邊界 | 企業案例 | 治理與評估 | 信心與限制 |
|---|---|---|---|---|---|
| OpenAI | ChatGPT Wallet:ChatGPT Work/Codex/dots 的 agent 可在使用者核准下完成購買,沿用既有卡片保護(11-13);Control Room:追蹤研究基礎設施上的模型工作負載、必要時快速停止(11-09);Businesses in ChatGPT(11-10);ChatGPT Enterprise 上 AWS Marketplace(11-09) | 權限設計首次同時處理「可以付」與「必須停」;Wallet 把核准放在交易當下,Control Room 把停止做成可操作的控制面 | Shield 的 Forge agent 代 IT 技術員跑舊系統入口(11-13);Amplitude 的產品 agent Wave 讓改動 1–2 天出貨(11-12);Holiday Extras 用 Codex 把客服專業轉成 app(11-12);新加坡航空稱 Kris 聊天機器人 CSAT 翻倍(11-10);CodeRabbit 稱同團隊出貨量 20 倍(11-09);Cogent 用 agent 自動修補漏洞(11-10);Kuken 70 年圖面檢索由近一小時降到 4.5 分鐘(11-09) | Wallet 僅美國 Pro 訂閱者分批上線(官方說明);Control Room 是 OpenAI 內部研究設施工具,非客戶功能;未見獨立安全評估 | 全為官方公告與客戶自述;20x/CSAT 翻倍/4.5 分鐘皆無方法與抽樣說明 |
| Google/DeepMind | Gemini Decisions API:以決策模型做快速、校準過的多模態判斷(11-11);Gemini 4 Hydrogen 進 Google Search(11-12);Tabletop 協作實驗(11-11);Gemini for healthcare(11-10);Adobe 工具整合(11-10) | 把「生成」與「分類/評分」拆成不同 API,是 runtime 設計上的重要分岔 | 本週無新證據 | 本週無新證據 | 官方說法,無第三方實測;「校準(calibrated)」的衡量方式未公開 |
| Google DeepMind(研究線) | AlphaProof Code:agent 以 Lean 寫出三百萬行證明,驗證 Signal 的核心加密(11-10);Gemini Robotics 2.5(11-09);Gemini 4 Carbon 上線(11-10);開放氣象模型資料集(11-10) | 以形式化證明做「可機器檢查的驗收」,是目前最強的驗收範例 | 本週無新證據(研究線) | 驗收方式本身可被外部重跑(Lean 證明)是本週唯一「可獨立檢查」的成果型態 | 三百萬行與驗證範圍為官方說法;未見同儕審查 |
| Anthropic | 本週無官方新證據(YouTube 0 支、新聞站無 RSS) | 本週無新證據 | 本週無新證據 | 本週無新證據 | 僅第三方評測:The Verge 實測 Claude Duet(11-13)、Lenny’s Newsletter 評 Claude Fable 5.2(11-09),皆為媒體體驗文,非官方規格 |
| Microsoft | 本週無新證據(Microsoft Source RSS 0 篇、Agent Framework blog 0 篇) | 本週無新證據 | 本週無新證據 | 本週無新證據 | — |
| LangChain/LangGraph | Goal Engineering:主張 agent 的下一步是接下開放式目標並推進到完成(11-14);Series C 3 億美元、估值 30 億(11-13);Eval-Driven Development 方法文(11-12)與 Dosu 案例(11-09);Promptim 提示優化實驗庫(11-09);GTM Agent 產銷售素材(11-12) | 把「先寫 eval 再寫 agent」與「提示自動優化」放進同一條工具鏈;LangSmith 為觀測與評估載體 | Workday 以 LangGraph+LangSmith 建內部 agent 平台,原型時間由數月降到一天以內(11-10) | 評估被寫成開發流程的一部分(EDD),不再是上線後的檢查;但沒有對外基準分數 | 全部為供應商自述與自家方法論;Workday 的「一天以內」未說明範圍與樣本 |
| CrewAI | 本週無新證據(窗口內 0 篇) | 本週無新證據 | 本週無新證據 | 本週無新證據 | — |
| AWS | 成本口徑:coding agent 要比 cost per solved task 而非 price per token,並以 LiteLLM+NeMo Switchyard 做路由(11-13);每任務成本與 ROI 證明(人工基準線、holdout,11-12);四個影響帳單的推論選擇(11-12);per-IAM 成本歸屬與預算強制(11-12);self-service LLM gateway 的每人配額(11-12) | AgentCore runtime V2 以快照還原縮短 session 啟動(11-13);下一代 runtime 主打硬體隔離 session、用量計費(11-12);knowledge base 遷移由 coding agent 以唯讀探索先行(11-12) | Natera 的 SWARM 以 AgentCore 承接實驗室營運知識,首次回應約快 130 倍(11-12);GS Caltex 讓無程式碼模型進正式生產,部署由約一週降到數小時(11-13);AssemblyAI 以 Spot 省 70% 成本(11-13) | 成本治理被做成可執行機制(超預算套 Deny 政策),是目前最接近「治理即程式」的一組 | 全為 AWS 與客戶自述;「solved」判定、130 倍與 70% 的計算基礎未公開 |
| 治理/評估(NIST、MLCommons、arXiv cs.AI/cs.MA) | 本週無新證據(四來源窗口內皆 0 篇) | 不適用 | 不適用 | 本週 0 篇,公共基準與標準面沒有任何新證據可引用 | 因此本頁不得用「業界標準」描述任何評估方法 |
二、Hermes 對照欄
Hermes 欄只寫本機可驗證的機制(profile、cron、腳本與 readback 結果),不宣稱未實作的能力。
| 維度 | 業界代表做法(本週證據) | Hermes Agent 對應機制 | 差異與限制 |
|---|---|---|---|
| 工作區與權限邊界 | Wallet 把付款核准綁在使用者當下(11-13);AgentCore 以硬體隔離 session 執行長時間 agent(11-12) | 每個 profile 獨立目錄(本 job 跑 mira profile,產出寫在 /root/.hermes/profiles/mira/);不動其他 profile 的 skills/cron/memories | Hermes 的邊界是本機檔案與 profile 約定,沒有企業級 IAM、租戶隔離或硬體層級 sandbox |
| 排程與觸發 | Control Room 持續追蹤工作負載並可即時停止(11-09);LangChain 主張 agent 接開放式目標(11-14) | 本 job 為 cron 0 23 * * 0(週日 23:00 CST),掃描腳本 weekly-wiki-scan.py 先產 JSON,agent 只讀 JSON 做判斷;提案另有 sync/recheck 腳本按檔期觸發 | 固定 cron+腳本前置,不是事件驅動或目標驅動的編排;也沒有 runtime 級的即時停止介面 |
| 工具邊界與人類核准 | Wallet 的交易核准(11-13);AWS 以 Budgets 動作套 Deny 政策強制支出上限(11-12) | 發布走 sync-wiki.sh(frontmatter YAML 檢查,壞檔不 commit、不 push);技術交辦與對外發送需 George 明示同意;高風險步驟以 readback 驗收 | 核准是流程約定+腳本閘門;沒有交易級 approval、也沒有自動套用 deny 政策的計費層 |
| 長流程狀態保存 | AgentCore V2 以快照還原 session(11-13);Workday 的內部平台化(11-10) | Wiki 三層(raw/1:1 分析/概念)+log.md 逐筆紀錄+raw frontmatter sha256 可重算;personal_brand_plan.json 保存檔期與核准狀態 | 沒有內建 trace 服務或 session 快照;可回查性來自檔案結構與 hash,查詢要自己寫腳本 |
| 多 Agent 協作與分工 | Natera 的 SWARM 承接機構知識(11-12);LangChain GTM Agent 產製銷售素材(11-12) | Mira(策略/內容/驗收)、Vivia(工程)、Colly(行政)分工;Kanban 為帳本;跨角色交辦在 Slack 指定並 mention | 分工靠角色約定與看板,不是 runtime 內的任務 DAG;沒有 agent 之間的標準協議 |
| 評估與治理 | LangChain 的 EDD 與 Promptim(11-12/11-09);AWS 要求人工基準線與 holdout 證明 ROI(11-12);DeepMind 以 Lean 證明讓成果可被外部重跑(11-10) | 選題查重 gate 與提案同步 gate 的 exit code、recheck/check 結果、每筆 readback、scan raw 的 sha256 重算與本頁的來源限制段 | Hermes 沒有第三方基準分數;治理證據是本機 gate 結果與紀錄,不是外部認證,也不構成模型品質證明 |
三、本週 3 個可寫題目與證據限制
- 成本要按「每完成一件任務」算,不是按 token 算
- 核心論點:agent 跑多步驟長流程後,token 單價會系統性低估真實成本;要比的是含重試、工具呼叫與人工複核的「每件任務」成本。
- 證據:AWS〈Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard〉(2026-11-13,https://aws.amazon.com/blogs/machine-learning/route-coding-agent-requests-to-the-right-model-on-amazon-bedrock-with-nvidia-nemo-switchyard/)明寫要看 cost per solved task;〈Optimizing cost per task and proving agent ROI on Amazon Bedrock〉(2026-11-12);〈Four Amazon Bedrock inference choices that affect cost〉(2026-11-12)。
- 證據限制:AWS 為雲端廠商自述,且寫的是自家計價選項;「solved」如何判定未公開,不能宣稱已有通用標準。
- 與既有發布的去重差異:10-21 談「每次呼叫的價格不是完整成本」(概念口徑),本題談「採購與驗收時要拿哪一張表、記在誰的帳上」(可操作的表單與歸屬),案例與行動建議不同。
- Agent 會自己付錢之後,「核准」與「停止」是產品功能,不是流程習慣
- 核心論點:一旦 agent 能完成交易、能背景跑數小時,權限設計必須同時回答「誰按下可以付」與「誰能讓它停」,兩者都要留下證據。
- 證據:OpenAI〈Introducing ChatGPT Wallet〉(2026-11-13,https://openai.com/index/introducing-chatgpt-wallet)要求使用者核准;〈Control Room〉(2026-11-09,https://openai.com/index/control-room)追蹤並可停止模型工作負載;AWS 下一代 AgentCore runtime 以硬體隔離 session 執行長時間 agent(2026-11-12)。
- 證據限制:Wallet 為美國 Pro 訂閱者分批上線、Control Room 是 OpenAI 內部工具,兩者都不能寫成「業界已解決 agent 付款治理」;AWS 的隔離強度未經第三方驗證。
- 與既有發布的去重差異:10-22 談「改正式資料前要核准」(資料寫入),本題談「動到錢與對外承諾,以及錯的時候誰能停」(交易與停止),風險類型不同。
- 評估先行:eval 從研究名詞變成採購條件
- 核心論點:可靠的 agent 不是先做再測,而是先把「什麼叫做好」寫成可比較的指標;沒有 eval 的自動化,只是把驗收往後推。
- 證據:LangChain〈What Is Eval-Driven Development? How to Improve AI Agents〉(2026-11-12,https://www.langchain.com/blog/what-is-eval-driven-development)與 Dosu 案例(2026-11-09)、Promptim(2026-11-09);AWS 要求以人工基準線與 holdout 證明 ROI(2026-11-12);DeepMind AlphaProof Code 以 Lean 證明讓驗收可被外部重跑(2026-11-10)。
- 證據限制:LangChain 是賣評估工具的一方、AWS 是雲端廠商,皆非獨立基準;DeepMind 的證明範圍與方法未經同儕審查;治理評估組本週 0 篇,不得寫成「業界標準已定」。
- 與既有發布的去重差異:11-16 預定題談「AI 的第一份工作是幫你找出你已經有的錯」(用 AI 找錯),本題談「上線前先寫評估標準」(評估設計),位置與產出不同。
四、證據限制與更新契約
- 每一格都要能回溯到本週 raw scan 項目或既有概念頁;項目附 source_name/url/published/content_sha256(見 raw 檔)。
- 官方部落格與新聞稿是一手來源但仍是廠商自述,不得寫成獨立實測結果;arXiv 為 preprint,未經同儕審查(本週 cs.AI/cs.MA 窗口內 0 篇)。
- 沒有逐字稿的影音來源只標「待補逐字稿」,不得推測內容(本週 8 支已進佇列,狀態見 raw 檔)。
- 未取得本週證據的欄位一律寫「本週無新證據」,不得沿用舊週推測值或廠商宣稱當成事實。
- Hermes 對照欄只能寫本機可驗證的機制(profile、cron、wake gate、toolset、稽核紀錄),不得替 Hermes 宣稱未實作的能力。