2026年10月24日，一篇討論程式代理 Harness 評估的文章在科技圈流傳。所謂 Harness，可以想成把 AI 模型接進實際工作環境的那一整層框架：系統提示、可用工具、對話紀錄怎麼累積、上下文變長時怎麼壓縮，都由它決定。你可能會問，這是工程師的事，跟健康有什麼關係？關係在於方法：這份研究示範了「怎麼判斷一個改變到底有沒有效」，而這個判斷力，正是你每天讀健康資訊時最需要的。

研究看到了什麼

這篇文章引用的核心，是 Liu 與 Han 在 2026 年發表的受控研究。他們把同一批模型分別接上 Claude Code、OpenCode 與 mini-SWE-agent 三種框架，讓它們處理 SWE-bench Verified 裡的程式修補任務，離線環境共執行 492 項可用任務。

幾個具體數字值得記下。在 45 項最難的任務上，各框架的解題數相差約 2 到 5 題，但同一設定重跑一次，結果也可能移動最多 3 題。研究估算，這種 45 題的規模，要出現約 13 個百分點的差距，才有一半機率被偵測出來。換句話說，樣本小的時候，小幅進步和運氣起伏根本分不清。

把樣本擴到 447 題，兩個受測模型下，Claude Code 與 mini-SWE-agent 的差異都落在研究設定的五個百分點等效範圍內。注意這句話的意思：研究「未觀察到超出該範圍的差距」，並不能推成兩者完全相同，更不能推成所有團隊用起來都一樣。

成本比品質清楚

比較意外的發現在成本端。研究估算，Claude Code 每輪攜帶的系統提示與工具結構約 16,600 個 token，OpenCode 約 7,000 個，mini-SWE-agent 低於 1,000 個。同模型、同任務下，各框架每項任務成本最多相差 3 倍。作者引用研究團隊的概括：「Harness 決定的，是帳單。」

這給了一個實用提醒：只看「每百萬 token 價格」來估算費用會失準。輕量框架每輪較省，但若需要更多步驟、反覆讀檔或較常失敗，總輸入量反而可能更高。

這跟你讀健康資訊的關係

這份研究的價值不在結論，而在它的謹慎。它固定了模型與任務以減少混淆，明確說出結果只適用於受測條件，也算出了自己的偵測極限。這些做法和判讀醫學證據的原則相通，我們在AI 研究代理的驗證缺口一文裡也提過類似概念：分數不等於證據，要看測了什麼、沒測什麼。

幾個可以帶走的判讀習慣：

第一，先問差距有多大，再跟「重來一次也會有的變動」比較。你在網路上看到「某方法改善了幾 percent」，如果來源只是少數個案或單次測試，那個數字可能就落在波動範圍裡。

第二，看清樣本規模。45 題看不出 5 個百分點的差異，同樣地，十幾個人的小型試驗也看不出溫和的效果。大型研究和個案經驗的證據強度不同，報導若沒交代，值得留個問號。

第三，確認適用範圍。這項研究的結論只限於特定模型、版本與離線基準，推不到所有真實團隊流程。健康資訊也一樣，在某族族羣成立的效果，換到另一羣人不見得適用。

第四，把成本算進去。品質差距不明時，帳單差距卻很清楚，這種「效果未必有、代價確定有」的不對稱，在醫療與生活選擇裡也常出現。

留下的未知

來源文章本身也說得保守：這些 token 數字來自研究固定的版本與執行方式，並非各產品不變的規格。文章後段提及的第二項比較（Vats 與 Golev 對 Terminal-Bench Pro 的 50 項任務）在來源中僅有開頭，細節無法確認，這裡就不替它補全。

如果你想再想想「怎麼讀出現在論文與健康資訊裡的 AI 痕跡」，可以看看超過七成生物醫學論文出現 AI 輔助寫作特徵那篇的分析。

一項好的評估不會告訴你「哪個最好」，它會告訴你「在什麼條件下、有多大把握、代價多少」。下次看到斬釘截鐵的比較結論，先找找這三個資訊在不在。不在的話，先別急著下結論，留著問號，比被一個其實小於波動的「進步」牽著走，穩得多。