2026 年 10 月初,人力評測公司 Mercor 發布一份人類基準比較研究:在四項簡化的月結任務中,Claude Opus 5 每次作答都達成評分表的全部條件,而且都在 10 分鐘內完成;受測的會計人員多數花超過 30 分鐘。同一批人建立的 APEX-Accounting 主基準卻給出另一個訊號:在 160 項封閉測試任務裡,任何模型能在同一任務八次執行都完全正確的比例,最高只有 2.6%。這篇用白話把兩組數字的差異說清楚,也順便聊聊被「高分新聞」包圍的你,在資訊識讀上可以做的小功課。
兩個數字,量的是不同的東西
先分清楚這兩份資料的範圍。
Mercor 的人類基準研究找來 12 位會計人員,報告稱他們都持有有效的美國 CPA 執照(在美國執業會計師的專業資格),平均工作經驗約 5.4 年。任務由 APEX-Accounting 改編成簡化版:從模擬公司檔案找數字、依規則計算並整理表格,涵蓋預算差異、收入調節、活動營收分析與租賃攤銷四個主題。無 AI 組共提交 23 次作答,Claude Opus 5 執行 20 次。
這個比較有兩個前提要記住。第一,任務是簡化版,Mercor 自己的報告也指出,四項任務只涵蓋一小部分技能,包括檢視資料、搜尋檔案與遵循明確指示,而這些恰是模型比較擅長的工作。第二,12 人的樣本小,報告內文用「junior accountants」(初級會計)描述比較對象,但附錄所列職級其實也包含資深會計、查核人員與經理,職級與資格是兩回事,這個樣本不能代表整體會計從業人員。
完整解題的穩定度,才是另一個故事
APEX-Accounting 是 Mercor 與 Ramp 共同建立的會計工作基準,涵蓋 10 個模擬公司環境、160 項封閉測試任務,測的是對帳、費用應計、交易過帳與報表等工作,每個模型每項任務執行八次。
在這個更大的範圍裡,數字就不那麼漂亮了。以 160 項任務為分母,能在八次執行中都完全正確的任務比例,最高僅 2.6%。另外有 58% 的任務,在所有模型的所有執行中,都沒有獲得完整解答。
這裡有個容易混淆的地方:APEX-Accounting 的每項任務設有多個評分條件,「通過部分條件」和「八次都完全答對」是兩種可靠度指標。單次拿到部分分數,不代表模型每次都能穩定走完整個流程。企業判讀時還要進一步分辨,格式瑕疵和錯列期間、漏掉重大差異這類高影響錯誤,嚴重度完全不同,只看總分會看不出來。
單項高分為什麼推不到「能獨立結帳」
會計上的月結,從來源資料、對帳與差異調查,一路延伸到應計、調整分錄、覆核和報表。以期末出貨為例,收入該算在哪一期,要看交貨條件、交易事實與公司政策;就算系統標出疑似截止差異,仍要確認原始入帳、評估是否調整,再把核準結果帶進報表。找到一筆交易,和判斷該採哪種會計處理,中間隔著一整套專業判斷。
月結的另一個特點是環環相扣:每一步會沿用前一步的判斷,差異若沒釐清,後續的分錄與報表都可能受影響。這也是為什麼簡化任務的高分,不能直接推論成模型已能接手完整企業關帳。APEX-Accounting 用的是模擬公司與封閉測試資料,稅務、查核、合併、多幣別與對外報告都不在範圍內;不同公司的科目設定、關帳日程與系統介接,都會改變實際難度。
依錯誤後果安排覆核,而不是一律交給 AI 或一律不交
來源提出的驗收邏輯可以整理成一句白話:讓 AI 先做可逆、可核對的整理工作;凡是會改變帳簿、涉及重大估計或例外判斷的步驟,就設具名人員覆核與核準。
適合先試行的,是輸入明確、結果可以重算的工作,例如擷取發票欄位、依既定規則分類交易、列出對帳差異或待補憑證,而且輸出應附上來源與不確定項目,讓會計人員核對。調整分錄、期間判斷、資產估值、應計估計與正式過帳這類會影響帳簿或財報的動作,應設較高的覆核門檻。遇到缺資料、來源矛盾、金額超標或依據不明時,停止自動執行、交給指定人員,並紀錄修改內容、依據與核準者,這份交接紀錄本身就是日後檢討與問責的基礎。
看到高分評測新聞時,你可以問的三個問題
這則新聞對一般讀者的價值,其實在示範一套讀數字的方法,跟我們之前聊過的AI 代理會做研究不等於研究可信是同一門功課:看證據的範圍,而不是看分數的高低。
碰到「AI 在某某評測贏過人類」的標題,你可以先問:測的任務範圍多大?簡化任務與完整工作之間的落差,報告自己有沒有說明。再問:穩定度怎麼量?單次通過和多次都對,是兩回事,APEX-Accounting 那個 2.6% 就是穩定度指標。最後問:錯了會怎樣?錯誤後果輕重不同,覆核方式就應該不同,這個原則在健康資訊上也一樣適用,就像我們在老藥抗癌研究的證據層級一文裡提過的,細胞實驗的訊號和人體試驗的結論,層級差很遠。
先說結論:這則研究不需要讓你焦慮,但它提醒我們,任何「高分」都有它的量測範圍。看清楚範圍,再決定要交出多少信任,這是 AI 時代用得到的基本功。