對數自動化要做到 97% 準確率,關鍵在哪
大多數文件自動化的示範,都刻意略過準確率這一關。這篇拆解一套空運提單對數背後、撐起 97% 準確率的規則引擎:如何在 OCR 之上加一層驗證與人手覆核,以及為何單靠「差不多」的 OCR 並不足夠。
- 在雜亂的營運文件上,純 OCR 的欄位準確率大約只有 80–90%,遠遠未到可以在沒有人手逐筆檢查下就用來對帳的水平。
- 由 80 幾%跳升至 97%,靠的是在 OCR 之上加一層驗證,而不是換更強的 OCR 模型:與來源系統交叉比對、套用業務規則、再以信心分數把只有存疑的行送給人手處理。
- 目標從來不是 100% 全自動。而是把系統有信心的 9 成以上自動處理,其餘存疑的升級交人手,讓一個人只需覆核例外,而不是逐筆重新輸入。
- 在一家物流客戶身上,這套做法把每月兩次、每次 5 天的對數工作壓縮成 2 小時,並釋放一位全職同事去做需要判斷力的工作。
賣文件自動化的人,示範來來去去都是同一套:一張乾淨的發票放進去,完美的結構化數據出來。然後你把它對準公司真正的文件,一張糊掉的空運提單、一份掃描的月結單、一張有人手填過的表格,準確率就直插谷底。
所以當客戶問「AI 能不能直接讀我們的文件、幫我們對數」,老實的答案是:讀出來只是最容易的 8 成。最後那 17 個百分點,也就是決定你敢不敢用這些數字來對錢的部分,才是整份工作的重點。以下就談談,在一宗真實的空運提單對數上,做到 97% 到底需要甚麼。
為甚麼純 OCR 只到 85%,不是 97%
現代 OCR 確實很好。在乾淨、格式固定的文件上,它抽欄位可以很準。但營運文件既不乾淨、也不固定。空運提單來自幾十家承運商、版式各異;數字會用手寫蓋在印刷欄位上;掃描件歪斜、傳真過、用相機斜著拍。
面對這種輸入,欄位級的 OCR 準確率實際上大概落在 80–90% 之間。聽起來很接近,其實不然。在對數裡,一個收費或重量上錯一個數字不會自己抹平,它會變成一條要有人去追查的差異,甚至更糟,一個靜靜地送錯的數字。當一份有十幾個欄位的文件準確率是 85%,幾乎每一份都至少有一處錯。你並沒有消除人手工作,只是把它由「打字」搬去「追查」。
錯在把 OCR 當成產品本身。OCR 只是原始輸入。準確率活在你在它之上建的那一層。
收窄差距的那一層驗證
由約 85% 跳到 97%,靠的不是更強的 OCR 模型,而是夾在抽取與入帳之間的一套規則驗證引擎。真正做事的有三樣:
與來源系統交叉比對
每一個「可以」被另一個系統核對的欄位,都會被核對。在其中一個項目裡,抽取出來的空運提單數據,會逐行與營運上的真實來源系統對數。當兩個獨立來源一致,這一行的信心就高;當兩者不一致,你就自動找到了那條需要人手的行。
用業務規則寫下甚麼叫「有效」
一個有經驗的文員知道:一筆數大了一個數量級就是打錯、某些欄位必須加總對得上、日期不可能早過出貨。這些直覺,被寫成明確的規則:範圍檢查、類似核對和的加總、格式與跨欄位限制。大多數 OCR 錯誤一出現就違反了某條規則,於是規則在它到帳之前就把它攔下。
用信心分數決定人手看到甚麼
每一條對數後的行,都會由上述檢查得出一個信心分數。高信心的直接流過;低信心的送去人手。這正是大多數示範略過、卻最重要的一環:系統知道自己甚麼時候「沒把握」,並只把那些升級處理。
為甚麼 100% 全自動是錯的目標
追求 100%,正是這類項目預算爆掉的原因。最後那一小撮真正含糊的文件,泡水的掃描、非標準的承運商、手寫的更正,要做到可靠自動化的成本,比一個人花一分鐘處理還要高。
所以目標從來不是「不要人」。而是:系統有信心的每一行都自動化,再派一個人去看例外。這就是 97% 為你買到的東西。不是一套永遠不需要人的系統,而是一套讓人只覆核那真正存疑的 3%、而不是把 100% 的工作重新輸入一次的系統。效益來自改變那個「比例」,而不是把人完全抽走。
它為這位客戶改變了甚麼
這項對數每月做兩次,每次要一位全職同事花上將近五天:抽出空運提單、逐張輸入、逐行與營運系統人手對數、追查差異。
建好之後,同樣的週期大約兩小時跑完。整套流程抽取、對數並交叉比對全部單量,靠那層驗證守住 97% 準確率,只把被標記的行送出來覆核。原本負責輸入的那位同事,轉去做真正需要判斷力的工作。由確定範疇到上線,用了不足兩個月。
這一切都不是因為 OCR 有魔法。而是因為我們把準確率這個問題,當成真正的問題來處理,用交叉比對、規則與誠實的信心評分去解決,而不是寄望模型會剛好答對。
怎樣判斷一個自動化方案
如果你正在評估一個文件自動化項目,分辨的方法很簡單。問一句:系統做錯的那些文件,會怎樣處理?如果答案是含糊帶過模型準確率,錢留著。如果答案是一個具體的故事,關於驗證、交叉比對、以及低信心個案如何升級交人手,那你面對的,是一個真正落地過的人。
「差不多」的 OCR 並不夠。圍著它建起來的那套引擎,才是產品。
常見問題
- 單靠 OCR 能不能做到 97% 對數準確率?
- 很難。在乾淨、格式固定的文件上 OCR 可以很準,但空運提單、發票、月結單這類營運文件本身就雜亂,純 OCR 的欄位準確率通常只有 80–90%。要做到 97%,靠的是在 OCR 之上加一層驗證:與來源系統交叉比對、套用業務規則、再做信心評分,而不是單靠 OCR 模型本身。
- 這裡說的「97% 準確率」到底指甚麼?
- 指有 97% 的抽取並對數後的行項目,在無需人手介入下正確對上來源系統。餘下的 3% 並不是出了錯還照樣送出,而是被信心引擎標記、轉交人手覆核,錯誤是被抓出來,而不是靜靜地流過去。
- 為甚麼不追求 100% 全自動?
- 因為最後那幾個百分比、最雜亂含糊的文件,要做到可靠自動化的成本,遠高於讓人手花幾分鐘處理。把有信心的 9 成以上自動化、其餘存疑的升級交人手,就能以一小部分的風險與開發成本,換來大部分的效益。
- 這樣一個項目大概要多久?
- 這個對數項目由確定範疇到上線用了不足兩個月,過程中以嵌入式夥伴身分與團隊一起協作。