Triển khai OCR + LLM cho hơn 10.000 hóa đơn mỗi ngày: câu chuyện từ ngành tài chính

Khách hàng là một công ty tài chính xử lý hóa đơn từ hàng nghìn nhà cung cấp mỗi ngày. Trước khi triển khai giải pháp, họ có ba mươi nhân viên làm công việc nhập liệu thủ công — nhập số hóa đơn, tổng tiền, ngày thanh toán, mã nhà cung cấp từ ảnh scan vào hệ thống ERP.

Pipeline chúng tôi xây gồm ba giai đoạn chính. Giai đoạn một: tiền xử lý ảnh — deskew (chỉnh nghiêng), khử nhiễu, tăng contrast, và phân đoạn vùng quan trọng của hóa đơn. Chất lượng ảnh đầu vào là yếu tố ảnh hưởng lớn nhất đến độ chính xác cuối cùng.

Giai đoạn hai: OCR engine trích xuất text từ ảnh đã xử lý. Chúng tôi thử nghiệm bốn engine khác nhau và kết hợp ensemble — kết quả của hai engine tốt nhất được đưa vào giai đoạn ba để cross-validate.

Giai đoạn ba: LLM nhận text thô từ OCR và nhiệm vụ là trích xuất các trường cụ thể (số hóa đơn, ngày, tổng tiền, VAT, mã nhà cung cấp) và trả về JSON có cấu trúc. LLM xử lý được sự đa dạng format hóa đơn mà rule-based không làm được.

Thách thức lớn nhất: hóa đơn viết tay và hóa đơn chất lượng thấp (scan từ fax, chụp điện thoại trong ánh sáng yếu). Với nhóm này, độ chính xác chỉ đạt bảy mươi phần trăm — dưới ngưỡng chấp nhận. Giải pháp: routing tự động các hóa đơn low-confidence sang queue xử lý thủ công.

Kết quả sau ba tháng: tám mươi tám phần trăm hóa đơn được xử lý tự động hoàn toàn, thời gian xử lý trung bình giảm từ bốn phút xuống còn mười hai giây, và nhóm nhập liệu thu hẹp từ ba mươi người xuống còn năm người chuyên xử lý các trường hợp ngoại lệ.

Chia sẻ