Xây dựng chatbot nội bộ với LLM: kinh nghiệm từ dự án thực tế

Khi khách hàng — một doanh nghiệp sản xuất với hai nghìn nhân viên — yêu cầu chúng tôi xây chatbot nội bộ, mục tiêu ban đầu của họ rất đơn giản: giảm số lần nhân viên phải gọi điện cho HR để hỏi chính sách phép, thưởng và quy trình nội bộ.

Thách thức thứ nhất: tài liệu nội bộ của họ là hỗn hợp của file Word, PDF scan, và email lưu trữ từ mười năm qua. Trước khi có thể xây chatbot, chúng tôi cần chuẩn hóa và làm sạch kho tài liệu này.

Thiết kế prompt là công đoạn tốn thời gian nhất. Chatbot nội bộ cần một system prompt rõ ràng về phạm vi — chỉ trả lời các câu hỏi liên quan đến chính sách công ty, và thẳng thắn từ chối hoặc escalate khi câu hỏi nằm ngoài phạm vi.

Vấn đề hallucination nghiêm trọng hơn nhiều so với chúng tôi dự kiến. Trong bối cảnh HR, một câu trả lời sai về chính sách phép có thể gây ra tranh chấp lao động. Giải pháp: mỗi câu trả lời bắt buộc phải kèm theo citation nguồn cụ thể từ tài liệu, và thêm disclaimer khi độ tin cậy thấp.

Sau tám tuần, chatbot xử lý được bảy mươi lăm phần trăm câu hỏi HR thường gặp mà không cần con người. Thời gian phản hồi từ vài giờ (gọi điện, chờ HR trả lời) xuống còn dưới ba mươi giây.

Bài học lớn nhất: chatbot nội bộ không phải là dự án kỹ thuật — đó là dự án quản lý tri thức. Chất lượng chatbot phụ thuộc trực tiếp vào chất lượng và tổ chức tài liệu nội bộ. Đầu tư vào knowledge base trước, công nghệ sau.

Chia sẻ