Bot bịa thông tin: vì sao xảy ra và ba lớp chặn

Đây là rủi ro lớn nhất khi để máy trả lời khách, và nó không giống rủi ro người ta thường lo. Không phải bot nói chuyện thô, không phải bot hiểu sai câu hỏi — những cái đó nhìn ra ngay và sửa được.

Rủi ro thật là bot đưa ra một con số nghe hoàn toàn hợp lý và hoàn toàn không có thật. Một mức phí, một thời hạn, một điều kiện. Khách tin, làm theo, rồi phát hiện sai — và từ góc nhìn của khách, đó là lỗi của đơn vị, không phải của công cụ.

Vì sao mô hình bịa

Cần hiểu đúng cơ chế mới chặn đúng chỗ. Mô hình ngôn ngữ không tra cứu rồi trả lời. Nó sinh văn bản theo xác suất: với ngữ cảnh đang có, chữ nào có khả năng xuất hiện tiếp cao nhất.

Hệ quả: khi được hỏi "phí dịch vụ này bao nhiêu" mà không có dữ liệu, mô hình vẫn sinh ra một câu trả lời — vì một câu có con số là mẫu văn bản phổ biến hơn hẳn một câu thừa nhận không biết. Nó không "cố tình nói dối"; nó làm đúng việc được thiết kế để làm.

Điều này dẫn tới đặc điểm đáng sợ nhất: mô hình bịa với cùng một độ tự tin như khi nói đúng. Không có dấu hiệu nào trong câu văn để phân biệt. Người đọc không thể nhận ra bằng cảm giác.

Ba lớp chặn, cần đủ cả ba

Lớp 1: buộc trả lời dựa trên tư liệu

Thay vì để mô hình trả lời bằng kiến thức chung của nó, mỗi lượt hỏi phải làm hai bước: tìm trong kho tư liệu của đơn vị những đoạn liên quan, rồi đưa đoạn đó vào cùng câu hỏi với yêu cầu rõ ràng là chỉ dùng phần này.

Đây là lớp quan trọng nhất, và cũng là lớp phân biệt một trợ lý dùng được với một hộp chat gắn mô hình. Không có kho tư liệu thì mọi lớp sau chỉ là vá.

Hai việc cần làm cho lớp này chạy thật:

• Tư liệu phải đủ — bao gồm cả những thứ không có trên website: bảng giá nội bộ, quy trình, chính sách, các tình huống ngoại lệ hay gặp.
• Tìm phải ra — khách gõ không dấu, gõ sai chính tả, dùng từ khác với từ trong tài liệu. Bộ tìm kém thì tư liệu có mà bot không thấy, và nó quay về bịa.

Lớp 2: cấm suy đoán số liệu, nói riêng

Lớp 1 giảm phần lớn, nhưng vẫn còn khoảng xám: tư liệu nói chung chung, bot "hoàn thiện" thêm cho đủ câu. Ví dụ tài liệu viết "án phí theo quy định hiện hành" mà bot thêm vào một con số cụ thể.

Nên phải có một chỉ dẫn riêng, tách khỏi chỉ dẫn chung: không suy đoán con số, thời hạn, mức phí, tỷ lệ. Tư liệu không nêu thì nói thẳng là chưa có thông tin chính xác, rồi mời khách để lại số để người phụ trách gọi lại.

Lý do tách riêng: nhóm sai này có hậu quả khác hẳn nhóm còn lại. Bot mô tả dịch vụ hơi lệch thì khách hỏi lại là xong. Bot nói sai mức phí thì khách chuẩn bị sai tiền, và mất khách ngay lúc gặp.

Lớp 3: đường nhường cho người thật

Lớp cuối, và lớp hay thiếu nhất. Phải có cơ chế để bot tự chuyển hội thoại sang trạng thái chờ người khi nó không chắc.

Cách làm thực tế: liệt kê các dấu hiệu lưỡng lự trong câu trả lời — "chưa có thông tin chính xác", "em không chắc", "người phụ trách sẽ gọi lại". Câu trả lời của bot chứa một trong các dấu hiệu đó thì hội thoại tự chuyển sang chờ người. Còn câu trả lời ấy thì gửi luôn cho khách hay giữ lại chờ người duyệt là lựa chọn của từng đơn vị: gửi luôn thì khách không bị bỏ im lặng, giữ lại thì chặt câu chữ hơn.

Điểm tinh tế: lớp này biến một điểm yếu thành điểm mạnh — nhưng chỉ khi câu bot nói là sự thật. Bot nói "em kiểm tra lại rồi báo anh/chị" trong khi không có cơ chế nào để bot quay lại là một lời hứa suông: khách chờ, không ai báo, rồi mất lòng tin. Câu đúng là nói thẳng chưa có thông tin, và chỉ hứa việc thật sự sẽ xảy ra — người phụ trách gọi lại theo số khách để lại.

Cách kiểm xem bot có đang bịa

Không kiểm được bằng cách đọc câu trả lời, vì câu bịa đọc rất trôi. Phải đối chiếu.

1. Chọn mươi câu khách hay hỏi nhất, nhất là nhóm có con số: giá, thời gian, điều kiện.
2. Hỏi bot từng câu ở chế độ thử — không gửi cho khách nào.
3. Xem bot đã dùng đoạn tư liệu nào. Công cụ phải cho xem được phần này. Không xem được thì không có cách nào kiểm.
4. Đối chiếu từng con số trong câu trả lời với tư liệu. Con số nào không có trong tư liệu là bịa, bất kể nó đúng hay sai trên thực tế.

Bước thứ tư là bước quyết định. Một con số tình cờ đúng mà không có trong tư liệu vẫn là vấn đề — vì lần sau nó sẽ tình cờ sai.

Khi bot nói "em chưa rõ" quá nhiều

Đây là tín hiệu tốt bị hiểu thành tín hiệu xấu. Nó không có nghĩa là ràng buộc quá chặt; nó có nghĩa kho tư liệu đang thiếu đúng những thứ khách hay hỏi.

Phản ứng đúng là mở danh sách câu hỏi mà bot không trả lời được, rồi viết tư liệu cho đúng những câu đó. Đây là cách tốt nhất để biết nên bổ sung gì — tốt hơn hẳn việc đoán xem khách sẽ hỏi gì.

Phản ứng sai là nới ràng buộc để bot "trả lời được nhiều hơn". Làm vậy là đổi một vấn đề nhìn thấy được thành một vấn đề không nhìn thấy được.