AI bịa tài liệu tham khảo không phải chuyện lý thuyết. Trong quá trình làm một systematic review và meta-analysis gần đây, mình quyết định kiểm tra kỹ từng tài liệu tham khảo mà Claude tạo ra thay vì dùng thẳng — và kết quả đáng lo hơn mình kỳ vọng.
Bài này không phải để bảo bạn bỏ Claude. Mình vẫn dùng Claude hằng ngày. Nhưng phần trích dẫn là điểm yếu có hệ thống mà ai dùng AI cho nghiên cứu đều cần nắm rõ trước khi submit.
Mình kiểm tra 100 tài liệu như thế nào?
Khi bắt đầu systematic review, mình yêu cầu Claude tổng hợp bối cảnh từ literature và đề xuất một số bài báo liên quan. Kết quả trông rất tốt: tên tác giả rõ ràng, năm xuất bản hợp lý, tên tạp chí phổ biến, PMID có vẻ chính xác.
Mình lấy 100 tài liệu từ nhiều lượt hỏi khác nhau — bao gồm tìm tài liệu nền, đề xuất trích dẫn cho phần Discussion, và tóm tắt literature trong một lĩnh vực chuyên biệt. Sau đó mình đối chiếu từng cái qua PubMed, CrossRef, và Google Scholar.
Ba bước đối chiếu mình dùng: (1) Tra DOI trực tiếp tại doi.org; (2) Tìm PMID trên PubMed; (3) Search tên tác giả + năm + tên tạp chí để xác nhận khớp.
Kết quả: phân thành 4 nhóm
Nhóm 1 — Tài liệu giả hoàn toàn: Bài không tồn tại trên PubMed, không tìm thấy ở CrossRef. Tên tác giả, tiêu đề, và DOI đều do AI tạo ra. Tỷ lệ trong lần kiểm của mình: khoảng 23%.
Nhóm 2 — Bài tồn tại nhưng thông tin sai: Bài thật có, nhưng Claude ghi nhầm tên tác giả, sai năm, hoặc sai tạp chí. Kiểu lỗi phổ biến nhất là lấy tác giả của bài khác ghép vào. Tỷ lệ: khoảng 18%.
Nhóm 3 — DOI sai hoặc không tồn tại: Bài có thật nhưng DOI Claude cung cấp dẫn đến trang trống hoặc bài khác. Tỷ lệ: khoảng 11%.
Nhóm 4 — Tài liệu chính xác hoàn toàn: Tên, năm, tạp chí, DOI đều đúng. Tỷ lệ: khoảng 48%.
Tức là chưa đến một nửa trong số 100 tài liệu mình nhận được là đúng hoàn toàn. Nếu bạn submit manuscript với 30 tài liệu mà không kiểm tra, có thể hơn 15 cái trong số đó có vấn đề.
Tại sao Claude tạo ra tài liệu không có thật?
Claude được xây dựng để trả lời mạch lạc và có vẻ đáng tin cậy. Khi không chắc một thông tin cụ thể, nó có xu hướng điền thêm thay vì nói "mình không biết." Với tài liệu tham khảo, điều này đặc biệt nguy hiểm vì đầu ra trông rất chuyên nghiệp — định dạng đúng chuẩn, thuật ngữ đúng ngành.
Vấn đề cốt lõi là mô hình ngôn ngữ không truy cập cơ sở dữ liệu khi trả lời. Nó tái tạo khuôn mẫu từ dữ liệu huấn luyện, không phải từ PubMed hay CrossRef thật. Một bài báo "trông giống thật" được tổng hợp từ khuôn mẫu quen thuộc — không phải từ bài báo thật đó.
Ba kiểu ảo giác trích dẫn hay gặp nhất
Ảo giác hoàn toàn: Tên, tác giả, DOI, tạp chí — tất cả đều tạo ra. Đây là kiểu dễ phát hiện nhất nếu bạn kiểm tra, nhưng nguy hiểm nhất nếu bạn không kiểm tra. Một reviewer am hiểu có thể loại manuscript ngay khi thấy vài tài liệu không tìm được.
Ảo giác tổng hợp: Claude lấy chi tiết thật từ nhiều bài khác nhau rồi ghép thành một bài "mới". Tên tác giả từ bài A, năm xuất bản từ bài B, tiêu đề biến tấu từ bài C. Kết quả trông hợp lý nhưng không tồn tại. Đây là kiểu khó phát hiện nhất vì từng mảnh đều có vẻ quen.
Ảo giác số liệu: Bài báo thật, nhưng con số Claude trích dẫn từ bài đó không có trong bài — hoặc là con số từ một nghiên cứu khác. Đây là kiểu nguy hiểm nhất vì bạn có thể xác nhận bài báo tồn tại nhưng không xác nhận số liệu bên trong.
Quy trình kiểm tra nhanh 3 bước
Nếu bạn đã có danh sách tài liệu từ AI và cần kiểm tra nhanh:
Bước 1: Dán DOI vào doi.org. Nếu resolve được bài thật thì qua bước 2. Nếu không thì loại ngay.
Bước 2: Đối chiếu tên tác giả thứ nhất với PubMed. Gõ tên tác giả + năm + tên tạp chí. Phải khớp.
Bước 3: Nếu bạn dùng số liệu cụ thể từ một tài liệu đó — mở bài gốc, tìm con số đó. Đừng tin AI trích dẫn đúng con số.
Ba bước này mất khoảng 3–5 phút mỗi tài liệu. Nếu có 30 tài liệu từ AI trong manuscript, đó là khoảng 90–150 phút kiểm tra — nhưng thay thế là một lần bị reject xấu hổ sau khi reviewer phát hiện.
Điều mình thay đổi trong quy trình sau đó
Sau lần kiểm tra đó, mình điều chỉnh hoàn toàn cách dùng AI cho phần tài liệu. Với workflow AI cho bác sĩ làm nghiên cứu, mình không bao giờ dùng AI để tạo danh sách tài liệu tham khảo trực tiếp.
Thay vào đó, mình dùng AI để:
- Tóm tắt nội dung một bài đã tìm được trước (đầu vào là PDF, không phải câu hỏi chung)
- Gợi ý từ khóa tìm kiếm trên PubMed để mình tự tìm
- Giải thích một khái niệm để mình hiểu, không phải để copy trực tiếp
Với 5 prompt Claude mình dùng hằng ngày khi đọc paper, mình cũng chú ý luôn cung cấp DOI hoặc PMID trước khi hỏi — không để AI tự tìm từ đầu.
Điểm mấu chốt
Ranh giới rõ ràng nhất mình rút ra: AI giỏi phân tích và giải thích tài liệu bạn đã có. AI không đáng tin khi tự tạo ra danh sách tài liệu.
Đây là điểm yếu có tính hệ thống của mô hình ngôn ngữ — không phải lỗi người dùng, không phải lỗi nhất thời. Cho đến khi có công cụ tìm kiếm tích hợp đáng tin cậy, phần tài liệu tham khảo phải do bạn tự tìm hoặc kiểm tra từng cái.
Khoá AI trong NCKH có module riêng về quy trình tìm và kiểm tra tài liệu — bao gồm danh sách kiểm tra citation trước khi submit và cách dùng AI đúng chỗ trong phần tài liệu tham khảo.