I² cao không có nghĩa là dữ liệu hỏng
Nhìn thấy I² cao trong bảng kết quả, phản xạ đầu tiên của nhiều người là đi tìm nghiên cứu nào "gây nhiễu" để loại ra. Cách làm này thường sai hướng. I² mô tả tỉ lệ variability giữa các effect estimate được quy cho heterogeneity thay vì sampling error. Heterogeneity đó có thể liên quan đến khác biệt về quần thể, can thiệp, cách đo outcome hoặc phương pháp nghiên cứu.
Vì vậy, một nghiên cứu nằm xa phần còn lại không tự động là nghiên cứu "lỗi". Loại một nghiên cứu chỉ vì sau khi bỏ nó I² giảm xuống, trong khi không có lý do lâm sàng hoặc phương pháp nào được xác định trước, rất dễ biến sensitivity analysis thành cách chọn số liệu cho kết quả đẹp hơn.
I² đang đo cái gì
I² là một cách định lượng mức inconsistency giữa các effect estimate trong meta-analysis. Theo Cochrane Handbook, nó mô tả phần trăm variability của các effect estimate được quy cho heterogeneity hơn là sampling error.
Các khoảng thường được dùng để tham khảo là:
- 0-40%: có thể không quan trọng;
- 30-60%: có thể là heterogeneity mức vừa;
- 50-90%: có thể là heterogeneity đáng kể;
- 75-100%: có thể là heterogeneity rất lớn.
Các khoảng này cố ý chồng lấp nhau. Chúng không phải ngưỡng cắt để quyết định giữ hay loại nghiên cứu, cũng không phải quy tắc chọn fixed-effect hay random-effects. Ý nghĩa của một giá trị I² còn phụ thuộc vào độ lớn và hướng của effect, bằng chứng thống kê cho heterogeneity và số lượng nghiên cứu.
Khi chỉ có ít nghiên cứu, cả I² và tau² đều có thể rất không chắc chắn. Vì vậy, nhìn một con số I² đơn độc rồi kết luận "heterogeneity cao" thường cung cấp ít thông tin hơn mình tưởng.
Khi I² cao, việc đầu tiên không phải là loại nghiên cứu
Nếu heterogeneity lớn, bước đầu tiên nên rất cơ bản: kiểm tra lại dữ liệu.
Một lỗi nhập số liệu có thể tạo ra heterogeneity giả tạo. Ví dụ, nhập nhầm SE thành SD, đảo nhóm can thiệp và đối chứng, dùng sai đơn vị đo hoặc lấy nhầm time point đều có thể khiến một nghiên cứu trông khác hẳn phần còn lại. Cochrane Handbook đặt việc kiểm tra lại dữ liệu ở ngay đầu danh sách các cách xử lý heterogeneity vì đây là lỗi vừa đơn giản vừa có thể làm thay đổi toàn bộ kết quả.
Sau khi chắc rằng dữ liệu đúng, câu hỏi tiếp theo là: các nghiên cứu có thực sự đang ước tính những effect đủ tương đồng để gộp thành một con số có ý nghĩa hay không?
Nếu câu trả lời là không, lựa chọn đúng có thể là không meta-analysis outcome đó, thay vì cố tìm cách làm I² thấp xuống.
Khi nào vẫn có thể giữ tất cả nghiên cứu
Nếu câu hỏi nghiên cứu bao trùm nhiều dạng bệnh nhân hoặc nhiều phiên bản của cùng một can thiệp, heterogeneity có thể phản ánh chính phạm vi câu hỏi. Một meta-analysis gộp trẻ sơ sinh và trẻ lớn, nhiều mức độ bệnh hoặc nhiều kỹ thuật phẫu thuật khác nhau có thể có effect khác nhau giữa các nghiên cứu ngay cả khi tất cả dữ liệu đều đúng.
Trong tình huống đó, có vài hướng xử lý hợp lý hơn việc xóa study:
- Xem lại việc pooling có còn hợp lý hay không. Nếu direction hoặc magnitude của effect khác nhau đến mức một summary estimate trở nên khó diễn giải, báo cáo riêng có thể tốt hơn.
- Khám phá nguyên nhân heterogeneity. Phân tích dưới nhóm hoặc meta-regression có thể hữu ích khi có giả thuyết lâm sàng hợp lý và đủ số nghiên cứu. Những phân tích đã pre-specify đáng tin hơn các subgroup được nghĩ ra sau khi nhìn kết quả.
- Dùng random-effects khi estimand và giả định của model phù hợp. Random-effects ước tính một average effect trong một phân bố các effect khác nhau; nó không "xử lý xong" heterogeneity và không nên được chọn chỉ vì I² vượt một ngưỡng nào đó.
- Báo prediction interval khi phù hợp. Confidence interval của pooled random-effects estimate nói về độ không chắc chắn quanh average effect, không cho biết trực tiếp các effect giữa các bối cảnh trải rộng đến đâu. Prediction interval có thể giúp diễn giải spread đó khi số nghiên cứu đủ và giả định model hợp lý.
Khi nào cần xem lại một nghiên cứu cụ thể
Nếu một hoặc vài nghiên cứu có effect khác hẳn phần còn lại, đặc biệt là khác cả về hướng, đó là tín hiệu cần điều tra kỹ hơn chứ chưa phải lý do để loại.
Mình sẽ quay lại từng nghiên cứu và hỏi:
- dữ liệu đã extract đúng chưa;
- quần thể hoặc mức độ bệnh có khác đáng kể không;
- intervention hoặc comparator có thực sự tương đương không;
- outcome có cùng định nghĩa và cùng time point không;
- thiết kế hoặc risk of bias có tạo ra một lý do phương pháp để effect khác đi không.
Nếu từ trước đã có tiêu chí loại hoặc có một vấn đề dữ liệu rõ ràng khiến study không còn đáp ứng eligibility criteria, loại nghiên cứu có thể hợp lý. Nhưng nếu lý do duy nhất là "bỏ study này thì I² đẹp hơn", đó không phải là một tiêu chí phương pháp tốt.
Viết phần heterogeneity trong bản thảo thế nào
Ở phần Methods, nên nói trước mình dự định đánh giá heterogeneity bằng gì, model nào sẽ dùng và vì sao, có subgroup, meta-regression hoặc sensitivity analysis nào được pre-specify hay không.
Ở phần Results, báo I² và các chỉ số heterogeneity liên quan cùng kết quả của những phân tích đã thực hiện. Nếu heterogeneity đáng kể, người đọc cần biết mình đã kiểm tra gì và kết quả thay đổi ra sao. Khi random-effects được dùng, nên nhớ rằng confidence interval quanh pooled estimate phản ánh uncertainty của average effect; nếu mục tiêu là cho thấy variation của underlying effects, prediction interval có thể cung cấp thêm thông tin.
Điểm quan trọng nhất là không để một con số I² tự quyết định toàn bộ phân tích. Heterogeneity là một câu hỏi cần giải thích bằng lâm sàng, phương pháp và thống kê cùng lúc.
Nếu bạn đang làm phân tích gộp đầu tiên, phần đọc và xử lý tính không đồng nhất nằm trong quy trình đầy đủ ở bài Meta-analysis cho bác sĩ. Cách trình bày phần này đúng chuẩn PRISMA 2020 cũng được nói riêng trong bài AI viết PRISMA flow và đánh giá nguy cơ sai lệch. Khoá Y học dựa trên bằng chứng có phần riêng về đọc và diễn giải kết quả phân tích gộp trước khi tự viết phần Phương pháp.