Nhớ lại

Recall là một số liệu hiệu suất quan trọng trong học máy (ML) và phân loại thống kê, đo lường khả năng của mô hình trong việc xác định tất cả các trường hợp có liên quan trong một tập dữ liệu. Cụ thể, nó định lượng tỷ lệ các trường hợp dương tính thực tế được mô hình dự đoán chính xác là dương tính. Còn được gọi là độ nhạy hoặc tỷ lệ dương tính thực (TPR), Recall đặc biệt quan trọng trong các tình huống mà việc không phát hiện ra trường hợp dương tính (âm tính giả) sẽ gây ra hậu quả đáng kể. Nó giúp trả lời câu hỏi: "Trong tất cả các trường hợp dương tính thực tế, có bao nhiêu trường hợp được mô hình xác định chính xác?" Đánh giá các mô hình đòi hỏi phải hiểu các số liệu khác nhau và Recall cung cấp góc nhìn quan trọng về tính hoàn chỉnh.

Cách tính Recall

Recall được tính bằng cách chia số True Positives (TP) cho tổng True Positives và False Negatives (FN). True Positives là các trường hợp được xác định đúng là dương tính, trong khi False Negatives là các trường hợp dương tính mà mô hình phân loại không đúng là âm tính. Điểm Recall cao cho biết mô hình có hiệu quả trong việc tìm ra hầu hết các trường hợp dương tính trong dữ liệu. Số liệu này là cơ bản để đánh giá hiệu suất của mô hình, đặc biệt là trong các tác vụ như phát hiện đối tượng và phân loại hình ảnh . Các công cụ và nền tảng như Ultralytics HUB thường hiển thị Recall cùng với các số liệu khác trong quá trình đánh giá mô hình .

Thu hồi so với số liệu liên quan

Hiểu về Recall thường liên quan đến việc so sánh nó với các số liệu đánh giá phổ biến khác:

• Độ chính xác : Trong khi Recall tập trung vào việc nắm bắt tất cả các trường hợp tích cực thực tế, Precision đo lường độ chính xác của các dự đoán tích cực do mô hình đưa ra (TP / (TP + False Positives)). Thường có sự đánh đổi giữa Precision và Recall; cải thiện cái này có thể làm giảm cái kia. Điều này được gọi là sự đánh đổi Precision-Recall .
• Độ chính xác : Độ chính xác đo lường độ chính xác tổng thể của mô hình trên tất cả các lớp ((TP + True Negatives) / Tổng dự đoán). Tuy nhiên, độ chính xác có thể gây hiểu lầm, đặc biệt là với các tập dữ liệu mất cân bằng , trong đó một lớp có số lượng lớn hơn đáng kể so với các lớp khác. Trong những trường hợp như vậy, Recall đối với lớp thiểu số thường là một số liệu cung cấp nhiều thông tin hơn.
• Điểm F1 : Điểm F1 là giá trị trung bình hài hòa của Độ chính xác và Độ thu hồi, cung cấp một số liệu duy nhất cân bằng cả hai mối quan tâm. Nó hữu ích khi bạn cần một sự thỏa hiệp giữa việc tìm tất cả các trường hợp dương (Độ thu hồi) và đảm bảo các trường hợp được xác định thực sự dương (Độ chính xác). Bạn có thể khám phá các hướng dẫn chi tiết về số liệu hiệu suất YOLO để biết thêm thông tin chi tiết.

Tầm quan trọng và ứng dụng

High Recall rất quan trọng trong các ứng dụng mà việc thiếu các trường hợp dương tính gây tốn kém hoặc nguy hiểm. Trọng tâm là giảm thiểu các trường hợp âm tính giả.

• Phân tích hình ảnh y tế : Trong các hệ thống chẩn đoán, chẳng hạn như phát hiện khối u ung thư từ các lần quét, việc tối đa hóa Recall là tối quan trọng. Không phát hiện ra bệnh (Âm tính giả) có thể gây ra hậu quả nghiêm trọng cho sức khỏe của bệnh nhân, do đó, tốt hơn là nên có một số False Positive (đánh dấu mô khỏe mạnh là có khả năng bị bệnh) có thể được loại trừ bằng cách thử nghiệm thêm. AI trong chăm sóc sức khỏe phụ thuộc rất nhiều vào các mô hình Recall cao để sàng lọc, góp phần vào những tiến bộ được thảo luận trong các tạp chí như Radiology: Artificial Intelligence . Ví dụ, phát hiện khối u não đòi hỏi độ nhạy cao.
• Phát hiện gian lận: Trong các hệ thống tài chính, việc xác định các giao dịch gian lận là rất quan trọng. Một mô hình Thu hồi cao đảm bảo rằng hầu hết các nỗ lực gian lận thực tế đều bị phát hiện, giảm thiểu tổn thất tài chính. Mặc dù điều này có thể dẫn đến việc đánh dấu một số giao dịch hợp pháp để xem xét (False Positives), nhưng chi phí bỏ lỡ một giao dịch gian lận (False Negative) thường cao hơn nhiều. Nhiều AI trong các ứng dụng tài chính ưu tiên Thu hồi.
• Hệ thống an ninh : Đối với các hệ thống giám sát được thiết kế để phát hiện kẻ xâm nhập hoặc mối đe dọa, High Recall đảm bảo rằng các mối nguy hiểm tiềm ẩn không bị bỏ sót. Việc bỏ sót mối đe dọa thực tế (False Negative) có thể gây nguy hiểm cho sự an toàn, như đã thấy trong các ứng dụng bảo mật do AI điều khiển .
• Kiểm soát chất lượng trong sản xuất : Trong các hệ thống kiểm tra tự động, thu hồi cao giúp xác định hầu hết các sản phẩm lỗi trên dây chuyền sản xuất, ngăn chặn các mặt hàng lỗi đến tay người tiêu dùng. Việc bỏ sót một lỗi (âm tính giả) có thể dẫn đến sự không hài lòng của khách hàng và các vấn đề về an toàn. Tìm hiểu thêm về AI trong sản xuất .

Thu hồi trong Ultralytics YOLO Mô hình

Trong bối cảnh của thị giác máy tính (CV) và các mô hình như Ultralytics YOLO , Recall là một số liệu quan trọng được sử dụng cùng với Precision và Mean Average Precision (mAP) để đánh giá hiệu suất của các tác vụ như phát hiện đối tượng và phân đoạn thể hiện . Đạt được sự cân bằng tốt giữa Recall và Precision thường là điều cần thiết để có hiệu suất thực tế mạnh mẽ. Ví dụ: khi so sánh các mô hình như YOLOv8 với YOLO11 , Recall giúp hiểu được mức độ tốt của từng mô hình trong việc xác định tất cả các đối tượng mục tiêu. Người dùng có thể đào tạo các mô hình tùy chỉnh bằng các khuôn khổ như PyTorch hoặc TensorFlow và theo dõi Recall bằng các công cụ như Weights & Biases hoặc các tính năng tích hợp trong Ultralytics HUB . Hiểu Recall giúp tối ưu hóa các mô hình cho các trường hợp sử dụng cụ thể, có khả năng liên quan đến việc điều chỉnh siêu tham số hoặc khám phá các kiến trúc mô hình khác nhau như YOLOv10 hoặc YOLO11 mới nhất. Các tài nguyên như tài liệu Ultralytics cung cấp hướng dẫn toàn diện về đào tạo và đánh giá.