Puntuación F1

La puntuación F1 es una métrica muy utilizada en el aprendizaje automático y la recuperación de información para evaluar el rendimiento de los modelos de clasificación binaria. Proporciona una única puntuación que equilibra otras dos métricas importantes: la precisión y la recuperación. Este equilibrio hace que la puntuación F1 sea especialmente valiosa en situaciones en las que la distribución de clases es desigual (conjuntos de datos desequilibrados) o cuando tanto los falsos positivos como los falsos negativos conllevan costes significativos. Se calcula como la media armónica de la precisión y la recuperación, lo que le da un rango entre 0 y 1, donde 1 significa precisión y recuperación perfectas.

Precisión y recuperación

Para comprender la puntuación F1, es esencial entender sus componentes:

• Precisión: Mide la exactitud de las predicciones positivas. Responde a la pregunta: "De todas las instancias que el modelo predijo como positivas, ¿cuántas fueron realmente positivas?". Una precisión alta significa que el modelo comete pocos errores falsos positivos.
• Recall (Sensibilidad): Mide la capacidad del modelo para identificar todos los casos positivos reales. Responde a la pregunta "De todos los casos positivos reales, ¿cuántos identificó correctamente el modelo?". Un recall alto significa que el modelo comete pocos errores falsos negativos.

La puntuación F1 combina ambas calculando su media armónica. A diferencia de la media simple, la media armónica penaliza más los valores extremos, lo que significa que un modelo debe obtener unos resultados razonablemente buenos tanto en precisión como en recuperación para obtener una puntuación F1 alta.

¿Por qué utilizar la puntuación F1?

Aunque la precisión (la proporción de predicciones correctas en general) es una métrica común, puede ser engañosa, especialmente con conjuntos de datos desequilibrados. Por ejemplo, si sólo el 1% de los puntos de datos pertenecen a la clase positiva, un modelo que predice todo como negativo alcanza una precisión del 99%, pero falla por completo en la identificación de la clase positiva.

La puntuación F1 aborda esta cuestión centrándose en el rendimiento de la clase positiva a través de la precisión y la recuperación. Es preferible cuando:

1. El desequilibrio de clases está presente: Proporciona una mejor evaluación que precisión cuando una clase supera ampliamente a la otra.
2. Tanto los falsos positivos como los falsos negativos son importantes: Los escenarios en los que es crucial minimizar ambos tipos de errores se benefician del equilibrio de la puntuación F1. Elegir entre optimizar la precisión o la recuperación suele implicar un compromiso; la puntuación F1 ayuda a encontrar un modelo que equilibre este compromiso entre precisión y recuperación.

F1-Score en acción: Ejemplos reales

La puntuación F1 es fundamental en diversas aplicaciones de Inteligencia Artificial (IA):

1. Análisis de imágenes médicas para la detección de enfermedades: Consideremos un modelo de IA diseñado para detectar tumores cancerosos a partir de escáneres mediante visión por ordenador (CV).

   • Un falso negativo (bajo recuerdo) significa no detectar el cáncer cuando está presente, lo que puede tener graves consecuencias para el paciente.
   • Un falso positivo (baja precisión) significa diagnosticar cáncer cuando no lo hay, lo que conlleva estrés, costes y más pruebas invasivas innecesarias.
   • La puntuación F1 ayuda a evaluar modelos como los utilizados en soluciones sanitarias basadas en IA, garantizando un equilibrio entre la detección de casos reales (recall) y la prevención de diagnósticos erróneos (precisión). Para entrenar estos modelos pueden utilizarse conjuntos de datos como el de detección de tumores cerebrales.

2. Filtrado de spam: Los servicios de correo electrónico utilizan modelos de clasificación para identificar el spam.

   • Se necesita una alta capacidad de recuperación para capturar el máximo spam posible. El spam no detectado (falso negativo) molesta a los usuarios.
   • Una alta precisión es crucial para evitar marcar correos legítimos ("jamón") como spam (falso positivo). Clasificar erróneamente un correo electrónico importante puede ser muy problemático.
   • La puntuación F1 proporciona una medida adecuada para evaluar la eficacia global del filtro antispam, equilibrando la necesidad de filtrar la basura sin perder mensajes importantes. Para ello se utilizan técnicas de Procesamiento del Lenguaje Natural (PLN).

Puntuación F1 frente a métricas relacionadas

Es importante distinguir la puntuación F1 de otras métricas de evaluación:

• Precisión: Mide la corrección general, pero puede ser poco fiable para clases desequilibradas.
• Precisión y recuperación: La puntuación F1 las combina. Utilice la precisión cuando minimizar los falsos positivos sea clave; utilice la recuperación cuando minimizar los falsos negativos sea primordial.
• Precisión media (mAP): Una métrica primaria para tareas de detección de objetos, como las realizadas por los modelos YOLO de Ultralytics. La mAP promedia la precisión a través de varios niveles de recall y, a menudo, a través de múltiples clases de objetos y umbrales de intersección sobre unión (IoU). Aunque está relacionado con la precisión y la recuperación, mAP evalúa específicamente el rendimiento de la detección de objetos, teniendo en cuenta tanto la clasificación como la localización. Puede explorar las métricas de rendimiento de YOLO para obtener más detalles. Consulte comparaciones de modelos como YOLO11 frente a YOLOv8, que a menudo se basan en mAP.
• Intersección sobre Unión (IoU): Mide el solapamiento entre un cuadro delimitador previsto y el cuadro delimitador real en la detección de objetos. Evalúa la calidad de la localización, no el rendimiento de la clasificación directamente, como la puntuación F1.
• Matriz de confusión: Una tabla que resume el rendimiento de la clasificación, mostrando los Verdaderos Positivos, los Verdaderos Negativos, los Falsos Positivos y los Falsos Negativos, a partir de los cuales se obtienen la Precisión, la Recuperación, la Exactitud y la Puntuación F1.

Puntuación F1 en el ecosistema Ultralytics

Dentro del ecosistema Ultralytics, mientras que mAP es el estándar para evaluar modelos de detección de objetos como YOLO11, la puntuación F1 puede ser relevante a la hora de evaluar las capacidades de la tarea de clasificación o evaluar el rendimiento en una clase específica dentro de un problema de detección o segmentación, especialmente si el desequilibrio de clases es un problema. Herramientas como Ultralytics HUB facilitan el entrenamiento de modelos personalizados y el seguimiento de diversas métricas de rendimiento durante la evaluación de modelos. Comprender métricas como la puntuación F1 ayuda a ajustar los modelos a necesidades específicas mediante técnicas como el ajuste de hiperparámetros. Frameworks como PyTorch y bibliotecas como Scikit-learn ofrecen implementaciones para calcular la puntuación F1.