La evaluación será el **AUC (Area Under the ROC Curve)**.

---

**Curva ROC**

Una curva ROC (Receiver Operating Characteristic) significa "Curva Característica Operativa del Receptor". Es un gráfico que muestra el rendimiento de un modelo de clasificación en todos los umbrales de clasificación. Esta curva grafica dos parámetros:
- True Positive Rate (TPR)
- False Positive Rate (FPR)

True Positive Rate (TPR) significa "Tasa de Verdaderos Positivos". Es un sinónimo del "recall" y es definido como:
$$ TPR = \frac{TP} {TP + FN} $$

False Positive Rate (FPR) significa "Tasa de Falsos Positivos". Es definido como:
$$ FPR = \frac{FP} {FP + TN} $$

Una curva ROC grafica TPR vs FPR en diferentes umbrales (thresholds) de clasificación. Al reducir el umbral de clasificación se clasifica más elementos como positivos, aumentando tanto los falsos positivos como los verdaderos positivos. La siguiente figura muestra una curva ROC típica.

![Curva ROC](https://drive.google.com/uc?export=view&id=1320HjUxeguNmBr1GbU2nIHcqMmRB3I9v)

Para calcular los puntos en una curva ROC se puede evaluar un modelo de regresión logística muchas veces con diferentes umbrales de clasificación, pero eso sería ineficiente. Afortunadamente, existe un algoritmo eficiente basado en el ordenamiento que puede proporcionarnos esta información, este algoritmo es llamado AUC.

---

**AUC**

El AUC (Area Under the ROC Curve) significa "Area Bajo la Curva ROC". La métrica AUC mide toda el área bidimensional por debajo de toda la curva ROC de (0,0) a (1,1).

![AUC](https://drive.google.com/uc?export=view&id=1PErmhFyzX79yYARVa9u2OzAuxNagehLf)

El AUC proporciona una medida agregada del rendimiento en todos los umbrales de clasificación posibles. Una forma de interpretar el AUC es como la probabilidad de que el modelo clasifique un ejemplo positivo aleatorio más alto que un ejemplo negativo aleatorio. Por ejemplo, un conjunto de elementos dispuestos de izquierda a derecha en orden ascendente de predicciones para una regresión logística.

![AUCPredictionsRanked](https://drive.google.com/uc?export=view&id=1x6_bnXXWAjg8gAkwrnPUjOKVh-Ln1S9i)

AUC representa la probabilidad de que un ejemplo aleatorio positivo (verde) se coloque a la derecha de un ejemplo aleatorio negativo (rojo).

El AUC varía en valor de 0 a 1. Un modelo cuyas predicciones son 100% incorrectas tiene un AUC de 0,0; un modelo cuyas predicciones son 100% correctas tiene un AUC de 1,0.

---

El AUC es deseable por las siguientes dos razones:
- AUC es **invariante a la escala**. Mide qué tan bien se clasifican las predicciones, en lugar de sus valores absolutos.
- AUC es **invariante al umbral de clasificación**. Mide la calidad de las predicciones del modelo independientemente del umbral de clasificación elegido.

---

Sin embargo, ambas razones vienen con advertencias, que pueden limitar la utilidad del AUC en ciertos casos de uso:
- La invariancia de escala no siempre es deseable. Por ejemplo, a veces realmente necesitamos resultados de probabilidad bien calibrados, y el AUC no informa acerca de eso.
- La invariancia del umbral de clasificación no siempre es deseable. En los casos en que existan grandes disparidades en el costo de los falsos negativos frente a los falsos positivos, puede ser fundamental minimizar un tipo de error de clasificación. Por ejemplo, al realizar la detección de spam de correo electrónico, es probable que desee priorizar la minimización de falsos positivos (incluso si eso resulta en un aumento significativo de falsos negativos). El AUC no es una métrica útil para este tipo de optimización.

---

A continuación se muestra algunos ejemplos de Curvas ROC:

![ROCCurvesExamples](https://drive.google.com/uc?export=view&id=1CxUBJraXNL1oU7nF4Ujy5TirhW1H40dM)