Dado el alto nivel de desbalanceo de las clases, ara esta competencia vamos a usar la métrica conocida como
ROC (Area Under de Curve)
.
Sobre la metrica elegida:
Lo importante:
Cuando tenemos clases altamente desbalanceadas, metricas como
Accuracy
Deberian considerarse la cantidad de casos con inclinación peligrosa que fueron detectados correctamente y la cantidad de casos sin inclinación peligrosa que fueron INCORRECTAMENTE detectados como peligroso
EL
AUC ROC
Una intuición detras de AUC ROC:
La metrica sobre la cual se evaluan los resultados se conoce como el
AUC ROC
(Area Under the Curve, Receiver Operating Characteristic). Esta métrica se calcula a partir de información sobre la taza de
Positivos Verdaderos
(El numero de arboles con inclinación peligrosa que fue detectado correctamente) y la de
Falsos Positivos
(el numero de arboles con inclinación normal que fue incorrectamente detectado con una inclinación peligrosa)
Positivos.
La taza de positivos verdaderos (
TPR)
y la taza de Falsos positivos (
FPR
) se proyectan en un plano y luego se calcula el area bajo la curva (AUC) teniendo en cuenta el valores TPR y FPR del clasificador a evaluar
(tpr,fpr)
, y los puntos extremos
(0,0)
(1,1)
.
Donde
(0,0)
es el caso donde no hubo ningun Falso positivo, pero tampoco ningun Verdadero positivo.
Por otro lado, (1,1) hace referencia al caso en donde se detectaron TODOS los casos positivos verdaderos, pero por otro lado, todos los casos negativos fueron tambien detectados incorrectamente como positivos. Es decir, el FPR y el TPR presentan ambos el valor 1.
​
La figura de abajo, muestra el ejemplo de tres clasificadores (A,B, y C) y su AUC. Como se puede ver el clasificador C tiene un AUC mayor que los otros dos.
![](https://www.dropbox.com/s/c0oyc8h8w5wgkuh/roc.png?dl=1)
​El mejor clasificador posible seria
(1,0),
es decir aquel que tenga un TPR=1 y FPR=0, y si se calcula el AUC para dicho clasificador su valor sera 1.
Por otro lado, la recta diagonal roja representa los valores esperados de un clasificador aleatorio. Cualquier punto que caiga sobre la recta roja (clasificador B) tendra un AUC = 0.5
Los puntos por encima de la diagonal representan los buenos resultados de clasificación (mejor que el azar), puntos por debajo de la línea de los resultados pobres (peor que al azar).
Formato para el envío de soluciones:
Por cada Forestal/árbol en el conjunto de datos de evaluación,
los archivos debe contener dos columnas, ID y inclinación_peligrosa.
El archivo debe contener una cabecera en el siguiente formato:
ID,inclinacion_peligrosa
1,0
2,0
4,1
6,1
9,1
...