Esta competição utiliza a métrica [macro F1](https://en.wikipedia.org/wiki/F-score#Extension_to_multi-class_classification) para avaliação. A métrica F1, comumente usada na área de classificação, mede a acurácia de um classificador em termos de sua precisão *p* e revocação *r*. Precisão é a razão entre o número de verdadeiros positivos (*tp*) e o número de preditos positivos, sejam eles verdadeiros (*tp*) ou falsos (*fp*). Revocação é a razão entre o número de verdadeiros positivos (*tp*) e o número total de positivos, sejam eles preditos positivos (*tp*) ou negativos (*fn*). A métrica F1 é dada por:

$$\text{F}1 = 2 \frac{p \cdot r}{p + r}, \text{ onde } p = \frac{tp}{tp + fp}, \ r = \frac{tp}{tp + fn}$$

A métrica F1 pondera precisão e revocação igualmente, de modo que um bom classificador deve maximizar ambas simultaneamente.

## Avaliação pública vs. privada

Para avaliação, será utilizada uma base de teste, não disponível para os participantes. Em particular, as submissões enviadas pelos participantes serão automaticamente ranqueadas em um leaderboard público, calculado usando 50% da base de teste. O resultado final da competição será baseado em um leaderboard privado, calculado usando os 50% restantes da base de teste.

## Formato de submissão

Para cada exame a ser classificado na base de teste, o arquivo de submissão deverá conter duas colunas: `exam_id` e `classe`. O arquivo de submissão deve conter uma linha de cabeçalho e obedecer ao seguinte formato:

```
exam_id,classe
1467619,0
3196852,2
1525316,1
...
```