Un ensemble de validation composé de 400 textes permettra aux équipes d’évaluer et confronter leurs solutions en soumettant jusqu’à 1 résultat par jour sur la plateforme Kaggle. L’adéquation des prédictions avec les labels du jeu de test sera calculée automatiquement par la plateforme Kaggle en utilisant le score Macro F1 (moyenne du score F1 pour chaque type de relation). Le format de soumission attendu est le même que celui des données d’entraînement.

L’évaluation donnera lieu à un score S qui permettra de classer les participants. Le premier prix sera décerné au participant dont le système aura obtenu le plus haut score S selon la formule S = A + B, avec :

- A : la Macro F1  (moyenne du score F1 pour chaque type de relation).
- B : ouverture du code source. Si un participant rend public son code (via un Github par exemple, ou un .zip qui sera téléchargeable à partir du site Web de TextMine) alors B = 5*A/100 sinon 0.

Par exemple, si A = 0,75 et que le code est mis à disposition publiquement sur Github alors S = A + B = 0,75 + 0,0375 = 0,7875.

Le code doit être mis à disposition au plus tard le 17 janvier. Le lien vers le code peut être mis dans l'article si un article est prévu, sinon vous pouvez simplement fournir le lien aux organisateurs
par e-mail (textmine@sciencesconf.org) et les organisateurs le publieront sur le site.