Des médecins ont annoté près de **5000 morceaux (snippets) de documents médicaux**. Dans chaque snippet, une mention de maladie a été extraite et classée dans une des 18 familles de maladies présentées en annexe. Par exemple:
> Motif
Consultation cardiologique avant chirurgie d'une récidive de carcinome épidermoïde vulvaire.
Résumé clinique - Histoire de la maladie

Chaque snippet contient
- Un **span** indiquant où se trouve l’entité extraite dans le snippet.
- Un **label** indiquant la maladie annotée
- Des qualificateurs d’entités, à savoir:
   - La **négation** (la maladie est-elle niée ?)
   - La **parenté** (la maladie est-elle associée au patient ou à un membre de sa famille ?)
   - **L’hypothèse** (la maladie est-elle mentionnée comme hypothétique ?)  

Le but est de créer un algorithme de NLP permettant l’extraction de ces maladies dans le texte, associées à leurs qualificateurs, afin d’utiliser cet algorithme dans un but de recherche: celui-ci va permettre de classifier les patients présents dans l’Entrepôt de Données de Santé de l’AP-HP, cette classification étant ensuite utilisée au sein de projets de recherche.

> **Remarque**  
L'ensemble des données présentées ont été préalablement pseudonymisées via un algorithme dédié, puis une double vérification manuelle a été effectuée afin d'obtenir un dataset anonymisé.

L'extraction des entités se fera au travers d'algorithmes à base de règles. Pour la qualification, une approche à base de règles est également disponible, toutefois il s'agira ici d'implémenter une approche à base de Deep Learning

# Le projet

Le projet se découpe en 4 parties (la dernière étape en bonus), chaque partie étant détaillée dans son onglet dédié. Par groupes de 3 personnes, suivez les indications présentées dans ces onglets, ainsi que dans les éventuels notebooks associées. L'onglet **3 - Visualisation** peut être appliqué pour les parties 1 et 2. La partie 4 est volontairement très ouverte.

Chaque onglet contient un paragraphe **proposition de travail** mentionnant une approche possible. Il est conseillé de suivre cette approche mais vous pouvez vous en écarter si vous le jugez nécessaire et le justifiez.

## Rendu

- Un support (rapport, notebooks, HTML ...) présentant et argumentant le code et les développements effectués.
- Une soutenance orale avec PPT.

## Déroulement

- **Lundi 16 janvier, 10h -> 12h** Présentation et lancement du projet
- **Mercredi 18 janvier, TBD** Session d'échange et de réponse aux éventuelles questions
- **Vendredi 20 janvier après-midi** Soutenance orale (~ 15 minutes)

### Remarques sur Kaggle

- Après inscription sur kaggle puis vérification de votre téléphone, vous disposerez de 38h de GPU. Utilisez ces GPU lors de vos  entraînements de modèles afin de réduire (drastiquement) les temps d'entraînement. Suivant vos modèles, vous devriez pouvoir effectuer un fine-tuning en une dizaine de minutes en utilisant **GPU T4 x2**
- Sur vos notebooks kaggle , pensez à activer internet (pour le téléchargement de modules / modèles) et la persistance des données.
- **⚠️ bien que Kaggle serve traditionellement à héberger des compétitions, aucune soumission n'est a effectuer dans le cadre de ce projet ! Kaggle ne sert qu'à partager les données et ressources**
- Si besoin, utilisez l'onglet **Discussion** pour discuter entre vous ou poser des questions


#### Bon courage !