O objetivo deste exercício é desenvolver modelos de classificação utilizando o BERT (Bidirectional Encoder Representations from Transformers) para classificar comentários do conjunto de dados Yelp. Existem duas formas básicas de utilizar o modelo BERT para classificação: (i) Extração de características; e (ii) ajuste fino do modelo pré-treinado. Enquanto a extração de características gera representações dos textos que podem ser utilizadas por qualquer classificador, o ajuste fino permite que o BERT se especialize em uma tarefa de classificação. Para melhorar o desempenho do seu modelo, é sugerido: 1) Utilizar técnicas de pré-processamento, como normalização de texto, limpeza de dados e tokenização aprimorada; 2) Modificar a arquitetura original do BERT; e 3) tratar o desbalanceamento com o aumento de dados.