Ce dataset est composé de 19 colonnes, chacune représentant un attribut décrivant leur performance. Il sera question de trouver le lien entre les différentes statistiques et le salaire, afin de pouvoir prédire ce dernier.
\n\nPuisque le dataset est composé de plusieurs colonnes, on vous encourage fortement d'utiliser la librairie matplotlib afin de visualiser les données et de découvrir les liens entre les différentes données.
\nUne colonne ID est ajouté dans le fichier afin d'identifier le joueur. De plus, la colonne \"Salary\" a été retirée. Vous devez donc prédire le salaire de ces joueurs en utilisant la régression linéaire. Lors de la soumission il est important que le fichier que vous soumettiez contienne deux colonnes: une colonne \"ID\", et une colonne \"Predicted\". Consultez le fichier sample_submission pour voir un exemple d'un fichier valide. Le processus d'évaluation est décrite dans la section \"Evaluation\".
\n\nPour setup votre environnement de programmation, il suffit d'aller dans l'onglet Notebooks, et de cliquer \"New Notebook\". Les fichiers seront importés automatiquement et il suffit de les mettre dans des variables en utilisant la fonction:
\n\nplayer = pd.read_csv(\"file path\")
\nLe file path peut être obtenu en runnant le premier block de code
\n\nDans ce premier challenge, il sera question d'utiliser un dataset contenant plusieurs informations pertinentes sur les joueurs professionnels de la NBA de la saison 2017-2018 afin de prédire leur salaire. Toutes les données sont présentées dans la section \"Data\". Vous devriez utiliser la régression linéaire afin d'accomplir cette tâche.
\nVous devriez utiliser le fichier train.csv pour entraîner votre modèle et le fichier test.csv pour faire la prédiction des salaires.
\n\n********Bien qu'il soit possible de calculer les valeurs optimales d'alpha mathématiquements en traduisant l'algorithme ci-dessus (on vous le recommande!), il est bien plus simple d'utiliser les nombreuses librairies qui existe déjà.
\n********\nLa régression linéaire est un algorithme de machine learning fondamentale de type supervised. Elle permet de trouver la relation entre la variable dépendante et les variables indépendantes. Dans le cas simple d’une variable indépendante et dépendante, la fonction de régression linéaire est :\n
\\[ y = \\alpha_0 + \\alpha_1 x \\]
\n...où x représente la variable variable dépendante et y la variable indépendante (salaire)
\nDans le cas, d'une régression linéaire simple, le modèle mathématique aura comme but de calculer les paramètres optimisé d'alpha0 et d'alpha1 de l'équation.
\nIl faut définir la fonction de coût (cost function en anglais). Afin de trouver les meilleurs valeurs d'alpha, l’algorithme calcule l’erreur entre la valeur prédite et la vraie valeur en suivant la méthode des moindres carrées. En minimisant cette fonction de coût, l’algorithme trouve les valeurs d'alpha qui minimise l’erreur entre la valeur prédite et la vraie valeur.
\n\\[minimize \\frac{1}{n}\\sum^{n}_{i = 1}(pred_i - y_i)^2\\]
\nEt la fonction de coût:
\n\\[J = \\frac{1}{n}\\sum^{n}_{i = 1}(pred_i - y_i)^2\\]
\n\n... où pred représente la prédiction du modèle, y représente la vraie valeur, et alpha représente le learning rate
\n\nSuivant cette logique, l'algorithme mathématique pour minimiser la fonction de coût est :
\n\\[\\alpha_0 = \\alpha_0 - \\alpha \\frac{2}{n}\\sum^{n}_{i=1}(pred_i - y_i)^2\\]
\n\n\\[\\alpha_1 = \\alpha_1 - \\alpha \\frac{2}{n}\\sum^{n}_{i=1}(pred_i - y_i)^2 x_i\\]
\n\nLe learning rate alpha est la vitesse à laquelle le modèle va trouver les paramètres alpha. En pratique, si on décide d'implémenter cet algorithme ligne par ligne de façon mathématique, il faut judicieusement choisir la valeur de ce paramètre pour que les paramètres alpha soient optimisés.
\n\n", "isPublished": false, "hasIsPublished": false, "postTitle": "", "hasPostTitle": false, "mimeType": "", "hasMimeType": false }, { "name": "Librairies ", "content": "Afin de faciliter le traitement et la manipulation des fichiers csv, l'utilisation de la librairie Pandas est fortement recommandé. Cette librairie est communément utilisé en machine learning. Elle nous permet entre autres de faire appel à des fonctions sur notre dataset pour faciliter la manipulation. On peut, par exemple, vérifier si les valeurs d'une colonne est vide, ou bien d'enlever carrément des colonnes du dataset.
\n\nLien vers la documentation de la librairie Pandas : https://pandas.pydata.org/pandas-docs/stable/reference/general_functions.html
\nL'exploration et la connaissance des liens entre chaque feature est important dans n'importe quel situation de machine learning. On vous recommande donc fortement d'utiliser la librairie Matplotlib pour faire la visualisation des données. Cette librairie permet entre autres de traçer des histogrammes, des nuages de points, etc. Bref, tout ce dont vous avez besoin pour avoir une représentation visuelle de votre data. Dans ce challenge-ci, on vous encourage justement d'explorer le lien entre les différentes variables et de voir d'emblée, à travers des graphiques s'ils ont un impact majeur sur le salaire. L'accuracy du modèle de régression linéaire dépend fortement de quels features vous décidez d'inclure dans le calcul de la régression linéaire.
\nAu lieu d'implémenter l'algorithme en Python et de trouver une constante pour le learning rate, il est possible de faire de tout faire via des librairies de machine learning, comme Scikit-learn, Tensorflow, PyTorch et Keras. Libre à vous de choisir quelle librairie utiliser. Par contre, on recommande aux débutants d'utiliser la librairie Scikit-learn puisqu'elle est facile et intuitive à utiliser, et qu'elle supporte plusieurs types de Machine Learning dont la régression linéaire. Elle permet entre autres de faire un algorithme de type Naive Bayes (thème du 2e challenge).\n\nLien vers la documentation sklearn: https://scikit-learn.org/stable/modules/linear_model.html#ordinary-least-squares\n", "isPublished": false, "hasIsPublished": false, "postTitle": "", "hasPostTitle": false, "mimeType": "", "hasMimeType": false }, { "name": "Evaluation", "content": "
La prediction du salaire selon votre modèle de régression linéaire est évalué selon la méthode du Root Mean Square Error. Comme son nom l'indique, elle fait la moyenne de la somme de l'écart entre les valeurs prédites et les valeurs actuelles au carré. Par la suite, elle fait la racine carrée de ce résultat.
\n\\[ RMSE = \\sqrt{\\frac{\\sum^{n}_{i=1}(pred_i - y_i)^2}{n}}\\]
\nDe ce fait, plus le RMSE est bas, meilleur sera votre placement.
\nAprès avoir avoir entrainé votre modèle de régression linéaire avec le fichier train.csv, il faudra prédire les salaires des joueurs dans le fichier test.csv. Pour faire une soumission, il faut créer un nouveau fichier csv avec deux colonnes: ID des joueurs (les mêmes que ceux du train.csv) et la salaire prédite correspondant au ID du joueur (output de la régression linéaire).
\nLa prédiction du salaire doit être converti dans un pandas dataframe avec la ligne :
\nsubmission= pd.DataFrame({'Predicted': np.asarray(PredictionSalaire).flatten()})
\nEnsuite, pour ajouter la colonne ID, on peut l'ajouter manuellement avec ces fonctions:
\nsubmission[\"Id\"] = (submission.index + 1)
\nsubmission = submission [[\"Id\", \"Predicted\"]]
\nUn exemple de fichier valide de soumission est disponible dans l'onglet \"Data\". Il est important que votre le nombre de salaires prédite soit de 70.
\nPour créer un fichier csv dans kaggle, il faut simplement faire appel à la fonction pandas:
\nsubmission.to_csv('submission.csv', index=False)
\n...ou \"submission\" représente un tableau avec les deux colonnes ID et Prediction. Il faut s'assurer que le tableau submission est un pandas dataframe. On peut facilement le convertir en pandas datamframe en utilisant la fonction pd.DataFrame(submission)
\nFinalement, il suffit de cliquer sur l'onglet New Submission et de faire un drag and drop. Kaggle évaluera votre résultat et vous classera sur le leaderboard.
\n", "isPublished": false, "hasIsPublished": false, "postTitle": "", "hasPostTitle": false, "mimeType": "", "hasMimeType": false } ] }