Главные пункты, которые привели к финальному решению:
\nБыло создано несколько новых столбцов с различными отношениями. Модель прогонялась как с новосозданными данными, так и без них. Результат с добавочными отношениями был лучше. Также категориальные переменные были трансформированы при помощи one-hot encoding, а числовые стандартизированы.
В датасете присутствует дисбаланс классов (количество ушедших клиентов составляло лишь 20% от общего числа). Был посчитан параметр scale_pos_weight, который был испробован как гиперпараметр в раличных моделях у stacker'а. Однако обучение происходило намного дольше, а ROC AUC не становился сильно лучше. Также были испробованы техники недостаточной (RandomUnderSampler) или избыточной (RandomOverSampler) выборки из библиотеки imblearn, но результат с ними оставался таким же. Также была использована техника SMOTE, где данные синтезируются с помощью техники kNN. Однако это также не дало улучшения в метрике.
Train датасет был разделен 80:20, чтобы иметь валидационную выборку для локальной оценки модели. Пропорции также менялись, давая больше данных на тренировку, но улучшений это не принесло.
Количество слоев, а также значение различных гиперпараметров в модели NeuralNetwork на основе torch.nn тестировались в различных симуляциях. Для регуляризация был использован Dropout. В NN также были испробованы техники, делая архитектуру похожими больше на ResNet, но это не принесло видимых улучшений.
Набор моделей в stacker менялся. Также туда добавлялся и MLP (в виде обычного из sklearn, или через wrapper на основе NN). Финальным классификатором лучше всего (на удивление) оказалась логистическая регрессия.
Пропорция веса NN (65%) и Stacker (35%) оказалась наилучшей. Передача большего веса NN не позволяло добиться более высокого ROC AUC, а больший акцент на Stacker уменьшал метрику довольно сильно.
Главные пункты, которые привели к финальному решению:
\nБыло создано несколько новых столбцов с различными отношениями. Модель прогонялась как с новосозданными данными, так и без них. Результат с добавочными отношениями был лучше. Также категориальные переменные были трансформированы при помощи one-hot encoding, а числовые стандартизированы.
В датасете присутствует дисбаланс классов (количество ушедших клиентов составляло лишь 20% от общего числа). Был посчитан параметр scale_pos_weight, который был испробован как гиперпараметр в раличных моделях у stacker'а. Однако обучение происходило намного дольше, а ROC AUC не становился сильно лучше. Также были испробованы техники недостаточной (RandomUnderSampler) или избыточной (RandomOverSampler) выборки из библиотеки imblearn, но результат с ними оставался таким же. Также была использована техника SMOTE, где данные синтезируются с помощью техники kNN. Однако это также не дало улучшения в метрике.
Train датасет был разделен 80:20, чтобы иметь валидационную выборку для локальной оценки модели. Пропорции также менялись, давая больше данных на тренировку, но улучшений это не принесло.
Количество слоев, а также значение различных гиперпараметров в модели NeuralNetwork на основе torch.nn тестировались в различных симуляциях. Для регуляризация был использован Dropout. В NN также были испробованы техники, делая архитектуру похожими больше на ResNet, но это не принесло видимых улучшений.
Набор моделей в stacker менялся. Также туда добавлялся и MLP (в виде обычного из sklearn, или через wrapper на основе NN). Финальным классификатором лучше всего (на удивление) оказалась логистическая регрессия.
Пропорция веса NN (65%) и Stacker (35%) оказалась наилучшей. Передача большего веса NN не позволяло добиться более высокого ROC AUC, а больший акцент на Stacker уменьшал метрику довольно сильно.