{ "id": 589574, "title": "3rd Place (Public) / 4th Place (Private) Solution — Alpha Summer Challenge", "url": "/competitions/alpha-summer-challenge/discussion/589574", "author_name": "Nikolay Slobodchuk", "post_date": "2025-07-13T21:09:50.261000", "votes": 6, "comment_count": 0, "views": 0, "content": "

🏆 3-е место на паблике / 4-е место на приватном лидерборде — Alpha Summer Challenge

\n

📘 Ознакомиться с полным ноутбуком: Alfa Summer Challenge - LSTM Solution

\n

В этом соревновании требовалось предсказать группу минимального баланса клиента на следующий месяц.
\nЦелевая переменная — целое число от 0 (нулевой баланс) до 6 (высокий баланс), отражающее уровень минимального остатка клиента за месяц.

\n
\n

🧠 Общее описание решения

\n

Финальный сабмит был получен путём усреднения предсказаний трёх моделей на основе Bidirectional LSTM:

\n\n

Такой простой ансамбль позволил занять:

\n\n
\n

📊 Обработка данных и построение признаков

\n

1. Глобальные признаки клиента

\n

Для каждого клиента рассчитаны глобальные статистики:

\n\n

2. Агрегации по дням

\n

Для каждой пары (client, date):

\n\n

3. Top-N категорий

\n

Для mcc_code и merchant_name выделяются топ-5 категорий по количеству транзакций.
\nДля каждой позиции в топе рассчитываются:

\n\n

4. Сетка client × date

\n

Создаётся полная сетка client_num × date, чтобы учесть все дни, даже без транзакций.
\nВсе признаки объединяются в один датафрейм.

\n

5. Временные признаки

\n

Добавлены:

\n\n

6. Финальная обработка

\n\n
\n

🤖 Модель: Bidirectional LSTM

\n

Каждый клиент представлен как последовательность ежедневных признаков (длина ~93 дня).
\nЭта последовательность подаётся в модель:

\n

Вход:

\n\n

Архитектура:

\n\n

Функция потерь: Weighted MAE (WMAE)

\n

Ошибки по классам с низким балансом штрафуются сильнее:

\n
class_weights = {\n    : , : , : , : ,\n    : , : , : , : \n}\n
\n
\n

🧪 Валидация

\n\n
\n

🧬 Ансамбль

\n

Финальный сабмит — усреднение трёх моделей:

\n\n

Этот подход помог уменьшить переобучение и повысить стабильность.

\n
\n

📤 Предсказания и сабмит

\n\n
pred_df[] = np.clip(np.(pred_df[]), , ).astype()\n
\n
\n

📌 Результаты

\n

📈 Public LB: 3-е место
\n🏁 Private LB: 4-е место

\n
\n

🧷 Выводы

\n\n

📘 Ознакомиться с полным ноутбуком: Alfa Summer Challenge - LSTM Solution

\n
\n

🔥 Спасибо всем участникам и организаторам!
\nЕсли есть вопросы — пишите в комментарии, с радостью отвечу 🙌

", "messages": [ { "id": 3248032, "postDate": "2025-07-13T21:09:50.260Z", "content": "

🏆 3-е место на паблике / 4-е место на приватном лидерборде — Alpha Summer Challenge

\n

📘 Ознакомиться с полным ноутбуком: Alfa Summer Challenge - LSTM Solution

\n

В этом соревновании требовалось предсказать группу минимального баланса клиента на следующий месяц.
\nЦелевая переменная — целое число от 0 (нулевой баланс) до 6 (высокий баланс), отражающее уровень минимального остатка клиента за месяц.

\n
\n

🧠 Общее описание решения

\n

Финальный сабмит был получен путём усреднения предсказаний трёх моделей на основе Bidirectional LSTM:

\n\n

Такой простой ансамбль позволил занять:

\n\n
\n

📊 Обработка данных и построение признаков

\n

1. Глобальные признаки клиента

\n

Для каждого клиента рассчитаны глобальные статистики:

\n\n

2. Агрегации по дням

\n

Для каждой пары (client, date):

\n\n

3. Top-N категорий

\n

Для mcc_code и merchant_name выделяются топ-5 категорий по количеству транзакций.
\nДля каждой позиции в топе рассчитываются:

\n\n

4. Сетка client × date

\n

Создаётся полная сетка client_num × date, чтобы учесть все дни, даже без транзакций.
\nВсе признаки объединяются в один датафрейм.

\n

5. Временные признаки

\n

Добавлены:

\n\n

6. Финальная обработка

\n\n
\n

🤖 Модель: Bidirectional LSTM

\n

Каждый клиент представлен как последовательность ежедневных признаков (длина ~93 дня).
\nЭта последовательность подаётся в модель:

\n

Вход:

\n\n

Архитектура:

\n\n

Функция потерь: Weighted MAE (WMAE)

\n

Ошибки по классам с низким балансом штрафуются сильнее:

\n
class_weights = {\n    : , : , : , : ,\n    : , : , : , : \n}\n
\n
\n

🧪 Валидация

\n\n
\n

🧬 Ансамбль

\n

Финальный сабмит — усреднение трёх моделей:

\n\n

Этот подход помог уменьшить переобучение и повысить стабильность.

\n
\n

📤 Предсказания и сабмит

\n\n
pred_df[] = np.clip(np.(pred_df[]), , ).astype()\n
\n
\n

📌 Результаты

\n

📈 Public LB: 3-е место
\n🏁 Private LB: 4-е место

\n
\n

🧷 Выводы

\n\n

📘 Ознакомиться с полным ноутбуком: Alfa Summer Challenge - LSTM Solution

\n
\n

🔥 Спасибо всем участникам и организаторам!
\nЕсли есть вопросы — пишите в комментарии, с радостью отвечу 🙌

", "rawMarkdown": "# 🏆 3-е место на паблике / 4-е место на приватном лидерборде — Alpha Summer Challenge\n📘 Ознакомиться с полным ноутбуком: [Alfa Summer Challenge - LSTM Solution](https://www.kaggle.com/code/nslobodchuk/alfa-summer-challenge-lstm-solution)\n\nВ этом соревновании требовалось предсказать **группу минимального баланса клиента** на следующий месяц. \nЦелевая переменная — целое число от `0` (нулевой баланс) до `6` (высокий баланс), отражающее уровень минимального остатка клиента за месяц.\n\n---\n\n## 🧠 Общее описание решения\n\nФинальный сабмит был получен путём **усреднения предсказаний трёх моделей** на основе Bidirectional LSTM:\n- Модель, обученная **локально на MacBook**\n- Модель, обученная в **Kaggle Notebook**\n- Модель с **немного изменёнными гиперпараметрами**\n\nТакой простой ансамбль позволил занять:\n- 🥉 **3-е место на публичном лидерборде**\n- 🎖️ **4-е место на приватном лидерборде**\n\n---\n\n## 📊 Обработка данных и построение признаков\n\n### 1. Глобальные признаки клиента\nДля каждого клиента рассчитаны глобальные статистики:\n- Логарифмированные: `mean`, `std`, `max`, `sum` по `amount`\n- Количество уникальных `mcc_code` и `merchant_name`\n- Нормализованные timestamps первых и последних транзакций\n\n### 2. Агрегации по дням\nДля каждой пары `(client, date)`:\n- Считаются метрики: `sum`, `count`, `mean`, `std`, `min`, `max`\n- Количество уникальных MCC и мерчантов в этот день\n\n### 3. Top-N категорий\nДля `mcc_code` и `merchant_name` выделяются **топ-5 категорий** по количеству транзакций. \nДля каждой позиции в топе рассчитываются:\n- Сумма операций\n- Количество\n- Доля от дневного объёма\n\n### 4. Сетка client × date\nСоздаётся полная сетка `client_num × date`, чтобы учесть все дни, даже без транзакций. \nВсе признаки объединяются в один датафрейм.\n\n### 5. Временные признаки\nДобавлены:\n- День недели (`day_of_week`)\n- День года (`day_of_year`)\n- Номер недели (`week`)\n- Месяц (`month`)\n- Относительное положение во времени (`timestep_ratio`)\n\n### 6. Финальная обработка\n- Пропуски заполнены\n- Логарифмирование числовых агрегатов\n- Объединение с глобальными фичами клиента\n- Стандартизация числовых признаков с `StandardScaler`\n\n---\n\n## 🤖 Модель: Bidirectional LSTM\n\nКаждый клиент представлен как последовательность ежедневных признаков (длина ~93 дня). \nЭта последовательность подаётся в модель:\n\n### Вход:\n- Числовые признаки (стандартизированы)\n- Эмбеддинги категориальных признаков (MCC, мерчант, дата и др.)\n\n### Архитектура:\n- Bidirectional LSTM (3 слоя, `hidden_size=1024`)\n- Mean-пулинг по последним 20 шагам\n- Полносвязный слой → одно предсказание\n\n### Функция потерь: Weighted MAE (WMAE)\n\nОшибки по классам с низким балансом штрафуются сильнее:\n\n```python\nclass_weights = {\n 0: 1.00, 1: 0.72, 2: 0.52, 3: 0.37,\n 4: 0.27, 5: 0.19, 6: 0.14, 7: 0.10\n}\n```\n\n---\n\n## 🧪 Валидация\n\n- Стратифицированный сплит 80/20 по таргету\n- Оценка модели с помощью `WMAE` по raw и округлённым предсказаниям\n- Сохранялись лучшие веса по обеим метрикам\n\n---\n\n## 🧬 Ансамбль\n\nФинальный сабмит — **усреднение трёх моделей**:\n- Модель, обученная локально\n- Модель, обученная на Kaggle\n- Модель с другими параметрами (`hidden_size`, `learning_rate`, `num_layers`)\n\nЭтот подход помог уменьшить переобучение и повысить стабильность.\n\n---\n\n## 📤 Предсказания и сабмит\n\n- Предсказания были **округлены до диапазона [0, 6]**\n- Сохранены в формате `submission.csv`\n\n```python\npred_df[\"target\"] = np.clip(np.round(pred_df[\"prediction\"]), 0, 6).astype(int)\n```\n\n---\n\n## 📌 Результаты\n\n📈 **Public LB**: 3-е место \n🏁 **Private LB**: 4-е место\n\n---\n\n## 🧷 Выводы\n\n- Временные ряды по клиентам отлично подходят под LSTM-архитектуру \n- WMAE — эффективная метрика, отражающая целевую функцию\n- Даже простое усреднение моделей даёт ощутимую пользу\n\n📘 Ознакомиться с полным ноутбуком: [Alfa Summer Challenge - LSTM Solution](https://www.kaggle.com/code/nslobodchuk/alfa-summer-challenge-lstm-solution)\n\n---\n\n🔥 Спасибо всем участникам и организаторам! \nЕсли есть вопросы — пишите в комментарии, с радостью отвечу 🙌\n", "votes": 6 } ], "comments": [], "raw_markdown_by_id": { "3248032": "# 🏆 3-е место на паблике / 4-е место на приватном лидерборде — Alpha Summer Challenge\n📘 Ознакомиться с полным ноутбуком: [Alfa Summer Challenge - LSTM Solution](https://www.kaggle.com/code/nslobodchuk/alfa-summer-challenge-lstm-solution)\n\nВ этом соревновании требовалось предсказать **группу минимального баланса клиента** на следующий месяц. \nЦелевая переменная — целое число от `0` (нулевой баланс) до `6` (высокий баланс), отражающее уровень минимального остатка клиента за месяц.\n\n---\n\n## 🧠 Общее описание решения\n\nФинальный сабмит был получен путём **усреднения предсказаний трёх моделей** на основе Bidirectional LSTM:\n- Модель, обученная **локально на MacBook**\n- Модель, обученная в **Kaggle Notebook**\n- Модель с **немного изменёнными гиперпараметрами**\n\nТакой простой ансамбль позволил занять:\n- 🥉 **3-е место на публичном лидерборде**\n- 🎖️ **4-е место на приватном лидерборде**\n\n---\n\n## 📊 Обработка данных и построение признаков\n\n### 1. Глобальные признаки клиента\nДля каждого клиента рассчитаны глобальные статистики:\n- Логарифмированные: `mean`, `std`, `max`, `sum` по `amount`\n- Количество уникальных `mcc_code` и `merchant_name`\n- Нормализованные timestamps первых и последних транзакций\n\n### 2. Агрегации по дням\nДля каждой пары `(client, date)`:\n- Считаются метрики: `sum`, `count`, `mean`, `std`, `min`, `max`\n- Количество уникальных MCC и мерчантов в этот день\n\n### 3. Top-N категорий\nДля `mcc_code` и `merchant_name` выделяются **топ-5 категорий** по количеству транзакций. \nДля каждой позиции в топе рассчитываются:\n- Сумма операций\n- Количество\n- Доля от дневного объёма\n\n### 4. Сетка client × date\nСоздаётся полная сетка `client_num × date`, чтобы учесть все дни, даже без транзакций. \nВсе признаки объединяются в один датафрейм.\n\n### 5. Временные признаки\nДобавлены:\n- День недели (`day_of_week`)\n- День года (`day_of_year`)\n- Номер недели (`week`)\n- Месяц (`month`)\n- Относительное положение во времени (`timestep_ratio`)\n\n### 6. Финальная обработка\n- Пропуски заполнены\n- Логарифмирование числовых агрегатов\n- Объединение с глобальными фичами клиента\n- Стандартизация числовых признаков с `StandardScaler`\n\n---\n\n## 🤖 Модель: Bidirectional LSTM\n\nКаждый клиент представлен как последовательность ежедневных признаков (длина ~93 дня). \nЭта последовательность подаётся в модель:\n\n### Вход:\n- Числовые признаки (стандартизированы)\n- Эмбеддинги категориальных признаков (MCC, мерчант, дата и др.)\n\n### Архитектура:\n- Bidirectional LSTM (3 слоя, `hidden_size=1024`)\n- Mean-пулинг по последним 20 шагам\n- Полносвязный слой → одно предсказание\n\n### Функция потерь: Weighted MAE (WMAE)\n\nОшибки по классам с низким балансом штрафуются сильнее:\n\n```python\nclass_weights = {\n 0: 1.00, 1: 0.72, 2: 0.52, 3: 0.37,\n 4: 0.27, 5: 0.19, 6: 0.14, 7: 0.10\n}\n```\n\n---\n\n## 🧪 Валидация\n\n- Стратифицированный сплит 80/20 по таргету\n- Оценка модели с помощью `WMAE` по raw и округлённым предсказаниям\n- Сохранялись лучшие веса по обеим метрикам\n\n---\n\n## 🧬 Ансамбль\n\nФинальный сабмит — **усреднение трёх моделей**:\n- Модель, обученная локально\n- Модель, обученная на Kaggle\n- Модель с другими параметрами (`hidden_size`, `learning_rate`, `num_layers`)\n\nЭтот подход помог уменьшить переобучение и повысить стабильность.\n\n---\n\n## 📤 Предсказания и сабмит\n\n- Предсказания были **округлены до диапазона [0, 6]**\n- Сохранены в формате `submission.csv`\n\n```python\npred_df[\"target\"] = np.clip(np.round(pred_df[\"prediction\"]), 0, 6).astype(int)\n```\n\n---\n\n## 📌 Результаты\n\n📈 **Public LB**: 3-е место \n🏁 **Private LB**: 4-е место\n\n---\n\n## 🧷 Выводы\n\n- Временные ряды по клиентам отлично подходят под LSTM-архитектуру \n- WMAE — эффективная метрика, отражающая целевую функцию\n- Даже простое усреднение моделей даёт ощутимую пользу\n\n📘 Ознакомиться с полным ноутбуком: [Alfa Summer Challenge - LSTM Solution](https://www.kaggle.com/code/nslobodchuk/alfa-summer-challenge-lstm-solution)\n\n---\n\n🔥 Спасибо всем участникам и организаторам! \nЕсли есть вопросы — пишите в комментарии, с радостью отвечу 🙌\n" } }