{ "fetched_at": "2026-10-19T22:47:20Z", "source_url": "https://www.kaggle.com/competitions/anomaly-detection-competition-ml1-ts-spring-2022/data", "pages": [ { "name": "data-description", "content": "

На этой странице приведено описание данных. Напомним, что Вы можете использовать любые другие дополнительные данные для получения предсказания на тестовом множестве

\n

Описание файлов

\n\n

Описание полей

\n", "isPublished": false, "hasIsPublished": false, "postTitle": "", "hasPostTitle": false, "mimeType": "", "hasMimeType": false }, { "name": "Description", "content": "Добро пожаловать на проектное соревнование курса ML1 Техносферы! Надеемся, что оно Вас не только научит различным техникам машинного обучение, но и покажет насколько соревновательный анализ данных может быть увлекательным ^_^\n\nОписание соревнования\nВо множестве прикладных задач возникает необходимость разбить веб-страницы на какие-то определенные группы, где в каждой группе страницы будут очень похожи по смыслу. Например, представим, что Вы владелец сервиса интернет рекламы. Вашим клиентам хочется, чтобы их услуги рекламировались не на каком-то определенном сайте, а на всех сайтах их тематики. То есть Вам нужна какая-то тематическая разметка сайтов в интернете по множеству тематик, и клиент сможет выбрать любую, какая ему больше нравится. Как же такую разметку сделать?\n\nСамый простой способ - разметить людьми множество сайтов в интернете на множество тем, настроить на этой выборке многоклассовый классификатор и сделать предсказанием на всем оставшемся \"интернете\". Однако, в таком подходе возникает несколько проблем. Во-первых, непонятно откуда брать само множество тем, на которое размечать. Во-вторых, даже если множество тем зафиксировано, не очень понятно, откуда для каждой темы брать примеры, чтобы добавить их в обучающее множество.\n\nВ данном задании мы предлагаем Вам попробовать другое решение. Пусть тематику задают сами данные! Разделим наши веб-страницы на множество групп, например, просто по словам в веб-страницах. В такой группе буду как документы об одном и том же, так и \"аномалии\", которые имеют схожие слова, но не соответствуют документам основной тематики. Например, в такой группе может содержаться подмножество веб-страниц про \"ремонт пластиковых окон\" и аномалии вроде \"пластиковые игрушки\", \"ремонт квартир\" и так далее. Нам останется только выделить подмножество документов одной темы, то есть все документы, которые про \"ремонт пластовых окон\" и убрать все аномалии. Затем подмножество как-то проименуем, чтобы показать клиенту, но этим Вы уже займетесь, когда будете продавать Вашу систему :)\n\nВ задании Вам предлагается работать с 28026 веб-страницами, которые уже скачаны и лежат в архиве content.tar.gz. Эти страницы разбиты по группам, каждая группа около 100 страниц. Каждая группа соответствует какой-то определенной теме, которая Вам неизвестна. Обучающее множество состоит из 129 групп. В обучающих группах ручной разметкой было проставлено, соответствует ли данный документ теме группы (target = 1) или это аномалия (target = 0). Тестовое множество состоит из 180 групп. Вам необходимо проставить для них target. Важно отметить, что обучающие и тестовые группы не пересекаются. Гарантируется, что в каждой группе есть подмножество документов из ее темы.\n\nУдачи! Будет интересно!", "isPublished": false, "hasIsPublished": false, "postTitle": "", "hasPostTitle": false, "mimeType": "", "hasMimeType": false }, { "name": "Evaluation", "content": "Метрикой соревнования является классическая метрика двухклассовой классификации - F1 score. Подробно про нее можно прочитать, например, здесь https://en.wikipedia.org/wiki/F1_score\n\nФормат предсказания\nФайл с предсказаниями должен содержать два поля: pair_id и target (описание полей может посмотреть в \"Data\"), разделенных запятой. Идентификатор pair_id содержится в файлах test_groups.csv или sample_submission.csv.\n\n\nПример формата:\n> pair_id,target\n> 11691,0", "isPublished": false, "hasIsPublished": false, "postTitle": "", "hasPostTitle": false, "mimeType": "", "hasMimeType": false }, { "name": "rules", "content": "Чего делать нельзя:\n1. Нельзя обмениваться кодом между командами вне общего слака. \n2. Нельзя использовать ручную разметку.\n\nВсе остальное можете использовать, то есть любые алгоритмы и любые дополнительные данные, которые находятся в свободном доступе.", "isPublished": false, "hasIsPublished": false, "postTitle": "", "hasPostTitle": false, "mimeType": "", "hasMimeType": false } ] }