{
  "id": 81176,
  "title": "Up to 90% of acc",
  "content": "<p>안녕하세요 Kaggle을 즐기는 유저입니다. \n우연히 웹 서핑 중 KaKR Titanic competition을 보고 참여하게 되었는데 스스로 다양한 시도도 해보고\n대회도 큰 호응 아래 종료되어 서로에게 유익한 시간이었던 것 같습니다 감사드립니다.</p>\n\n<p>대회 막바지엔 역시나 GP-Genetic Programming-가 말썽을 일으켰네요.. 미천한 실력으로 titanic competiton 랭킹에 오르긴 하였지만 GP의 코드는 사용하지 않고 꾸역꾸역 올렸습니다. 아래는 각각의 랭킹과 스코어입니다. 92%의 스코어는 대회 종료 후 제출한 결과이기 때문에 최종 결과에는 영향을 주지 않았습니다.</p>\n\n<p><img src=\"https://i.imgur.com/eHJKbYb.png\" alt=\"rank\">\n<img src=\"https://i.imgur.com/9w3267z.png\" alt=\"0.92\"></p>\n\n<p>많은 분들이 어떻게 90%까지 도달한 것인지 의문이 드셨을 텐데 저의 경우에는 Blending을 통해 도달하였습니다. 우선 GP에 대해서 저도 보긴 하였지만 코드 자체가 붙잡고 공부하고 싶지는 않더군요. 그래서 GP는 포기하고 기존에 얕게 알고 있던 지식을 넓히는데 시간을 썼습니다. 필수적인 모델 몇 가지를 구성하고, 변수를 튜닝하고 다양한 방법을 시도하였지만 저 또한 80% 초반을 극복하는데 많은 애를 썼습니다.</p>\n\n<p>Kernel에도 작성하였지만 기존의 모델을 발전시켜 public score 80% 초반 구간은 넘길 수 있었고, 앞서 설계한 모델의 결과와 서로 비교해 살펴보니 완전 엉망으로 예측하고 있더군요. 나름의 결론을 내린 것은 우선 학습 데이터 양이 절대적으로 작기 때문에 학습이 충분히 이루어지지 못하는 것입니다. 아무리 features를 쥐어 짜도 891개의 데이터로 418개를 예측하기란 뛰어난 알고리즘에게도 쉽지 않은 작업입니다. CV를 열심히 해도 train에서 ACC가 높게 나타난다면 십중팔구 train-overfitting입니다. 그래서 어떻게 모델을 구성하지 보다는 어떤 방식으로 blending material을 생성하고 어떻게 blending 할지를 고민했습니다.</p>\n\n<p>Blending을 할수록 각 결과들이 공통적으로 헷갈려하는 PassengerId를 탐색하였고 이를 계속해서 보정하다 보니 GP와 근접한 결과를 갖게 되었고(0.88), 0.88의 GP와 Blending을 통해 0.93(PU) / 0.92(PI)에 도달하게 되었습니다. 모델이 한계에 있다고 생각되실 때, 지금껏 하셨던 결과들을 다시 살펴보시면 그 결과들이 절대 헛된 노력이 아닐거라 생각합니다.</p>\n\n<p>Blending과 관련한 내용은 해당 Kernel을 참조하시면 됩니다.</p>\n\n<p><a href=\"https://www.kaggle.com/karell/gender-model-with-blending\">https://www.kaggle.com/karell/gender-model-with-blending</a></p>",
  "comments": [
    {
      "id": 737296,
      "author_name": "INNO TECH",
      "author_url": "",
      "post_date": "2020-02-05T06:42:16.730000",
      "content": "<p>0.933! 👍 </p>",
      "votes": 0,
      "replies": []
    }
  ],
  "comment_count": 1,
  "messages": [
    {
      "id": 474641,
      "postDate": "2019-02-19T16:57:01.737Z",
      "content": "<p>안녕하세요 Kaggle을 즐기는 유저입니다. \n우연히 웹 서핑 중 KaKR Titanic competition을 보고 참여하게 되었는데 스스로 다양한 시도도 해보고\n대회도 큰 호응 아래 종료되어 서로에게 유익한 시간이었던 것 같습니다 감사드립니다.</p>\n\n<p>대회 막바지엔 역시나 GP-Genetic Programming-가 말썽을 일으켰네요.. 미천한 실력으로 titanic competiton 랭킹에 오르긴 하였지만 GP의 코드는 사용하지 않고 꾸역꾸역 올렸습니다. 아래는 각각의 랭킹과 스코어입니다. 92%의 스코어는 대회 종료 후 제출한 결과이기 때문에 최종 결과에는 영향을 주지 않았습니다.</p>\n\n<p><img src=\"https://i.imgur.com/eHJKbYb.png\" alt=\"rank\">\n<img src=\"https://i.imgur.com/9w3267z.png\" alt=\"0.92\"></p>\n\n<p>많은 분들이 어떻게 90%까지 도달한 것인지 의문이 드셨을 텐데 저의 경우에는 Blending을 통해 도달하였습니다. 우선 GP에 대해서 저도 보긴 하였지만 코드 자체가 붙잡고 공부하고 싶지는 않더군요. 그래서 GP는 포기하고 기존에 얕게 알고 있던 지식을 넓히는데 시간을 썼습니다. 필수적인 모델 몇 가지를 구성하고, 변수를 튜닝하고 다양한 방법을 시도하였지만 저 또한 80% 초반을 극복하는데 많은 애를 썼습니다.</p>\n\n<p>Kernel에도 작성하였지만 기존의 모델을 발전시켜 public score 80% 초반 구간은 넘길 수 있었고, 앞서 설계한 모델의 결과와 서로 비교해 살펴보니 완전 엉망으로 예측하고 있더군요. 나름의 결론을 내린 것은 우선 학습 데이터 양이 절대적으로 작기 때문에 학습이 충분히 이루어지지 못하는 것입니다. 아무리 features를 쥐어 짜도 891개의 데이터로 418개를 예측하기란 뛰어난 알고리즘에게도 쉽지 않은 작업입니다. CV를 열심히 해도 train에서 ACC가 높게 나타난다면 십중팔구 train-overfitting입니다. 그래서 어떻게 모델을 구성하지 보다는 어떤 방식으로 blending material을 생성하고 어떻게 blending 할지를 고민했습니다.</p>\n\n<p>Blending을 할수록 각 결과들이 공통적으로 헷갈려하는 PassengerId를 탐색하였고 이를 계속해서 보정하다 보니 GP와 근접한 결과를 갖게 되었고(0.88), 0.88의 GP와 Blending을 통해 0.93(PU) / 0.92(PI)에 도달하게 되었습니다. 모델이 한계에 있다고 생각되실 때, 지금껏 하셨던 결과들을 다시 살펴보시면 그 결과들이 절대 헛된 노력이 아닐거라 생각합니다.</p>\n\n<p>Blending과 관련한 내용은 해당 Kernel을 참조하시면 됩니다.</p>\n\n<p><a href=\"https://www.kaggle.com/karell/gender-model-with-blending\">https://www.kaggle.com/karell/gender-model-with-blending</a></p>",
      "rawMarkdown": "안녕하세요 Kaggle을 즐기는 유저입니다. \n우연히 웹 서핑 중 KaKR Titanic competition을 보고 참여하게 되었는데 스스로 다양한 시도도 해보고\n대회도 큰 호응 아래 종료되어 서로에게 유익한 시간이었던 것 같습니다 감사드립니다.\n\n대회 막바지엔 역시나 GP-Genetic Programming-가 말썽을 일으켰네요.. 미천한 실력으로 titanic competiton 랭킹에 오르긴 하였지만 GP의 코드는 사용하지 않고 꾸역꾸역 올렸습니다. 아래는 각각의 랭킹과 스코어입니다. 92%의 스코어는 대회 종료 후 제출한 결과이기 때문에 최종 결과에는 영향을 주지 않았습니다.\n\n![rank][1]\n![0.92][2]\n\n\n  [1]: https://i.imgur.com/eHJKbYb.png\n  [2]: https://i.imgur.com/9w3267z.png\n\n많은 분들이 어떻게 90%까지 도달한 것인지 의문이 드셨을 텐데 저의 경우에는 Blending을 통해 도달하였습니다. 우선 GP에 대해서 저도 보긴 하였지만 코드 자체가 붙잡고 공부하고 싶지는 않더군요. 그래서 GP는 포기하고 기존에 얕게 알고 있던 지식을 넓히는데 시간을 썼습니다. 필수적인 모델 몇 가지를 구성하고, 변수를 튜닝하고 다양한 방법을 시도하였지만 저 또한 80% 초반을 극복하는데 많은 애를 썼습니다.\n\nKernel에도 작성하였지만 기존의 모델을 발전시켜 public score 80% 초반 구간은 넘길 수 있었고, 앞서 설계한 모델의 결과와 서로 비교해 살펴보니 완전 엉망으로 예측하고 있더군요. 나름의 결론을 내린 것은 우선 학습 데이터 양이 절대적으로 작기 때문에 학습이 충분히 이루어지지 못하는 것입니다. 아무리 features를 쥐어 짜도 891개의 데이터로 418개를 예측하기란 뛰어난 알고리즘에게도 쉽지 않은 작업입니다. CV를 열심히 해도 train에서 ACC가 높게 나타난다면 십중팔구 train-overfitting입니다. 그래서 어떻게 모델을 구성하지 보다는 어떤 방식으로 blending material을 생성하고 어떻게 blending 할지를 고민했습니다.\n\nBlending을 할수록 각 결과들이 공통적으로 헷갈려하는 PassengerId를 탐색하였고 이를 계속해서 보정하다 보니 GP와 근접한 결과를 갖게 되었고(0.88), 0.88의 GP와 Blending을 통해 0.93(PU) / 0.92(PI)에 도달하게 되었습니다. 모델이 한계에 있다고 생각되실 때, 지금껏 하셨던 결과들을 다시 살펴보시면 그 결과들이 절대 헛된 노력이 아닐거라 생각합니다.\n\nBlending과 관련한 내용은 해당 Kernel을 참조하시면 됩니다.\n\nhttps://www.kaggle.com/karell/gender-model-with-blending\n\n",
      "votes": 7
    },
    {
      "id": 737296,
      "postDate": "2020-02-05T06:42:16.730Z",
      "content": "<p>0.933! 👍 </p>",
      "rawMarkdown": "0.933! 👍 "
    }
  ],
  "complete": true,
  "source": "live",
  "fetched_at": "2026-10-20T08:34:40Z",
  "competition_id": 12349,
  "competition_slug": "2019-1st-ml-month-with-kakr",
  "team_id": 2679912,
  "solution_url": "/competitions/2019-1st-ml-month-with-kakr/writeups/karel-up-to-90-of-acc"
}