imagenet으로 학습된 모델을 불러오면서 layer들을 freeze시켜주는 것이 성능적인 면에서\n더 좋을것이라고 생각했는데 오히려 freeze하지 않고 학습시킬 때 더 높은 점수가 나오는거 같습니다.
\n\n이미지 데이터에 따라 다른걸까요?
", "messages": [ { "id": "553693", "postDate": "06/16/2019 07:03:28", "content": "imagenet으로 학습된 모델을 불러오면서 layer들을 freeze시켜주는 것이 성능적인 면에서\n더 좋을것이라고 생각했는데 오히려 freeze하지 않고 학습시킬 때 더 높은 점수가 나오는거 같습니다.
\n\n이미지 데이터에 따라 다른걸까요?
", "rawMarkdown": "imagenet으로 학습된 모델을 불러오면서 layer들을 freeze시켜주는 것이 성능적인 면에서\n더 좋을것이라고 생각했는데 오히려 freeze하지 않고 학습시킬 때 더 높은 점수가 나오는거 같습니다.\n\n이미지 데이터에 따라 다른걸까요?", "votes": null }, { "id": "553832", "postDate": "06/16/2019 12:22:29", "content": "저도 베이스라인을 만들면서 처음에는 Model layer를 freeze 시키고 작업했었는데요. 성능이 정말 나오지 않아서 차이가 뭘까 생각하다가 \nfreeze를 풀어버리니 잘 됬었어요.
\n\n그러고 나서 한참 생각해보니 ImageNet이 풀고자 했던 문제와 이번 컴페티션에서 풀고자 한 문제가 과연 같은 문제 인가? 를 생각해 보게 됬죠.\nImageNet은 다양한 카테고리의 사물 하나하나가 무엇인지 맞추는데 중점적이라고 한다면, 이번 컴페티션은 카테고리가 오로지 1개 입니다.\n자동차라는 카테고리 안에서, 그것도 모두 비슷비슷하게 생긴 놈들 사이에서 다른 점을 찾아야 해요. 목적 부터가 다른 상황에서 Weight가 Freeze 되면 당연히 제대로 된 성능을 내지 못하지 않을까 하고 생각하게 되었습니다.
\n\n제 말이 정답이 아닐 수 있으니 다른 생각이 있다면 어떤 형태로든 토의해봐요!
", "rawMarkdown": "저도 베이스라인을 만들면서 처음에는 Model layer를 freeze 시키고 작업했었는데요. 성능이 정말 나오지 않아서 차이가 뭘까 생각하다가 \nfreeze를 풀어버리니 잘 됬었어요.\n\n그러고 나서 한참 생각해보니 ImageNet이 풀고자 했던 문제와 이번 컴페티션에서 풀고자 한 문제가 과연 같은 문제 인가? 를 생각해 보게 됬죠.\nImageNet은 다양한 카테고리의 사물 하나하나가 무엇인지 맞추는데 중점적이라고 한다면, 이번 컴페티션은 카테고리가 오로지 1개 입니다.\n자동차라는 카테고리 안에서, 그것도 모두 비슷비슷하게 생긴 놈들 사이에서 다른 점을 찾아야 해요. 목적 부터가 다른 상황에서 Weight가 Freeze 되면 당연히 제대로 된 성능을 내지 못하지 않을까 하고 생각하게 되었습니다.\n\n제 말이 정답이 아닐 수 있으니 다른 생각이 있다면 어떤 형태로든 토의해봐요!", "votes": null }, { "id": "553834", "postDate": "06/16/2019 12:25:43", "content": "태진님 답변 감사합니다. \nval_acc가 40을 넘기기 힘들더라구요 \n저도 태진님 의견에 동의합니다! 다만 모든층을 다 학습시키다보니 \n코랩도 금방금방 뻗어버리고 학습시키는게 쉽지않네요 ㅠㅠ \n일단은 freeze없이 킵고잉해봐야겠네요! 감사합니다 :)
", "rawMarkdown": "태진님 답변 감사합니다. \nval_acc가 40을 넘기기 힘들더라구요 \n저도 태진님 의견에 동의합니다! 다만 모든층을 다 학습시키다보니 \n코랩도 금방금방 뻗어버리고 학습시키는게 쉽지않네요 ㅠㅠ \n일단은 freeze없이 킵고잉해봐야겠네요! 감사합니다 :)", "votes": null }, { "id": "554548", "postDate": "06/17/2019 16:21:26", "content": "저 같은 경우 Pretrained 모델을 쓸 때, 이미지넷 문제와 많이 다르다 판단되면 Weights 초기화 용도로만 먼저 씁니다!
\n\n그리고 전체를 적은 에폭으로 학습시켜서 어느정도 이미지 Feature가 잘 잡힌다고 판단되는 Score가 나오면,\n그때 Freezing을 시켜 CNN(Feature Extraction)을 제외한 Fully connected 신경망을 fine tuning합니다..
\n\nPretrained 모델로 초기화 하니 Feature Extraction 학습이 더욱 빨리 되어 그렇게 사용합니다.
\n\n도움이 되셨을지 모르겠네요 ^^
", "rawMarkdown": "저 같은 경우 Pretrained 모델을 쓸 때, 이미지넷 문제와 많이 다르다 판단되면 Weights 초기화 용도로만 먼저 씁니다!\n\n그리고 전체를 적은 에폭으로 학습시켜서 어느정도 이미지 Feature가 잘 잡힌다고 판단되는 Score가 나오면,\n그때 Freezing을 시켜 CNN(Feature Extraction)을 제외한 Fully connected 신경망을 fine tuning합니다..\n\nPretrained 모델로 초기화 하니 Feature Extraction 학습이 더욱 빨리 되어 그렇게 사용합니다.\n\n도움이 되셨을지 모르겠네요 ^^", "votes": null }, { "id": "554615", "postDate": "06/17/2019 18:48:17", "content": "좋은 의견 감사합니다! 도움이 많이 될거 같습니다 ㅎㅎㅎ
", "rawMarkdown": "좋은 의견 감사합니다! 도움이 많이 될거 같습니다 ㅎㅎㅎ", "votes": null }, { "id": "555086", "postDate": "06/18/2019 12:07:12", "content": "좋은 답변 감사합니다!
", "rawMarkdown": "좋은 답변 감사합니다!", "votes": null } ], "comments": [ { "id": 553832, "author_name": "fulrose", "author_url": "", "post_date": "06/16/2019 12:22:29", "content": "저도 베이스라인을 만들면서 처음에는 Model layer를 freeze 시키고 작업했었는데요. 성능이 정말 나오지 않아서 차이가 뭘까 생각하다가 \nfreeze를 풀어버리니 잘 됬었어요.
\n\n그러고 나서 한참 생각해보니 ImageNet이 풀고자 했던 문제와 이번 컴페티션에서 풀고자 한 문제가 과연 같은 문제 인가? 를 생각해 보게 됬죠.\nImageNet은 다양한 카테고리의 사물 하나하나가 무엇인지 맞추는데 중점적이라고 한다면, 이번 컴페티션은 카테고리가 오로지 1개 입니다.\n자동차라는 카테고리 안에서, 그것도 모두 비슷비슷하게 생긴 놈들 사이에서 다른 점을 찾아야 해요. 목적 부터가 다른 상황에서 Weight가 Freeze 되면 당연히 제대로 된 성능을 내지 못하지 않을까 하고 생각하게 되었습니다.
\n\n제 말이 정답이 아닐 수 있으니 다른 생각이 있다면 어떤 형태로든 토의해봐요!
", "votes": null, "replies": [ { "id": 553834, "author_name": "dlehddms1", "author_url": "", "post_date": "06/16/2019 12:25:43", "content": "태진님 답변 감사합니다. \nval_acc가 40을 넘기기 힘들더라구요 \n저도 태진님 의견에 동의합니다! 다만 모든층을 다 학습시키다보니 \n코랩도 금방금방 뻗어버리고 학습시키는게 쉽지않네요 ㅠㅠ \n일단은 freeze없이 킵고잉해봐야겠네요! 감사합니다 :)
", "votes": null, "replies": [] } ] }, { "id": 554548, "author_name": "daehungwak", "author_url": "", "post_date": "06/17/2019 16:21:26", "content": "저 같은 경우 Pretrained 모델을 쓸 때, 이미지넷 문제와 많이 다르다 판단되면 Weights 초기화 용도로만 먼저 씁니다!
\n\n그리고 전체를 적은 에폭으로 학습시켜서 어느정도 이미지 Feature가 잘 잡힌다고 판단되는 Score가 나오면,\n그때 Freezing을 시켜 CNN(Feature Extraction)을 제외한 Fully connected 신경망을 fine tuning합니다..
\n\nPretrained 모델로 초기화 하니 Feature Extraction 학습이 더욱 빨리 되어 그렇게 사용합니다.
\n\n도움이 되셨을지 모르겠네요 ^^
", "votes": null, "replies": [ { "id": 554615, "author_name": "dlehddms1", "author_url": "", "post_date": "06/17/2019 18:48:17", "content": "좋은 의견 감사합니다! 도움이 많이 될거 같습니다 ㅎㅎㅎ
", "votes": null, "replies": [] }, { "id": 555086, "author_name": "fulrose", "author_url": "", "post_date": "06/18/2019 12:07:12", "content": "좋은 답변 감사합니다!
", "votes": null, "replies": [] } ] } ], "raw_markdown_by_id": { "553693": "imagenet으로 학습된 모델을 불러오면서 layer들을 freeze시켜주는 것이 성능적인 면에서\n더 좋을것이라고 생각했는데 오히려 freeze하지 않고 학습시킬 때 더 높은 점수가 나오는거 같습니다.\n\n이미지 데이터에 따라 다른걸까요?", "553832": "저도 베이스라인을 만들면서 처음에는 Model layer를 freeze 시키고 작업했었는데요. 성능이 정말 나오지 않아서 차이가 뭘까 생각하다가 \nfreeze를 풀어버리니 잘 됬었어요.\n\n그러고 나서 한참 생각해보니 ImageNet이 풀고자 했던 문제와 이번 컴페티션에서 풀고자 한 문제가 과연 같은 문제 인가? 를 생각해 보게 됬죠.\nImageNet은 다양한 카테고리의 사물 하나하나가 무엇인지 맞추는데 중점적이라고 한다면, 이번 컴페티션은 카테고리가 오로지 1개 입니다.\n자동차라는 카테고리 안에서, 그것도 모두 비슷비슷하게 생긴 놈들 사이에서 다른 점을 찾아야 해요. 목적 부터가 다른 상황에서 Weight가 Freeze 되면 당연히 제대로 된 성능을 내지 못하지 않을까 하고 생각하게 되었습니다.\n\n제 말이 정답이 아닐 수 있으니 다른 생각이 있다면 어떤 형태로든 토의해봐요!", "553834": "태진님 답변 감사합니다. \nval_acc가 40을 넘기기 힘들더라구요 \n저도 태진님 의견에 동의합니다! 다만 모든층을 다 학습시키다보니 \n코랩도 금방금방 뻗어버리고 학습시키는게 쉽지않네요 ㅠㅠ \n일단은 freeze없이 킵고잉해봐야겠네요! 감사합니다 :)", "554548": "저 같은 경우 Pretrained 모델을 쓸 때, 이미지넷 문제와 많이 다르다 판단되면 Weights 초기화 용도로만 먼저 씁니다!\n\n그리고 전체를 적은 에폭으로 학습시켜서 어느정도 이미지 Feature가 잘 잡힌다고 판단되는 Score가 나오면,\n그때 Freezing을 시켜 CNN(Feature Extraction)을 제외한 Fully connected 신경망을 fine tuning합니다..\n\nPretrained 모델로 초기화 하니 Feature Extraction 학습이 더욱 빨리 되어 그렇게 사용합니다.\n\n도움이 되셨을지 모르겠네요 ^^", "554615": "좋은 의견 감사합니다! 도움이 많이 될거 같습니다 ㅎㅎㅎ", "555086": "좋은 답변 감사합니다!" }, "source": "meta" }