\n\n\n데이터셋은
\ntrain과test1로 나누어져 있으며, jpg 포맷의 이미지입니다.\n 이를 클러스터링 방법론 중 하나인 SVM을 이용하여 분류하는 방법입니다.
train 폴더에는 cat.0.jpg, cat.0.jpg, ... 와 같이 정답 라벨(cat/dog).index.jpg로 구성되어 있습니다.\n이를 이미지 X와 라벨 데이터 Y로 나누어 저장합니다.
\nfor i, img in enumerate(paths.list_images(dataset_train)):\n
imutils 라이브러리의 paths 클래스 중 list_images 메소드를 이용하여 dataset_train을 로드합니다.
학습량을 조절하기 위해 변수 i를 추가하여 일정량(1000)이 되면 중단되도록 설정하였습니다.
이상적으로는 test 데이터보다 수가 많아야 하지만, colab notebook의 runtime 문제 등으로 인하여 일부만 포함시켰습니다.
\n\n만약 본인의 환경이 여유가 된다면 모든 train 데이터를 포함시키는 것을 권장드립니다.
\n\n```
\n\nY.append(1 if 'dog' in img else 0)
\n img = cv2.imread(img)
img = cv2.resize(img, (32, 32), interpolation=cv2.INTER_AREA)
\n\nimg = img.flatten()
\n\nX.append(img)\n```
\n\ncat은 0, dog는 1로 매핑하였으므로 이미지 파일명을 확인하여 라벨을 추가합니다.
OpenCV를 이용하여 이미지 파일을 불러온 후, resize() 메소드를 이용하여 32x32 크기로 조정합니다.
마지막으로 용이한 학습을 위해 2차원 이미지 배열을 1차원으로 변환하여 이미지 배열 X에 추가합니다.
\n\n\nX = np.array(X)\nY = np.array(Y)\n
위에서 입력받은 X, Y는 type이 list 형태이므로, array 형태로 형변환 해줍니다.
이렇게 전처리된 데이터를 학습할 때, 오버피팅을 방지하고 어느 정도의 성능이 나오는지 확인하기 위해 train set과 validation set으로 분할합니다.
\n\n\nX_train, X_val, Y_train, Y_val = train_test_split(\n X, Y, test_size=0.25, random_state=42)\n
scikit learn에서 제공해주는 train_test_split() 메소드를 이용하여 간편하게 분할해줍니다. 이 때, test size는 25%를 권장합니다. 보통 8:2, 7:3 비율도 많이 이용합니다.
앞서 말씀드린대로 SVM(Support Vector Machine)을 적용하기 위해, scikit learn에서 제공해주는 SVC 클래스를 이용합니다.
\nsvc = SVC(kernel='poly')\nsvc.fit(X_train, Y_train)\n
적용 가능한 SVM의 kernel은 linear, poly, rbf 등이 있습니다. 기본값은 rbf입니다.
svc.fit()으로 모델을 학습시킵니다.
\npredict = svc.predict(X_val)\nprint(classification_report(Y_val, predict))\n
학습된 모델을 이용하여 validation set을 적용해 보고, classification_report를 이용하여 precision-recall 값과 mAP(mean Average Precision) 값을 구해봅니다.
```\n precision recall f1-score support
\n\n 0 0.58 0.66 0.62 123\n 1 0.62 0.54 0.58 128\n\naccuracy 0.60 251\nmacro avg 0.60 0.60 0.60 251\nweighted avg 0.60 0.60 0.60 251\n```\n결과는 위와 같습니다.
\n\n앞서 진행했던 것과 동일하게, 이번에는 테스트 데이터를 전처리합니다.
\n\n다만 차이점은, 테스트 데이터는 정답이 없는 index.jpg의 형태입니다.\n따라서 Y 배열은 필요없고 X 배열만 선언해줍니다.\n또한, 테스트 데이터는 validation이 필요 없으므로 분할하지 않고, 모두 포함합니다.
\nresult = svc.predict(X_test)\n\n앞서 학습해둔 svc에 테스트 셋을 적용하여 그 결과를 추출합니다.
python에서 데이터 셋을 조금 더 편하게 다루게 해주는 pandas 라이브러리를 이용합니다. pandas에서는 DataFrame이라는 형태로 데이터를 처리합니다. 이는 table과 유사한 형태라고 생각하시면 됩니다.
\ndf = pd.DataFrame(result, columns=['label'])\n\nDataFrame을 생성하고, 그 안에 추출한 결과값을 대입합니다. 열의 이름은 label로 설정합니다.
\ndf.index += 1\ndf.index.name = 'id'\n
제출 예시인 Sample csv파일의 규격을 맞추기 위해\n- index 값의 시작을 1로 맞추고,\n- index 열의 이름을 'id'로 설정해줍니다.
\n\n\ndf.to_csv('result_namhun_kim-2320.csv',index=True, header=True)\n\n마지막으로 to_csv() 메소드를 이용하여 DataFrame을 csv 포맷으로 저장합니다.
\n\n\n데이터셋은
\ntrain과test1로 나누어져 있으며, jpg 포맷의 이미지입니다.\n 이를 클러스터링 방법론 중 하나인 SVM을 이용하여 분류하는 방법입니다.
train 폴더에는 cat.0.jpg, cat.0.jpg, ... 와 같이 정답 라벨(cat/dog).index.jpg로 구성되어 있습니다.\n이를 이미지 X와 라벨 데이터 Y로 나누어 저장합니다.
\nfor i, img in enumerate(paths.list_images(dataset_train)):\n
imutils 라이브러리의 paths 클래스 중 list_images 메소드를 이용하여 dataset_train을 로드합니다.
학습량을 조절하기 위해 변수 i를 추가하여 일정량(1000)이 되면 중단되도록 설정하였습니다.
이상적으로는 test 데이터보다 수가 많아야 하지만, colab notebook의 runtime 문제 등으로 인하여 일부만 포함시켰습니다.
\n\n만약 본인의 환경이 여유가 된다면 모든 train 데이터를 포함시키는 것을 권장드립니다.
\n\n```
\n\nY.append(1 if 'dog' in img else 0)
\n img = cv2.imread(img)
img = cv2.resize(img, (32, 32), interpolation=cv2.INTER_AREA)
\n\nimg = img.flatten()
\n\nX.append(img)\n```
\n\ncat은 0, dog는 1로 매핑하였으므로 이미지 파일명을 확인하여 라벨을 추가합니다.
OpenCV를 이용하여 이미지 파일을 불러온 후, resize() 메소드를 이용하여 32x32 크기로 조정합니다.
마지막으로 용이한 학습을 위해 2차원 이미지 배열을 1차원으로 변환하여 이미지 배열 X에 추가합니다.
\n\n\nX = np.array(X)\nY = np.array(Y)\n
위에서 입력받은 X, Y는 type이 list 형태이므로, array 형태로 형변환 해줍니다.
이렇게 전처리된 데이터를 학습할 때, 오버피팅을 방지하고 어느 정도의 성능이 나오는지 확인하기 위해 train set과 validation set으로 분할합니다.
\n\n\nX_train, X_val, Y_train, Y_val = train_test_split(\n X, Y, test_size=0.25, random_state=42)\n
scikit learn에서 제공해주는 train_test_split() 메소드를 이용하여 간편하게 분할해줍니다. 이 때, test size는 25%를 권장합니다. 보통 8:2, 7:3 비율도 많이 이용합니다.
앞서 말씀드린대로 SVM(Support Vector Machine)을 적용하기 위해, scikit learn에서 제공해주는 SVC 클래스를 이용합니다.
\nsvc = SVC(kernel='poly')\nsvc.fit(X_train, Y_train)\n
적용 가능한 SVM의 kernel은 linear, poly, rbf 등이 있습니다. 기본값은 rbf입니다.
svc.fit()으로 모델을 학습시킵니다.
\npredict = svc.predict(X_val)\nprint(classification_report(Y_val, predict))\n
학습된 모델을 이용하여 validation set을 적용해 보고, classification_report를 이용하여 precision-recall 값과 mAP(mean Average Precision) 값을 구해봅니다.
```\n precision recall f1-score support
\n\n 0 0.58 0.66 0.62 123\n 1 0.62 0.54 0.58 128\n\naccuracy 0.60 251\nmacro avg 0.60 0.60 0.60 251\nweighted avg 0.60 0.60 0.60 251\n```\n결과는 위와 같습니다.
\n\n앞서 진행했던 것과 동일하게, 이번에는 테스트 데이터를 전처리합니다.
\n\n다만 차이점은, 테스트 데이터는 정답이 없는 index.jpg의 형태입니다.\n따라서 Y 배열은 필요없고 X 배열만 선언해줍니다.\n또한, 테스트 데이터는 validation이 필요 없으므로 분할하지 않고, 모두 포함합니다.
\nresult = svc.predict(X_test)\n\n앞서 학습해둔 svc에 테스트 셋을 적용하여 그 결과를 추출합니다.
python에서 데이터 셋을 조금 더 편하게 다루게 해주는 pandas 라이브러리를 이용합니다. pandas에서는 DataFrame이라는 형태로 데이터를 처리합니다. 이는 table과 유사한 형태라고 생각하시면 됩니다.
\ndf = pd.DataFrame(result, columns=['label'])\n\nDataFrame을 생성하고, 그 안에 추출한 결과값을 대입합니다. 열의 이름은 label로 설정합니다.
\ndf.index += 1\ndf.index.name = 'id'\n
제출 예시인 Sample csv파일의 규격을 맞추기 위해\n- index 값의 시작을 1로 맞추고,\n- index 열의 이름을 'id'로 설정해줍니다.
\n\n\ndf.to_csv('result_namhun_kim-2320.csv',index=True, header=True)\n\n마지막으로 to_csv() 메소드를 이용하여 DataFrame을 csv 포맷으로 저장합니다.