1. Task

Untitled

요즘 쓰레기 관련 문제들이 항상 문제로 떠오르고 있습니다. 이러한 문제를 해결할 수 있는 방법 중 하나는 분리수거를 잘 하는 것입니다. 잘 분리 배출 된 쓰레기는 자원으로서 가치를 인정받아 재활용되지만, 잘못 분리 배출 되면 그대로 폐기물로 분류되어 매립 또는 소각 되기 때문입니다. 따라서 분리 배출을 잘 하기 위해서 사진에서 쓰레기를 detection하는 모델을 만들어 보려고 합니다. 쓰레기를 잘 detection하는 모델을 만든다면 쓰레기장에 설치되어 정확한 분리수거를 도울 수 있고 어린 아이들의 분리수거 교육에 사용될 수도 있을 것입니다.

2. Dataset

2.1 Images

Train Dataset 4883개의 이미지 + Test Dataset 4871개의 이미지로 총 9754장의 이미지가 있습니다.
이미지 크기는 **(1024, 1024)**로 전부 동일합니다.
학습해야 할 class는 다음과 같이 구성되어 있습니다.
- General trash, Paper, Paper pack, Metal, Glass, Plastic, Styrofoam, Plastic bag, Battery, Clothing
해당 Dataset은 COCO format으로 이루어져 있습니다.
- Image에 대한 정보는 images에 있고 해당 image에서의 bbox에 대한 정보는 annotations에 있습니다.
- image_id는 image의 고유 id 입니다. 즉, bbox의 image_id가 같으면 같은 image에서 detection 되는 object들 입니다.
- category_id는 class의 id 입니다. category_id는 General trash, Paper, Paper pack, Metal, Glass, Plastic, Styrofoam, Plastic bag, Battery, Clothing의 순서로 0부터 9까지의 id를 갖습니다.
- bbox는 [x_min, y_min, width, height]의 format을 가지고 있습니다. Train Dataset의 bbox 수는 23144개 입니다.
- iscrowd는 여러 object가 뭉쳐있는 경우 1로 나타냅니다. 해당 task에서 iscrowd는 전부 0입니다.
- 다음은 train.json의 일부분 입니다.
```
"images": [
{
  "width": 1024,
  "height": 1024,
  "file_name": "train/0000.jpg",
  "license": 0,
  "flickr_url": null,
  "coco_url": null,
  "date_captured": "2020-12-26 14:44:23",
  "id": 0
},]

"annotations": [
{
  "image_id": 0,
  "category_id": 0,
  "area": 257301.66,
  "bbox": [
    197.6,
    193.7,
    547.8,
    469.7
  ],
  "iscrowd": 0,
  "id": 0
},
```

2.2 Bounding Box

먼저 전체 class에 대해 예시 bbox들을 하나씩 보겠습니다.
해당 Dataset의 구성을 알아봤고 이제는 bbox에 대해 살펴보겠습니다.

2.2.1 Bbox 불균형

Paper, Plastic bag만 합쳐도 전체 bbox 수의 절반 가량을 차지 합니다. 더불어 General trash, Plastic까지 더하면 **79.68%**로 대부분의 bbox를 차지하고 있음을 알 수 있습니다.
반대로 Styrofoam, Glass, Metal, Paper pack, Clothing, Battery는 전체 bbox에서 차지하는 비중이 크지 않은 것을 알 수 있었으며 특히 Battery는 매우 적은 수의 bbox가 존재하는 것을 알 수 있었습니다.
가장 적게 존재하는 Battery의 bbox가 좋은 bbox가 아니라면 큰 문제가 되기 때문에 직접 확인해 보고자 image를 출력해봤습니다.
출력해 보니 bbox의 수가 적은 것 뿐만 아니라 또 다른 문제를 발견할 수 있었습니다. Battery의 모양이 다양하다는 문제입니다. 사람이 봐도 Battery라고 생각하기 힘든 모양의 Battery도 존재했습니다.
현재까지 확인된 Battery모양은 다음과 같습니다.
- Coin Battery
- AA Battery 또는 AAA Battery
- C Battery, D Battery
- FC-1 Battery
- 보이지 않을 정도의 매우 작은 Battery → image_id: 949
- 그 외 흔히 알고 있지 않은 모양의 Battery
그 외에도 한 image에 많은 bbox가 존재하는 경우 정확히 detection이 가능할까 의문이 들었습니다. 그러나 이는 데이터가 적은 Battery만의 문제는 아니라고 생각하여 다른 class들도 확인해 보고자 했습니다.