1. Transforms

• 사용할 수 있는 Transform

  

• 하나의 Image의 meta 정보 확인

  dataset = build_dataset(cfg.data.train)
  dataset[0]['img_metas']
  

• 필수적인 train pipeline (하나라도 빠지면 Error 발생)

  1. dict(type='LoadImageFromFile')
  2. dict(type='LoadAnnotations', with_bbox=True)
  3. $\cdots$
  4. dict(type='RandomFlip', flip_ratio=0.5)
  5. dict(type='DefaultFormatBundle')
  6. dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels'])

  • img_metas에는 필수적으로 들어가야 하는 정보들이 있는 것으로 보임(dict(type='DefaultFormatBundle'))

    

    • pad_shape
    • scael_factor
    • flip
    • img_norm_cfg

  • dict(type='RandomFlip', flip_ratio=0.5)의 경우 위의 필수적인 meta 정보들 중 pad_shape, scale_factor, flip, img_norm_cfg를 한 번에 가져옴

  • 다른 transform을 통해 augmentation을 할 경우 위의 meta 정보들을 채워줘야 하는 문제가 있을 수 있다. error의 연속… 그렇기 때문에 우선 dict(type='RandomFlip', flip_ratio=0.5)은 기본적으로 넣어둔 상태에서 augmentation 실험을 진행하는 것이 좋을 것 같다.

  • dict(type='RandomFlip', flip_ratio=0.5)만 넣은 실험을 먼저 진행한 후 이후 실험부터 dict(type='RandomFlip', flip_ratio=0.5)을 추가한 상태에서 다른 augmentation을 실험해보는 편이 좋을 것 같다.

• Bbox Format의 변화

  • COCO Format은 [x_min, y_min, width, height]의 형태를 가집니다.
  • Transfrom을 거치면서 format의 변화가 생기는데 어느 부분에서 바뀌는 것인지 찾지는 못했지만 다음과 같은 format으로 변경됩니다.
    • [x_min, y_min, x_max, y_max]

• 여러 Image를 섞는 경우 type을 변경시켜줘야 합니다.

  

  • MultiImageMixDataset

2. Mosaic

• 장점
  • 하나의 image에 하나의 class의 bbox가 집중해서 존재하는 문제는 해결할 수 있을 것 같습니다.
  • 하나의 image에 있는 bboxes의 수를 비슷하게 만들 수 있을 것 같습니다.
• 단점
  • 가운데에 있는 bbox들을 바깥쪽으로 보내기에는 무리가 있어보입니다. (조금은 가능할 수 있을 것 같지만 보장은 못할 것 같습니다.)

3. Mixup

• 장점
  • 하나의 image에 하나의 class의 bbox가 집중해서 존재하는 문제는 해결할 수 있을 것 같습니다.
  • 하나의 image에 있는 bboxes의 수를 비슷하게 만들 수 있을 것 같습니다.
  • 많은 쓰레기들이 모여있는 사진들의 수를 늘릴 수 있을 것 같습니다.
• 단점
  • 가운데에 있는 bbox들을 바깥쪽으로 보내기에는 무리가 있어보입니다. (조금은 가능할 수 있을 것 같지만 보장은 못할 것 같습니다.)

3. CutOut

• 장점
  • 물체가 가려져 있는 상황을 잘 학습할 수 있을 것 같다.
• 단점
  • 원본 이미지의 특징들 자체는 바뀌지 않는다. 다시 말하자면 가운데 몰려 있는 object들을 가장자리로 보낸다거나 하나의 이미지에 많은 bbox가 존재하는 경우를 만들지는 못한다.