Augmix 실험결과

[sne12345]

What is Augmix? and parameters

def augment_and_mix(image, severity=3, width=3, depth=-1, alpha=1.):
    ws = np.float32(
      np.random.dirichlet([alpha] * width))
    m = np.float32(np.random.beta(alpha, alpha))

    mix = np.zeros_like(image).astype(np.float32)
    for i in range(width):
        image_aug = image.copy()
        depth = depth if depth > 0 else np.random.randint(1, 4)
        for _ in range(depth):
            op = np.random.choice(augmentations_all)
            image_aug = apply_op(image_aug, op, severity)
        # Preprocessing commutes since all coefficients are convex
        mix += ws[i] * image_aug

    mixed = m * image + (1 - m) * mix
    mixed /= 255
    return mixed

parameters

• severity : augmentation 정도, 심각도
• width : 몇갈래로 갈라지는지 -> 마스크는 w의 확률로 곱할 수 없어서 마스크에 augmentation적용할때에는 width = 1로 줌
• depth : 갈래 안에서 몇 번 augmentation 을 랜덤으로 뽑을건지
• alpha : 원본 이미지를 어느 정도로 적용할것인지 (np.random.beta(alpha,alpha))
• p : 전체 train 데이터 중에 p의 확률로 Augmix 적용

Augmix 효과 based on paper

• generalization ability in low data regimes 작은 데이터 영역에 대한 일반화 효과
• augmented data will represent a more comprehensive set of possible data points, thus minimizing the distance between the training and any future testing sets
• improves model robustness and uncertainty estimates, and slots in easily to existing training pipelines
  -> Mixing augmentations allows us to generate diverse transformations, which are important for inducing robustness as a common failure mode of deep models in the arena of corruption robustness is the memorization of fixed augmentations

train 데이터 확인

[비교군] 아무런 옵션도 주지 않은 기본 HRNet

[Augmix] severity=3, width=3, depth=-1(random), alpha=1., p=1

• 왜 이렇게 깜깜한 이미지들이 많지?
  

[Augmix] severity=3, width=7, depth=-1(random), alpha=1., p=1

• 이미지가 더 많이 겹쳐졌기 때문에 rotate의 영향이 적어져 모델이 train하기에 더 수월할 것으로 예상함
  

[Augmix] severity=3, width=14, depth=-1(random), alpha=1., p=1 / 논문 참고해서 RandomCrop(width=256, height=256), HorizontalFlip(), ColorJitter() 추가

[Augmix] severity=3, width=3, depth=-1(random), alpha=1., p=1 / 논문 참고해서 contrast, color, brightness, sharpness 제외

test 데이터 확인 & 실험결과

[비교군] 아무런 옵션도 주지 않은 기본 HRNet

• LB 0.501
• 짤려서 예측한 마스크가 많아 보임
  

[Augmix] severity=3, width=3, depth=-1(random), alpha=1., p=1

• LB 0.522

• 클래스 전체적으로 valid IoU 향상

• [개인적인 의견] 경계를 깔끔하게 잘 예측하는듯

• -> test data 시각화에서 HRNet 모델이 짤려서 예측한 마스크가 많아 보였는데

• -> Augmix를 통해 각도를 다르게 여러 이미지를 합쳐서 좀 더 경계를 일반화시킨게 아닐까?
  

[Augmix] severity=3, width=7, depth=-1(random), alpha=1., p=1

• LB 0.53
  

[Augmix] severity=3, width=14, depth=-1(random), alpha=1., p=1 / 논문 참고해서 RandomCrop(width=256, height=256), HorizontalFlip(), ColorJitter() 추가

• LB 0.579
• test data 시각화로만 볼 때는
• 위에 3 7 1 1 일 때가 더 정확도가 높아보이는데 왜 이 조건의 LB 스코어가 더 높지..?
• 사이사이 background가 많이 껴있음
  

[Augmix] severity=3, width=3, depth=-1(random), alpha=1., p=1 / 논문 참고해서 contrast, color, brightness, sharpness 제외

..돌리는중...

[jaehwan-AI]

진짜 inference 결과와는 다르게 LB가 높아지네요...
해당 가중치로 다른 test data도 시각화 해보면 뭔가 더 좋아진 결과가 있을 것 같아 궁금하네요 ㅎㅎ