semantic segmentation cityscapes cite에서 test 성능 측정하기

semantic segmentation cityscapes test result 각 class 별 IoU와  mIoU 성능 측정하기

test image는 정답을 제공하지 않기 때문에 cityscapes cite 에서 측정해야함!

https://www.cityscapes-dataset.com/

Cityscapes Dataset – Semantic Understanding of Urban Street Scenes

1. 학습한 모델에 test image inference 하기! 이때 id label로 inference 된 이미지여야함! 추론한 이미지 파일명은 아래와 같은 포멧으로 하면 됨

self.id_to_trainid = {-1: ignore_label, 0: ignore_label, 1: ignore_label, 2: ignore_label,
                      3: ignore_label, 4: ignore_label, 5: ignore_label, 6: ignore_label,
                      7: 0, 8: 1, 9: ignore_label, 10: ignore_label, 11: 2, 12: 3, 13: 4,
                      14: ignore_label, 15: ignore_label, 16: ignore_label, 17: 5,
                      18: ignore_label, 19: 6, 20: 7, 21: 8, 22: 9, 23: 10, 24: 11, 25: 12, 26: 13, 27: 14,
                      28: 15, 29: ignore_label, 30: ignore_label, 31: 16, 32: 17, 33: 18}

위는 id로 inference 한 이미지들

 

2. id로 inference 한 폴더를 압축하기 (압축 파일명은 상관없음)

참고: cityscapes test image 수는 1525장

 

 

3. cityscapes dataset cite > Submit 누르고 로그인 > Create new submission 선택

로그인 및 회원가입은 알아서 잘 하시길..!

 

4. Option 설명 (필수항목만 설명하겠음)

• Challenge(required) : 우리는 semantic segmentation 이니까 pixel-level semantic labeling 선택
• Method - method name(required) : 그냥 본인이 나중에 확인하기 편한 이름 작성하셈 예를 들면 knowledge distillation task 이면 KD_모델명_하이퍼파라미터 이런식으로

다 작성했으면 2번에서 만든 zip 파일을 아래에 제출하고 Submit 하면 끝!

 

5. 조금 기다리다가 cityscapes dataset cite > Submit 들어가보면 아래와 같이 뜸! finished 누르면 각 class 별 IoU랑 전체 mIoU  확인할 수 있음!

finished !

아래는 내가 직접 test 해본 결과 캡쳐한거!