1-9~10. 성능평가지표 mAP - 정밀도, 재현율

실제 object 된 재현율recall의 변화에 따른 정밀도presion의 값을 평균한 성능수치

- IOU

- Precision Recall Curve(binary)의 면적인 Average Precision

- Confidence threshold

=> bounding box로 예측을 하였을 때 내부의 임계치, 확률값 신뢰값

=> inference time 작으면서 높은 average precision(coco ap)이면 좋다

 

정밀도는 예측한 것 중에 얼마나 맞췄는가

재현율은 실제값 중에 얼마나 맞췄는가

둘다 좋아야한다.

 

PASCAL에서는

IOU >0.5 이면 예측 성공으로 인정

 

업무에 따른 재현율과 정밀도의 상대적 중요도

- 재현율이 상대적으로 더중요한 지표인경우 실제 POSITIVE 양성인 데이터 예측을 NEGATIVE로 판단하면 큰문제가 되는 경우 => 암 진단, 금융사기 판별,

: 크든 작든 일단 실제 낌새가 있으면 건드려 봐야한다.

 

- 정밀도가 상대적으로 더중요한 지표인경우 실제 NEGATIVE 음성인 데이터 예측을 NEGATIVE로 판단하면 큰문제가 되는 경우 : 스펨메일

: 너무 건드리면 심기가 불편해짐

 

Confidence 임계값에 따른 정밀도-재현율 변화

- cs 임계값이 0.2정도일 때  후보 bbox를 만들어 낼 확률

confidence 임계값이 낮을수록 더 많은 예측 bbox를 만들게 되어 정밀도는 낮아지고 재현율은 높아짐

=> 있을법한 자신감 컷이 낮으면 '음? 이정도면 얘도 object인데?'이라서 아무거나 일단 실제값이라 해서 재현율이 높아짐, 난사를 해버리는 것이기 때문에 정밀도는 낮아진다

 

- cs 임계값이 0.8정도일 때  후보 bbox를 만들어 낼 확률

confidence 임계값이 높을수록 신중하게 예측 bbox를 만들게 되어 정밀도는 높아지고 재현율은 낮아짐

구간의 최대값을 기준으로 면적을 구하면 average precision

AP = 1/11 * ( mP(r = 0) + mP(r = 0.1) + ... + mP(r = 1) )

    = 1/11 * ( 1.0 + 1.0 + ... + 0.5 )

 

=> AP는 1개 Object에 대한 성능 수치

mAP는 여러 Object의 ap를 평균화한 것

 

COCO Challenge의 mAP

IOU를 0.5이상 고정한 PASCAL VOC와 달리 IOU를 다양한 범위로 설정하여 예측 성공 기준을 정함

IOU를 0.5부터 0.05씩 값을 증가시켜 0.95까지 해당하는 IOU별 mAP를 계산 ( step별