매크로 평균(Macro-average) vs 마이크로 평균(Micro-average)
Macro, Micro-average는 이름처럼 평균을 구하는 방법들입니다. 저희는 Macro-f1, Micro-precision, Micro-accuracy 등으로 활용하게 될 예정입니다. 아래에서는 Precision을 기준으로 설명하겠습니다. 간단하게, 어떤 모델이 Class A, Class B, Class C, Class D를 구분하는 짓을 하고 있고, 각 클래스별로 2, 100, 2, 2개의 데이터를 가지고 있다고 생각해봅시다. 그렇게 학습한 모델이 아래와 같은 결과를 뿜어냈습니다. Class A: 1 TP & 1 FP Class B: 10 TP & 90 FP Class C: 1 TP & 1 FP Class D: 1 TP & 1 FP 이제 이런 클래스별 결과를 통합시켜봅시다. 간단히 평균을 사용해..
Precision at k(Pr@k), Average Precision(AP), Mean Average Precision(MAP)
일전에 분류 성능평가 - 에 대해 언급한 적이 있는데, 여기에 추가하여, 실제 논문에서 자주 볼 수 있는 Precision at k(Pr@k), Average Precision(AP), Mean Average Precision(MAP) 라는 개념에 대해 정리해둘게요. 정밀도(Precision)와 재현율(Recall)에 대한 개념을 알고계시다는 가정하에, 다시 한번 말로만 지껄여보면, 정밀도라는 건, 모델이 참이라고 예측(검출)했는데 찐으로 참인 비율. 재현율이라는 건, 실제로 참인 것들 중에 모델도 참이라고 예측한 비율입니다. 그리고 이러한 정밀도와 재현율은 Trade-off 관계에 놓여 있어, 하나가 높아지면 하나는 낮아질 수 밖에 없는 구조였습니다. 쨋든 정밀도든 재현율이든 일단 계산을 하긴 할텐데,..
