Types of Learning in Machine Learning
Supervised, Unsupervised, Transductive, Inductive... 똑같이 모델을 학습시키는데 무슨 방법론이 이렇게 많은지... 간략하게라도 전체에 대한 카테고라이징을 해두면 좋겠다 싶었는데, 적당한 글을 발견하여 번역한다. 츨처: 링크1, 링크2 "Machine Learning" 은 특정 필드에 종속되는 연구가 아닌, 정말 다양한 필드에 적용가능한 연구이다. 여기서 핵심은, "Learning" 이라고 할 수 있는데, 말 그대로, 데이터셋(=경험)으로부터 다양한 지식을 획득하는 것에 있다. 해당 글에서는, 이런 "Learning" 의 종류가 어떻게 분류되는지에 대한 이야기를 할 것. Types of Learning 일단, 학습 방법의 종류는 아래와 같이 분류될 수 있을 것 같다..
Pointwise vs Pairwise vs Listwise, Learning to Rank
CDAE 논문에 따르면, 추천 시스템에서 Loss function은 보통 러프하게 2가지로 분류된다고 합니다. Point-wise 와 Pair-wise. 더 심오하게 들어가면, WARP와 같은 Position-aware Pair-wise 등 또 여러 갈래로 나뉘는 모양입니다만, 그렇습니다. 그런데, DERRD 논문을 보면 List-wise 의 개념도 존재합니다. 해서, 구글에 검색해보니, 요약된 글이 하나 있어, 이 참에 한 번 정리해보려 합니다. 다만, 기존 글은 16년도에 쓰인, 나름 옛날 글이라 몇 가지를 추가했으니 적당히 필터링해서 읽어주시면 감사하겠습니다. 우선, Point-wise, Pair-wise, List-wise loss 들은 무엇을 기준으로 구분되어지는지 생각해봅시다. 그건, 모델을 ..
Two kinds of Probabilities. Frequentist vs Bayesian
통계에서 가장 핵심이 되는 키워드인 확률. 이런 확률을 바라보는 관점에는 2가지가 존재한다고 한다. Frequentist 와 Bayesian. 고등수학에서 말하는 수학은 사실 Frequentist에 가깝기 때문에, 두 가지 관점이 있다는 사실 자체를 알지 못하였고, 대학수학에 와서도 Bayes' rule은 알아도, 그게 확률의 관점을 정의할 것이라고는 생각한 적은 없었다. 이번 글에서는, 저 Bayesian 관점이라는 것이 어떤 건지, Frequentist 과 어떤 차이가 있는 것인지를 알아보자. 기본적으로, 확률이란 불확실성을 계량화하여 표현하는 방법. 그러니까, 주사위를 던져서, 0이 나올지 6이 나올지는 확신할 수 없다. 항상 불확실하다. 다만, 그 불확실성이 얼마나 될지를, $\frac{1}{6}..
매크로 평균(Macro-average) vs 마이크로 평균(Micro-average)
Macro, Micro-average는 이름처럼 평균을 구하는 방법들입니다. 저희는 Macro-f1, Micro-precision, Micro-accuracy 등으로 활용하게 될 예정입니다. 아래에서는 Precision을 기준으로 설명하겠습니다. 간단하게, 어떤 모델이 Class A, Class B, Class C, Class D를 구분하는 짓을 하고 있고, 각 클래스별로 2, 100, 2, 2개의 데이터를 가지고 있다고 생각해봅시다. 그렇게 학습한 모델이 아래와 같은 결과를 뿜어냈습니다. Class A: 1 TP & 1 FP Class B: 10 TP & 90 FP Class C: 1 TP & 1 FP Class D: 1 TP & 1 FP 이제 이런 클래스별 결과를 통합시켜봅시다. 간단히 평균을 사용해..
