최대 우도 추정(Maximum Likelihood Estimation, MLE)
최대 우도 추정(MLE)는 한글인데 한글같지 않은, 개인적으로 참 더럽다고 생각되는 단어입니다. 자연어 처리를 공부하게 되면서, 다시 한 번 이 단어를 마주하게 되었는데, 최대한 깔끔히 정리해둬보겠습니다. 우도(Likelihood)와 추정(Estimation) 최대 우도 추정을 이해하기 위해서 당연히 우도와 추정에 대해서 생각해봐야겠죠. 이를 위해서, 확률밀도함수에 대해 먼저 이해할 필요가 있습니다. 통계학의 관점에서, 어떤 확률변수 X에 대한 확률 모형은 확률밀도함수 f에 의해 정의되는데, 이는 확률 밀도 함수 f(x;θ)와 같이 보통 표기합니다. x는 확률변수의 실수값이며 θ는 확률 밀도 함수의 Parameter 집합을 뜻합니다. 예를 들어, 확률변수 X가 정규 분포를 따른다면, θ=(μ,σ^2) 이..
