Autoregressive language modeling

학습목표

자가회귀 언어 모델링 방법에 대해서 학습합니다.

핵심키워드

• 자가회귀 언어 모델링(Autoregressive language modeling)

학습하기

 이제 자가회귀 언어 모델링을 보죠. 이건 시퀀스가 주어졌을 때, 이것을 어떻게 스코어링 할 것인가. 어떻게 확률 분포를 계산할 것인가. 에 대한 문제입니다.

 위 계산식을 보시면, 조건 확률 분포와 정확하게 같죠. 이렇게 모델링하게 되면 앞에서 봤던 Language modeling이, 감독학습이 되는거에요. 왜냐하면, 한 문장안의 토큰들의 확률을(y) 이전 단어들의 확률로(X) 계산하게 됬으니까요. 그러니까 한 문장안에 많은 Text classification이 필요하게된 것. 그 뿐인거죠. 

 그래서, 똑같습니다. 1번부터 t-1번 토큰들을 앞의 5가지 방법론(CBoW, RN, CNN)등을 통해서 Sentence representation으로 바꾸고, 이걸 Average해서, t번 토큰과 비교해서 로스를 계산한다. 이때 로스는 negativce log-prob을 사용하는거구요.

 위 예제를 하나보면, 뭐 사람이 생각하는 것과 비슷한거같죠. 이상입니다.