Summary

학습목표

지금까지 배운 언어 모델링에 대해서 다시 한번 정리하고 복습합니다.

핵심키워드

• 언어 모델링(Language Modeling)
• 문장표현(Sentence Representation)
• Neural N-Gram Language Model
• Convolution Language Model
• Recurrent Lanugage Model
• Recurrent Memory Networks

학습하기

 자 이제 정리해봅시다. 여태했던 Language model이라 함은, 문장이 주어지면 문장의 스코어링을 하는 행위였죠. Autoregression Language Model은 토큰들을 순차적으로 읽어나가면서 (조건부 확률을 기반으로) 문장을 스코어링할 수 있게 만듬으로써, 스코어링을 감독학습으로 진행할 수 있게 관점을 바꾸었구요. 기존의 방법론이던 N-gram Language Model의 경우, 카운팅 기반이기에 어떤 단점이 있었고, 이걸 Neural Net을 통해 해결했다. 여기서 우리가 봤던 점은, 앞에서 배웠던 5가지 Sentence representation방법론, CBoW / RN / CNN / RNN / Attention 을 활용해서 Text Classification이든 Language Model이든 다 해결이 가능했다는 거죠. 앞으로할 기계 번역 등도 다 마찬가지입니다. 결국 핵심만 이해하시면, 다 연결해서 복합적으로 사용하실 수 있으실 겁니다. 이상입니다.