#perplexity

언어 모델이란 무엇인가 — 확률의 연쇄에서 ChatGPT까지

Chain rule of probability로 언어 모델을 엄밀하게 정의하고, N-gram의 sparse data 문제부터 Kneser-Ney smoothing의 continuation count 통찰까지, NLP 기초 이론의 흐름을 추적한다.