AI 2026.05.03 · 12 min
Advanced Nlp Foundations Deep Dive · 1
언어 모델이란 무엇인가 — 확률의 연쇄에서 ChatGPT까지
Chain rule of probability로 언어 모델을 엄밀하게 정의하고, N-gram의 sparse data 문제부터 Kneser-Ney smoothing의 continuation count 통찰까지, NLP 기초 이론의 흐름을 추적한다.
series · nlp-foundations-deep-dive
📚 Nlp Foundations Deep Dive
총 7편 · 순서대로 읽기를 권장
AI 2026.05.03 · 13 min
Advanced Nlp Foundations Deep Dive · 2
단어의 의미는 어떻게 숫자가 되는가
Distributional hypothesis의 철학적 기반부터 PMI·LSA·SENNA까지, 현대 NLP 임베딩의 공통 토대를 추적한다.
AI 2026.05.03 · 10 min
Advanced Nlp Foundations Deep Dive · 3
Word2Vec은 왜 작동하는가 — PMI의 다른 이름
Skip-gram과 CBOW의 설계 차이부터 Hierarchical Softmax·Negative Sampling의 수학적 유도, 그리고 SGNS의 optimal solution이 shifted PMI matrix임을 증명한 Levy & Goldberg 2014까지.
AI 2026.05.03 · 11 min
Advanced Nlp Foundations Deep Dive · 4
GloVe는 왜 두 패러다임의 통합인가
LSA의 global matrix와 Word2Vec의 vector arithmetic이 왜 따로는 불완전한지, GloVe의 ratio formulation이 두 강점을 어떻게 하나의 objective로 결합하는지 추적한다.
AI 2026.05.03 · 12 min
Intermediate Nlp Foundations Deep Dive · 5
Tokenizer는 왜 Subword를 선택했는가
OOV 문제의 본질부터 BPE·WordPiece·Unigram·SentencePiece의 설계 철학까지, 현대 LLM이 Subword를 표준으로 삼은 이유를 추적한다.
AI 2026.05.03 · 14 min
Advanced Nlp Foundations Deep Dive · 6
FastText에서 ELMo까지 — 임베딩은 어떻게 문맥을 얻었는가
Word2Vec의 OOV 한계를 char n-gram 합산으로 돌파한 FastText부터, char-CNN과 biLSTM으로 같은 단어에 다른 벡터를 부여한 ELMo까지, 정적 임베딩이 문맥 임베딩으로 진화한 경로를 추적한다.
AI 2026.05.03 · 12 min
Intermediate Nlp Foundations Deep Dive · 7
Embedding 평가는 왜 두 가지가 필요한가
Intrinsic 벤치마크의 Spearman 상관이 downstream F1을 보장하지 않는 이유부터, 다언어 전이와 Static embedding의 한계까지, NLP 평가 철학의 전체 지형을 추적한다.