AI 2026.05.03 · 12 min
Advanced Nlp Foundations Deep Dive · 1
언어 모델이란 무엇인가 — 확률의 연쇄에서 ChatGPT까지
Chain rule of probability로 언어 모델을 엄밀하게 정의하고, N-gram의 sparse data 문제부터 Kneser-Ney smoothing의 continuation count 통찰까지, NLP 기초 이론의 흐름을 추적한다.
tag
#language-model
총 2개의 글
AI 2026.05.03 · 12 min
Advanced Rnn Lstm Deep Dive · 1
RNN은 왜 sequence를 기억하는가
N-gram의 sparsity 한계부터 RNN의 parameter sharing과 hidden state 병목, teacher forcing의 exposure bias까지 — sequence 학습의 설계 결정을 관통하는 하나의 논리를 추적한다.