AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 1
Pretrained LM은 어떻게 '언어를 이해'하게 되었나
Context-independent한 고정 벡터의 한계부터 Bi-LSTM, 3단계 fine-tuning recipe, Transformer의 병렬 self-attention까지 — 사전학습 언어모델 진화의 핵심 흐름을 추적한다.
series · pretrained-lm-deep-dive
📚 Pretrained Lm Deep Dive
총 7편 · 순서대로 읽기를 권장
AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 2
BERT는 어떻게 언어를 '이해'하는가
WordPiece 토크나이징부터 MLM 정보이론, 80/10/10 규칙, NSP의 실패, RoBERTa의 재검증, SpanBERT·DistilBERT·ALBERT 변주까지 — BERT 계열 설계 결정의 통일된 원리를 추적한다.
AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 3
GPT에서 LLaMA까지: Decoder-Only LLM의 설계 철학
GPT-1의 generative pretraining 선택부터 GPT-3의 in-context learning 발현, 그리고 RoPE·GQA·RMSNorm으로 이어지는 modern LLM 최적화까지, decoder-only 패러다임이 어떻게 진화했는지 추적한다.
AI 2026.05.03 · 10 min
Advanced Pretrained Lm Deep Dive · 4
T5는 왜 모든 NLP task를 text-to-text로 통일했는가
T5의 text-to-text 패러다임부터 span corruption, Prefix LM, UL2의 Mixture-of-Denoisers, 그리고 encoder-decoder가 현대 LLM의 decoder-only로 수렴하지 못한 이유까지 추적한다.
AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 5
사전학습 모델을 어떻게 내 task에 맞게 바꾸는가
Linear probe와 full fine-tuning의 수학적 차이부터 EWC, LoRA까지 — pretrained representation을 downstream task에 적응시키는 전략의 통합 원리를 추적한다.
AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 6
In-Context Learning은 어떻게 작동하는가
Weight 업데이트 없이 몇 개의 demo만으로 task를 수행하는 ICL의 현상부터, Attention이 Gradient Descent를 구현한다는 수학적 증명, 그리고 Task Vector가 task 정보를 encoding하는 방식까지 추적한다.
AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 7
Instruction에서 Reasoning까지 — LLM은 어떻게 생각을 배우는가
Instruction Tuning의 zero-shot 일반화 원리부터 Chain-of-Thought의 창발, Self-Consistency의 경로 앙상블, 그리고 'Emergent Abilities'가 측정 방법의 산물일 수 있다는 반론까지 추적한다.