AI 2026.05.03 · 10 min
Advanced Llm Pretraining Deep Dive · 1
LLM 학습 규모는 어떻게 결정되는가
Kaplan의 power law부터 Chinchilla의 joint law, Broken Scaling Law, 그리고 scaling law의 본질적 한계까지 — LLM 사전학습의 수학적 의사결정을 추적한다.
series · llm-pretraining-deep-dive
📚 Llm Pretraining Deep Dive
총 6편 · 순서대로 읽기를 권장
AI 2026.05.03 · 11 min
Advanced Llm Pretraining Deep Dive · 2
LLM 사전학습의 설계 결정들은 어디서 오는가
C ≈ 6ND 유도부터 over-training의 경제학, μP의 width transfer, GNS 기반 배치 스케줄, WSD까지 — LLM 사전학습의 핵심 설계 결정을 하나의 프레임으로 추적한다.
AI 2026.05.03 · 12 min
Advanced Llm Pretraining Deep Dive · 3
LLM 사전학습이 불안정한 이유는 하나다
Loss spike의 4가지 근인부터 Embedding LR 분리, QK-norm, z-loss, RMSNorm, AdamW ε까지 — LLM 훈련 안정화 기법들이 공유하는 하나의 진단 프레임을 추적한다.
AI 2026.05.03 · 13 min
Advanced Llm Pretraining Deep Dive · 4
LLM 사전학습 데이터는 어떻게 설계되는가
말뭉치 구성과 품질 필터링부터 MinHash 중복 제거, DoReMi 도메인 가중치 최적화, Data Mixing Laws까지 — LLM 사전학습 데이터 파이프라인의 핵심 원리를 추적한다.
AI 2026.05.03 · 13 min
Advanced Llm Pretraining Deep Dive · 5
토큰화는 왜 모델의 성능을 결정하는가
BPE의 탐욕 병합부터 Unigram LM의 전역 확률 최적화, 어휘 크기 스케일링 법칙까지 — 토큰화 설계 결정이 LLM 성능에 미치는 영향을 추적한다.
AI 2026.05.03 · 13 min
Advanced Llm Pretraining Deep Dive · 6
LLM 아키텍처 설계의 다섯 가지 선택
깊이-너비 비율부터 KV 캐시, MoE 라우팅, 위치 인코딩, 활성화 함수까지 — LLM 아키텍처의 모든 설계 결정이 하나의 원칙으로 수렴하는 이유를 추적한다.