AI 2026.05.03 · 12 min
Advanced Llm Pretraining Deep Dive · 3
LLM 사전학습이 불안정한 이유는 하나다
Loss spike의 4가지 근인부터 Embedding LR 분리, QK-norm, z-loss, RMSNorm, AdamW ε까지 — LLM 훈련 안정화 기법들이 공유하는 하나의 진단 프레임을 추적한다.
tag
#loss-spike
총 1개의 글
총 1개의 글
Loss spike의 4가지 근인부터 Embedding LR 분리, QK-norm, z-loss, RMSNorm, AdamW ε까지 — LLM 훈련 안정화 기법들이 공유하는 하나의 진단 프레임을 추적한다.