AI 2026.05.03 · 11 min
Advanced Llm Pretraining Deep Dive · 2
LLM 사전학습의 설계 결정들은 어디서 오는가
C ≈ 6ND 유도부터 over-training의 경제학, μP의 width transfer, GNS 기반 배치 스케줄, WSD까지 — LLM 사전학습의 핵심 설계 결정을 하나의 프레임으로 추적한다.
tag
#flops
총 1개의 글
총 1개의 글
C ≈ 6ND 유도부터 over-training의 경제학, μP의 width transfer, GNS 기반 배치 스케줄, WSD까지 — LLM 사전학습의 핵심 설계 결정을 하나의 프레임으로 추적한다.