DEV 2026.05.02 · 14 min
Intermediate Database Internals · 3
MySQL은 SQL을 어떻게 실행하는가
Parse Tree부터 Handler_read_* 변수까지, MySQL 쿼리 실행의 다섯 단계와 Cost-Based Optimizer의 판단 근거, 그리고 그 판단이 틀리는 이유를 추적한다.
tag
#optimizer
총 3개의 글
AI 2026.04.28 · 11 min
Advanced Optimization Theory Deep Dive · 3
Momentum은 왜 빠른가 — 관성에서 진동까지
Polyak Heavy Ball의 √κ 가속 유도부터 NAG의 O(1/T²) 최적성, ODE 해석, 진동 조건, SGD 노이즈 누적까지 — Momentum optimizer의 설계 철학을 추적한다.
AI 2026.04.27 · 12 min
Advanced Transformer Deep Dive · 4
Transformer 훈련을 가능하게 하는 다섯 가지 설계 결정
Warmup 스케줄의 이론적 정당성부터 AdamW의 분리된 weight decay, label smoothing의 calibration 효과, gradient accumulation의 선형 스케일링 법칙, BF16 mixed precision까지 — 현대 LLM 훈련 레시피의 공통 철학을 추적한다.