AI 2026.05.03 · 12 min
Advanced Distributed Training Deep Dive · 1
분산 학습의 통신은 왜 전부 AllReduce로 귀결되는가
Broadcast부터 Ring AllReduce의 bandwidth-optimal 증명까지, 분산 학습 multi-GPU 통신의 6가지 collective operation과 NCCL 토폴로지 선택 원리를 추적한다.
series · distributed-training-deep-dive
📚 Distributed Training Deep Dive
총 7편 · 순서대로 읽기를 권장
AI 2026.05.03 · 11 min
Advanced Distributed Training Deep Dive · 2
Data Parallelism의 수학 — AllReduce는 왜 정확한가
Gradient averaging의 linearity 증명부터 critical batch size, async staleness의 수렴 조건까지, 분산 학습 Data Parallelism의 수학적 토대를 추적한다.
AI 2026.05.03 · 9 min
Advanced Distributed Training Deep Dive · 3
Tensor Parallelism은 왜 AllReduce가 정확히 2번인가
단일 GPU 메모리 한계에서 출발해 Column-GELU-Row 구조의 2-AllReduce 최적성과 NVLink vs InfiniBand 효율 차이까지, Megatron-LM의 설계 결정을 추적한다.
AI 2026.05.03 · 12 min
Advanced Distributed Training Deep Dive · 4
Pipeline Bubble은 어떻게 줄어드는가
Naive pipeline의 (P-1)/P idle ratio부터 GPipe, 1F1B, Interleaved, Chimera까지 — bubble 감소 4세대의 수학적 전개와 메모리 트레이드오프를 추적한다.
AI 2026.05.03 · 11 min
Advanced Distributed Training Deep Dive · 5
ZeRO는 왜 단계적으로 분산하는가
DDP의 16ψ 메모리 병목에서 출발해 ZeRO-1/2/3와 FSDP의 설계 결정까지, per-GPU 메모리를 1/N로 줄이는 원리를 추적한다.
AI 2026.05.03 · 11 min
Advanced Distributed Training Deep Dive · 6
Transformer 학습에서 Activation Memory는 왜 폭발하는가
Forward pass 활성화 메모리의 수학적 분해부터 Gradient Checkpointing, Selective Recomputation, Sequence Parallelism까지 — 대규모 모델 학습의 메모리 병목을 추적한다.
AI 2026.05.03 · 13 min
Advanced Distributed Training Deep Dive · 7
분산 학습의 네 가지 축 — 3D Parallelism, MoE, Checkpoint, Elastic
70B+ 모델 학습에서 DP×TP×PP 그룹 분해부터 MoE all-to-all, 비동기 체크포인트, Elastic 회복 효율까지 — 분산 학습 시스템의 설계 원칙을 추적한다.