AI 2026.05.03 · 12 min
Advanced Distributed Training Deep Dive · 4
Pipeline Bubble은 어떻게 줄어드는가
Naive pipeline의 (P-1)/P idle ratio부터 GPipe, 1F1B, Interleaved, Chimera까지 — bubble 감소 4세대의 수학적 전개와 메모리 트레이드오프를 추적한다.
tag
#megatron-lm
총 1개의 글