AI 2026.05.03 · 11 min
Advanced Distributed Training Deep Dive · 5
ZeRO는 왜 단계적으로 분산하는가
DDP의 16ψ 메모리 병목에서 출발해 ZeRO-1/2/3와 FSDP의 설계 결정까지, per-GPU 메모리를 1/N로 줄이는 원리를 추적한다.
tag
#fsdp
총 1개의 글
총 1개의 글
DDP의 16ψ 메모리 병목에서 출발해 ZeRO-1/2/3와 FSDP의 설계 결정까지, per-GPU 메모리를 1/N로 줄이는 원리를 추적한다.