AI 2026.05.03 · 9 min
Advanced Distributed Training Deep Dive · 3
Tensor Parallelism은 왜 AllReduce가 정확히 2번인가
단일 GPU 메모리 한계에서 출발해 Column-GELU-Row 구조의 2-AllReduce 최적성과 NVLink vs InfiniBand 효율 차이까지, Megatron-LM의 설계 결정을 추적한다.
tag
#tensor-parallelism
총 1개의 글