#loss-scaling

Mixed Precision Training의 수학 — FP16은 왜 위험하고 BF16은 왜 안전한가

IEEE 754 비트 구조부터 FP16 언더플로우의 정량적 분석, Loss Scaling의 수학적 정당성, BF16·TF32·Stochastic Rounding까지 — Mixed Precision의 설계 결정을 하나의 원리로 추적한다.