AI 2026.05.03 · 11 min
Advanced Pytorch Internals Deep Dive · 2
PyTorch autograd는 어떻게 gradient를 계산하는가
Forward-mode JVP와 reverse-mode VJP의 비용 분석부터 computation graph의 동적 생성, custom Function 구현, double backward까지 — autograd의 설계 철학을 추적한다.
tag
#autograd
총 3개의 글
AI 2026.05.03 · 10 min
Advanced Pytorch Internals Deep Dive · 3
PyTorch Dispatcher는 어떻게 동작하는가
aten::add 한 호출이 CPU·CUDA·Autograd kernel 중 어느 것으로 실행될지 결정하는 Dispatcher의 설계 철학부터 functorch의 함수형 변환까지, PyTorch 내부 구조를 추적한다.
AI 2026.04.28 · 12 min
Advanced Calculus Optimization Deep Dive · 5
역전파는 어떻게 수십억 파라미터의 기울기를 한 번에 계산하는가
계산 그래프와 자동미분의 수학적 구조부터 기울기 소실·폭발의 원인과 해결책, Autograd 엔진의 내부 동작까지 딥러닝 최적화의 핵심을 추적한다.