AI 2026.05.03 · 11 min
Advanced Pytorch Internals Deep Dive · 2
PyTorch autograd는 어떻게 gradient를 계산하는가
Forward-mode JVP와 reverse-mode VJP의 비용 분석부터 computation graph의 동적 생성, custom Function 구현, double backward까지 — autograd의 설계 철학을 추적한다.
tag
#backpropagation
총 6개의 글
AI 2026.04.28 · 13 min
Advanced Calculus Optimization Deep Dive · 1
딥러닝의 수학은 왜 극한에서 시작하는가
ε-δ 언어부터 Subgradient까지, 경사하강법·역전파·ReLU가 작동하는 이유를 하나의 수렴 철학으로 추적한다.
AI 2026.04.28 · 13 min
Advanced Calculus Optimization Deep Dive · 2
미분가능성의 계층 — 편미분에서 역전파까지
편미분이 존재해도 전미분이 없을 수 있다는 사실부터, 야코비안-헤시안-연쇄법칙이 하나의 선형근사 철학으로 통일되는 구조까지, 딥러닝 최적화의 수학적 뼈대를 추적한다.
AI 2026.04.28 · 10 min
Advanced Neural Network Theory Deep Dive · 3
역전파는 왜 단 한 번의 backward pass로 충분한가
Jacobian과 연쇄법칙의 행렬 버전부터 softmax + cross-entropy의 기적적인 gradient까지, 역전파 알고리즘의 수학적 구조를 추적한다.
AI 2026.04.28 · 12 min
Advanced Calculus Optimization Deep Dive · 5
역전파는 어떻게 수십억 파라미터의 기울기를 한 번에 계산하는가
계산 그래프와 자동미분의 수학적 구조부터 기울기 소실·폭발의 원인과 해결책, Autograd 엔진의 내부 동작까지 딥러닝 최적화의 핵심을 추적한다.
AI 2026.04.28 · 12 min
Advanced Calculus Optimization Deep Dive · 7
딥러닝 미분의 통일된 언어 — 야코비안에서 암묵적 미분까지
Softmax 야코비안의 행렬 구조부터 DEQ의 고정점 역전파, MAML의 2차 미분까지 — 딥러닝 최적화를 관통하는 하나의 언어를 추적한다.