AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 2
Pruning은 무엇을 제거하는가 — saliency에서 hardware까지
OBD의 2차 Taylor 전개부터 NVIDIA 2:4 Sparse Tensor Core까지, 뉴럴넷 프루닝의 모든 설계 결정이 하나의 질문으로 수렴하는 과정을 추적한다.
tag
#hessian
총 3개의 글
AI 2026.04.28 · 11 min
Advanced Convex Optimization Deep Dive · 2
볼록 함수의 세 가지 얼굴 — Jensen, Epigraph, Gradient
볼록 함수를 정의하는 세 동치 조건부터 강볼록성·조건수·켤레 함수까지, 경사하강법의 수렴 보장이 어디서 오는지를 추적한다.
AI 2026.04.28 · 10 min
Advanced Calculus Optimization Deep Dive · 3
손실 함수의 기하학 — 헤시안이 최적화를 지배하는 방식
다변수 테일러 전개의 2차 항부터 조건수와 수렴 속도의 관계까지, 경사하강법과 뉴턴 방법의 이론적 기반을 추적한다.