AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 2
Pruning은 무엇을 제거하는가 — saliency에서 hardware까지
OBD의 2차 Taylor 전개부터 NVIDIA 2:4 Sparse Tensor Core까지, 뉴럴넷 프루닝의 모든 설계 결정이 하나의 질문으로 수렴하는 과정을 추적한다.
tag
#sparsity
총 2개의 글
AI 2026.04.28 · 11 min
Advanced Regularization Theory Deep Dive · 1
Regularization은 Prior다 — L1/L2부터 Group Sparsity까지
L2가 Gaussian prior의 negative log이고 L1이 Laplace prior인 이유부터, 기하학적 sparsity와 SVD shrinkage, 그리고 Elastic Net/Group Lasso의 구조적 확장까지 하나의 Bayesian 프레임으로 추적한다.