tag

#variational-inference

총 12개의 글

AI 2026.04.28 · 12 min Advanced Bayesian Ml Deep Dive · 1

베이즈 추론의 다섯 가지 근본 질문

Prior에서 Posterior까지, MLE·MAP·Full Bayesian의 등가성부터 Bernstein–von Mises 수렴까지 베이지안 ML의 핵심 구조를 추적한다.

AI 2026.04.28 · 13 min Advanced Regularization Theory Deep Dive · 2

Dropout은 왜 세 가지 얼굴을 가지는가

앙상블 근사, Variational Inference, Adaptive L2라는 세 해석이 하나의 알고리즘에서 어떻게 공존하는지, 그리고 변종들이 그 철학을 어떻게 확장하는지 추적한다.

AI 2026.04.28 · 13 min Advanced Graphical Models Deep Dive · 2

Belief Propagation은 왜 하나의 알고리즘인가

Factor graph의 bipartite 구조부터 Loopy BP와 Bethe 자유에너지의 등가성까지, 메시지 패싱이 어떻게 PGM 추론을 통합하는지 추적한다.

AI 2026.04.28 · 12 min Advanced Information Theory Deep Dive · 2

KL에서 Wasserstein까지 — 분산(divergence)은 무엇을 측정하는가

KL의 비음수성 증명부터 Forward/Reverse KL의 기하학, JSD와 GAN의 이론적 연결, f-divergence 통일 프레임, Wasserstein의 등장까지 — 분포 간 거리의 설계 철학을 추적한다.

AI 2026.04.28 · 12 min Advanced Bayesian Ml Deep Dive · 2

Variational Inference는 왜 ELBO를 최대화하는가

Intractable posterior를 tractable 분포로 근사하는 VI의 아이디어부터 ELBO의 세 분해, CAVI의 단조 수렴, reparameterization trick의 저분산 원리까지 하나의 최적화 철학으로 추적한다.

AI 2026.04.28 · 12 min Advanced Bayesian Ml Deep Dive · 4

MCMC는 왜 evidence 없이도 posterior를 얻는가

Metropolis-Hastings의 detailed balance부터 NUTS의 자동 튜닝, VI와의 정확도-속도 트레이드오프까지 — MCMC 추론 체계의 핵심 원리를 추적한다.

AI 2026.04.28 · 10 min Advanced Bayesian Ml Deep Dive · 5

BNN은 왜 그토록 어려운가 — 근사 추론의 스펙트럼

가중치를 확률변수로 취급하는 BNN의 수학적 출발점부터 Laplace, Bayes by Backprop, MC Dropout, SWAG까지, posterior 근사 전략의 트레이드오프를 추적한다.

AI 2026.04.28 · 13 min Advanced Graphical Models Deep Dive · 6

Variational Inference의 다섯 얼굴

Mean-field ELBO 유도부터 Bethe 자유에너지, EP의 moment matching, Gibbs sampling의 Markov blanket, Particle Filter의 중요도 가중치까지 — approximate inference의 통일된 틀을 추적한다.

AI 2026.04.28 · 12 min Advanced Information Geometry Deep Dive · 6

KL divergence 최소화는 왜 두 개의 다른 연산인가

e-projection과 m-projection의 비대칭성에서 출발해 EM 알고리즘, Variational Inference, MaxEnt까지, KL 기하학의 통일 원리를 추적한다.

AI 2026.04.28 · 10 min Advanced Information Geometry Deep Dive · 7

정보기하가 현대 AI를 어떻게 만드는가

Natural Policy Gradient의 Fisher 역행렬부터 확산 모델의 Fisher divergence까지, 정보기하의 단일 철학이 RL·생성 모델·샘플링에 어떻게 관통하는지 추적한다.

AI 2026.04.28 · 11 min Advanced Probability Theory Deep Dive · 7

ELBO에서 PAC까지 — 베이지안 ML의 통일 언어

ELBO 유도부터 Reparameterization, MLE 점근 정규성, Dropout의 베이지안 해석, Concentration Inequality까지 — 현대 확률적 ML을 관통하는 하나의 프레임워크를 추적한다.

AI 2026.04.27 · 12 min Advanced Generative Model Deep Dive · 3

VAE는 왜 latent를 포기하는가

ELBO의 reconstruction-regularization 분해부터 posterior collapse의 근본 원인, reparameterization trick의 수학, β-VAE의 information bottleneck 해석, VQ-VAE의 discrete 전환까지 — VAE 설계 결정의 연쇄를 추적한다.