AI 2026.05.03 · 11 min
Advanced Diffusion Model Deep Dive · 2
Diffusion Model의 손실함수는 어떻게 만들어지는가
VAE의 ELBO에서 출발해 노이즈 예측 parameterization을 거쳐 L_simple과 Improved DDPM의 세 가지 개선까지, 손실함수 설계의 핵심 결정들을 추적한다.
tag
#elbo
총 7개의 글
AI 2026.04.28 · 12 min
Advanced Bayesian Ml Deep Dive · 2
Variational Inference는 왜 ELBO를 최대화하는가
Intractable posterior를 tractable 분포로 근사하는 VI의 아이디어부터 ELBO의 세 분해, CAVI의 단조 수렴, reparameterization trick의 저분산 원리까지 하나의 최적화 철학으로 추적한다.
AI 2026.04.28 · 11 min
Advanced Bayesian Ml Deep Dive · 3
VAE의 모든 설계 결정은 하나의 질문에서 나온다
ELBO 유도부터 β-VAE의 disentanglement, Normalizing Flow의 정확한 likelihood, Amortized Inference의 gap, IWAE의 단조 수렴까지 — VAE 계열 생성모델의 통일 원리를 추적한다.
AI 2026.04.28 · 13 min
Advanced Graphical Models Deep Dive · 6
Variational Inference의 다섯 얼굴
Mean-field ELBO 유도부터 Bethe 자유에너지, EP의 moment matching, Gibbs sampling의 Markov blanket, Particle Filter의 중요도 가중치까지 — approximate inference의 통일된 틀을 추적한다.
AI 2026.04.28 · 11 min
Advanced Information Theory Deep Dive · 6
정보이론은 어떻게 AI의 모든 손실함수를 하나로 설명하는가
Cross-Entropy와 MLE의 동등성부터 ELBO 분해, MDL, Information Bottleneck, Diffusion ELBO, Fisher 기하까지 — AI 학습 목적함수의 공통 뿌리를 추적한다.
AI 2026.04.28 · 11 min
Advanced Probability Theory Deep Dive · 7
ELBO에서 PAC까지 — 베이지안 ML의 통일 언어
ELBO 유도부터 Reparameterization, MLE 점근 정규성, Dropout의 베이지안 해석, Concentration Inequality까지 — 현대 확률적 ML을 관통하는 하나의 프레임워크를 추적한다.
AI 2026.04.27 · 12 min
Advanced Generative Model Deep Dive · 3
VAE는 왜 latent를 포기하는가
ELBO의 reconstruction-regularization 분해부터 posterior collapse의 근본 원인, reparameterization trick의 수학, β-VAE의 information bottleneck 해석, VQ-VAE의 discrete 전환까지 — VAE 설계 결정의 연쇄를 추적한다.