tag

#information-theory

총 8개의 글

AI 2026.05.03 · 11 min Advanced Rl Theory Deep Dive · 3

Posterior sampling의 probability matching 원리부터 정보비율 최소화까지, Bayesian bandit 알고리즘의 통일 원리를 추적한다.

AI 2026.05.03 · 13 min Advanced Rl Theory Deep Dive · 7

Pure Exploration의 두 프레임워크(Fixed-Confidence vs Fixed-Budget)의 근본적 차이부터 Instance-Optimal 알고리즘까지, BAI 이론의 핵심 구조를 추적한다.

AI 2026.04.28 · 13 min Advanced Information Theory Deep Dive · 1

Shannon의 세 공리에서 $-\log p$가 유일하게 강제되는 이유부터, 엔트로피·상호정보량·최대 엔트로피 분포까지 — ML 수식 속 로그의 기원을 추적한다.

AI 2026.04.28 · 12 min Advanced Information Theory Deep Dive · 2

KL의 비음수성 증명부터 Forward/Reverse KL의 기하학, JSD와 GAN의 이론적 연결, f-divergence 통일 프레임, Wasserstein의 등장까지 — 분포 간 거리의 설계 철학을 추적한다.

AI 2026.04.28 · 13 min Advanced Information Theory Deep Dive · 3

MI의 기본 정의부터 DPI, Fano 부등식, MINE 추정, InfoNCE 기반 대조학습까지 — 표현학습의 설계 결정을 하나의 정보이론적 프레임으로 추적한다.

AI 2026.04.28 · 13 min Advanced Information Theory Deep Dive · 4

Kraft 부등식과 엔트로피의 관계부터 AEP의 Typical Set, Arithmetic Coding까지, 소스 코딩 정리가 LLM의 cross-entropy loss를 어떻게 설명하는지 추적한다.

AI 2026.04.28 · 12 min Advanced Information Theory Deep Dive · 5

채널 용량 C의 정의부터 Achievability·Converse 증명, Polar·LDPC가 그 한계에 도달하는 방식까지, Shannon 정리가 AI 이론의 기반이 되는 과정을 추적한다.

AI 2026.04.28 · 11 min Advanced Information Theory Deep Dive · 6

Cross-Entropy와 MLE의 동등성부터 ELBO 분해, MDL, Information Bottleneck, Diffusion ELBO, Fisher 기하까지 — AI 학습 목적함수의 공통 뿌리를 추적한다.