AI 2026.05.03 · 13 min
Advanced Rl Theory Deep Dive · 1
Bandit 알고리즘은 왜 로그 regret을 목표로 하는가
탐색-활용 딜레마의 수학적 정의부터 Lai-Robbins 하한과 minimax 관점까지, stochastic bandit 이론의 핵심 구조를 추적한다.
series · rl-theory-deep-dive
📚 Rl Theory Deep Dive
총 7편 · 순서대로 읽기를 권장
AI 2026.05.03 · 10 min
Advanced Rl Theory Deep Dive · 2
UCB 알고리즘군은 왜 단순한 공식으로 near-optimal 탐색을 달성하는가
OFU 원칙의 수학적 근거부터 UCB1 regret 증명, KL-UCB의 정보이론적 최적성, MOSS의 minimax 달성까지 — Bandit 탐색 이론의 통일 프레임워크를 추적한다.
AI 2026.05.03 · 11 min
Advanced Rl Theory Deep Dive · 3
Thompson Sampling은 왜 파라미터 없이도 최적인가
Posterior sampling의 probability matching 원리부터 정보비율 최소화까지, Bayesian bandit 알고리즘의 통일 원리를 추적한다.
AI 2026.05.03 · 10 min
Advanced Rl Theory Deep Dive · 4
Contextual Bandit에서 GP-UCB까지: 불확실성을 측정하는 하나의 원리
MAB를 넘어 context, 선형 모델, 커널 함수로 확장되는 bandit 이론의 핵심 — confidence ellipsoid와 information gain이 같은 철학에서 나온다는 것을 추적한다.
AI 2026.05.03 · 13 min
Advanced Rl Theory Deep Dive · 5
PAC-MDP: RL에서 '충분히 탐색했다'는 것을 어떻게 증명하는가
샘플 복잡도의 정형적 정의부터 R-MAX의 다항식 보장, 하한 증명까지 — PAC-MDP 이론이 탐색-활용 딜레마를 수학으로 환원하는 방식을 추적한다.
AI 2026.05.03 · 11 min
Advanced Rl Theory Deep Dive · 6
MDP regret의 세 가지 얼굴 — UCRL2, PSRL, LSVI-UCB
Bandit regret을 MDP로 확장할 때 등장하는 diameter D의 역할부터, Bayesian posterior sampling과 linear function approximation이 regret scaling을 어떻게 다르게 압축하는지 추적한다.
AI 2026.05.03 · 13 min
Advanced Rl Theory Deep Dive · 7
Best Arm Identification는 어떻게 최적에 수렴하는가
Pure Exploration의 두 프레임워크(Fixed-Confidence vs Fixed-Budget)의 근본적 차이부터 Instance-Optimal 알고리즘까지, BAI 이론의 핵심 구조를 추적한다.