AI 2026.05.03 · 13 min
Advanced Rl Theory Deep Dive · 1
Bandit 알고리즘은 왜 로그 regret을 목표로 하는가
탐색-활용 딜레마의 수학적 정의부터 Lai-Robbins 하한과 minimax 관점까지, stochastic bandit 이론의 핵심 구조를 추적한다.
tag
#regret
총 4개의 글
AI 2026.05.03 · 10 min
Advanced Rl Theory Deep Dive · 2
UCB 알고리즘군은 왜 단순한 공식으로 near-optimal 탐색을 달성하는가
OFU 원칙의 수학적 근거부터 UCB1 regret 증명, KL-UCB의 정보이론적 최적성, MOSS의 minimax 달성까지 — Bandit 탐색 이론의 통일 프레임워크를 추적한다.
AI 2026.05.03 · 11 min
Advanced Rl Theory Deep Dive · 3
Thompson Sampling은 왜 파라미터 없이도 최적인가
Posterior sampling의 probability matching 원리부터 정보비율 최소화까지, Bayesian bandit 알고리즘의 통일 원리를 추적한다.
AI 2026.05.03 · 11 min
Advanced Rl Theory Deep Dive · 6
MDP regret의 세 가지 얼굴 — UCRL2, PSRL, LSVI-UCB
Bandit regret을 MDP로 확장할 때 등장하는 diameter D의 역할부터, Bayesian posterior sampling과 linear function approximation이 regret scaling을 어떻게 다르게 압축하는지 추적한다.