AI 2026.05.03 · 12 min
Advanced Model Free Rl Deep Dive · 1
Model-Free RL의 네 가지 근본 질문
Model-free RL의 출발점인 planning vs learning 패러다임 차이부터 sample complexity, GPI 통합 틀, exploration-exploitation 조건까지 — 이후 모든 알고리즘의 동기를 하나의 프레임으로 추적한다.
tag
#q-learning
총 4개의 글
AI 2026.05.03 · 10 min
Advanced Deep Rl Deep Dive · 3
Q-Learning은 왜 항상 과대평가하는가
Jensen's inequality에서 비롯된 maximization bias의 수학적 구조부터 Double DQN이 online/target network 분리로 이를 제거하는 원리까지, 편향의 근원을 추적한다.
AI 2026.05.03 · 12 min
Advanced Model Free Rl Deep Dive · 4
Q-Learning 수렴 증명의 통일된 구조
Q-Learning 업데이트 규칙부터 Watkins–Dayan 수렴 정리, Robbins–Monro 조건, JJS 일반화, Double Q-Learning의 최대화 편향 제거까지, model-free RL의 수학적 뼈대를 추적한다.
AI 2026.04.28 · 12 min
Advanced Advanced Rl Deep Dive · 5
TD3는 왜 DDPG보다 안정적인가
Q-function 과대추정부터 학습 발산까지, DDPG의 세 가지 불안정성 원인과 TD3의 세 가지 수정이 어떻게 vicious cycle을 끊는지 추적한다.