AI 2026.05.03 · 12 min
Advanced Model Free Rl Deep Dive · 1
Model-Free RL의 네 가지 근본 질문
Model-free RL의 출발점인 planning vs learning 패러다임 차이부터 sample complexity, GPI 통합 틀, exploration-exploitation 조건까지 — 이후 모든 알고리즘의 동기를 하나의 프레임으로 추적한다.
series · model-free-rl-deep-dive
📚 Model-Free RL Deep Dive
총 7편 · 순서대로 읽기를 권장
AI 2026.05.03 · 12 min
Advanced Model Free Rl Deep Dive · 2
Monte Carlo RL은 왜 두 가지 방문 방식을 갖는가
First-visit과 every-visit의 bias 차이부터 off-policy importance sampling의 분산 폭발까지, MC 계열 알고리즘이 공유하는 하나의 긴장을 추적한다.
AI 2026.05.03 · 11 min
Advanced Model Free Rl Deep Dive · 3
TD Learning은 왜 MC와 DP 사이에 서 있는가
TD error의 zero-mean 성질부터 SARSA의 on-policy 수렴, bias-variance 분해까지 — model-free RL의 핵심 설계 결정을 추적한다.
AI 2026.05.03 · 12 min
Advanced Model Free Rl Deep Dive · 4
Q-Learning 수렴 증명의 통일된 구조
Q-Learning 업데이트 규칙부터 Watkins–Dayan 수렴 정리, Robbins–Monro 조건, JJS 일반화, Double Q-Learning의 최대화 편향 제거까지, model-free RL의 수학적 뼈대를 추적한다.
AI 2026.05.03 · 12 min
Advanced Model Free Rl Deep Dive · 5
n-step Return에서 TD(λ)까지: 하나의 스펙트럼
TD(0)와 MC 사이의 연속체를 n-step return이 어떻게 매개변수화하는가. bias-variance 트레이드오프의 수학적 분해부터 eligibility trace의 세 가지 구현까지.
AI 2026.05.05 · 10 min
Advanced Model-Free RL Deep Dive · 6
Actor-Critic은 왜 두 역할로 나뉘는가
Actor와 Critic의 분리가 만들어내는 분산 감소 원리부터, Advantage 추정의 bias-variance 트레이드오프, Deadly Triad까지 — AC 프레임워크의 설계 결정을 추적한다.
AI 2026.05.03 · 13 min
Advanced Model Free Rl Deep Dive · 7
Model-Free RL의 수렴은 왜 이렇게 까다로운가
Deadly Triad의 세 조건이 동시에 만족될 때 발산이 일어나는 이유부터, Experience Replay·Reward Shaping·Deep RL의 공학적 우회까지, Model-Free RL 수렴 이론의 전체 지형을 추적한다.