tag

#trpo

총 4개의 글

AI 2026.05.03 · 10 min Advanced Policy Gradient Deep Dive · 7

Vanilla PG의 step size 민감성 문제부터 Fisher metric, 계산 가능성의 병목, 그리고 TRPO의 신뢰 영역 제약까지, natural gradient가 현대 RL의 이론적 뼈대가 되는 과정을 추적한다.

AI 2026.04.28 · 10 min Advanced Advanced Rl Deep Dive · 1

두 정책의 성능 차이를 advantage로 분해하는 PDL부터 surrogate objective, trust region bound, monotonic improvement 보장까지, advanced RL의 단일 이론 체계를 추적한다.

AI 2026.04.28 · 10 min Advanced Advanced Rl Deep Dive · 2

단조 개선 보장을 실전에서 구현하기 위한 TRPO의 constraint 형식화부터 Natural PG 환원, Conjugate Gradient, Line Search까지 — 하나의 철학이 네 단계로 펼쳐지는 과정을 추적한다.

AI 2026.04.28 · 11 min Advanced Advanced Rl Deep Dive · 3

2차 최적화의 계산 비용 문제부터 Clipped Objective의 수학적 구조, RLHF 스케일까지 — PPO가 강화학습의 실질적 표준이 된 이유를 추적한다.