AI 2026.05.03 · 16 min
Advanced Deep Rl Deep Dive · 7
DDPG는 왜 불안정한가 — Continuous Control의 설계와 균열
DQN이 연속 행동 공간에서 실패하는 수학적 이유부터 DDPG의 결정론적 정책 기울기 유도, Q-과대추정과 탐험 민감성까지, continuous control의 핵심 트레이드오프를 추적한다.
tag
#ddpg
총 2개의 글
AI 2026.04.28 · 12 min
Advanced Advanced Rl Deep Dive · 5
TD3는 왜 DDPG보다 안정적인가
Q-function 과대추정부터 학습 발산까지, DDPG의 세 가지 불안정성 원인과 TD3의 세 가지 수정이 어떻게 vicious cycle을 끊는지 추적한다.