AI 2026.05.03 · 11 min
Advanced Llm Alignment Deep Dive · 3
DPO는 어떻게 Reward Model 없이 정책을 최적화하는가
KL-constrained 최적화 문제의 closed-form 해에서 시작해 reward-policy duality를 거쳐 DPO loss가 유도되기까지, Rafailov 2023의 수학적 논리를 단계별로 추적한다.
tag
#dpo
총 4개의 글
AI 2026.05.03 · 11 min
Advanced Llm Alignment Deep Dive · 4
DPO 이후의 선택들 — IPO, KTO, SimPO, ORPO, GRPO는 무엇을 고쳤는가
DPO의 Bradley-Terry 가정이 낳은 overfit 문제부터 PPO의 critic 제거까지, 최신 alignment 기법 5종의 설계 결정과 트레이드오프를 추적한다.
AI 2026.05.03 · 13 min
Advanced Llm Alignment Deep Dive · 6
RLHF는 왜 길고, 느리고, 불안정한가
Length bias의 수학적 근원부터 Gao 2023 scaling law의 최적 KL, β 범위, PPO/DPO의 수렴 보장, 평가 왜곡까지 — alignment training의 구조적 취약점을 추적한다.
AI 2026.04.28 · 12 min
Advanced Advanced Rl Deep Dive · 7
Offline RL부터 LLM 정렬까지 — 현대 RL의 공통 철학
OOD 문제를 pessimism으로 해결하는 CQL, BC 정규화를 쓰는 TD3+BC, 상상 롤아웃으로 샘플 효율을 높이는 Dreamer, 그리고 RLHF·DPO가 공유하는 하나의 원칙을 추적한다.