AI 2026.05.03 · 9 min
Advanced Llm Efficiency Deep Dive · 7
Speculative Decoding은 어떻게 분포를 보존하면서 빠른가
Autoregressive 병목의 수학적 구조부터 Rejection Sampling의 Losslessness 증명, Medusa·EAGLE·Lookahead까지 — draft 전략의 설계 철학을 추적한다.
tag
#autoregressive
총 2개의 글
AI 2026.04.27 · 12 min
Advanced Generative Model Deep Dive · 2
Autoregressive 모델은 왜 모든 modality를 생성할 수 있는가
확률의 chain rule이 항등식인 이유부터 PixelCNN의 masked convolution, WaveNet의 dilated causal conv, GPT의 scaling law까지, AR 생성 모델의 통일 철학을 추적한다.