AI 2026.05.03 · 9 min
Advanced Efficient Ml Deep Dive · 4
Knowledge Distillation은 왜 단순 압축이 아닌가
Hinton 2015의 soft target 원리부터 dark knowledge, feature distillation, relation-based KD, 그리고 self-distillation까지 — KD의 본질이 function transfer임을 추적한다.