tag

#knowledge-distillation

총 2개의 글

AI 2026.05.03 · 9 min Advanced Efficient Ml Deep Dive · 4

Knowledge Distillation은 왜 단순 압축이 아닌가

Hinton 2015의 soft target 원리부터 dark knowledge, feature distillation, relation-based KD, 그리고 self-distillation까지 — KD의 본질이 function transfer임을 추적한다.

AI 2026.04.28 · 13 min Advanced Regularization Theory Deep Dive · 5

모델은 왜 자신을 과신하는가 — Calibration의 수학

Over-confidence의 수학적 원인부터 Label Smoothing, Knowledge Distillation, Confidence Penalty, Temperature Scaling까지, 훈련 목적함수가 만들어내는 calibration 왜곡과 그 교정을 추적한다.