AI 2026.05.03 · 11 min
Advanced Vision Transformer Deep Dive · 3
Self-Supervised Learning의 세 가지 얼굴
Generative, Contrastive, Self-Distillation — label 없이 representation을 학습하는 세 패러다임의 손실함수, 수렴점, 그리고 트레이드오프를 하나의 프레임으로 추적한다.
tag
#self-supervised-learning
총 2개의 글
AI 2026.05.03 · 10 min
Advanced Vision Transformer Deep Dive · 4
DINO는 왜 레이블 없이도 객체를 '본다'
Teacher-student 증류와 multi-crop 일관성 손실이 어떻게 semantic segmentation과 k-NN 분류 능력을 만들어내는지, DINO부터 DINOv2까지 붕괴 방지 메커니즘과 스케일링 법칙을 추적한다.