AI 2026.05.03 · 11 min
Advanced Vision Transformer Deep Dive · 3
Self-Supervised Learning의 세 가지 얼굴
Generative, Contrastive, Self-Distillation — label 없이 representation을 학습하는 세 패러다임의 손실함수, 수렴점, 그리고 트레이드오프를 하나의 프레임으로 추적한다.
tag
#mutual-information
총 3개의 글
AI 2026.04.28 · 13 min
Advanced Information Theory Deep Dive · 1
왜 ML의 모든 손실 함수에는 로그가 있는가
Shannon의 세 공리에서 $-\log p$가 유일하게 강제되는 이유부터, 엔트로피·상호정보량·최대 엔트로피 분포까지 — ML 수식 속 로그의 기원을 추적한다.
AI 2026.04.28 · 13 min
Advanced Information Theory Deep Dive · 3
상호정보량은 현대 표현학습의 언어다
MI의 기본 정의부터 DPI, Fano 부등식, MINE 추정, InfoNCE 기반 대조학습까지 — 표현학습의 설계 결정을 하나의 정보이론적 프레임으로 추적한다.