AI 2026.05.05 · 13 min
Advanced Mechanistic Interpretability Deep Dive · 7
신경망을 해부할 수 있는가 — Mechanistic Interpretability의 세 장면
IOI Circuit의 완전한 역공학부터 Grokking의 학습 동역학, Transcoder·Crosscoder의 자동화된 회로 발견까지, '신경망은 해석 가능하다'는 명제를 추적한다.
tag
#grokking
총 2개의 글
AI 2026.04.28 · 12 min
Advanced Generalization Theory Deep Dive · 5
Grokking은 왜 일어나는가 — 지연 일반화의 수학
훈련 손실이 0이 된 이후에도 수만 스텝 뒤에 테스트 정확도가 갑자기 100%로 뛰는 grokking 현상의 메커니즘부터, SGD implicit bias와 simplicity bias의 양날 구조까지 추적한다.