AI 2026.05.05 · 12 min
Advanced Mechanistic Interpretability Deep Dive · 3
In-Context Learning의 두 얼굴 — Lookup인가, 최적화인가
Induction head가 패턴을 복사하는 원리부터 Attention이 Gradient Descent와 수학적으로 동치임을 밝히고, Task Vector로 zero-shot 전이까지 이어지는 메커니즘을 추적한다.