#induction-head

In-Context Learning의 두 얼굴 — Lookup인가, 최적화인가

Induction head가 패턴을 복사하는 원리부터 Attention이 Gradient Descent와 수학적으로 동치임을 밝히고, Task Vector로 zero-shot 전이까지 이어지는 메커니즘을 추적한다.