AI 2026.05.05 · 14 min
Advanced Mechanistic Interpretability Deep Dive · 1
Mechanistic Interpretability는 무엇을 증명하는가
해석 가능성 4대 패러다임의 차이부터 activation patching의 인과 추론, 회로 발견 알고리즘까지 — 신경망을 역공학하려는 과학적 프로그램의 핵심을 추적한다.
tag
#mechanistic-interpretability
총 9개의 글
AI 2026.05.05 · 13 min
Advanced Mechanistic Interpretability Deep Dive · 2
Transformer의 내부는 어떻게 작동하는가 — Mechanistic Interpretability 의 수학적 기초
Residual stream의 선형 구조부터 QK·OV 분해, Head Composition, Linear Representation Hypothesis까지 — Transformer 내부 메커니즘을 추적한다.
AI 2026.05.05 · 12 min
Advanced Mechanistic Interpretability Deep Dive · 3
In-Context Learning의 두 얼굴 — Lookup인가, 최적화인가
Induction head가 패턴을 복사하는 원리부터 Attention이 Gradient Descent와 수학적으로 동치임을 밝히고, Task Vector로 zero-shot 전이까지 이어지는 메커니즘을 추적한다.
AI 2026.05.05 · 13 min
Advanced Mechanistic Interpretability Deep Dive · 4
뉴런 하나가 여러 개념을 담는 이유 — Superposition 이론
Polysemantic 뉴런의 근본 원인부터 Compressed Sensing과의 동형성, 중요도-희소성 phase transition까지, 신경망이 정보를 중첩 인코딩하는 원리를 추적한다.
AI 2026.05.05 · 15 min
Advanced Mechanistic Interpretability Deep Dive · 5
SAE는 어떻게 신경망의 개념을 분리하는가
초과완전 희소 기저로 LLM 내부 표현을 분해하는 원리부터 Dead Feature 해결, Top-K·JumpReLU 설계, Templeton 2024의 스케일링 법칙, Gemma Scope의 오픈소스 회로 분석까지 추적한다.
AI 2026.05.05 · 15 min
Advanced Mechanistic Interpretability Deep Dive · 6
LLM의 행동은 벡터로 쓰고 지울 수 있는가
Activation steering의 수학적 토대부터 refusal direction 취약성, CAA의 다축 제어, ROME의 가중치 수술까지 — LLM 내부 표현의 선형성이 어디까지 성립하는지 추적한다.
AI 2026.05.05 · 13 min
Advanced Mechanistic Interpretability Deep Dive · 7
신경망을 해부할 수 있는가 — Mechanistic Interpretability의 세 장면
IOI Circuit의 완전한 역공학부터 Grokking의 학습 동역학, Transcoder·Crosscoder의 자동화된 회로 발견까지, '신경망은 해석 가능하다'는 명제를 추적한다.
AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 6
In-Context Learning은 어떻게 작동하는가
Weight 업데이트 없이 몇 개의 demo만으로 task를 수행하는 ICL의 현상부터, Attention이 Gradient Descent를 구현한다는 수학적 증명, 그리고 Task Vector가 task 정보를 encoding하는 방식까지 추적한다.
AI 2026.05.03 · 11 min
Advanced Llm Alignment Deep Dive · 7
LLM 의 Safety 는 하나의 벡터로 요약될 수 있는가
Red teaming 으로 공격을 발견하고, adversarial training 으로 방어하고, refusal 방향을 mechanistic 하게 추출하기까지 — LLM alignment 의 공격과 방어 구조를 추적한다.