AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 6
In-Context Learning은 어떻게 작동하는가
Weight 업데이트 없이 몇 개의 demo만으로 task를 수행하는 ICL의 현상부터, Attention이 Gradient Descent를 구현한다는 수학적 증명, 그리고 Task Vector가 task 정보를 encoding하는 방식까지 추적한다.
tag
#gradient-descent
총 6개의 글
AI 2026.04.28 · 13 min
Advanced Calculus Optimization Deep Dive · 1
딥러닝의 수학은 왜 극한에서 시작하는가
ε-δ 언어부터 Subgradient까지, 경사하강법·역전파·ReLU가 작동하는 이유를 하나의 수렴 철학으로 추적한다.
AI 2026.04.28 · 11 min
Advanced Optimization Theory Deep Dive · 1
Gradient Descent의 수렴 보장은 어디까지인가
Steepest descent의 기하학적 유도부터 convex/strongly convex/non-convex 수렴 속도 비교, proximal gradient까지 — GD 계열 알고리즘의 이론적 한계를 추적한다.
AI 2026.04.28 · 11 min
Advanced Convex Optimization Deep Dive · 2
볼록 함수의 세 가지 얼굴 — Jensen, Epigraph, Gradient
볼록 함수를 정의하는 세 동치 조건부터 강볼록성·조건수·켤레 함수까지, 경사하강법의 수렴 보장이 어디서 오는지를 추적한다.
AI 2026.04.28 · 13 min
Advanced Calculus Optimization Deep Dive · 4
경사하강법의 수렴은 왜 그 속도인가
볼록 L-smooth 함수의 O(1/k) 수렴부터 Adam의 bias correction까지, 학습률·모멘텀·적응형 옵티마이저를 하나의 분산 제어 프레임으로 추적한다.
AI 2026.04.28 · 12 min
Advanced Convex Optimization Deep Dive · 5
경사하강법은 얼마나 빠른가 — 수렴 이론의 전체 지도
L-smooth 볼록 함수의 O(1/k) 수렴부터 Nesterov 가속의 최적성, 뉴턴 방법의 이차 수렴, 분산 감소 기법의 선형 수렴까지 — 1차 최적화 이론의 핵심 정리를 하나의 흐름으로 추적한다.