AI 2026.05.03 · 9 min
Advanced Rnn Lstm Deep Dive · 3
RNN Gradient 소멸은 왜 피할 수 없었나
Pascanu 2013의 spectral radius 조건부터 saturation 문제, gradient clipping, orthogonal/identity 초기화까지 — RNN 학습 불안정성의 근본 원인과 그 대응의 계보를 추적한다.
tag
#vanishing-gradient
총 3개의 글
AI 2026.05.03 · 12 min
Advanced Rnn Lstm Deep Dive · 4
LSTM은 어떻게 vanishing gradient를 피하는가
Hochreiter 1997의 CEC 비전부터 forget gate 초기화, GRU의 단순화, variants의 ablation 결과까지 — LSTM 설계 철학의 핵심을 추적한다.
AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 6
RNN은 왜 긴 기억을 갖지 못하는가
Vanilla RNN의 BPTT부터 vanishing gradient의 수학적 원인, LSTM의 Constant Error Carousel, 그리고 Echo State Network까지 — 순환 구조의 설계 철학을 추적한다.