AI 2026.05.03 · 9 min
Advanced Rnn Lstm Deep Dive · 3
RNN Gradient 소멸은 왜 피할 수 없었나
Pascanu 2013의 spectral radius 조건부터 saturation 문제, gradient clipping, orthogonal/identity 초기화까지 — RNN 학습 불안정성의 근본 원인과 그 대응의 계보를 추적한다.
tag
#initialization
총 2개의 글
AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 4
신경망 초기화는 왜 이렇게 복잡해졌는가
대칭성 깨기부터 Fixup까지, 분산 보존이라는 하나의 원칙이 Xavier, He, LSUV, Orthogonal 초기화를 어떻게 파생시켰는지 추적한다.