AI 2026.05.03 · 14 min
Intermediate Rnn Lstm Deep Dive · 5
RNN 변형들이 공유하는 하나의 질문
양방향 컨텍스트부터 외부 메모리, 무작위 저수지까지 — RNN 확장의 네 가지 방향이 모두 같은 병목을 다른 방식으로 돌파한다는 것을 추적한다.
tag
#reservoir-computing
총 2개의 글
AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 6
RNN은 왜 긴 기억을 갖지 못하는가
Vanilla RNN의 BPTT부터 vanishing gradient의 수학적 원인, LSTM의 Constant Error Carousel, 그리고 Echo State Network까지 — 순환 구조의 설계 철학을 추적한다.