AI 2026.05.03 · 10 min
Advanced Rnn Lstm Deep Dive · 2
RNN 학습은 왜 이렇게 설계됐는가
Cyclic 구조를 DAG로 펼치는 unrolling부터 BPTT 유도, truncation의 bias-memory 트레이드오프, 그리고 RTRL이 왜 다시 주목받는지까지, RNN 학습 알고리즘의 설계 결정을 추적한다.
tag
#truncated-bptt
총 1개의 글
총 1개의 글
Cyclic 구조를 DAG로 펼치는 unrolling부터 BPTT 유도, truncation의 bias-memory 트레이드오프, 그리고 RTRL이 왜 다시 주목받는지까지, RNN 학습 알고리즘의 설계 결정을 추적한다.