AI 2026.05.03 · 12 min
Advanced Rnn Lstm Deep Dive · 1
RNN은 왜 sequence를 기억하는가
N-gram의 sparsity 한계부터 RNN의 parameter sharing과 hidden state 병목, teacher forcing의 exposure bias까지 — sequence 학습의 설계 결정을 관통하는 하나의 논리를 추적한다.
tag
#sequence-modeling
총 3개의 글
AI 2026.05.03 · 10 min
Advanced Rnn Lstm Deep Dive · 2
RNN 학습은 왜 이렇게 설계됐는가
Cyclic 구조를 DAG로 펼치는 unrolling부터 BPTT 유도, truncation의 bias-memory 트레이드오프, 그리고 RTRL이 왜 다시 주목받는지까지, RNN 학습 알고리즘의 설계 결정을 추적한다.
AI 2026.05.03 · 12 min
Advanced Rnn Lstm Deep Dive · 7
RNN이 Transformer에 밀린 이유, 그리고 Mamba가 돌아온 이유
GPU 병렬성 한계부터 선택적 상태 공간 모델까지, 시퀀스 아키텍처 30년의 진화를 관통하는 하나의 질문을 추적한다.