AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 1
Pretrained LM은 어떻게 '언어를 이해'하게 되었나
Context-independent한 고정 벡터의 한계부터 Bi-LSTM, 3단계 fine-tuning recipe, Transformer의 병렬 self-attention까지 — 사전학습 언어모델 진화의 핵심 흐름을 추적한다.
tag
#elmo
총 2개의 글
AI 2026.05.03 · 14 min
Advanced Nlp Foundations Deep Dive · 6
FastText에서 ELMo까지 — 임베딩은 어떻게 문맥을 얻었는가
Word2Vec의 OOV 한계를 char n-gram 합산으로 돌파한 FastText부터, char-CNN과 biLSTM으로 같은 단어에 다른 벡터를 부여한 ELMo까지, 정적 임베딩이 문맥 임베딩으로 진화한 경로를 추적한다.