AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 3
GPT에서 LLaMA까지: Decoder-Only LLM의 설계 철학
GPT-1의 generative pretraining 선택부터 GPT-3의 in-context learning 발현, 그리고 RoPE·GQA·RMSNorm으로 이어지는 modern LLM 최적화까지, decoder-only 패러다임이 어떻게 진화했는지 추적한다.