AI 2026.05.03 · 12 min
Advanced Pretrained Lm Deep Dive · 2
BERT는 어떻게 언어를 '이해'하는가
WordPiece 토크나이징부터 MLM 정보이론, 80/10/10 규칙, NSP의 실패, RoBERTa의 재검증, SpanBERT·DistilBERT·ALBERT 변주까지 — BERT 계열 설계 결정의 통일된 원리를 추적한다.
tag
#pretraining
총 4개의 글
AI 2026.05.03 · 11 min
Advanced Llm Pretraining Deep Dive · 2
LLM 사전학습의 설계 결정들은 어디서 오는가
C ≈ 6ND 유도부터 over-training의 경제학, μP의 width transfer, GNS 기반 배치 스케줄, WSD까지 — LLM 사전학습의 핵심 설계 결정을 하나의 프레임으로 추적한다.
AI 2026.05.03 · 13 min
Advanced Llm Pretraining Deep Dive · 4
LLM 사전학습 데이터는 어떻게 설계되는가
말뭉치 구성과 품질 필터링부터 MinHash 중복 제거, DoReMi 도메인 가중치 최적화, Data Mixing Laws까지 — LLM 사전학습 데이터 파이프라인의 핵심 원리를 추적한다.
AI 2026.05.03 · 13 min
Advanced Llm Pretraining Deep Dive · 6
LLM 아키텍처 설계의 다섯 가지 선택
깊이-너비 비율부터 KV 캐시, MoE 라우팅, 위치 인코딩, 활성화 함수까지 — LLM 아키텍처의 모든 설계 결정이 하나의 원칙으로 수렴하는 이유를 추적한다.