AI 2026.05.03 · 13 min
Advanced Llm Pretraining Deep Dive · 5
토큰화는 왜 모델의 성능을 결정하는가
BPE의 탐욕 병합부터 Unigram LM의 전역 확률 최적화, 어휘 크기 스케일링 법칙까지 — 토큰화 설계 결정이 LLM 성능에 미치는 영향을 추적한다.
tag
#vocab-scaling
총 1개의 글
총 1개의 글
BPE의 탐욕 병합부터 Unigram LM의 전역 확률 최적화, 어휘 크기 스케일링 법칙까지 — 토큰화 설계 결정이 LLM 성능에 미치는 영향을 추적한다.