AI 2026.05.03 · 10 min
Advanced Llm Efficiency Deep Dive · 5
MoE는 왜 같은 연산으로 더 큰 모델처럼 동작하는가
Sparse activation의 정식화부터 load balancing loss, token dropping, 그리고 scaling law까지 — MoE가 dense를 넘어서는 이유를 추적한다.
tag
#sparse-activation
총 1개의 글
총 1개의 글
Sparse activation의 정식화부터 load balancing loss, token dropping, 그리고 scaling law까지 — MoE가 dense를 넘어서는 이유를 추적한다.