#efficient-attention

ViT의 데이터 허기는 어떻게 채워지는가

inductive bias 부재라는 ViT의 근본 제약부터, distillation·window attention·spatial reduction·hybrid·multi-scale까지 다섯 가지 해법의 설계 철학을 추적한다.