AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 6
FlashAttention은 어떻게 O(N²) 메모리 벽을 넘었나
Standard attention의 HBM 병목 원인부터 Online Softmax의 결합법칙, FlashAttention의 tiling 전략, v2/v3의 하드웨어 최적화까지, attention 효율화의 설계 계보를 추적한다.
tag
#memory-bound
총 1개의 글