#flashattention

FlashAttention은 어떻게 O(N²) 메모리 벽을 넘었나

Standard attention의 HBM 병목 원인부터 Online Softmax의 결합법칙, FlashAttention의 tiling 전략, v2/v3의 하드웨어 최적화까지, attention 효율화의 설계 계보를 추적한다.