tag

#flash-attention

총 2개의 글

AI 2026.05.03 · 13 min Advanced Llm Efficiency Deep Dive · 6

표준 Attention의 O(T²) HBM 병목의 수학적 근원부터 Flash Attention 1/2/3의 핵심 아이디어, 그리고 PagedAttention·Ring·Linear Attention까지, 효율적 Attention 설계의 전체 계보를 추적한다.

AI 2026.04.27 · 13 min Advanced Transformer Deep Dive · 5

Self-attention의 이차 복잡도가 만드는 메모리·시간 병목의 근원부터, Linear·Sparse·Flash·MQA/GQA 네 가지 해법의 수학적 원리와 트레이드오프까지 추적한다.