AI 2026.05.03 · 12 min
Advanced Llm Inference Deep Dive · 4
PagedAttention은 왜 GPU 메모리 낭비를 95%까지 줄이는가
Contiguous KV cache의 60-80% 메모리 낭비 원인부터 OS paging 차용, PagedAttention 알고리즘, prefix caching, vLLM 통합 아키텍처까지, LLM 서빙 메모리 효율의 핵심을 추적한다.
tag
#memory-management
총 1개의 글