AI 2026.05.03 · 12 min
Advanced Llm Inference Deep Dive · 4
PagedAttention은 왜 GPU 메모리 낭비를 95%까지 줄이는가
Contiguous KV cache의 60-80% 메모리 낭비 원인부터 OS paging 차용, PagedAttention 알고리즘, prefix caching, vLLM 통합 아키텍처까지, LLM 서빙 메모리 효율의 핵심을 추적한다.
tag
#paged-attention
총 3개의 글
AI 2026.05.03 · 11 min
Advanced Llm Inference Deep Dive · 7
LLM Serving의 모든 선택은 결국 비용-지연 트레이드오프다
vLLM·TGI·TensorRT-LLM·SGLang의 메모리 전략부터 Tensor/Pipeline Parallel 배포 패턴, TTFT·Goodput 측정, Disaggregated Serving 절감까지 — LLM 추론 시스템의 설계 철학을 추적한다.
AI 2026.05.03 · 13 min
Advanced Efficient Ml Deep Dive · 7
LLM을 어떻게 배포할 것인가 — serving 스택의 네 층
KV cache 단편화 해소부터 mobile NPU 컴파일까지, LLM inference를 실용적으로 만드는 PagedAttention·Speculative Decoding·Continuous Batching·Edge Deployment의 설계 철학을 추적한다.