AI 2026.05.03 · 12 min
Advanced Llm Inference Deep Dive · 1
LLM 추론은 왜 두 개의 다른 병목을 가지는가
Prefill의 compute-bound와 decode의 memory-bound가 같은 모델에서 공존하는 이유부터 Roofline 분석과 batch 최적화의 한계까지, LLM 서빙의 물리적 제약을 추적한다.
tag
#llm-inference
총 6개의 글
AI 2026.05.03 · 10 min
Advanced Llm Inference Deep Dive · 2
KV Cache는 왜 LLM 서빙의 핵심인가
Naive autoregressive decoding의 O(T²) 재계산 문제부터 GQA와 KVQuant를 거쳐 실제 서빙 메모리 예산까지, KV cache 최적화의 연쇄적 설계 결정을 추적한다.
AI 2026.05.03 · 10 min
Advanced Llm Inference Deep Dive · 3
LLM 서빙의 병목은 배치에 있다
Static batching의 67% GPU 낭비부터 Prefill-Decode 분리까지, LLM 추론 처리량을 3-5배 끌어올리는 배치 전략의 진화를 추적한다.
AI 2026.05.03 · 12 min
Advanced Llm Inference Deep Dive · 4
PagedAttention은 왜 GPU 메모리 낭비를 95%까지 줄이는가
Contiguous KV cache의 60-80% 메모리 낭비 원인부터 OS paging 차용, PagedAttention 알고리즘, prefix caching, vLLM 통합 아키텍처까지, LLM 서빙 메모리 효율의 핵심을 추적한다.
AI 2026.05.03 · 11 min
Advanced Llm Inference Deep Dive · 5
Speculative Decoding은 왜 빠르면서도 정확한가
Draft-target 이중 구조의 시스템 복잡성부터 Medusa·EAGLE·Lookahead의 설계 트레이드오프, Best-of-N의 경제성 분석까지, LLM 추론 가속의 핵심 원리를 추적한다.
AI 2026.05.03 · 11 min
Advanced Llm Inference Deep Dive · 7
LLM Serving의 모든 선택은 결국 비용-지연 트레이드오프다
vLLM·TGI·TensorRT-LLM·SGLang의 메모리 전략부터 Tensor/Pipeline Parallel 배포 패턴, TTFT·Goodput 측정, Disaggregated Serving 절감까지 — LLM 추론 시스템의 설계 철학을 추적한다.