AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 1
모델 효율화의 4축 — Memory, Compute, Latency, Throughput
Efficient ML의 모든 기법을 관통하는 4가지 축의 정의부터 Roofline model, 압축 분류의 직교성, 그리고 알고리즘 압축률과 wall-clock speedup의 괴리까지 추적한다.
series · efficient-ml-deep-dive
📚 Efficient Ml Deep Dive
총 7편 · 순서대로 읽기를 권장
AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 2
Pruning은 무엇을 제거하는가 — saliency에서 hardware까지
OBD의 2차 Taylor 전개부터 NVIDIA 2:4 Sparse Tensor Core까지, 뉴럴넷 프루닝의 모든 설계 결정이 하나의 질문으로 수렴하는 과정을 추적한다.
AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 3
LLM Quantization은 왜 scale 결정의 문제인가
INT8부터 BitNet 1.58-bit까지, scale·granularity·calibration의 세 가지 선택이 어떻게 quantization accuracy의 Pareto frontier를 결정하는지 추적한다.
AI 2026.05.03 · 9 min
Advanced Efficient Ml Deep Dive · 4
Knowledge Distillation은 왜 단순 압축이 아닌가
Hinton 2015의 soft target 원리부터 dark knowledge, feature distillation, relation-based KD, 그리고 self-distillation까지 — KD의 본질이 function transfer임을 추적한다.
AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 5
모델 압축의 4축은 어떻게 하나의 철학으로 수렴하는가
Low-rank factorization의 Eckart-Young 정리부터 LoRA의 intrinsic rank 가설, Tucker 분해, Hybrid recipe까지 — 학습된 가중치의 redundancy를 제거하는 통일된 관점을 추적한다.
AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 6
FlashAttention은 어떻게 O(N²) 메모리 벽을 넘었나
Standard attention의 HBM 병목 원인부터 Online Softmax의 결합법칙, FlashAttention의 tiling 전략, v2/v3의 하드웨어 최적화까지, attention 효율화의 설계 계보를 추적한다.
AI 2026.05.03 · 13 min
Advanced Efficient Ml Deep Dive · 7
LLM을 어떻게 배포할 것인가 — serving 스택의 네 층
KV cache 단편화 해소부터 mobile NPU 컴파일까지, LLM inference를 실용적으로 만드는 PagedAttention·Speculative Decoding·Continuous Batching·Edge Deployment의 설계 철학을 추적한다.