AI 2026.05.05 · 12 min
Advanced LLM Efficiency Deep Dive · 3
LLM Quantization의 설계 철학 — 무엇을 희생하고 무엇을 보호할 것인가
Quantization 오차의 수학적 구조부터 LLM.int8()·GPTQ·AWQ·SmoothQuant·NF4까지, 각 기법이 공유하는 하나의 설계 원칙을 추적한다.
tag
#quantization
총 7개의 글
AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 1
모델 효율화의 4축 — Memory, Compute, Latency, Throughput
Efficient ML의 모든 기법을 관통하는 4가지 축의 정의부터 Roofline model, 압축 분류의 직교성, 그리고 알고리즘 압축률과 wall-clock speedup의 괴리까지 추적한다.
AI 2026.05.03 · 10 min
Advanced Llm Inference Deep Dive · 2
KV Cache는 왜 LLM 서빙의 핵심인가
Naive autoregressive decoding의 O(T²) 재계산 문제부터 GQA와 KVQuant를 거쳐 실제 서빙 메모리 예산까지, KV cache 최적화의 연쇄적 설계 결정을 추적한다.
AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 3
LLM Quantization은 왜 scale 결정의 문제인가
INT8부터 BitNet 1.58-bit까지, scale·granularity·calibration의 세 가지 선택이 어떻게 quantization accuracy의 Pareto frontier를 결정하는지 추적한다.
AI 2026.05.03 · 10 min
Advanced Llm Efficiency Deep Dive · 4
QLoRA는 어떻게 65B 모델을 GPU 한 장에 올렸나
NF4 양자화, LoRA 어댑터, Paged Optimizer가 합쳐지는 QLoRA의 설계 결정부터 Full FT와의 성능 격차가 1% 미만인 이유까지, 메모리 효율 fine-tuning의 전체 그림을 추적한다.
AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 5
모델 압축의 4축은 어떻게 하나의 철학으로 수렴하는가
Low-rank factorization의 Eckart-Young 정리부터 LoRA의 intrinsic rank 가설, Tucker 분해, Hybrid recipe까지 — 학습된 가중치의 redundancy를 제거하는 통일된 관점을 추적한다.
AI 2026.05.03 · 14 min
Advanced Pytorch Internals Deep Dive · 6
Mixed Precision Training의 수학 — FP16은 왜 위험하고 BF16은 왜 안전한가
IEEE 754 비트 구조부터 FP16 언더플로우의 정량적 분석, Loss Scaling의 수학적 정당성, BF16·TF32·Stochastic Rounding까지 — Mixed Precision의 설계 결정을 하나의 원리로 추적한다.