AI 2026.05.03 · 10 min
Advanced Llm Efficiency Deep Dive · 4
QLoRA는 어떻게 65B 모델을 GPU 한 장에 올렸나
NF4 양자화, LoRA 어댑터, Paged Optimizer가 합쳐지는 QLoRA의 설계 결정부터 Full FT와의 성능 격차가 1% 미만인 이유까지, 메모리 효율 fine-tuning의 전체 그림을 추적한다.
tag
#qlora
총 1개의 글
총 1개의 글
NF4 양자화, LoRA 어댑터, Paged Optimizer가 합쳐지는 QLoRA의 설계 결정부터 Full FT와의 성능 격차가 1% 미만인 이유까지, 메모리 효율 fine-tuning의 전체 그림을 추적한다.