AI 2026.05.03 · 11 min
Advanced Llm Efficiency Deep Dive · 2
LoRA는 왜 저차원 행렬 두 개로 충분한가
파라미터 절감의 수학적 근거부터 초기화 전략, 타깃 모듈 선택, 배포 방식, 태스크 벡터 산술까지 — LoRA 설계 결정의 통일된 논리를 추적한다.
tag
#low-rank
총 2개의 글
AI 2026.05.03 · 11 min
Advanced Efficient Ml Deep Dive · 5
모델 압축의 4축은 어떻게 하나의 철학으로 수렴하는가
Low-rank factorization의 Eckart-Young 정리부터 LoRA의 intrinsic rank 가설, Tucker 분해, Hybrid recipe까지 — 학습된 가중치의 redundancy를 제거하는 통일된 관점을 추적한다.