tag

#long-context

총 3개의 글

AI 2026.05.05 · 12 min Advanced Retrieval Rag Deep Dive · 7

RAG의 다음 단계: 그래프, 이미지, 긴 문맥은 무엇을 바꾸는가

entity-relation 그래프로 global question을 해결하는 GraphRAG부터 OCR 없이 PDF 페이지를 직접 임베딩하는 ColPali, Lost-in-the-Middle을 피하는 Late Chunking까지, RAG frontier의 설계 원리를 추적한다.

AI 2026.05.03 · 10 min Advanced Llm Inference Deep Dive · 6

Long Context LLM — 두 개의 완전히 다른 문제

Prefill의 O(L²) 계산 폭발과 Decode의 KV 메모리 누적이 왜 별개의 병목인지, StreamingLLM·YaRN·Ring Attention이 각각 어느 문제를 해결하는지 추적한다.

AI 2026.04.27 · 13 min Advanced Transformer Deep Dive · 5

Attention의 O(T²) 벽을 어떻게 부수는가

Self-attention의 이차 복잡도가 만드는 메모리·시간 병목의 근원부터, Linear·Sparse·Flash·MQA/GQA 네 가지 해법의 수학적 원리와 트레이드오프까지 추적한다.