AI 2026.05.03 · 10 min
Advanced Pytorch Internals Deep Dive · 1
PyTorch Tensor는 왜 Storage와 Metadata로 분리되어 있는가
단순한 다차원 배열처럼 보이는 Tensor가 실제로 6원소 튜플로 구성된 이유부터, stride가 CUDA 커널 선택을 바꾸고 view가 zero-copy인 이유까지 추적한다.
tag
#cuda
총 3개의 글
AI 2026.05.03 · 13 min
Advanced Pytorch Internals Deep Dive · 4
GPU 커널 성능은 무엇이 결정하는가
SM과 Warp 계층부터 Memory Coalescing, Bank Conflict, Warp Divergence, Reduction 최적화까지 — CUDA 커널 성능을 지배하는 하드웨어 원칙을 추적한다.
AI 2026.05.03 · 10 min
Advanced Pytorch Internals Deep Dive · 5
PyTorch Custom Kernel의 핵심은 HBM을 피하는 것이다
cpp_extension JIT 컴파일부터 Triton block-level 추상화, cuBLAS/cuDNN 선택 기준, kernel fusion의 정량적 효과까지, PyTorch가 GPU 메모리를 다루는 방식을 추적한다.