RTX 3090 1장으로 Llama 3.1 70B 구동 기술 공개

NVMe SSD에서 GPU로 데이터를 직접 전송하여 CPU 병목을 우회하는 'ntransformer' 프로젝트가 공개됐다. 이를 통해 24GB VRAM을 가진 RTX 3090 단일 카드에서도 Llama 3.1 70B 모델 구동이 가능해졌다.