로컬 AI 시작하기 4편, 내 그래픽카드에는 어떤 모델이 맞을까, 16GB에서 Gemma 4 12B는 8.6GB·Qwen3.6 35B A3B는 13.2GB였다

모델을 고를 때는 세 가지를 순서대로 봅니다. 파일이 VRAM에 들어가는지, 얼마나 긴 글을 넣을 것인지, 무엇에 쓸 것인지입니다. RTX 5060 Ti 16GB에서 직접 재 보니 Gemma 4 12B는 VRAM 8.6GB, Qwen3.6 35B A3B의 3비트 파일은 13.2GB를 썼고 둘 다 VRAM에 다 들어갔습니다. 이 글은 로컬 AI 시작하기 가이드의 4편입니다.

• 첫째, VRAM: 파일 크기에 2~3GB를 더한 값이 내 VRAM보다 작은 파일을 고릅니다.
• 둘째, 컨텍스트: 긴 글을 넣으려면 VRAM이 더 필요합니다. 빠듯한 모델은 컨텍스트를 늘리면 느려집니다.
• 셋째, 쓰임새: 일상 대화, 코딩, 긴 문서에 맞는 모델이 다릅니다.
• 16GB라면: 처음에는 Gemma 4 12B, 더 큰 모델은 Qwen3.6 35B A3B, 코딩은 Qwen3-Coder 30B A3B가 맞았습니다.
• 8GB, 12GB, 24GB: 직접 재지 못했습니다. 16GB와 32GB에서 잰 VRAM 값으로 가늠한 것을 따로 적었습니다.

이 글의 VRAM과 속도는 모두 테스트 PC 두 대(RTX 5060 Ti 16GB, RTX 5090 32GB)에서 직접 잰 값이고, 표는 측정 파일에서 그대로 만들었습니다. 재지 않은 그래픽카드에 대한 내용은 "가늠"이라고 밝혔습니다.

이 글의 내용을 20초로 요약한 영상입니다(소리 없음).

VRAM, 컨텍스트, 쓰임새 순서로 봅니다.

첫째, 파일이 VRAM에 들어가는가

모델을 올리면 파일 크기보다 VRAM을 조금 더 씁니다. 대화를 기억하는 메모리(KV 캐시)와 계산에 쓰는 공간이 더해지기 때문입니다. 16GB 그래픽카드에서 잰 값입니다.

막대 끝이 16GB입니다. 컨텍스트가 가장 작을 때의 값입니다.

이 표가 뜻하는 것: VRAM에 다 들어간 모델은 대체로 파일 크기보다 0.6~1.4GB를 더 썼습니다. 여기에 윈도우와 다른 프로그램이 쓰는 몫이 더해집니다. 그래서 파일 크기에 2~3GB를 더한 값이 VRAM보다 작으면 무난합니다. 16GB라면 파일 13GB 안팎까지입니다.

표에서 조심해서 볼 줄이 세 개 있습니다.

• Qwen3.6 35B A3B는 VRAM이 파일보다 작습니다. 파일 크기에 이미지 입력용 파일(0.9GB)이 들어 있는데, 기본값에서는 이 파일을 CPU 쪽에 두기 때문입니다.
• Qwen3.8 27B(16.81GB)는 VRAM이 12.6GB뿐입니다. 모델의 일부만 그래픽카드에 올라갔다는 뜻이고, 그래서 초당 2.2토큰이었습니다.
• Qwen3.8 27B GSQ-RCO는 파일이 12.12GB로 작은데도 1.9토큰이었습니다. 기본 설정이 레이어 일부를 CPU에 남겼기 때문입니다. 설정을 바꾸자 약 29토큰이 됐습니다(99번 글). 6편에서 다룹니다.

32GB에서 잰 값

이 표가 뜻하는 것: 32GB에서는 27B의 4비트 파일(16.81GB)이 VRAM 19.7GB로 다 들어갑니다. VRAM에 다 들어간 모델의 차이는 대체로 +1.1~3.3GB로, 16GB 때(+0.6~1.4GB)보다 컸습니다.

프로그램이 미리 알려 주는 값

Unsloth Studio는 모델을 올리기 전에 예상 메모리를 보여 줍니다. 오른쪽 Run settings의 Estimated Memory Usage입니다.

GPU 값이 내 VRAM보다 작은지 봅니다. 아래에 들어가는지 안내 문장도 나옵니다.

이 캡처는 RTX 5090에서 Gemma 4 12B를 기본값(Auto, 컨텍스트 262,144)으로 올린 화면입니다. GPU 13.96GiB가 필요하다고 나옵니다. 이 숫자가 내 VRAM을 넘으면 더 작은 파일을 고르거나 컨텍스트를 줄입니다.

둘째, 얼마나 긴 글을 넣을 것인가

컨텍스트는 모델이 한 번에 기억하는 글의 길이입니다. 질문, 답, 넣은 문서가 모두 여기에 들어갑니다. 컨텍스트를 크게 잡을수록 VRAM을 더 씁니다.

컨텍스트를 늘리면 VRAM이 함께 늘어납니다.

이 표가 뜻하는 것: 컨텍스트를 8K에서 128K로 늘리면 Gemma 4 12B는 2GB, Qwen3.5 9B는 3.9GB, Qwen3.8 27B는 8.2GB가 늘었습니다. 모델마다 늘어나는 폭이 다릅니다. Bonsai 27B는 파일이 3.8GB인데 최대 컨텍스트에서는 21.9GB까지 썼습니다.

VRAM이 빠듯한 모델은 컨텍스트를 늘리면 느려진다

표에서 Qwen3-Coder 30B A3B와 Qwen3.6 35B A3B는 컨텍스트를 늘려도 VRAM이 거의 그대로입니다. VRAM이 이미 꽉 차서, 늘어난 몫이 시스템 램으로 넘어갔기 때문입니다. 올라가기는 하지만 속도가 내려갑니다.

같은 모델인데 컨텍스트에 따라 속도가 여섯 배 가까이 달랐습니다.

이 표가 뜻하는 것: VRAM이 넉넉하게 남는 12B는 컨텍스트를 늘려도 속도가 그대로였습니다. VRAM을 거의 다 쓰는 큰 모델은 32,768까지가 속도를 잃지 않는 선이었고, 모델에 따라서는 그보다 먼저 느려졌습니다. 긴 문서를 자주 넣는다면 VRAM이 남는 작은 모델이 쓰기 편합니다.

셋째, 무엇에 쓸 것인가

이 표가 뜻하는 것: 가장 큰 모델이 늘 정답은 아닙니다. 16GB에서는 12B가 쓰기 편했고, 큰 모델은 속도나 긴 컨텍스트에서 값을 치렀습니다. 이 블로그의 산수와 코딩 문제에서는 Gemma 4 12B와 26B A4B의 정답 수가 거의 같았습니다. 다만 문제 수가 적어서, 큰 모델이 더 낫지 않다는 뜻은 아닙니다.

16GB에서 직접 돌려 본 것 가운데 고른 것입니다.

VRAM별로 정리하면

이 표가 뜻하는 것: "가늠"이라고 적은 줄은 다른 그래픽카드에서 잰 VRAM 값을 옮겨 본 것입니다. 실제로 돌려 본 것이 아니므로, 프로그램의 예상 메모리 표시를 꼭 확인해야 합니다.

내 그래픽카드에서 어떤 모델이 얼마나 빠른지는 GPU 체험에서 볼 수 있습니다. 잰 속도 그대로 답이 나오는 모습을 재생해 줍니다.

정리

• 파일 크기에 2~3GB를 더해 VRAM과 견줍니다. 16GB라면 파일 13GB 안팎까지입니다.
• 프로그램의 예상 메모리를 확인합니다. Unsloth Studio는 올리기 전에 보여 줍니다.
• 긴 글을 넣으려면 VRAM이 남는 모델을 고릅니다. 빠듯한 모델은 컨텍스트 32,768부터 느려졌습니다.
• 쓰임새에 맞춥니다. 일상은 12B, 코딩은 코딩용 모델, 긴 문서는 작은 모델이 맞았습니다.
• 파일이 VRAM보다 작아도 느릴 수 있습니다. 레이어가 모두 그래픽카드에 올라갔는지는 6편에서 봅니다.

앞의 글: 1편, 2편 설치와 첫 대화, 3편 모델 이름 읽는 법. 다음 편(5편)은 꼭 알아야 할 설정 세 가지입니다.

이 글의 한계

• 그래픽카드 두 종류에서만 쟀습니다. 8GB, 12GB, 24GB에 대한 내용은 가늠입니다.
• VRAM 값은 모델이 쓴 몫입니다. 윈도우와 다른 프로그램이 쓰는 VRAM은 따로이고, PC마다 다릅니다.
• 측정한 프로그램이 섞여 있습니다. LM Studio와 Unsloth Studio는 기본 컨텍스트와 속도 기능이 달라서 같은 파일도 VRAM과 속도가 다르게 나옵니다.
• 쓰임새별 추천은 직접 돌려 본 모델 안에서 고른 것입니다. 돌려 보지 않은 모델이 더 나을 수 있습니다.
• 품질 비교는 문제 수가 적습니다. 산수 5문제, 파이썬 8문제 수준입니다.
• 2026년 10월 9일 기준으로 정리했습니다.

출처

• VRAM과 속도: 이 블로그의 각 테스트 글(표의 링크). 같은 값을 GPU 체험에서 볼 수 있습니다
• 프로그램 화면: 이 블로그의 111번 글에서 찍은 캡처