내 그래픽카드로 로컬 AI 돌아갈까?

모두 직접 잰 값이고, 측정 프로그램(LM Studio 또는 Unsloth Studio)의 기본 설정 그대로입니다.
그래픽카드 메모리에 모델이 들어가는지 보고, 실제 글 쓰는 속도를 그대로 재생해 볼 수 있습니다.

마지막 측정 · 모델 23개 · 측정 25건

1 그래픽카드 메모리 고르기

윈도우 화면 등이 쓰는 약 1GB를 빼고 판단합니다. 테스트에 쓴 카드와 같은 크기를 고르면 실제로 불러와 본 결과를 보여 줍니다.

최근 3개 / 전체 23개

Qwen3.5-4B-3D-Coder (Q8_0)

ccore (Qwen3.5-4B 미세조정) · Q8_0 (8비트) · 파일 4.48GB
32,768 토큰
6.6GB

RTX 5060 Ti 16GB: 모델 전체가 VRAM 에 들어감

65,536 토큰
7.7GB

RTX 5060 Ti 16GB: 모델 전체가 VRAM 에 들어감

131,072 토큰
9.7GB

RTX 5060 Ti 16GB: 모델 전체가 VRAM 에 들어감

262,144 최대
13.7GB

RTX 5060 Ti 16GB: Unsloth Studio 가 Auto 로 고른 컨텍스트. 모델 전체가 VRAM 에 들어감

RTX 5060 Ti 16GB 테스트 글

Flint 40B (NVFP4)

Recursive SI · NVFP4 (4비트, 블랙웰용 공식 파일) · 파일 22.86GB
32,768 토큰
22.5GB

RTX 5090: 약 213t/s(생각 켬 한 번). 모델 전체가 VRAM 에 들어감

65,536 토큰
23.4GB

RTX 5090: 로드만 함. 모델 전체가 VRAM 에 들어감

131,072 토큰
25.2GB

RTX 5090: 로드만 함. 모델 전체가 VRAM 에 들어감

262,144 최대
28.7GB

RTX 5090: Unsloth Studio 가 Auto 로 고른 컨텍스트(이 모델의 최대). 모델 전체가 VRAM 에 들어감

RTX 5090 테스트 글

Flint 40B (UD-Q4_K_XL)

Recursive SI (양자화 Unsloth) · UD-Q4_K_XL (4비트) · 파일 25.05GB
32,768 토큰
24.8GB

RTX 5090: 약 184t/s(생각 켬 한 번). 모델 전체가 VRAM 에 들어감

65,536 토큰
25.7GB

RTX 5090: 로드만 함. 모델 전체가 VRAM 에 들어감

131,072 토큰
27.5GB

RTX 5090: 로드만 함. 모델 전체가 VRAM 에 들어감

202,752 토큰
29.4GB

RTX 5090: Unsloth Studio 가 Auto 로 고른 컨텍스트. 모델 전체가 VRAM 에 들어감

262,144 최대
29.6GB

RTX 5090: 로드만 함. 시스템 램이 4.4GB 늘어 일부가 램으로 넘어감

RTX 5090 테스트 글

LFM2.5-24B-A2B (QAD-Q4_0)

Liquid AI · QAD-Q4_0 (4비트, 양자화 보정 학습판) · 파일 13.58GB
32,768 토큰
13.6GB

RTX 5060 Ti 16GB: 약 214t/s. 모델 전체가 VRAM 에 들어감

37,376 토큰
13.6GB

RTX 5060 Ti 16GB: Unsloth Studio 가 Auto 로 고른 컨텍스트. 모델 전체가 VRAM 에 들어감

65,536 토큰
13.9GB

RTX 5060 Ti 16GB: 약 137t/s. 일부를 CPU 가 맡음. KV 캐시를 q8_0 으로 줄이면 약 194t/s

131,072 최대
13.9GB

RTX 5060 Ti 16GB: 약 96t/s. 일부를 CPU 가 맡음. KV 캐시를 q4_0 으로 줄이면 약 174t/s

RTX 5060 Ti 16GB 테스트 글

Saluki 27B 1.0 (IQ2-mix)

Alibaba Qwen (양자화 Underdog) · IQ2-mix (Qwen3.8 27B 를 7.90GB 로) · 파일 7.90GB
32,768 토큰
11.2GB

RTX 5060 Ti 16GB: 약 34t/s. 속도는 같고 VRAM 이 2.3GB 줄어듦

65,536 토큰
13.3GB

RTX 5060 Ti 16GB: 약 34t/s

69,888 토큰
13.5GB

RTX 5060 Ti 16GB: Unsloth Studio 가 Auto 로 고른 컨텍스트. 모델 전체가 VRAM 에 들어감

RTX 5060 Ti 16GB 테스트 글

Gemma 4 E4B QAT (UD-Q4_K_XL)

Google · QAT UD-Q4_K_XL (4비트, unsloth) · 파일 3.93GB
32,768 토큰
4.5GB

RTX 5060 Ti 16GB: 약 148t/s. 컨텍스트를 줄여도 속도는 같고 VRAM 만 1.7GB 줄어듦

65,536 토큰
5.1GB

RTX 5060 Ti 16GB: 약 147t/s

131,072 최대
6.2GB

RTX 5060 Ti 16GB: Unsloth Studio 가 Auto 로 고른 컨텍스트(이 모델의 최대). 모델 전체가 VRAM 에 들어가고 16GB 중 약 9GB 가 남음

RTX 5060 Ti 16GB 테스트 글

gpt-oss 20B (UD-Q4_K_XL)

OpenAI · UD-Q4_K_XL (4비트, unsloth) · 파일 11.06GB
32,768 토큰
11.6GB

RTX 5060 Ti 16GB: 약 123t/s. 속도는 같고 VRAM 이 1.8GB 줄어듦

65,536 토큰
12.4GB

RTX 5060 Ti 16GB: 약 122t/s

106,496 토큰
13.4GB

RTX 5060 Ti 16GB: Unsloth Studio 가 Auto 로 고른 컨텍스트(올릴 때마다 103,000~107,000). 모델 전체가 VRAM 에 들어감

131,072 최대
13.8GB

RTX 5060 Ti 16GB: 약 107t/s. 일부를 CPU 가 맡음. KV 캐시를 q8_0 으로 줄이면 약 115t/s

RTX 5060 Ti 16GB 테스트 글

Gemma 4 E2B QAT (UD-Q4_K_XL)

Google · QAT UD-Q4_K_XL (4비트, unsloth) · 파일 2.44GB
32,768 토큰
2.9GB

RTX 5060 Ti 16GB: 약 208t/s. 컨텍스트를 줄여도 속도는 같고 VRAM 만 0.7GB 줄어듦

65,536 토큰
3.2GB

RTX 5060 Ti 16GB: 약 208t/s

131,072 최대
3.6GB

RTX 5060 Ti 16GB: Unsloth Studio 가 Auto 로 고른 컨텍스트(이 모델의 최대). 모델 전체가 VRAM 에 들어가고 16GB 중 약 11.6GB 가 남음

RTX 5060 Ti 16GB 테스트 글

Qwen3-Coder 30B A3B (UD-Q3_K_XL)

Alibaba · UD-Q3_K_XL (3비트, unsloth) · 파일 12.86GB
8,192 기본
13.7GB

RTX 5060 Ti 16GB: Unsloth Studio 가 Auto 로 고른 컨텍스트. 답이 짧아 다시 쟀을 때는 평균 129.8t/s

32,768 토큰
13.9GB

RTX 5060 Ti 16GB: 약 69t/s. KV 캐시를 q4_0 으로 줄이면 약 116t/s

65,536 토큰
13.9GB

RTX 5060 Ti 16GB: 약 44t/s. 시스템 램 5.8GB 증가

131,072 토큰
13.9GB

RTX 5060 Ti 16GB: 약 25t/s, 시스템 램 11.9GB 증가. KV 캐시를 q4_0 으로 줄이면 약 59t/s

262,144 최대
13.9GB

RTX 5060 Ti 16GB: 약 16t/s, 시스템 램 15.2GB 증가. KV 캐시를 q4_0 으로 줄이면 약 36t/s

RTX 5060 Ti 16GB 테스트 글

Gemma 4 12B QAT (UD-Q4_K_XL)

Google · UD-Q4_K_XL (4비트) · 파일 6.72GB
32,768 토큰
10.0GB

RTX 5090: 속도는 그대로이고 VRAM 만 4.5GB 줄어듦

65,536 토큰
10.6GB
131,072 토큰
11.9GB
262,144 최대
14.4GB

RTX 5090: Unsloth Studio 가 Auto 로 고른 컨텍스트. MTP 가 켜지고 모델 전체가 VRAM 에 들어감

RTX 5090 테스트 글

Qwen3.6 35B A3B (UD-IQ3_XXS)

Alibaba · UD-IQ3_XXS (3비트, unsloth) · 파일 14.07GB
9,472 토큰
13.2GB

RTX 5060 Ti 16GB: Unsloth Studio 가 Auto 로 고른 컨텍스트(올릴 때마다 8,192~16,640). 모델 전체가 VRAM 에 들어감

32,768 토큰
13.5GB

RTX 5060 Ti 16GB: 약 94t/s. 여기까지는 속도가 그대로

65,536 토큰
13.7GB

RTX 5060 Ti 16GB: 약 64t/s. 이 크기부터 일부가 시스템 램으로 넘어감

131,072 토큰
13.6GB

RTX 5060 Ti 16GB: 약 50t/s. KV 캐시를 q4_0 으로 줄이면 약 67t/s

262,144 최대
13.7GB

RTX 5060 Ti 16GB: 약 33t/s. KV 캐시를 q4_0 으로 줄이면 약 55t/s

RTX 5060 Ti 16GB 테스트 글

Gemma 4 26B A4B QAT (UD-Q4_K_XL)

Google · UD-Q4_K_XL (4비트, unsloth) · 파일 13.27GB
8,192 기본
14.1GB

RTX 5060 Ti 16GB: Unsloth Studio 가 Auto 로 고른 컨텍스트. 5번 평균 92.4t/s, 시스템 램 3.5GB 증가

32,768 토큰
14.3GB

RTX 5060 Ti 16GB: 약 92t/s, 시스템 램 4.0GB 증가

65,536 토큰
14.3GB

RTX 5060 Ti 16GB: 약 80t/s, 시스템 램 5.0GB 증가

131,072 토큰
14.4GB

RTX 5060 Ti 16GB: 약 63t/s, 시스템 램 6.5GB 증가. KV 캐시를 q4_0 으로 줄이면 약 79t/s

262,144 최대
14.8GB

RTX 5060 Ti 16GB: 로드는 되지만 글을 쓰면 약 10t/s 로 떨어지고 시스템 램이 31.7GB 까지 찹니다. KV 캐시를 q4_0 으로 줄이면 약 63t/s

RTX 5060 Ti 16GB 테스트 글

Ternary Bonsai 2 27B PQ2_0

PrismML · PQ2_0 (터너리, 2비트 칸에 저장) · 파일 7.21GB
8,192 토큰
7.8GB

RTX 5060 Ti 16GB: 로드 시간은 디스크에서 처음 읽은 시간입니다. 다른 컨텍스트는 6초 안팎

32,768 기본
9.3GB

RTX 5060 Ti 16GB: 제작사 기본 설정. LM Studio 가 아닌 PrismML llama.cpp 로 측정

65,536 토큰
11.3GB
131,072 토큰
15.2GB

RTX 5060 Ti 16GB: PC 전체 VRAM 사용량이 15.6GB 까지 찼습니다

RTX 5060 Ti 16GB 테스트 글

Qwen3.8 27B GSQ-RCO

Alibaba Qwen (양자화 ISTA-DASLab) · IQ3_S (3비트, GSQ-RCO) · 파일 12.12GB
8,192 기본
13.5GB

RTX 5060 Ti 16GB: 65개 레이어 중 56~58개만 GPU 에 올라갔습니다

32,768 토큰
14.7GB
65,536 토큰
15.0GB
131,072 토큰
15.2GB
262,144 최대
15.1GB

RTX 5060 Ti 16GB: VRAM 이 가득 차고 시스템 램이 31.7GB 까지 찼습니다. 로드만 확인했습니다

RTX 5060 Ti 16GB 테스트 글

Qwen3.5 9B

Alibaba Qwen · UD-Q6_K_XL (6비트, unsloth) · 파일 8.76GB
8,192 기본
9.7GB
32,768 토큰
10.5GB
65,536 토큰
11.5GB
131,072 토큰
13.6GB
262,144 최대
14.7GB

RTX 5060 Ti 16GB: VRAM 이 가득 차서 시스템 램을 약 3.1GB 더 썼습니다. 로드만 확인하고 속도는 재지 않았습니다

RTX 5060 Ti 16GB 테스트 글

Ornith 1.5 9B

Ornith · Q8_0 (8비트) · 파일 9.79GB
8,192 기본
10.6GB
32,768 토큰
11.5GB
65,536 토큰
12.6GB
131,072 토큰
14.8GB
262,144 최대
14.8GB

RTX 5060 Ti 16GB: VRAM 이 가득 차서 시스템 램을 약 5.6GB 더 썼습니다. 로드만 확인하고 속도는 재지 않았습니다

RTX 5060 Ti 16GB 테스트 글

Qwen3.8 27B IQ2_S

Alibaba Qwen · IQ2_S (2비트, unsloth) · 파일 9.30GB
8,192 기본
9.9GB
32,768 토큰
11.4GB
131,072 토큰
14.6GB

RTX 5060 Ti 16GB: VRAM 이 차서 약 3.2GB 가 공유 메모리(시스템 램)로 넘쳤습니다. 10만 자를 넣으면 첫 토큰까지 28분

RTX 5060 Ti 16GB 테스트 글

Gemma 4 26B A4B QAT

Google · Q4_0 (4비트) · 파일 15.63GB
8,192 기본
12.4GB
32,768 토큰
13.0GB
65,536 토큰
13.4GB
131,072 토큰
14.5GB
262,144 최대
14.7GB

RTX 5060 Ti 16GB 테스트 글

Muse Glimmer

Meta · Q4_K_M (4비트) · 파일 18.16GB
8,192 기본
17.5GB
32,768 토큰
17.8GB
65,536 토큰
18.3GB
131,072 최대
19.2GB

RTX 5090 테스트 글

Ternary Bonsai 2 27B

PrismML · PTQ1_0 (터너리 약 1.7비트) · 파일 5.95GB
8,192 토큰
7.1GB
32,768 토큰
8.6GB
65,536 기본
10.6GB

RTX 5090: 제작사 기본 설정. LM Studio 가 아닌 PrismML llama.cpp 로 측정

131,072 토큰
14.7GB
262,144 최대
22.8GB

RTX 5090 테스트 글

Bonsai 27B

PrismML · Q1_0 (1비트) · 파일 3.80GB
8,192 기본
6.0GB
32,768 토큰
7.7GB
131,072 토큰
13.8GB
262,144 최대
21.9GB

RTX 5090 테스트 글

Gemma 4 12B QAT

Google · Q4_0 (4비트) · 파일 7.15GB
8,192 기본
9.0GB
32,768 토큰
9.3GB
131,072 토큰
11.0GB
262,144 최대
13.1GB

RTX 5060 Ti 16GB: LM Studio 기본 안전장치가 예상 메모리(46.66GiB)를 보고 불러오기를 거부했습니다

RTX 5090 테스트 글 RTX 5060 Ti 16GB 테스트 글

컨텍스트는 모델이 한 번에 기억하는 글의 길이입니다. 길게 잡을수록 메모리를 더 씁니다. 막대는 고른 메모리 중 얼마를 쓰는지 보여 줍니다.

2 실제 속도로 재생해 보기

질문

다음 주제로 800자 정도의 글을 써 주세요: 집에 있는 PC로 AI 모델을 돌릴 때 알아야 할 점

생각 기능을 켜면 답을 쓰기 전에 먼저 생각하는 시간이 붙습니다.

측정 때 모델이 쓴 답변을 고치지 않고, 잰 속도 그대로 다시 보여 줍니다. 이 화면에서 모델이 실제로 돌지는 않습니다. 3번 잰 것 중 가운데 속도의 답변입니다.

측정 결과 한눈에 보기

모델 · 그래픽카드 초당 토큰
생각 끔 / 켬		 메모리
기본 / 최대 컨텍스트
Qwen3.5-4B-3D-Coder (Q8_0) RTX 5060 Ti 16GB · Unsloth Studio 74.1 / 74.2 6.6GB / 13.7GB
Ternary Bonsai 2 27B PQ2_0 RTX 5060 Ti 16GB · PrismML llama.cpp 48.2 / 45.7 7.8GB / 15.2GB
Qwen3-Coder 30B A3B (UD-Q3_K_XL) RTX 5060 Ti 16GB · Unsloth Studio 140.5 / 144.6 13.7GB / 13.9GB
Gemma 4 E2B QAT (UD-Q4_K_XL) RTX 5060 Ti 16GB · Unsloth Studio 196.6 / 204.8 2.9GB / 3.6GB
Gemma 4 E4B QAT (UD-Q4_K_XL) RTX 5060 Ti 16GB · Unsloth Studio 144.4 / 144.2 4.5GB / 6.2GB
Flint 40B (NVFP4) RTX 5090 · Unsloth Studio 189.9 / 213.6 22.5GB / 28.7GB
Flint 40B (UD-Q4_K_XL) RTX 5090 · Unsloth Studio 234.5 / 228.1 24.8GB / 29.6GB
LFM2.5-24B-A2B (QAD-Q4_0) RTX 5060 Ti 16GB · Unsloth Studio 203.7 / 240.4 13.6GB / 13.9GB
Saluki 27B 1.0 (IQ2-mix) RTX 5060 Ti 16GB · Unsloth Studio 34.2 / 36.5 11.2GB / 13.5GB
gpt-oss 20B (UD-Q4_K_XL) RTX 5060 Ti 16GB · Unsloth Studio 119.5 / 123.4 11.6GB / 13.8GB
Qwen3.6 35B A3B (UD-IQ3_XXS) RTX 5060 Ti 16GB · Unsloth Studio 90.8 / 115.0 13.2GB / 13.7GB
Gemma 4 12B QAT (UD-Q4_K_XL) RTX 5090 · Unsloth Studio 233.5 / 231.7 10.0GB / 14.4GB
Gemma 4 26B A4B QAT (UD-Q4_K_XL) RTX 5060 Ti 16GB · Unsloth Studio 94.0 / 99.9 14.1GB / 14.8GB
Qwen3.8 27B GSQ-RCO RTX 5060 Ti 16GB · LM Studio 1.9 / 2.3 13.5GB / 15.1GB
Qwen3.5 9B RTX 5060 Ti 16GB · LM Studio 46.4 / 45.9 9.7GB / 14.7GB
Ornith 1.5 9B RTX 5060 Ti 16GB · LM Studio 49.7 / 58.8 10.6GB / 14.8GB
Qwen3.8 27B IQ2_S RTX 5060 Ti 16GB · LM Studio 33.5 / 35.1 9.9GB / 14.6GB
Qwen3.8 27B RTX 5060 Ti 16GB · LM Studio 2.2 / 2.1 12.6GB / 12.6GB
Gemma 4 26B A4B QAT RTX 5060 Ti 16GB · LM Studio 21.2 / 18.7 12.4GB / 14.7GB
Muse Glimmer RTX 5090 · LM Studio 74.5 / 74.3 17.5GB / 19.2GB
Ternary Bonsai 2 27B RTX 5090 · PrismML llama.cpp 119.1 / 115.4 7.1GB / 22.8GB
Qwen3.8 27B RTX 5090 · LM Studio 72.6 / 99.3 19.7GB / 29.5GB
Bonsai 27B RTX 5090 · LM Studio 145.3 / 140.3 6.0GB / 21.9GB
Gemma 4 12B QAT RTX 5060 Ti 16GB · LM Studio 44.5 / 43.6 8.6GB / 로드 거부
Gemma 4 12B QAT RTX 5090 · LM Studio 147.0 / 144.8 9.0GB / 13.1GB

그래픽카드 메모리별로 돌아가는 로컬 AI 모델

그래픽카드 메모리(8GB~32GB)별 로컬 AI 모델 실행 여부와 직접 잰 생성 속도
모델 기본 VRAM 8GB 12GB 16GB 5060 Ti 24GB 32GB 5090
Bonsai 27B 6.0GB 주의 적합 적합 적합 145.3원활
Gemma 4 12B QAT 9.0GB 부적합 적합 44.5원활 적합 147.0원활
Ternary Bonsai 2 27B PQ2_0 9.3GB 부적합 주의 48.2원활 적합 적합
Qwen3.5 9B 9.7GB 부적합 주의 46.4원활 적합 적합
Qwen3.8 27B IQ2_S 9.9GB 부적합 주의 33.5원활 적합 적합
Ternary Bonsai 2 27B 10.6GB 부적합 주의 적합 적합 119.1원활
Ornith 1.5 9B 10.6GB 부적합 주의 49.7원활 적합 적합
Qwen3-Coder 30B A3B (UD-Q3_K_XL) 13.7GB 부적합 부적합 140.5제한적 적합 적합
Muse Glimmer 17.5GB 부적합 부적합 부적합 적합 74.5원활
Qwen3.8 27B 19.7GB 부적합 부적합 2.2제한적 적합 72.6원활
Gemma 4 12B QAT (UD-Q4_K_XL) - -측정 없음 -측정 없음 -측정 없음 -측정 없음 233.5원활
Qwen3.8 27B GSQ-RCO 16GB 초과 부적합 부적합 1.9제한적 -측정 없음 -측정 없음
LFM2.5-24B-A2B (QAD-Q4_0) - -측정 없음 -측정 없음 203.7원활 -측정 없음 -측정 없음
Flint 40B (UD-Q4_K_XL) - -측정 없음 -측정 없음 -측정 없음 -측정 없음 234.5원활
Flint 40B (NVFP4) - -측정 없음 -측정 없음 -측정 없음 -측정 없음 189.9원활
Saluki 27B 1.0 (IQ2-mix) - -측정 없음 -측정 없음 34.2원활 -측정 없음 -측정 없음
gpt-oss 20B (UD-Q4_K_XL) - -측정 없음 -측정 없음 119.5원활 -측정 없음 -측정 없음
Gemma 4 E4B QAT (UD-Q4_K_XL) - -측정 없음 -측정 없음 144.4원활 -측정 없음 -측정 없음
Gemma 4 E2B QAT (UD-Q4_K_XL) - -측정 없음 -측정 없음 196.6원활 -측정 없음 -측정 없음
Qwen3.6 35B A3B (UD-IQ3_XXS) - -측정 없음 -측정 없음 90.8원활 -측정 없음 -측정 없음
Gemma 4 26B A4B QAT (UD-Q4_K_XL) 16GB 초과 부적합 부적합 94.0제한적 -측정 없음 -측정 없음
Gemma 4 26B A4B QAT 16GB 초과 부적합 부적합 21.2제한적 -측정 없음 -측정 없음
Qwen3.5-4B-3D-Coder (Q8_0) - -측정 없음 -측정 없음 74.1원활 -측정 없음 -측정 없음

44.5 원활(직접 돌린 속도) 2.2 제한적(일부가 시스템 램으로) 적합 주의 부적합 - 측정 없음

기본 컨텍스트로 로드했을 때 기준입니다. 숫자는 실제로 돌려서 잰 생성 속도(초당 토큰 수, t/s, 생각 끔)이고, 나머지 칸은 잰 VRAM 사용량에 윈도우 몫 1GB를 더해 계산했습니다.

  • 16GB 그래픽카드(RTX 5060 Ti 16GB)에서는 잰 모델 13개가 모두 VRAM에 다 들어갔고, 가장 빠른 것은 LFM2.5-24B-A2B (QAD-Q4_0)(203.7 t/s)였습니다. Gemma 4 26B A4B QAT (UD-Q4_K_XL)(94.0 t/s), Gemma 4 26B A4B QAT(21.2 t/s), Qwen3.8 27B(2.2 t/s), Qwen3.8 27B GSQ-RCO(1.9 t/s)는 다 들어가지 않아 일부를 시스템 램에 두고 돌려 느렸습니다.
  • 32GB 그래픽카드(RTX 5090)에서는 잰 모델 8개가 모두 VRAM에 다 들어갔고, 가장 빠른 것은 Flint 40B (UD-Q4_K_XL)(234.5 t/s)였습니다.

어떻게 쟀나요

  • 측정 프로그램이 잡아 주는 기본 설정을 그대로 썼습니다. 2026년 10월 3일까지는 LM Studio 0.4.25, 그 뒤로는 Unsloth Studio의 기본값(Auto)입니다. 어느 프로그램으로 쟀는지는 모델마다 표에 적었습니다. 같은 모델이라도 프로그램에 따라 속도가 다르게 나올 수 있습니다. 컨텍스트 길이만 바꿔 가며 다시 불러왔고, 두 프로그램이 읽지 못하는 모델은 제작사의 공식 실행 프로그램으로 쟀습니다.
  • 메모리는 모델을 불러오기 전과 후의 그래픽카드 사용량 차이입니다(nvidia-smi).
  • 속도는 같은 질문을 3번씩 보내 잰 초당 토큰 수입니다(LM Studio가 알려 준 값, 또는 Unsloth Studio의 응답을 받으며 잰 값).
  • 다른 그래픽카드의 판정은 잰 메모리 사용량으로 계산한 것입니다. 속도는 테스트에 쓴 카드에서만 쟀습니다.
  • 마지막 측정일: 2026-11-08. 새 모델을 테스트하면 이 페이지에 추가합니다.