AI를 직접 돌려보고
빛나는 숫자로 남겨요

로컬 AI를 직접 돌려 잰 속도와 메모리, 출처를 확인한 IT·AI 소식, 프로그래밍 이야기를 적습니다.

같은 질문, 두 그래픽카드

측정 때 답변을 잰 속도 그대로 재생합니다
모델
Gemma 4 12B QAT · Q4_0 (4비트) · LM Studio 기본 설정
질문
다음 주제로 800자 정도의 글을 써 주세요: 집에 있는 PC로 AI 모델을 돌릴 때 알아야 할 점
RTX 5090147.0 tok/s
RTX 5060 Ti 16GB10.05
[RTX 5060 Ti 16GB] 16GB 그래픽카드로 Qwen3.6 35B 돌아갈까, 3비트 파일이 VRAM 13.2GB에 초당 90토큰이었다 Qwen3.6 35B A3B () · UD-IQ3_XXS (3비트, unsloth)
115.0 tok/s VRAM -GB / 16GB
RTX 5060 Ti 16GB10.04
[RTX 5060 Ti 16GB] 16GB 그래픽카드에서 Gemma 4 26B는 얼마나 빠를까, Unsloth Studio 기본값으로 초당 94토큰이었다 Gemma 4 26B A4B QAT () · UD-Q4_K_XL (4비트, unsloth)
99.9 tok/s VRAM 14.1GB / 16GB · 일부는 시스템 램
RTX 5060 Ti 16GB10.03
[RTX 5060 Ti 16GB] Ternary Bonsai 2 27B는 16GB에서 돌아갈까, VRAM 9.3GB에 초당 48토큰이었다 Ternary Bonsai 2 27B · PQ2_0 (터너리, 2비트 칸에 저장)
45.7 tok/s VRAM 7.8GB / 16GB
GPU 체험

16GB로
어디까지 돌아갈까?

직접 잰 메모리 사용량으로 그래픽카드 크기별로 판정합니다.

GPU 체험 열기
Gemma 4 12B QAT · 8,1928.6GB
원활 RTX 5060 Ti에서 돌려 봄
Bonsai 27B · 131,07213.8GB
주의 1.2GB 남음
Bonsai 27B · 262,14421.9GB
부적합 약 6.9GB 부족

최근 게시글

총 42개의 글