AI를 직접 돌려보고
빛나는 숫자로 남겨요

로컬 AI를 직접 돌려 잰 속도와 메모리, 출처를 확인한 IT·AI 소식, 프로그래밍 이야기를 적습니다.

같은 질문, 두 그래픽카드

측정 때 답변을 잰 속도 그대로 재생합니다
모델
Gemma 4 12B QAT · Q4_0 (4비트) · LM Studio 기본 설정
질문
다음 주제로 800자 정도의 글을 써 주세요: 집에 있는 PC로 AI 모델을 돌릴 때 알아야 할 점
RTX 5090147.0 tok/s
RTX 5060 Ti 16GB44.5 tok/s

최근 테스트

테스트 기록 전체 보기 →
RTX 5060 Ti 16GB11.08
[RTX 5060 Ti 16GB] 3D 장면 전용 4B 모델 Qwen3.5-4B-3D-Coder는 쓸 만할까, 장면 51개 중 10개가 제대로 그려졌다 Qwen3.5-4B-3D-Coder () · Q8_0 (8비트)
74.2 tok/s VRAM -GB / 16GB
RTX 509010.24
[RTX 5090 32GB] 코딩 AI Flint 40B를 내 PC에서 돌리면, 초당 231토큰에 파이썬 8문제 중 7문제를 풀었다 Flint 40B () · UD-Q4_K_XL (4비트)
228.1 tok/s VRAM -GB / 32GB
RTX 509010.24
[RTX 5090 32GB] 코딩 AI Flint 40B를 내 PC에서 돌리면, 초당 231토큰에 파이썬 8문제 중 7문제를 풀었다 Flint 40B () · NVFP4 (4비트, 블랙웰용 공식 파일)
213.6 tok/s VRAM -GB / 32GB
GPU 체험

16GB로
어디까지 돌아갈까?

직접 잰 메모리 사용량으로 그래픽카드 크기별로 판정합니다.

GPU 체험 열기
Gemma 4 12B QAT · 8,1928.6GB
원활 RTX 5060 Ti에서 돌려 봄
Bonsai 27B · 131,07213.8GB
주의 1.2GB 남음
Bonsai 27B · 262,14421.9GB
부적합 약 6.9GB 부족

최근 게시글

총 77개의 글