AI를 직접 돌려보고
빛나는 숫자로 남겨요

로컬 AI를 직접 돌려 잰 속도와 메모리, 출처를 확인한 IT·AI 소식, 프로그래밍 이야기를 적습니다.

같은 질문, 두 그래픽카드

측정 때 답변을 잰 속도 그대로 재생합니다
모델
Gemma 4 12B QAT · Q4_0 (4비트) · LM Studio 기본 설정
질문
다음 주제로 800자 정도의 글을 써 주세요: 집에 있는 PC로 AI 모델을 돌릴 때 알아야 할 점
RTX 5090147.0 tok/s
RTX 5060 Ti 16GB44.5 tok/s

최근 테스트

테스트 기록 전체 보기 →
RTX 5060 Ti 16GB10.21
[RTX 5060 Ti 16GB] Liquid AI의 LFM2.5-24B-A2B를 16GB에서 돌리면, 이 PC에서 잰 모델 중 가장 빠른 초당 209토큰이었다 LFM2.5-24B-A2B () · QAD-Q4_0 (4비트, 양자화 보정 학습판)
240.4 tok/s VRAM -GB / 16GB
RTX 5060 Ti 16GB10.11
[RTX 5060 Ti 16GB] Qwen3.8 27B를 7.9GB로 줄인 Saluki 27B, 16GB에서 쓸 만할까, 초당 34토큰이고 생각 단계는 꼭 정해야 했다 Saluki 27B 1.0 () · IQ2-mix (Qwen3.8 27B 를 7.90GB 로)
36.5 tok/s VRAM -GB / 16GB
RTX 5060 Ti 16GB10.10
[RTX 5060 Ti 16GB] OpenAI의 gpt-oss 20B를 16GB에서 돌리면, 컨텍스트 10만에서도 초당 120토큰이 나왔다 gpt-oss 20B () · UD-Q4_K_XL (4비트, unsloth)
123.4 tok/s VRAM -GB / 16GB
GPU 체험

16GB로
어디까지 돌아갈까?

직접 잰 메모리 사용량으로 그래픽카드 크기별로 판정합니다.

GPU 체험 열기
Gemma 4 12B QAT · 8,1928.6GB
원활 RTX 5060 Ti에서 돌려 봄
Bonsai 27B · 131,07213.8GB
주의 1.2GB 남음
Bonsai 27B · 262,14421.9GB
부적합 약 6.9GB 부족

최근 게시글

총 67개의 글
[RTX 5090 32GB] MiniCPM-V 4.7 35B 한국어 사진 읽기 테스트, 0.6초 만에 답하지만 붓글씨와 손글씨는 틀렸다 RTX 5090 32GB

[RTX 5090 32GB] MiniCPM-V 4.7 35B 한국어 사진 읽기 테스트, 0.6초 만에 답하지만 붓글씨와 손글씨는 틀렸다

사진과 영상을 읽는 공개 모델 MiniCPM-V 4.7 35B A3B를 RTX 5090에서 쟀습니다. 속도는 초당 269토큰, 표와 화면 캡처는 70번 중 65번, Pixabay 실제 사진은 55번 중 29번 맞혔습니다. Unsloth Studio에서 사진이 안 된 이유와 한글 간판을 틀린 모습, 나아지는 설정도 적었습니다.

2026.10.13 93
[RTX 5090 32GB] 로컬 AI 그림 모델 Qwen-Image-2.1-Turbo는 정말 더 빠를까, 8단계 3.6초와 40단계 4.3초였고 기본 설정으로는 일반판이 돌았다 RTX 5090 32GB

[RTX 5090 32GB] 로컬 AI 그림 모델 Qwen-Image-2.1-Turbo는 정말 더 빠를까, 8단계 3.6초와 40단계 4.3초였고 기본 설정으로는 일반판이 돌았다

Qwen-Image-2.1-Turbo를 RTX 5090의 Unsloth Studio에서 일반판과 비교했습니다. 1024×1024 한 장에 Turbo 8단계 3.6초, 일반판 40단계 4.3초였고 VRAM은 13.9GB와 21.3GB였습니다. 기본 설정으로 올리면 일반판 가중치로 그려지는 문제와 해결 방법도 적었습니다.

2026.10.10 121