AI를 직접 돌려보고
빛나는 숫자로 남겨요

로컬 AI를 직접 돌려 잰 속도와 메모리, 출처를 확인한 IT·AI 소식, 프로그래밍 이야기를 적습니다.

같은 질문, 두 그래픽카드

측정 때 답변을 잰 속도 그대로 재생합니다
모델
Gemma 4 12B QAT · Q4_0 (4비트) · LM Studio 기본 설정
질문
다음 주제로 800자 정도의 글을 써 주세요: 집에 있는 PC로 AI 모델을 돌릴 때 알아야 할 점
RTX 5090147.0 tok/s
RTX 509010.24
[RTX 5090 32GB] 코딩 AI Flint 40B를 내 PC에서 돌리면, 초당 231토큰에 파이썬 8문제 중 7문제를 풀었다 Flint 40B () · UD-Q4_K_XL (4비트)
228.1 tok/s VRAM -GB / 32GB
RTX 509010.24
[RTX 5090 32GB] 코딩 AI Flint 40B를 내 PC에서 돌리면, 초당 231토큰에 파이썬 8문제 중 7문제를 풀었다 Flint 40B () · NVFP4 (4비트, 블랙웰용 공식 파일)
213.6 tok/s VRAM -GB / 32GB
RTX 5060 Ti 16GB10.21
[RTX 5060 Ti 16GB] Liquid AI의 LFM2.5-24B-A2B를 16GB에서 돌리면, 이 PC에서 잰 모델 중 가장 빠른 초당 209토큰이었다 LFM2.5-24B-A2B () · QAD-Q4_0 (4비트, 양자화 보정 학습판)
240.4 tok/s VRAM -GB / 16GB
GPU 체험

16GB로
어디까지 돌아갈까?

직접 잰 메모리 사용량으로 그래픽카드 크기별로 판정합니다.

GPU 체험 열기
Gemma 4 12B QAT · 8,1928.6GB
원활 RTX 5060 Ti에서 돌려 봄
Bonsai 27B · 131,07213.8GB
주의 1.2GB 남음
Bonsai 27B · 262,14421.9GB
부적합 약 6.9GB 부족

최근 게시글

총 69개의 글
[RTX 5090 32GB] MiniCPM-V 4.7 35B 한국어 사진 읽기 테스트, 0.6초 만에 답하지만 붓글씨와 손글씨는 틀렸다 RTX 5090 32GB

[RTX 5090 32GB] MiniCPM-V 4.7 35B 한국어 사진 읽기 테스트, 0.6초 만에 답하지만 붓글씨와 손글씨는 틀렸다

사진과 영상을 읽는 공개 모델 MiniCPM-V 4.7 35B A3B를 RTX 5090에서 쟀습니다. 속도는 초당 269토큰, 표와 화면 캡처는 70번 중 65번, Pixabay 실제 사진은 55번 중 29번 맞혔습니다. Unsloth Studio에서 사진이 안 된 이유와 한글 간판을 틀린 모습, 나아지는 설정도 적었습니다.

2026.10.13 106