로컬 AI를 직접 돌려 잰 속도와 메모리, 출처를 확인한 IT·AI 소식, 프로그래밍 이야기를 적습니다.
![[RTX 5090 32GB] MiniCPM-V 4.7 35B 한국어 사진 읽기 테스트, 0.6초 만에 답하지만 붓글씨와 손글씨는 틀렸다](https://evuelaimg.dothome.co.kr/blog/6ab013cb2c31_thumb.jpg)
RTX-5090
사진과 영상을 읽는 공개 모델 MiniCPM-V 4.7 35B A3B를 RTX 5090에서 쟀습니다. 속도는 초당 269토큰, 표와 화면 캡처는 70번 중 65번, Pixabay 실제 사진은 55번 중 29번 맞혔습니다. Unsloth Studio에서 사진이 안 된 이유와 한글 간판을 틀린 모습, 나아지는 설정도 적었습니다.
AI 뉴스
Cursor, Grok, X Premium 요금제가 The X Subscription으로 합쳐졌습니다. 셋을 따로 내면 90달러였던 것이 Premium 30달러가 됐습니다. 다만 Claude와 GPT는 API 가격으로 따로 내야 해서, 기존 구독자가 바꿀지 말지를 계산 예시와 함께 정리했습니다.
![[RTX 5060 Ti 16GB] Qwen3.8 27B를 7.9GB로 줄인 Saluki 27B, 16GB에서 쓸 만할까, 초당 34토큰이고 생각 단계는 꼭 정해야 했다](https://evuelaimg.dothome.co.kr/blog/cd6547b874ea_thumb.jpg)
RTX-5060TI 16GB
Qwen3.8 27B를 7.90GB로 줄인 Saluki 27B를 RTX 5060 Ti 16GB의 Unsloth Studio에서 쟀습니다. 기본값 초당 34토큰, 한국어 도구 호출 60번 모두 정답이었고, 생각 단계를 정하지 않으면 15번 중 6번은 답이 나오지 않았습니다.
![[RTX 5060 Ti 16GB] 로컬 AI 판단 전용 모델 d1-3B, 한국어 144문제를 얼마나 맞힐까, 쉬운 100개는 모두 맞히고 답 하나 0.06초였다](https://evuelaimg.dothome.co.kr/blog/b67466dcae1b_thumb.jpg)
RTX-5060TI 16GB
글을 쓰지 않고 보기마다 확률로 답하는 Liquid AI의 판단 전용 모델 d1-3B를 RTX 5060 Ti 16GB에서 한국어 144문제로 쟀습니다. 쉬운 100문제는 모두, 어려운 44문제는 34개를 맞혔고 답 하나에 0.06초, VRAM 6.0GB였습니다.
![[RTX 5060 Ti 16GB] OpenAI의 gpt-oss 20B를 16GB에서 돌리면, 컨텍스트 10만에서도 초당 120토큰이 나왔다](https://evuelaimg.dothome.co.kr/blog/4c06a870bbc9_thumb.jpg)
RTX-5060TI 16GB
RTX 5060 Ti 16GB의 Unsloth Studio에서 OpenAI의 gpt-oss 20B(UD-Q4_K_XL 11.06GB)를 기본값으로 돌렸습니다. 초당 약 120토큰, 컨텍스트 65,536까지 같은 속도였고, 생각 단계에 따라 시간과 코딩 결과가 크게 달랐습니다.
![[RTX 5090 32GB] 로컬 AI 그림 모델 Qwen-Image-2.1-Turbo는 정말 더 빠를까, 8단계 3.6초와 40단계 4.3초였고 기본 설정으로는 일반판이 돌았다](https://evuelaimg.dothome.co.kr/blog/8a753373d76a_thumb.jpg)
RTX-5090
Qwen-Image-2.1-Turbo를 RTX 5090의 Unsloth Studio에서 일반판과 비교했습니다. 1024×1024 한 장에 Turbo 8단계 3.6초, 일반판 40단계 4.3초였고 VRAM은 13.9GB와 21.3GB였습니다. 기본 설정으로 올리면 일반판 가중치로 그려지는 문제와 해결 방법도 적었습니다.
![[RTX 5060 Ti 16GB] 로컬 AI Gemma 4 E4B, E2B보다 얼마나 나을까, 27% 느린 대신 코딩 문제를 두 개 더 풀었다](https://evuelaimg.dothome.co.kr/blog/5c82fa7f7201_thumb.jpg)
RTX-5060TI 16GB
RTX 5060 Ti 16GB의 Unsloth Studio에서 Gemma 4 E4B(QAT UD-Q4_K_XL 3.93GB)를 기본값으로 돌렸습니다. VRAM 6.2GB에 초당 약 144토큰이었고, 같은 PC에서 잰 E2B와 속도·산수·코딩·사진 결과를 나란히 비교했습니다.
![[RTX 5060 Ti 16GB] 로컬 AI Gemma 4 E2B, 가장 작은 모델은 얼마나 쓸 만할까, VRAM 3.6GB에 초당 197토큰이었다](https://evuelaimg.dothome.co.kr/blog/7d1f8f955e7a_thumb.jpg)
RTX-5060TI 16GB
RTX 5060 Ti 16GB의 Unsloth Studio에서 Gemma 4 E2B(QAT UD-Q4_K_XL 2.44GB)를 기본값으로 돌렸습니다. VRAM 3.6GB에 초당 약 197토큰, 최대 컨텍스트 131,072에서도 같은 속도였습니다. 산수·코딩·사진 결과를 담았습니다.
![[RTX 5090 32GB] 로컬 AI 에이전트 Hermes Agent, Qwen3.8 27B는 직접 받는 쪽과 Unsloth 연결 중 무엇이 빠를까, 속도는 같았는데 끝나는 시간은 91초와 123초였다](https://evuelaimg.dothome.co.kr/blog/e213b53f5492_thumb.jpg)
RTX-5090
Hermes Agent를 로컬 모델에 붙이는 두 방식을 RTX 5090에서 Qwen3.8 27B로 비교했습니다. 글 만드는 속도는 120.8과 121.7 t/s로 같았지만 과제 6개는 91.3초와 123.2초였습니다. 차이는 프롬프트를 다시 읽는 양에서 났습니다.