EVUELA AI LAB에서 원하는 정보를 찾아보세요
"KV 캐시" 검색 결과 4건
![[RTX 5090 32GB] Unsloth Studio로 Qwen3.8 27B를 돌리면 어떤 설정이 좋을까, 최대 컨텍스트에서도 초당 103토큰이 나왔다](https://evuelaimg.dothome.co.kr/blog/e455dfd68e2e_thumb.jpg)
RTX-5090
Unsloth Studio를 RTX 5090에 설치하고 Qwen3.8 27B(UD-Q4_K_XL)로 설정을 하나씩 바꿔 가며 쟀습니다. 기본값은 컨텍스트를 16만 8천 토큰으로 알아서 잡았고 초당 72토큰이었습니다. 속도 기능을 MTP로 바꾸면 48% 빨라졌고, KV 캐시를 q8_0으로 줄이면 최대 컨텍스트 262,144에서도 초당 103토큰이 나왔습니다. 생각 단계별 정답률, 화면 캡처, 쓰임새별 추천 설정을 정리했습니다.
![[RTX 5060 Ti 16GB] 16GB 그래픽카드로 Gemma 4 12B 돌려도 될까, 7GB가 남았다](https://evuelaimg.dothome.co.kr/blog/f9d85fe7b573_thumb.jpg)
RTX-5060TI 16GB
RTX 5060 Ti 16GB PC의 LM Studio에서 Gemma 4 12B QAT를 기본 설정 그대로 돌려 본 실측 기록입니다. 초당 약 44토큰, VRAM 약 8.6GB였고, 생각 기능을 끄면 산수를 5번 모두 틀렸습니다. 같은 방법으로 잰 RTX 5090 결과와 함께 비교합니다.
![[RTX 5090 32GB] 27B를 3.8GB로 줄인 Bonsai, 한국어로 물었더니 외국어 5개가 섞여 나왔다](https://evuelaimg.dothome.co.kr/blog/cc7840a4f6f8_thumb.jpg)
RTX-5090
Qwen3.6-27B를 1비트로 줄인 Bonsai 27B를 RTX 5090 PC의 LM Studio에서 기본 설정으로 돌렸습니다. 초당 약 140토큰, 기본 VRAM 약 6GB로 빠르고 가벼웠지만, 한국어 답변에 외국어가 섞이고 산수는 5번 중 2번만 맞혔습니다. 캡처와 실측값으로 정리했습니다.
![[RTX 5090 32GB] Gemma 4 12B, '생각' 버튼 하나로 정답률 0%와 100%가 갈렸다](https://evuelaimg.dothome.co.kr/blog/a1b6950a7847_thumb.jpg)
RTX-5090
RTX 5090 PC의 LM Studio에서 Gemma 4 12B QAT(Q4_0)를 기본 설정으로 직접 돌린 기록입니다. PC 사양, LM Studio 기본 설정값, 생성 속도, 컨텍스트별 VRAM, 긴 글 요약, 생각 기능 켬·끔 비교, 이미지 입력까지 캡처와 실측값으로 정리했습니다.