[RTX 5090 32GB] 로컬 AI DaisyRose-27B를 Hermes에 넣어 일을 시켜 봤다, 잘 해냈지만 폴더 밖으로 나갈 때도 있었다
Qwen3.8-27B를 강화학습한 DaisyRose-27B를 RTX 5090의 Hermes Agent에서 써 봤습니다. 끝까지 간 작업은 모두 정답이었고, 설정을 맞추면 일 하나에 23초였습니다. 다만 작업 폴더 밖으로 나갈 때도 있었습니다.
EVUELA AI LAB에서 원하는 정보를 찾아보세요
"Temperature" 검색 결과 13건
Qwen3.8-27B를 강화학습한 DaisyRose-27B를 RTX 5090의 Hermes Agent에서 써 봤습니다. 끝까지 간 작업은 모두 정답이었고, 설정을 맞추면 일 하나에 23초였습니다. 다만 작업 폴더 밖으로 나갈 때도 있었습니다.
3D 장면용 4B 모델 Qwen3.5-4B-3D-Coder를 RTX 5060 Ti 16GB의 Unsloth Studio에서 돌려 장면 51개를 직접 열어 봤습니다. 제대로 그려진 것은 10개, 장면 하나에 1~3분. 생각을 켜면 6~16분이 걸렸고 결과는 같았습니다.
24B 중 토큰마다 2.45B만 쓰는 Liquid AI의 LFM2.5-24B-A2B를 RTX 5060 Ti 16GB의 Unsloth Studio에서 쟀습니다. 기본값 초당 208.6토큰으로 이 PC에서 가장 빨랐고, 100,000자 요약은 20.7초, 생각은 끌 수 없었습니다.
사진과 영상을 읽는 공개 모델 MiniCPM-V 4.7 35B A3B를 RTX 5090에서 쟀습니다. 속도는 초당 269토큰, 표와 화면 캡처는 70번 중 65번, Pixabay 실제 사진은 55번 중 29번 맞혔습니다. Unsloth Studio에서 사진이 안 된 이유와 한글 간판을 틀린 모습, 나아지는 설정도 적었습니다.
Qwen3.8 27B를 7.90GB로 줄인 Saluki 27B를 RTX 5060 Ti 16GB의 Unsloth Studio에서 쟀습니다. 기본값 초당 34토큰, 한국어 도구 호출 60번 모두 정답이었고, 생각 단계를 정하지 않으면 15번 중 6번은 답이 나오지 않았습니다.
RTX 5060 Ti 16GB의 Unsloth Studio에서 Gemma 4 E4B(QAT UD-Q4_K_XL 3.93GB)를 기본값으로 돌렸습니다. VRAM 6.2GB에 초당 약 144토큰이었고, 같은 PC에서 잰 E2B와 속도·산수·코딩·사진 결과를 나란히 비교했습니다.
RTX 5060 Ti 16GB의 Unsloth Studio에서 Gemma 4 E2B(QAT UD-Q4_K_XL 2.44GB)를 기본값으로 돌렸습니다. VRAM 3.6GB에 초당 약 197토큰, 최대 컨텍스트 131,072에서도 같은 속도였습니다. 산수·코딩·사진 결과를 담았습니다.
처음에 알아야 할 설정을 컨텍스트, 생각(Thinking), 온도 세 가지로 정리했습니다. Qwen3.8 27B는 생각을 Low만 켜도 정답률이 73%에서 99%가 됐고, 16GB에서는 컨텍스트를 숫자로 정하자 초당 약 52토큰이 약 94토큰이 됐습니다.
Unsloth Studio를 설치하고 Gemma 4 12B를 받아 첫 질문을 하기까지를 네 단계로 정리했습니다. 기본값으로 RTX 5090 32GB는 초당 약 233토큰, RTX 5060 Ti 16GB는 약 52토큰이었고, 16GB는 컨텍스트를 숫자로 정하면 약 94토큰이 됩니다.