검색

RTX-5090

[RTX 5090 32GB] 같은 Q4_K_M인데 뭐가 다를까, unsloth·lmstudio-community·ggml-org의 Qwen3.8 27B는 정답률이 같고 속도만 달랐다

Qwen3.8 27B Q4_K_M 파일을 lmstudio-community, unsloth, ggml-org 세 곳에서 받아 RTX 5090과 LM Studio로 비교했습니다. 채점 질문 250번 중 171~180번을 맞혀 정답률은 거의 같았고, 생성 속도는 초당 63.8~86.2토큰으로 달랐습니다. 차이는 파일 안에 MTP 레이어가 있느냐에서 나왔습니다. 파일 속 양자화 구성, VRAM, MCP 도구 호출 결과와 LM Studio 캡처를 함께 정리했습니다.

2026.10.01 24

RTX-5060TI 16GB

[RTX 5060 Ti 16GB] 16GB 그래픽카드로 Qwen3.8 27B 돌아갈까, 2비트로 줄이자 15배 빨라졌다

RTX 5060 Ti 16GB PC의 LM Studio에서 Qwen3.8 27B를 양자화 4종(Q4_K_M, Q3_K_XL, IQ3_S, IQ2_S)으로 돌려 봤습니다. 4비트와 3비트는 약 2t/s였고, 2비트 IQ2_S만 약 33t/s로 15배 빨랐습니다. 2비트는 생각을 켜야 정확했고, 컨텍스트는 32K가 알맞았습니다.

2026.09.30 19

RTX-5090

[RTX 5090 32GB] 24GB 그래픽카드로 Meta Muse Glimmer 돌아갈까, 최대 컨텍스트에서도 19.2GB였다

Meta가 공개한 약 300억 파라미터 모델 Muse Glimmer를 RTX 5090의 LM Studio 기본 설정으로 재 봤습니다. 컨텍스트를 16배 늘려도 VRAM은 17.5GB에서 19.2GB로 1.7GB만 늘었고, 기본 설정에서 27번 모두 답했습니다. 속도, 생각 단계, 한국어 품질, 이미지 입력까지 정리했습니다.

2026.09.29 45

RTX-5090

[RTX 5090 32GB] Qwen3.8 27B는 왜 답을 안 할까, 생각 단계 하나 낮추자 12초 만에 나왔다

LM Studio 기본 설정으로 Qwen3.8 27B에 800자 글을 부탁하자 1분 넘게 생각만 하다 답 없이 멈췄습니다. 생각 단계를 낮추자 12초 만에 답이 나왔습니다. VRAM 19.7GB, 산수, 없는 소설, 이미지 입력, MTP 속도까지 RTX 5090에서 잰 결과입니다.

2026.09.29 140

AI 뉴스

엔비디아, 허깅페이스 129억 달러 인수: 로컬 AI 사용자에게 달라지는 것과 그대로인 것

엔비디아가 2026년 9월 허깅페이스를 약 129억 3천만 달러에 인수하기로 했습니다. SEC 공시와 공식 발표를 바탕으로 인수 조건, 완료 시점(2027년 상반기), 개방성 약속, 규제 심사, 로컬 LLM 사용자가 챙길 점을 정리했습니다.

2026.09.28 257