검색

RTX-5090

[RTX 5090 32GB] 27B를 3.8GB로 줄인 Bonsai, 한국어로 물었더니 외국어 5개가 섞여 나왔다

Qwen3.6-27B를 1비트로 줄인 Bonsai 27B를 RTX 5090 PC의 LM Studio에서 기본 설정으로 돌렸습니다. 초당 약 140토큰, 기본 VRAM 약 6GB로 빠르고 가벼웠지만, 한국어 답변에 외국어가 섞이고 산수는 5번 중 2번만 맞혔습니다. 캡처와 실측값으로 정리했습니다.

2026.09.28 291

RTX-5090

[RTX 5090 32GB] Gemma 4 12B, '생각' 버튼 하나로 정답률 0%와 100%가 갈렸다

RTX 5090 PC의 LM Studio에서 Gemma 4 12B QAT(Q4_0)를 기본 설정으로 직접 돌린 기록입니다. PC 사양, LM Studio 기본 설정값, 생성 속도, 컨텍스트별 VRAM, 긴 글 요약, 생각 기능 켬·끔 비교, 이미지 입력까지 캡처와 실측값으로 정리했습니다.

2026.09.28 294

AI 뉴스

Qwen3.8-27B: 로컬 AI 에이전트 코딩을 위한 270억 파라미터 개방형 모델

2026년 8월 출시된 Qwen3.8-27B는 270억 파라미터의 개방형 멀티모달 모델로, Apache 2.0 라이선스 기반의 강력한 에이전트 코딩 및 실무 작업 성능을 제공한다. 로컬 LLM 환경에서의 VRAM 요구사항과 실무 적용 가능성을 깊이 있게 분석한다.

2026.08.15 78

Tools

[로컬 AI 실전] 코드가 밖으로 새지 않는 100% 무료 코딩 어시스턴트 구축하기 (VS Code + Continue)

제미나이(Gemini), 클로드(Claude) 같은 클라우드 AI의 구독료나 사내 코드 유출이 걱정되셨나요? 완전 무료 에디터인 VS Code에 'Continue' 확장 프로그램과 LM Studio를 결합하여 100% 무료, 100% 오프라인으로 동작하는 완벽한 로컬 AI 코딩 환경 구축법을 공유합니다.

2026.04.04 133

Tools

[로컬 AI 가이드] 내 AI를 200% 똑똑하게 만드는 법: 프롬프트와 파라미터 최적화

내 PC 속 AI를 전문가로 만드는 비결! 프롬프트 엔지니어링 3대 기술과 AI의 성격을 결정하는 시스템 프롬프트 및 파라미터(온도 등) 설정법을 정리했습니다. 8GB VRAM 환경에서도 고성능 모델 못지않은 답변을 이끌어내는 실전 가이드를 기록합니다.

2026.03.05 187

Tools

[로컬 AI 가이드] AI의 기억력을 결정하는 두 열쇠: 토큰(Token)과 컨텍스트(Context) 이해하기

로컬 AI의 기억력과 답변 속도를 결정하는 핵심 요소, 토큰(Token)과 컨텍스트 길이(Context Length)에 대해 알아봅니다. 대중적인 8GB VRAM(RTX 4060 등) 환경에서 AI가 왜 말을 멈추는지, 어떻게 하면 더 긴 대화 맥락을 유지할 수 있는지 LM Studio 0.4.6 버전의 실제 설정 화면을 통해 최적의 세팅 가이드를 기록했습니다.

2026.03.04 148