"컨텍스트 길이" 검색 결과 18건

[RTX 5090 32GB] 1세대는 외국어가 섞였는데, Ternary Bonsai 2 27B는 한국어 답 33개 중 30개가 깨끗했다 RTX 5090 32GB

[RTX 5090 32GB] 1세대는 외국어가 섞였는데, Ternary Bonsai 2 27B는 한국어 답 33개 중 30개가 깨끗했다

Qwen3.8 27B를 약 1.7비트로 줄인 PrismML Ternary Bonsai 2 27B(5.95GB)를 RTX 5090에서 재 봤습니다. LM Studio로는 아직 열리지 않아 제작사 llama.cpp로 돌렸고, 한국어 답 33개 중 30개에 외국어가 섞이지 않았습니다. VRAM 10.6GB, 약 118 t/s(초당 토큰 수), 생각 단계별 결과를 정리했습니다.

2026.09.29 173
[로컬 AI 가이드] AI의 기억력을 결정하는 두 열쇠: 토큰(Token)과 컨텍스트(Context) 이해하기 AI 도구

[로컬 AI 가이드] AI의 기억력을 결정하는 두 열쇠: 토큰(Token)과 컨텍스트(Context) 이해하기

로컬 AI의 기억력과 답변 속도를 결정하는 핵심 요소, 토큰(Token)과 컨텍스트 길이(Context Length)에 대해 알아봅니다. 대중적인 8GB VRAM(RTX 4060 등) 환경에서 AI가 왜 말을 멈추는지, 어떻게 하면 더 긴 대화 맥락을 유지할 수 있는지 LM Studio 0.4.6 버전의 실제 설정 화면을 통해 최적의 세팅 가이드를 기록했습니다.

2026.03.04 198