16GB 그래픽카드로 Gemma 4 12B 돌려도 될까, 7GB가 남았다 (RTX 5060 Ti 16GB 실측)
RTX 5060 Ti 16GB PC의 LM Studio에서 Gemma 4 12B QAT를 기본 설정 그대로 돌려 본 실측 기록입니다. 초당 약 44토큰, VRAM 약 8.6GB였고, 생각 기능을 끄면 산수를 5번 모두 틀렸습니다. 같은 방법으로 잰 RTX 5090 결과와 함께 비교합니다.
그래픽카드 두 대에서 잰 속도와 메모리, 출처를 확인한 AI 소식을 적습니다.
RTX 5060 Ti 16GB PC의 LM Studio에서 Gemma 4 12B QAT를 기본 설정 그대로 돌려 본 실측 기록입니다. 초당 약 44토큰, VRAM 약 8.6GB였고, 생각 기능을 끄면 산수를 5번 모두 틀렸습니다. 같은 방법으로 잰 RTX 5090 결과와 함께 비교합니다.
Qwen3.6-27B를 1비트로 줄인 Bonsai 27B를 RTX 5090 PC의 LM Studio에서 기본 설정으로 돌렸습니다. 초당 약 140토큰, 기본 VRAM 약 6GB로 빠르고 가벼웠지만, 한국어 답변에 외국어가 섞이고 산수는 5번 중 2번만 맞혔습니다. 캡처와 실측값으로 정리했습니다.
RTX 5090 PC의 LM Studio에서 Gemma 4 12B QAT(Q4_0)를 기본 설정으로 직접 돌린 기록입니다. PC 사양, LM Studio 기본 설정값, 생성 속도, 컨텍스트별 VRAM, 긴 글 요약, 생각 기능 켬·끔 비교, 이미지 입력까지 캡처와 실측값으로 정리했습니다.
AI 뉴스
2026년 9월 22일 함께 나온 GPT-6 Sol·Luna, Claude Opus 5.5, Solar Mini 4와 Gemini 3.8 Flash의 API 가격을 공식 자료 기준으로 한 표에 모았습니다. 같은 작업 1,000회 비용 계산과 할인·인상 날짜, 로컬 GPU 실측 속도도 함께 비교합니다.
AI 뉴스
엔비디아가 2026년 9월 허깅페이스를 약 129억 3천만 달러에 인수하기로 했습니다. SEC 공시와 공식 발표를 바탕으로 인수 조건, 완료 시점(2027년 상반기), 개방성 약속, 규제 심사, 로컬 LLM 사용자가 챙길 점을 정리했습니다.
IT 뉴스
AI 데이터 처리량 급증으로 인한 메모리 병목 현상을 해결할 핵심 기술로 주목받는 CXL(Compute Express Link)의 원리와 성능 개선 효과, 그리고 시장 전망을 심층 분석합니다.
IT 뉴스
엔비디아의 차세대 지포스 RTX 5090과 블랙웰(Blackwell) 아키텍처 기반 GPU들이 보여주는 AI 추론 및 학습 성능 향상 수치와 핵심 기술 사양을 분석합니다.
AI 뉴스
LLM-as-a-Judge 방법론을 통해 AI의 답변 품질을 평가하는 기술적 원리와 신뢰성을 분석합니다. 인간 전문가와의 정합성, 모델 선정 기준 및 SPeCTRA 프레임워크를 통한 검증 방안을 다룹니다.
AI 뉴스
데이터 부족과 개인정보 보호 문제를 동시에 해결하는 합성 데이터의 원리, 산업별 활용 사례 및 품질 관리의 핵심을 교차 검증을 통해 분석합니다.