16GB 그래픽카드로 Gemma 4 26B 돌아갈까, 돌아가긴 했지만 GPU는 절반도 일하지 않았다 (RTX 5060 Ti 16GB 실측)

구글의 Gemma 4 26B A4B QAT 모델(Q4_0, 파일 15.63GB)을 RTX 5060 Ti 16GB PC의 LM Studio에서 기본 설정 그대로 돌려 봤습니다. 결론부터 말하면 모델은 로드됐고 답도 잘 했습니다. 다만 파일이 16GB VRAM에 다 들어가지 않아, LM Studio가 모델 일부를 시스템 램(RAM)에 두었습니다. 그래서 답을 만드는 동안 CPU는 96%까지 바빴고, GPU 사용률은 절반도 안 됐습니다. 생성 속도는 약 21t/s(초당 토큰)로, 같은 PC에서 잰 Gemma 4 12B(약 44t/s)의 절반 정도였습니다.

테스트 PC 사양

Gemma 4 12B 테스트와 같은 PC입니다. GPU는 최신이지만 CPU와 램은 몇 년 된 부품입니다. 이번 테스트에서는 이 차이가 결과에 크게 드러났습니다.

테스트한 모델: Gemma 4 26B A4B QAT

Gemma 4 26B A4B는 구글이 공개한 Gemma 4 제품군의 모델입니다. 이름의 A4B는 활성 파라미터가 약 4B(40억 개)라는 뜻입니다. 전체 파라미터는 25.2B(252억 개)지만, 토큰 하나를 만들 때는 그중 3.8B만 계산합니다.

이런 구조를 MoE(Mixture of Experts)라고 부릅니다. 모델 안에 익스퍼트가 128개 있고, 토큰마다 그중 8개와 공용 익스퍼트 1개만 골라 씁니다. 그래서 계산량은 작은 모델 수준이지만, 모델 파일 전체는 메모리에 올려 둬야 합니다. 이번 테스트의 핵심이 바로 이 부분입니다.

QAT(Quantization-Aware Training)는 처음부터 4비트로 양자화할 것을 전제로 학습시킨 모델입니다. 원본과 비슷한 품질을 유지하면서 메모리를 줄였다고 모델 카드에 적혀 있습니다(모델 카드).

모델 카드의 벤치마크 점수는 아래와 같습니다. 제작사 측정이고, 양자화하기 전 원본 모델 기준입니다.

모든 항목에서 12B보다 점수가 높습니다. 이 모델을 16GB GPU에서 어느 정도 속도로 쓸 수 있는지가 이번 테스트의 질문입니다.

My Models 화면. 파라미터 26B-A4B, Q4_0, 파일 크기 15.63GB로 표시됩니다.

LM Studio 기본 설정값

설정은 바꾸지 않고, LM Studio가 이 PC에서 이 모델에 잡아 주는 기본값으로 테스트했습니다. 컨텍스트(모델이 한 번에 기억하는 글의 길이)를 바꿔 보는 테스트만 예외입니다.

Load 탭 기본값. 컨텍스트 8,192, GPU 오프로드 30(전체 레이어)입니다.

아래로 내리면 MoE 모델에만 있는 "전문가 수"(익스퍼트 수) 8과 "Number of layers 0"이 보입니다. Flash Attention은 켜져 있습니다.

"Number of layers" 설명. VRAM을 아끼고, 레이어 일부만 GPU에 올리는 것보다 빠를 수 있지만, VRAM에 다 들어가는 모델에는 권하지 않는다고 적혀 있습니다.

모델 로드 창의 예상 메모리는 GPU 15.90GB였습니다. LM Studio가 이 GPU의 VRAM으로 인식한 값(15.90GB)과 같습니다.

추론(Inference) 설정

Inference 탭. 생각(Enable Thinking)이 기본으로 켜져 있고 온도는 1입니다.

샘플링 기본값. Top K 64, 반복 패널티 1, Top P 0.95, Min P 0.05로 Gemma 4 12B와 같습니다.

VRAM과 시스템 램: 16GB에 다 들어가지 않았다

모델을 로드하기 전과 후의 VRAM과 시스템 램 사용량을 비교했습니다. 로드 전에는 VRAM 약 0.9GB, 시스템 램 약 11.1GB를 쓰고 있었습니다.

이 표에서 알 수 있는 것은 두 가지입니다.

• VRAM이 남는데도 모델이 GPU에 다 올라가지 않았습니다. 기본 컨텍스트에서 모델이 쓴 VRAM은 12.4GB로, 약 2.6GB가 남았습니다. 그런데 모델 파일은 14.56GiB입니다. 계산해 보면 모델의 최소 2GB 정도는 GPU가 아니라 시스템 램에서 CPU로 돌고 있다는 뜻입니다(추정).
• 최대 컨텍스트 262,144도 로드됐습니다. 같은 PC에서 Gemma 4 12B는 이 컨텍스트에서 LM Studio가 로드를 거부했습니다. 이번에는 VRAM 14.7GB, 시스템 램 16.6GB를 쓰며 올라갔습니다.

시스템 램이 14GB 넘게 늘어난 것은 "모델을 메모리에 유지" 설정 때문에 파일 전체가 램에도 올라가기 때문으로 보입니다. 이 숫자만으로는 몇 개 레이어가 CPU에서 돌았는지 알 수 없습니다. LM Studio 로그에도 레이어 수는 나오지 않았습니다.

LM Studio Hardware 화면. "Limit Model Offload to Dedicated GPU Memory"가 켜져 있어, 모델 가중치를 GPU 전용 메모리와 램에만 둡니다. 아래 Resource Monitor에는 RAM + VRAM 13.90GB로 표시됩니다.

이 PC의 모델 로딩 가드레일은 "완화됨"입니다. 예상 35.71GiB인 262,144 컨텍스트도 막지 않았습니다.

처음 로드할 때 45.8초가 걸린 것은 15.6GB 파일을 SATA SSD에서 처음 읽었기 때문입니다. 파일이 캐시에 들어간 뒤에는 13~16초였습니다.

테스트 1. 800자 글 쓰기 속도

"집에 있는 PC로 AI 모델을 돌릴 때 알아야 할 점을 800자 정도로 써 주세요"를 물었습니다. API로 생각 켬·끔 각각 3번 재고, 채팅 화면에서도 한 번 물었습니다.

생각 과정을 펼친 화면. 영어로 글의 구성을 먼저 짭니다.

1분 1초 동안 생각한 뒤 쓴 글. 굵은 글씨 기호(**)가 그대로 보이는 곳이 있습니다.

답변 아래 통계. 16.61t/s, 1,604토큰, 첫 토큰까지 1.15초입니다.

생각을 끄면 약 21t/s, 켜면 16~19t/s였습니다. 생각을 켜면 본문을 쓰기 전에 900~1,350토큰의 생각을 먼저 만들기 때문에, 글 한 편을 받는 데 1~2분이 걸렸습니다. 끄면 약 30초였습니다.

같은 PC에서 Gemma 4 12B는 약 44t/s였습니다. 26B A4B는 토큰마다 계산하는 양(활성 파라미터 3.8B)이 12B보다 적은데도 속도는 절반이었습니다. 이유는 다음 절에서 봅니다.

테스트 2. 전력과 온도: GPU는 기다리고 CPU가 바빴다

800자 글을 쓰는 동안(생각 끔) 0.5초마다 GPU 전력·온도·사용률을 기록했습니다.

이 GPU의 전력 제한은 180W인데, 글을 쓰는 동안 36W를 넘지 않았습니다. GPU 사용률도 절반이 안 됐습니다. 같은 시각 작업 표시줄 모니터에는 CPU 96%, GPU 29%가 찍혔습니다.

채팅에서 글을 쓰는 동안의 작업 표시줄 모니터. CPU는 96%, GPU는 29%입니다.

시스템 램으로 오프로드된 부분은 CPU가 계산합니다. 이 PC의 CPU(6코어)와 DDR4 램이 그 부분을 처리하는 동안 GPU는 기다리게 됩니다(추정). 모델이 VRAM에 다 들어갔던 12B가 더 빨랐던 이유로 보입니다.

토큰당 에너지는 GPU 전력만 잰 값입니다. 이번에는 CPU가 많이 일했기 때문에 PC 전체 전력은 이보다 큽니다. CPU 전력은 재지 않았습니다.

테스트 3. 산수: 생각을 끄면 5번 모두 같은 오답

"사과 한 상자에 24개가 들어 있습니다. 3상자를 사서 19개를 먹고, 남은 것을 5명이 똑같이 나누면 한 사람당 몇 개이고 몇 개가 남나요?"를 물었습니다. 정답은 한 사람당 10개, 3개 남음입니다.

생각 켬. 15.54초 동안 24×3=72, 72−19=53, 53÷5=10 나머지 3을 차례로 계산했습니다.

생각 끔. 곧바로 "한 사람당 10개, 남는 것 1개"라는 틀린 답을 냈습니다.

생각을 끄면 API에서는 5번 모두 같은 오답("11개, 1개")을 냈고, 채팅 화면에서는 다른 오답("10개, 1개")이 나왔습니다. 모델이 커져도 계산 문제는 생각을 켜야 맞힌다는 점은 12B와 같았습니다.

테스트 4. 긴 글 요약

이 블로그의 업데이트 기록을 3,000자, 15,000자, 100,000자로 잘라 넣고 세 문장으로 요약하게 했습니다(생각 끔). 앞의 둘은 컨텍스트 32,768, 마지막은 131,072로 로드했습니다.

3,000자 요약. 첫 토큰까지 3.41초, 약 13.9t/s였습니다.

10만 자를 넣으면 요약이 시작될 때까지 1분 18초를 기다렸고, 생성 속도도 5t/s로 떨어졌습니다. 프롬프트 처리 속도(PP, 입력을 읽는 속도)는 520~800t/s로, 12B(1,400~2,200t/s)의 3분의 1 정도입니다.

요약 내용은 정확했습니다. 10만 자 요약에 나온 "KISA 기준 보안 점검", "IP 마스킹", "한알한알 게임"은 모두 원문에 있는 내용입니다.

테스트 5. 대화가 길어지면

앞선 대화가 약 1천, 8천, 2만 3천 토큰 쌓인 상태를 만들고, 이어서 다섯 문장을 쓰게 했습니다(생각 끔, 컨텍스트 32,768).

대화가 길어질수록 첫 토큰이 늦게 나오고, 생성 속도도 절반 이하로 떨어졌습니다. 다만 같은 채팅에서 이어서 물으면, LM Studio가 앞에서 처리한 부분을 캐시로 다시 쓰기 때문에 첫 토큰은 빨리 나옵니다.

약 1만 토큰짜리 글을 넣은 채팅에서 이어서 물은 답. 첫 토큰까지는 2.40초였지만 생성 속도는 8.74t/s로 느렸습니다.

테스트 6. 긴 문서에서 정보 찾기

약 1만 토큰(2만 자) 글의 10·30·50·70·90% 위치에 "블로그 관리자가 키우는 고양이 이름은 보리차, 2019년생"이라는 문장을 하나 숨기고 찾게 했습니다. 이 문장이 없는 글에도 같은 질문을 해서, 없는 정보를 지어내는지 확인했습니다.

다섯 곳 모두 정확히 찾았고, 문장이 없는 글에서는 지어내지 않고 "없음"이라고 답했습니다. 90%와 '숨기지 않음'이 빨랐던 것은 글 앞부분이 바로 전 질문과 같아서 LM Studio가 캐시를 다시 썼기 때문으로 보입니다(추정).

약 2만 자 글의 가운데(50%)에 숨긴 정보를 찾은 화면. 첫 토큰까지 18.66초였습니다.

한국어 품질

받은 한국어 답 전부에서 한자·일본어·러시아어 같은 외국 문자가 섞였는지 찾아봤습니다. 한 글자도 없었습니다. 문장도 자연스러웠습니다.

눈에 띈 점은 두 가지입니다. 채팅 화면에서 굵은 글씨 기호(**)가 그대로 보이는 곳이 있었습니다(12B와 같은 문제). 800자 글 안에는 "NVIDIA 그래픽카드를 선택하는 것이 정신 건강에 이롭습니다" 같은 가벼운 표현이 한 번 나왔습니다.

테스트 7. 없는 소설과 이미지

실제로는 없는 작품인 "윤서하 작가의 2018년 소설 『푸른 등대의 겨울』의 줄거리"를 물었습니다.

1분 18초 동안 생각한 뒤, 줄거리를 지어내지 않고 "확인되지 않는 작품"이라고 답했습니다.

생각을 켰을 때와 껐을 때 모두 줄거리를 지어내지 않았습니다. 다만 두 답 모두 "교보문고·YES24 같은 데이터베이스에서 확인되지 않는다"처럼, 실제로 검색해 본 것 같은 말투였습니다. 이 모델은 인터넷을 검색하지 않으므로 이 부분은 사실과 다릅니다.

이미지 테스트는 모래시계 사진을 넣고 한국어 세 문장으로 설명하게 했습니다.

모래시계 두 개, 오른쪽 모래시계 안의 컴퓨터 부품, 뒤쪽의 음향 장비까지 알아봤습니다. 1분 3초 생각, 15.57t/s.

사진 설명은 생각을 꺼도 정확했습니다. 사진 설명만 필요하다면 생각을 끄는 편이 6배 빨랐습니다.

정리

같은 PC(RTX 5060 Ti 16GB)에서 같은 방법으로 잰 Gemma 4 12B와 비교하면 다음과 같습니다.

• 16GB GPU에서 돌아가기는 합니다. 기본 설정 그대로 로드됐고, 최대 컨텍스트까지 올라갔습니다.
• 하지만 모델이 VRAM에 다 들어가지 않아 CPU가 일부를 계산합니다. 그래서 GPU는 30~36W만 쓰며 기다렸고, 생성 속도는 12B의 절반이었습니다.
• 답의 품질은 좋았습니다. 외국 문자가 섞이지 않았고, 긴 문서에서 정보를 5번 모두 찾았고, 없는 소설과 없는 정보를 지어내지 않았습니다.
• 생각 기능은 켜 두는 것이 맞습니다. 끄면 산수를 5번 모두 틀렸습니다. 대신 이 PC에서는 글 한 편에 1~2분이 걸립니다.

빠른 대화가 중요하다면 같은 PC에서는 Gemma 4 12B가 낫습니다. 조금 느려도 벤치마크 점수가 더 높은 모델을 쓰고 싶다면 26B A4B도 쓸 만합니다. VRAM이 넉넉한 GPU에서의 결과는 RTX 5090에서 잰 Muse Glimmer 테스트와 RTX 5090의 Gemma 4 12B 테스트를 참고하세요. 여러 모델의 속도는 GPU 체험에서 한눈에 비교할 수 있습니다.