[RTX 5060 Ti 16GB] 로컬 AI 코딩 모델 Qwen3-Coder 30B A3B, 16GB에서 얼마나 빠를까, 기본값 145t/s인데 컨텍스트를 늘리자 절반이 됐다

알리바바의 코딩용 모델 Qwen3-Coder 30B A3B Instruct(unsloth의 UD-Q3_K_XL, 파일 12.86GB)를 RTX 5060 Ti 16GB PC의 Unsloth Studio에서 기본값(Auto) 그대로 돌려 봤습니다. 결론부터 적으면 기본값에서는 초당 약 145토큰(t/s)으로 이 PC에서 잰 30B급 모델 중 가장 빨랐지만, 컨텍스트를 32,768로 늘리자 약 69t/s로 절반이 됐습니다. 같은 질문을 5번 잰 평균이 145.3t/s(최소 138.9, 최대 154.2)입니다.

• PC 전체 VRAM은 14.4GB까지 찼습니다. 모델이 쓴 몫은 약 13.7GB입니다.
• 컨텍스트를 늘릴수록 빠르게 느려집니다. 16,384에서 약 106t/s, 32,768에서 약 69t/s, 131,072에서 약 25t/s였습니다.
• KV 캐시를 q4_0으로 줄이면 많이 회복됩니다. 32,768에서 약 116t/s, 131,072에서 약 59t/s가 나왔습니다.
• 파이썬 8문제를 6번 풀게 했더니 48개 중 40개를 통과했습니다. 8문제를 다 푸는 데 16~20초가 걸렸습니다.
• 생각(Thinking) 기능과 사진 입력이 없는 모델입니다. 산수 문제는 API로 30번 물어 모두 틀렸고, 없는 소설은 줄거리를 지어냈습니다.

이 글의 결과를 20초로 요약한 영상입니다(소리 없음).

이 글의 숫자는 모두 이 PC에서 직접 잰 값입니다. 속도와 정답 수는 Unsloth Studio의 API로 재고, 화면 캡처와 영상은 측정이 끝난 뒤 따로 찍었습니다. 측정은 2026년 10월 7일에 했습니다. 같은 PC, 같은 방법으로 잰 Qwen3.6 35B A3B, Gemma 4 26B A4B QAT와 나란히 비교합니다.

800자 글을 쓰게 한 화면입니다. 답 아래에 초당 131.6토큰이 표시됩니다. 800자를 요청했지만 답은 여섯 줄로 짧습니다.

테스트 PC와 실행 프로그램

테스트 PC 두 대의 사양과 측정 방법은 소개 페이지에 있습니다. 테스트 프로그램을 LM Studio에서 Unsloth Studio로 바꾼 이유는 105번 글에 적었습니다.

테스트한 모델: Qwen3-Coder 30B A3B Instruct

알리바바 Qwen 팀이 2025년 7월에 공개한 코딩용 모델입니다. 나온 지 1년이 넘었지만 unsloth의 GGUF 저장소 기준으로 내려받기가 약 650만 회로, 지금도 많이 받는 모델입니다. MoE(Mixture of Experts) 구조라서 전체 파라미터는 30.5B이지만, 토큰 하나를 만들 때는 익스퍼트 128개 중 8개만 씁니다. 그래서 활성 파라미터는 약 3.3B이고, 이름의 A3B가 이 뜻입니다.

4비트 파일인 Q4_K_M은 17.28GB라서 16GB 그래픽카드에 들어가지 않습니다. 그래서 3비트 파일 중 큰 편인 UD-Q3_K_XL을 골랐습니다. 양자화(파일을 줄이는 것)를 더 세게 한 파일이라 4비트보다 답의 품질이 낮을 수 있습니다.

모델 카드에는 이 30B 모델의 벤치마크 점수 표가 없습니다. 에이전트 방식 코딩과 긴 컨텍스트(기본 256K)를 내세운다는 설명만 있어서, 이 글에는 제작사 점수를 싣지 않았습니다.

모델 선택 창입니다. 받아 둔 Qwen3-Coder 30B A3B가 맨 위에 보입니다. 다른 모델과 달리 사진 입력을 뜻하는 눈 모양 표시가 없습니다.

Unsloth Studio 기본값(Auto)은 어떻게 올렸나

실행 설정 창에서 컨텍스트(모델이 한 번에 기억하는 글의 길이)를 기본값인 Auto로 두고 올렸습니다. 모델 말고는 아무 설정도 주지 않았습니다. 예상 메모리는 GPU 37.22GiB로 나오고 GPU 메모리를 넘는다는 경고가 붙습니다. 최대 컨텍스트 262,144 기준으로 계산한 값으로 보이며, Auto는 VRAM에 맞게 컨텍스트를 줄여서 올립니다.

실행 설정 창입니다. 예상 메모리 37.22GiB에 경고가 붙어 있고, 컨텍스트는 Auto입니다.

16GB에서 Auto가 잡은 컨텍스트는 약 8천 토큰입니다. 긴 코드 파일 여러 개를 한꺼번에 넣기에는 작습니다. 이 모델이 내세우는 긴 컨텍스트를 쓰려면 컨텍스트를 직접 늘려야 하고, 그때 속도가 어떻게 되는지가 이 글의 중심입니다.

로드가 끝난 화면입니다. 오른쪽 위에 컨텍스트가 8.2k로 표시됩니다.

VRAM과 시스템 램: 컨텍스트를 늘리면 시스템 램이 찬다

로드 직전과 직후의 GPU 메모리와 PC 전체 램의 차이를 쟀습니다. 로드 전에 윈도우와 다른 프로그램이 VRAM 약 0.7GB, 램 약 9.2GB를 쓰고 있었습니다.

VRAM은 컨텍스트와 상관없이 14.6GB 근처에서 멈춥니다. 대신 넘치는 부분이 시스템 램으로 갑니다. 131,072에서는 시스템 램이 11.9GB, 최대 컨텍스트에서는 15.2GB 늘었습니다. 같은 PC에서 잰 Qwen3.6 35B A3B는 최대 컨텍스트에서 6.6GB만 늘었습니다. 이 모델은 긴 컨텍스트에서 시스템 램을 두 배 넘게 씁니다. 램이 16GB인 PC라면 131,072부터는 올리기 어렵습니다.

로드 시간은 파일을 받은 직후에 쟀기 때문에, 윈도우가 파일을 이미 메모리에 올려 둔 상태였습니다. PC를 켠 뒤 처음 올릴 때는 이보다 오래 걸립니다. 이 PC는 SATA SSD입니다.

생성 속도: Auto에서 평균 145.3t/s

"집에 있는 PC로 AI 모델을 돌릴 때 알아야 할 점"으로 800자 글을 쓰게 했습니다. 5번 이어서 물었습니다.

같은 PC에서 Qwen3.6 35B A3B가 90.4t/s, Gemma 4 26B A4B QAT가 92.4t/s였으니 약 60% 빠릅니다. GPU 사용률은 평균 68%였습니다.

조심해서 볼 점이 있습니다. 800자를 써 달라고 했는데 답이 357~509자로 짧았습니다. 답 하나가 2초 남짓에 끝나서, 속도 값이 답 길이에 따라 흔들립니다(표준편차 7.8). 뒤의 설정 비교에서 같은 기본값을 다시 쟀을 때는 121.0, 119.9, 148.6t/s가 나왔습니다. 기본값 속도는 "약 120~155t/s"로 보는 편이 맞습니다.

컨텍스트를 늘리면: 두 배가 될 때마다 크게 내려간다

컨텍스트만 바꿔 다시 로드하며 같은 800자 글을 2번씩 쟀습니다.

기본값에서는 이 모델이 훨씬 빠르지만, 32,768부터는 Qwen3.6 35B A3B가 더 빠릅니다. Qwen3.6은 32,768까지 속도가 그대로였는데, 이 모델은 16,384에서 이미 27% 내려가고 32,768에서 절반이 됩니다. 15,000자 글을 읽고 첫 토큰이 나오기까지 걸리는 시간도 컨텍스트가 커질수록 길어져서, 최대 컨텍스트에서는 1분이 넘었습니다.

까닭은 위의 메모리 표에 있습니다. 컨텍스트를 늘리면 기억 공간(KV 캐시)이 커지고, VRAM에 다 들어가지 않는 부분을 Unsloth Studio가 시스템 램으로 보냅니다. 그만큼 CPU가 일을 나눠 맡아 느려집니다. 32,768에서 GPU 사용률은 30% 안팎이었습니다.

설정을 바꾸면: KV 캐시 q4_0이 가장 효과가 컸다

기본값(Auto)에서 설정을 하나씩만 바꿔 다시 로드하고, 같은 800자 글을 3번씩 쟀습니다(평균). 설정은 Unsloth Studio API의 로드 옵션으로 바꿨습니다. KV 캐시와 Speculative Decoding은 실행 설정 창의 고급 항목에도 있습니다.

• 긴 컨텍스트를 쓸 때는 KV 캐시를 q4_0으로 줄입니다. KV 캐시는 지금까지 읽은 글을 기억해 두는 공간입니다. 이것을 줄이자 32,768에서 약 69t/s가 116.3t/s로, 131,072에서 약 25t/s가 58.7t/s로, 262,144에서 16.1t/s가 36.1t/s로 올랐습니다. 시스템 램도 훨씬 덜 씁니다. 줄인 만큼 긴 글에서 답의 정확도가 달라지는지는 재지 않았습니다.
• 레이어를 모두 GPU에 고정하면 오히려 느려졌습니다. 컨텍스트 32,768에서 고정하자 모델이 쓴 VRAM이 14.9GB로 늘어 PC 전체로는 15.5GB가 찼고, 속도는 32.3t/s로 떨어졌습니다. 15,000자를 읽는 데 91.5초가 걸렸습니다. 16GB를 거의 다 채워 VRAM이 넘친 것으로 보입니다(추정). 16GB에서는 Unsloth Studio가 알아서 나누게 두는 편이 낫습니다.
• 기본 컨텍스트에서는 바꿔서 빨라진 설정이 없었습니다. 가속 기능을 끄거나 레이어를 고정해도 기본값보다 빠르지 않았습니다. 답이 짧아 값이 흔들리는 범위 안의 차이입니다.

컨텍스트 32,768에 KV 캐시 q4_0을 고른 화면입니다. 예상 메모리가 13.91GiB로 내려갑니다. 이 글에서 긴 컨텍스트에 가장 효과가 컸던 설정입니다.

다른 곳의 측정과 견주기

같은 모델을 잰 다른 기록 세 가지와 조건을 나란히 놓았습니다. 숫자는 각 글쓴이가 잰 값입니다.

RTX 5090 기록은 5비트 파일이 VRAM에 다 들어간 상태에서 컨텍스트 32K로 231t/s입니다. 이 글의 16GB는 3비트 파일인데도 32,768에서 약 69t/s였습니다. 차이의 큰 부분은 VRAM 크기입니다. 16GB에서는 컨텍스트를 늘리면 일부가 시스템 램으로 넘어가기 때문입니다. RTX 3090 Ti 기록의 928t/s는 요청 10개를 동시에 처리한 합계라서, 한 사람이 쓸 때의 속도와 견줄 수 없습니다. 16GB 그래픽카드에서 3비트 파일로 잰 다른 기록은 찾지 못했습니다.

화면에서 돌린 영상

새 채팅을 열고 질문 하나를 보낸 영상입니다(13초, 소리 없음).

영상에는 초당 112.8토큰으로 찍혔습니다. 화면 녹화 프로그램이 CPU를 쓰는 동안 찍었기 때문에 표의 숫자보다 느립니다. 같은 방법으로 찍었을 때 Qwen3.6 35B A3B는 56.8t/s, Gemma 4 26B A4B QAT는 15t/s였습니다. 영상 속 답은 모델이 쓴 내용입니다. 녹화에 쓴 프로그램은 103번 글에서 소개했습니다.

코딩: 파이썬 8문제를 6번, 48개 중 40개 통과

파이썬 함수 8개를 짜게 하고, 숨겨 둔 테스트로 채점했습니다. 문제는 구간 합치기, 로마 숫자 변환, 수식 계산기, 가장 긴 회문, 다음 영업일, 많이 나온 낱말, 나선 순서, 한글 숫자를 정수로 바꾸기입니다. 컨텍스트는 Auto입니다. 다른 모델은 생각 끔 3번, 켬 3번으로 쟀는데, 이 모델은 생각 기능이 없어서 같은 조건으로 6번 풀게 한 셈입니다.

생각 없이 바로 답하는데도, 정답 비율은 다른 두 모델이 생각을 켰을 때와 비슷했습니다. 걸린 시간은 훨씬 짧습니다. Qwen3.6 35B A3B가 생각을 켜고 5분 넘게 걸린 8문제를 이 모델은 20초 안에 끝냈습니다. 다만 문제는 함수 하나를 짜는 짧은 문제 8개이고, 회차마다 한두 문제씩 결과가 달라집니다. 이 차이만으로 어느 모델이 코딩을 더 잘한다고 말하기는 어렵습니다. 한글 숫자 문제("삼천이백오십일"을 3251로)는 세 모델 모두 한 번도 통과하지 못했습니다.

정수를 로마 숫자로 바꾸는 함수를 짜게 한 화면입니다. 주석을 한국어로 달았습니다.

산수: API로는 30번 모두 틀림, 앱 화면에서는 풀이를 쓰고 맞힘

"사과 한 상자에 24개가 들어 있습니다. 3상자를 사서 19개를 먹고, 남은 것을 5명이 똑같이 나누면 한 사람당 몇 개이고 몇 개가 남나요? '한 사람당 X개, 남는 것 Y개' 형식으로만 답하세요."를 물었습니다. 정답은 한 사람당 10개, 남는 것 3개입니다. API로 샘플링 값을 세 가지로 바꿔 10번씩 물었습니다.

API로는 형식을 지켜 한 줄로 답했고, 30번 모두 틀렸습니다(기본 측정의 10번까지 더하면 40번). 생각 기능이 없어서 계산 과정을 거치지 않고 바로 답을 적습니다. 걸린 시간은 약 0.5초입니다. Qwen3.6 35B A3B와 Gemma 4 26B A4B QAT도 생각을 끄면 5번 모두 틀렸고, 생각을 켜면 5번 모두 맞았습니다.

그런데 Unsloth Studio 앱 화면에서 같은 질문을 넣자 결과가 달랐습니다. "형식으로만 답하라"는 말을 따르지 않고 풀이를 한 줄씩 쓴 다음, 한 사람당 10개, 남는 것 3개로 맞혔습니다. 화면에서는 한 번만 물었습니다. 샘플링 값을 앱과 같게 맞춘 API에서는 여전히 틀렸으니, 샘플링 때문은 아닙니다. 앱이 모델에 보내는 내용이 API와 다른 것으로 보이지만(추정), 무엇이 다른지는 확인하지 못했습니다. 계산이 들어가는 질문에는 풀이 과정을 쓰게 하는 편이 안전합니다.

앱 화면에서 물은 답입니다. 풀이를 쓰고 맞혔습니다. API로 물었을 때는 한 줄로 답했고 모두 틀렸습니다.

긴 글 요약과 긴 대화

컨텍스트 32,768(KV 캐시 기본)로 올리고 이 블로그의 업데이트 기록을 넣어 세 문장으로 요약하게 했습니다. 100,000자는 컨텍스트 131,072에서 넣었습니다.

5만 토큰짜리 글은 읽는 데만 3분 가까이 걸렸습니다. 이때 시스템 램은 PC 전체로 21.4GB까지 찼습니다. 기본 KV 캐시로는 긴 글을 넣기 어렵습니다.

대화가 길어질 때를 보려고, 앞에 긴 글을 두고 한 문장짜리 질문을 붙였습니다(컨텍스트 32,768).

약 2만 3천 토큰이 쌓이면 속도가 53.9t/s로 약 21% 내려가고, 첫 토큰까지 13초가 걸렸습니다. Qwen3.6 35B A3B는 비슷한 길이에서 83.3t/s, 6.2초였습니다.

긴 문서에서 정보 찾기: 5번 모두 찾음

약 11,500토큰짜리 글의 10%, 30%, 50%, 70%, 90% 위치에 "블로그 관리자가 키우는 고양이 보리차는 2019년에 태어났다"는 문장을 하나 숨기고, 고양이 이름과 태어난 해를 물었습니다. 5번 모두 정해 준 형식대로 "이름: 보리차, 태어난 해: 2019"라고 답했습니다. 문장을 숨기지 않은 글에서는 "없음"이라고 답했습니다.

전력과 온도: 기본값에서 평균 54~65W, 최고 64도

800자 글을 쓰는 동안 0.5초마다 그래픽카드 상태를 읽었습니다(2번).

기본값에서는 순간 전력이 143W까지 올랐습니다. 다만 답이 2초 남짓에 끝나서 읽은 횟수가 5번씩뿐입니다. 평균 전력은 참고로만 보세요. 컨텍스트 32,768에서는 GPU 사용률이 30%로 내려가고 전력도 덜 씁니다. 일부를 CPU가 맡기 때문입니다.

없는 소설과 사진

실제로 없는 소설("윤서하의 2018년 장편소설 『푸른 등대의 겨울』")의 줄거리를 API로 한 번, 앱 화면에서 한 번 물었습니다. 2번 모두 그런 작품이 없다고 하지 않고 줄거리를 지어냈습니다. 한 번은 1980년대 한국을 배경으로 '이소현'이라는 주인공이 가족과 겪는 정치적 갈등을 다룬다고 했고, 다른 한 번은 1980년 광주를 배경으로 한 가족 이야기라고 했습니다. 지어낸 내용도 서로 달랐습니다. Qwen3.6 35B A3B는 같은 질문에 그런 작품은 확인되지 않는다고 답했습니다. 이 모델은 코딩용이라, 사실을 묻는 용도로는 맞지 않습니다.

없는 소설을 물은 화면입니다. 없는 작품인데 배경, 인물, 주제를 지어냈습니다.

사진 설명은 하지 못했습니다. 이 모델은 글만 입력받고, 저장소에 이미지 입력용 파일이 없습니다. 사진을 붙여 API로 보내면 오류(400)가 돌아옵니다.

API로 받은 한국어 답 32개를 모두 확인했는데, 한자나 다른 나라 글자가 섞인 답은 없었습니다.

정리: 같은 PC의 두 모델과 비교

같은 PC, 같은 프로그램, 같은 질문으로 잰 세 MoE 모델입니다.

• 짧은 코드 질문에는 가장 빠릅니다. 기본값에서 약 145t/s이고, 함수 하나를 2~3초에 짭니다. 생각 단계가 없어서 기다리는 시간이 없습니다.
• 긴 컨텍스트에는 약합니다. 16GB에서는 32,768만 돼도 속도가 절반이 됩니다. 길게 쓰려면 KV 캐시를 q4_0으로 바꿔야 하고, 그래도 131,072 이상에서는 Qwen3.6 35B A3B가 더 빠릅니다.
• 코딩 말고는 맡기기 어렵습니다. 바로 답하게 한 산수는 모두 틀렸고, 없는 소설은 지어냈고, 사진은 받지 않습니다.
• 16GB에서 고른다면: 빠른 코드 자동 완성이나 짧은 함수 작성에는 이 모델이, 긴 파일을 넣거나 계산·설명까지 맡길 때는 Qwen3.6 35B A3B가 맞습니다.

16GB 그래픽카드에서 Gemma 4 12B를 잰 결과는 82번 글에, 내 그래픽카드에서 다른 모델이 어느 정도 속도로 도는지는 GPU 체험에 있습니다.

이 글의 한계

• 2026년 10월 7일, Unsloth Studio 2026.9.14(llama.cpp build 11160), 그래픽 드라이버 617.42 기준입니다. 109·110번 글은 드라이버 616.92에서 쟀습니다. 드라이버가 달라 세 모델의 비교에 작은 차이가 섞였을 수 있습니다.
• UD-Q3_K_XL 파일 하나만 쟀습니다. 다른 3비트 파일이나 4비트 파일은 재지 않았고, 3비트와 4비트의 답 품질 차이도 재지 않았습니다.
• 800자를 요청했는데 답이 357~509자로 짧아서, 답 하나가 2초 남짓에 끝났습니다. 그래서 속도 값이 회차마다 크게 흔들립니다. 같은 기본값을 두 번 쟀을 때 평균이 145.3t/s와 129.8t/s였습니다.
• 5번 반복은 기본값의 800자 글에만 했습니다. 컨텍스트별 표는 2번씩, 설정 비교 표는 3번씩 잰 값이고 요약은 조건마다 한 번입니다.
• Auto가 올릴 때마다 다른 값을 골랐습니다(컨텍스트 8,192 또는 8,448, GPU에 올리는 방식 두 가지). 어느 조건에서 무엇을 고르는지는 확인하지 못했습니다.
• 로드 시간은 파일을 받은 직후에 잰 값입니다. PC를 켠 뒤 처음 올리는 시간은 재지 않았습니다.
• KV 캐시를 줄였을 때 답의 품질이 달라지는지는 재지 않았습니다.
• 없는 소설은 2번만 물었습니다. 앱 화면에서 산수를 맞힌 것은 한 번 물은 결과입니다.
• 코딩 문제는 직접 만든 짧은 8문제입니다. 이 모델이 내세우는 에이전트 방식 코딩(도구를 불러 여러 파일을 고치는 작업)은 시험하지 않았습니다. 도구 호출도 시험하지 않았습니다.
• 전력은 답이 짧아 한 번에 5~7번만 읽었습니다.
• API 측정은 샘플링 값을 지정하지 않았습니다. 앱 화면의 기본값(Temperature 0.7, Top P 0.8, Top K 20)으로 속도와 코딩 문제를 다시 재지는 않았습니다.
• 앱 화면과 API의 답이 다른 까닭은 확인하지 못했습니다.

출처

• Qwen3-Coder-30B-A3B-Instruct 모델 카드 (Hugging Face, Qwen)
• Qwen3-Coder-30B-A3B-Instruct-GGUF (Hugging Face, unsloth)
• How to Run Qwen3-Coder 30B-A3B on RTX 5090 with Ollama (ai.rs)
• Qwen3-Coder-30B-A3B-Instruct 측정 기록 (llm-benchmark.de)
• Hacker News 댓글: 맥북 프로 64GB에서 Qwen3-Coder 30B A3B