[RTX 5060 Ti 16GB] 16GB 그래픽카드로 Qwen3.5 9B 돌려도 될까, 10만 자를 넣어도 19초 만에 답이 시작됐다

알리바바의 Qwen3.5 9B(unsloth UD-Q6_K_XL, 파일 8.76GB)를 RTX 5060 Ti 16GB PC의 LM Studio에서 기본 설정 그대로 돌려 봤습니다. 결론부터 말하면 16GB 그래픽카드에서 원활하게 돌아갑니다. VRAM은 9.7GB를 썼고, 생성 속도는 생각(Thinking)을 켜든 끄든 약 46t/s(초당 토큰)였습니다. 컨텍스트(모델이 한 번에 기억하는 글의 길이)를 131,072까지 올려도 VRAM에 다 들어갔고, 10만 자 글을 넣어도 19초 안에 답이 시작됐습니다.

다만 생각을 켜면 답이 나올 때까지 오래 걸립니다. 800자 글 하나에 생각만 4,900~7,200토큰을 써서 2~3분이 걸렸습니다. 대신 정확도는 올라갑니다. 산수 문제는 생각을 끄면 5번 모두 틀렸고, 켜면 5번 모두 맞았습니다. 한국어 답 24개에는 한자 같은 외국 문자가 한 번도 섞이지 않았습니다.

테스트 PC 사양

Ornith 1.5 9B 테스트, Gemma 4 12B 테스트와 같은 PC입니다. Ornith 1.5 9B와는 같은 날 같은 방법으로 쟀기 때문에, 이 글 곳곳에서 두 모델을 나란히 놓았습니다.

테스트한 모델: Qwen3.5 9B

Qwen3.5 9B는 알리바바 Qwen 팀이 2026년 2월에 공개한 9B(90억 파라미터) 모델입니다. 글과 함께 이미지·영상도 입력으로 받습니다. 테스트한 파일은 unsloth가 올린 UD-Q6_K_XL(6비트 양자화)입니다. 양자화는 모델의 숫자를 더 적은 비트로 줄여 저장하는 방법입니다.

모델 카드의 벤치마크 점수는 아래와 같습니다. 제작사 측정이고, 양자화하기 전 원본 모델 기준입니다(모델 카드).

My Models 화면. Q6_K_XL, 아키텍처 qwen35, 크기 10.58GB로 표시됩니다.

LM Studio 기본 설정값

설정은 바꾸지 않고, LM Studio가 이 모델에 잡아 주는 기본값으로 테스트했습니다. 컨텍스트를 바꿔 보는 테스트만 예외입니다.

Load 탭 기본값. 컨텍스트 8,192, GPU 오프로드 32(전체 레이어)입니다.

아래로 내리면 Speculative Decoding이 Off입니다. Flash Attention은 켜져 있습니다.

모델 카드가 권하는 값은 생각을 켤 때 온도 1.0, Top P 0.95, Top K 20이고, 생각을 끌 때 온도 0.7, Top P 0.8입니다. LM Studio 기본값과 다릅니다. 이 글의 결과는 모두 LM Studio 기본값으로 잰 것입니다.

Inference 탭. Enable Thinking이 켜져 있고 Reasoning Budget은 Unrestricted(한도 없음)입니다.

샘플링 기본값. Top P 0.95, Min P 0.05가 보입니다.

VRAM: 기본 설정에서 9.7GB

모델을 로드하기 전과 뒤의 VRAM 사용량 차이를 쟀습니다.

모델 로드 창. 기본 컨텍스트 8,192에서 예상 메모리는 11.66GB로 표시됩니다.

131,072까지 VRAM에 다 들어갑니다. 262,144는 VRAM이 가득 차서 시스템 램을 다른 단계보다 약 3.1GB 더 썼습니다. 이 단계는 로드만 확인했고 속도는 재지 않았습니다. 같은 컨텍스트에서 Ornith 1.5 9B(Q8_0)보다 VRAM을 약 1GB 덜 씁니다.

모델을 처음 로드할 때는 디스크에서 읽어 오느라 58초가 걸렸습니다. 표의 시간은 두 번째부터의 값입니다.

컨텍스트 32,768로 로드한 뒤 글을 쓰기 시작한 순간. 왼쪽부터 GPU 사용률, 전력, 온도, PC 전체의 VRAM 사용량입니다. 사용률이 2%에서 90%대로, 전력이 14W에서 약 129W로 올라갑니다.

생성 속도: 약 46t/s, 생각을 켜면 2~3분

"다음 주제로 800자 정도의 글을 써 주세요: 집에 있는 PC로 AI 모델을 돌릴 때 알아야 할 점"을 생각 끔·켬으로 3번씩 시켰습니다.

토큰을 만드는 속도는 생각을 켜도 같습니다. 달라지는 것은 기다리는 시간입니다. 생각을 끄면 10초 안에 글이 끝나고, 켜면 생각에만 2분 넘게 씁니다. 같은 질문에 Ornith 1.5 9B는 생각에 365~920토큰을 쓰고 15~20초에 끝났습니다.

기본 컨텍스트 8,192에서 생각이 넘쳐 답이 비는 일은 없었습니다. 다만 한 번은 생각만 7,248토큰을 써서 컨텍스트를 거의 다 채웠습니다. 생각을 켜고 쓸 거라면 컨텍스트를 32,768로 올려 두는 쪽이 안전합니다.

질문을 보내고 1분 뒤. 아직 "Thinking..."이고, "자"가 글자 수를 뜻하는지를 영어로 따지고 있습니다.

같은 채팅이 끝난 화면. 맨 위에 "Thought for 2 minutes 5 seconds"가 보입니다.

생각 켬 통계. 39.07t/s, 5,377토큰입니다. 토큰 대부분이 생각에 쓰였습니다.

생각 끔. 39.65t/s, 392토큰입니다. 넷째 문단에 "와트数"처럼 한자가 섞인 낱말이 하나 보입니다.

캡처 속 속도(약 39t/s)는 표보다 15% 정도 낮습니다. 캡처는 원격 화면을 띄운 채 찍었고, 그동안 화면 표시가 GPU를 7~15% 나눠 썼기 때문입니다. 표의 값은 GPU가 쉬는 상태에서 API로 잰 값입니다. 원격 화면을 내린 뒤 한 번 더 재니 45.7t/s로 표와 같았습니다.

이 파일에는 MTP 레이어가 없어서 Speculative Decoding을 켜고 끄는 비교는 하지 않았습니다.

산수 문제: 생각을 끄면 0번, 켜면 5번 정답

"사과 한 상자에 24개가 들어 있습니다. 3상자를 사서 19개를 먹고, 남은 것을 5명이 똑같이 나누면 한 사람당 몇 개이고 몇 개가 남나요? '한 사람당 X개, 남는 것 Y개' 형식으로만 답하세요."를 5번씩 물었습니다. 정답은 10개, 3개입니다.

생각을 끄면 0.4초 만에 답하지만 5번 모두 같은 오답이었습니다. 생각을 켜면 모두 맞았고, 형식도 지켰습니다. 대신 같은 문제인데도 걸리는 시간이 11초에서 109초까지 크게 달랐습니다. Ornith 1.5 9B는 생각을 꺼도 마지막 답이 맞았지만 풀이를 함께 적어 형식 지시를 어겼습니다. 계산이 들어가는 질문이라면 Qwen3.5 9B는 생각을 켜고 써야 합니다.

생각 과정을 펼친 화면. 영어로 조건을 정리하고 72개, 53개를 차례로 계산합니다. 이때는 11.21초 생각했습니다.

생각 켬. 지시한 형식대로 "한 사람당 10개, 남는 것 3개"만 답했습니다.

생각 끔. "한 사람당 4개, 남는 것 1개"라는 틀린 답입니다.

긴 글 요약

이 블로그의 업데이트 기록을 앞에서부터 잘라 넣고 세 문장으로 요약하게 했습니다. 생각은 껐습니다. TTFT는 질문을 보낸 뒤 첫 토큰이 나올 때까지의 시간입니다.

10만 자를 넣어도 19초 안에 답이 시작됐습니다. 3,000자는 지시대로 세 문장으로 요약했고 내용도 원문과 맞았습니다. 15,000자는 세 문단, 다섯 문장으로 썼습니다. 내용은 대체로 맞았지만, 8월 18일에 한 일(공개 페이지 캐시 허용)을 8월 22일 업데이트에 묶어 적었습니다. 10만 자 요약은 번호를 붙인 세 묶음으로 답했습니다.

15,000자 요약. 세 문장으로 답했습니다. 첫 토큰까지 3.22초입니다.

전력과 온도

800자 글을 쓰는 동안 1초마다 GPU 전력과 온도를 쟀습니다(컨텍스트 32,768, 생각 끔, 2번).

전력 제한 180W까지 올라가지 않았고 온도도 60°C 초반이었습니다. 두 9B 모델의 전력과 온도는 거의 같습니다.

대화가 길어지면

앞 대화가 길어질수록 느려지는지 봤습니다(컨텍스트 32,768, 생각 끔).

대화가 2만 토큰까지 길어져도 생성 속도는 3t/s밖에 줄지 않았습니다. 첫 토큰까지의 시간만 5.5초로 늘었습니다.

약 1만 토큰 글을 넣은 채팅에서 이어서 물은 화면. 첫 토큰까지 0.19초였습니다. 앞 내용이 이미 처리돼 있어서 빠릅니다.

긴 문서에서 정보 찾기

약 1만 토큰 글의 10·30·50·70·90% 위치에 "블로그 관리자가 키우는 고양이 보리차는 2019년에 태어났다"는 문장을 하나 숨기고 찾게 했습니다. 숨기지 않은 글에서 "없음"이라고 답하는지도 봤습니다.

다섯 곳 모두 찾았고, 없는 정보를 지어내지도 않았습니다. 답도 지시한 형식 그대로 "이름: 보리차, 태어난 해: 2019"였습니다.

글의 가운데(50%)에 숨긴 정보를 찾은 화면. 첫 토큰까지 4.23초였습니다.

한국어 품질

API로 받은 한국어 답 24개를 모두 확인했습니다.

외국 문자가 섞이는 일은 Ornith 1.5 9B(28개 답 중 2개)보다 적었습니다. 영어·숫자 뒤를 띄어 쓰는 버릇은 거의 모든 답에 있어서, 글을 그대로 내보내려면 한 번 다듬어야 합니다.

없는 소설과 이미지

지어낸 책인 "한국 소설가 윤서하가 2018년에 발표한 장편소설 『푸른 등대의 겨울』의 줄거리"를 물었습니다.

두 번 모두 줄거리를 지어내지 않았습니다. 다만 화면 캡처용으로 다시 물었을 때는 책이 없다고 하면서도 "윤서하 작가는 시나 에세이 분야로 알려져 있는 경우가 많으며"라는, 근거 없는 말을 한 줄 덧붙였습니다.

생각 켬. 1분 19초 생각한 뒤 기록을 찾을 수 없다고 답했습니다. 둘째 문단에 작가에 대한 근거 없는 설명이 한 줄 있습니다.

이미지는 모래시계 두 개가 놓인 사진을 주고 3문장으로 설명하게 했습니다. 오른쪽 모래시계 뒤에는 전자 부품이 보이는 사진입니다.

생각을 꺼도 두 모래시계의 차이를 정확히 짚었습니다. Ornith 1.5 9B는 생각을 끄면 이 차이를 놓쳤습니다.

생각 켬. 11초 생각한 뒤 왼쪽은 전통적인 형태, 오른쪽은 전자 부품이 보인다고 설명했습니다.

정리

같은 PC에서 잰 다른 모델과 나란히 놓으면 아래와 같습니다. 모두 LM Studio 기본 설정, 800자 글 기준입니다.

Qwen3.5 9B와 Ornith 1.5 9B를 항목별로 비교하면 이렇습니다.

• 16GB에서 원활합니다. 컨텍스트 131,072까지 VRAM에 다 들어가고, 10만 자 요약도 19초 안에 시작됩니다.
• 빠른 답이 필요하면 생각을 끄고, 계산이 필요하면 켭니다. 생각을 끄면 10초 안에 글이 끝나지만 산수는 틀렸습니다. 켜면 맞지만 2분 넘게 걸릴 수 있습니다.
• 지시한 형식을 잘 지킵니다. 산수와 정보 찾기에서 정해 준 형식 그대로 답했습니다.
• 한국어 답에 외국 문자가 거의 없습니다. 대신 영어·숫자 뒤를 띄어 쓰는 버릇이 있습니다.
• 생각을 켜고도 빨리 답하는 모델이 필요하면 같은 PC에서 15~20초에 끝난 Ornith 1.5 9B가 맞습니다.

내 그래픽카드에서 다른 모델이 어느 정도 속도로 도는지는 GPU 체험에서 직접 잰 값으로 볼 수 있습니다.