로컬 AI는 AI 모델을 내려받아 내 PC의 그래픽카드에서 직접 돌리는 것입니다. 처음 해 보는 사람이 차례로 읽을 수 있게 일곱 편으로 나눴습니다. 설명만 하지 않고, 테스트 PC 두 대에서 직접 잰 속도와 VRAM을 함께 적었습니다.
처음이라면 1편부터 읽고, 막힌 곳이 있다면 해당 편만 읽어도 됩니다.
| 편 | 무엇을 다루나 |
|---|---|
| 1편 | 로컬 AI가 무엇이고, 내 PC로 되는가 |
| 2편 | Unsloth Studio를 설치하고 첫 대화까지 |
| 3편 | 모델 이름은 어떻게 읽는가 |
| 4편 | 내 그래픽카드에는 어떤 모델이 맞는가 |
| 5편 | 꼭 알아야 할 설정 세 가지 |
| 6편 | 느리거나 답이 안 나올 때 |
| 7편 | 그다음에 해 볼 것 |
내 그래픽카드에서 어떤 모델이 얼마나 빠른지는 GPU 체험에서, 로컬 AI로 만든 그림과 영상은 갤러리에서 볼 수 있습니다.
1편
로컬 AI는 모델을 내 PC의 그래픽카드에서 돌리는 것입니다. 필요한 것 세 가지와 VRAM 확인하는 법을 정리하고, RTX 5060 Ti 16GB와 RTX 5090 32GB에서 직접 잰 속도와 VRAM을 한 표로 모았습니다. 가이드 일곱 편의 첫 편입니다.
2편
Unsloth Studio를 설치하고 Gemma 4 12B를 받아 첫 질문을 하기까지를 네 단계로 정리했습니다. 기본값으로 RTX 5090 32GB는 초당 약 233토큰, RTX 5060 Ti 16GB는 약 52토큰이었고, 16GB는 컨텍스트를 숫자로 정하면 약 94토큰이 됩니다.
3편
모델 이름의 12B, A3B, QAT, GGUF, Q4_K_M이 무슨 뜻인지 조각별로 풀었습니다. 같은 Qwen3.8 27B도 4비트 파일은 17.74GB, 2비트 파일은 9.30GB였고, 같은 Q4_K_M도 올린 곳에 따라 16.46GB에서 18.97GB까지 달랐습니다.
4편
모델을 고르는 순서를 VRAM, 컨텍스트, 쓰임새 세 가지로 정리했습니다. RTX 5060 Ti 16GB와 RTX 5090 32GB에서 잰 측정 16건의 파일 크기와 VRAM을 한 표에 모았고, 컨텍스트를 늘리면 VRAM과 속도가 어떻게 바뀌는지도 담았습니다.
5편
처음에 알아야 할 설정을 컨텍스트, 생각(Thinking), 온도 세 가지로 정리했습니다. Qwen3.8 27B는 생각을 Low만 켜도 정답률이 73%에서 99%가 됐고, 16GB에서는 컨텍스트를 숫자로 정하자 초당 약 52토큰이 약 94토큰이 됐습니다.
6편
로컬 AI가 느리거나 답이 안 나올 때 볼 것을 증상별로 정리했습니다. 같은 3비트 파일이 레이어를 모두 그래픽카드에 올리자 초당 1.9토큰에서 28.7토큰이 됐고, 답이 멈출 때는 컨텍스트를 늘리거나 생각 단계를 낮추면 풀렸습니다.
7편
대화에 익숙해진 다음에 해 볼 것을 코딩, 도구(MCP), API, 그림, 영상, 음성, 검색으로 정리했습니다. 그림 한 장 7.6초, 5초 영상 약 20초, 50초 음성 약 11초였고, 필요한 VRAM은 음성 3.5GB부터 영상 31.2GB까지 달랐습니다.