[RTX 5090 32GB] 코딩 AI Flint 40B를 내 PC에서 돌리면, 초당 231토큰에 파이썬 8문제 중 7문제를 풀었다

Recursive SI가 10월 21일에 공개한 코딩 AI Flint 40B를 RTX 5090 32GB의 Unsloth Studio에서 기본값으로 돌려 봤습니다. 결론부터 적으면 800자 글을 초당 230.9토큰으로 썼고, 파이썬 함수 8문제 중 7문제를 풀었습니다. 전체 파라미터는 398억 개지만 글자 하나를 만들 때 25억 개만 써서, 같은 PC의 Gemma 4 12B(초당 233.5토큰)와 비슷하게 빠릅니다.

속도: Unsloth의 Q4 파일(25.05GB)로 5번 평균 230.9t/s(169.3~278.6)입니다. 제작사가 낸 NVFP4 파일(22.86GB)은 213.1t/s였습니다.
VRAM: 기본값에서 Q4는 30.4GB(컨텍스트 202,752), NVFP4는 29.6GB(컨텍스트 262,144)를 씁니다. 32GB 한 장에 들어갑니다.
코딩: 답 한도 8,000토큰에서 두 파일 모두 8문제 중 7문제를 통과했습니다. 한글 숫자를 정수로 바꾸는 문제만 한도 안에 끝내지 못했습니다.
생각을 끌 수 없습니다: "생각 끔"으로 보내도 800자 글 앞에 1,866~4,859토큰을 생각합니다. 답 한도를 넉넉하게 줘야 합니다.
한글 숫자에 약합니다: "37만 8천 원의 15%"를 두 파일 모두 3번 다 37800 × 0.15로 계산했습니다. 10분의 1로 읽은 것입니다.
Q4와 NVFP4: 점수는 거의 같았습니다. NVFP4가 2.2GB 작아서 최대 컨텍스트까지 VRAM 안에 들어갑니다.

이 글의 숫자는 RTX 5090 32GB PC에서 2026년 10월 24일에 직접 잰 값입니다.

이 글의 결과를 20초로 요약한 영상입니다(소리 없음).

요약 여섯 칸. 800자 글 속도 Q4 5번 평균 230.9t/s(169.3~278.6), 공식 NVFP4 파일 213.1t/s, VRAM 기본값 30.4GB(Q4 컨텍스트 202,752, NVFP4 29.6GB), 파이썬 8문제 중 7문제(한도 8,000토큰), 생각을 끌 수 없어 1,866~4,859토큰을 생각, 37만 8천 원의 15%를 37,800 × 0.15로 계산

RTX 5090 32GB에서 2026년 10월 24일에 직접 잰 값입니다.

테스트 PC와 실행 프로그램

항목	내용
그래픽카드	NVIDIA GeForce RTX 5090 (VRAM 32GB), 드라이버 617.42
CPU, 램	Intel Core Ultra 9 285K, DDR5 64GB
운영체제	Windows 11 Pro
실행 프로그램	Unsloth Studio 2026.10.7 (앱 v0.1.909-beta), 안에 든 llama.cpp b11798-mix-f8a7950
설정	Unsloth 기본값(Auto). 모델 파일만 고르고 다른 값은 주지 않음
날짜	2026년 10월 24일

이 표가 뜻하는 것: 다른 설정을 건드리지 않고, 앱이 정해 주는 값 그대로 쟀습니다. 컨텍스트, KV 캐시, 추측 디코딩 같은 값은 Unsloth가 그래픽카드 메모리를 보고 정했습니다.

Flint는 새 구조(flint)의 모델이라, 측정 당일 아침까지 이 PC의 Unsloth Studio에 들어 있던 llama.cpp b11734로는 올릴 수 없었습니다. Unsloth Studio의 업데이트 기능으로 엔진을 b11798(Flint 지원 포함, 231MB)로 올린 뒤에 쟀습니다. llama.cpp 본판에는 10월 21일 빌드 b11803부터 들어갔습니다.

테스트한 모델: Flint 40B

항목	내용
만든 곳	Recursive SI
파라미터	전체 398억(39.8B), 토큰마다 쓰는 활성 파라미터 약 25억(2.5B)
구조	MoE(전문가 여럿 중 일부만 쓰는 구조). 익스퍼트 256개 중 6개 + 항상 쓰는 공용 익스퍼트 1개, 49레이어
최대 컨텍스트	262,144토큰
라이선스	Apache 2.0
목적	코드를 읽고 고치고 테스트를 쓰는 코딩 에이전트. 도구 호출과 생각(Thinking) 지원, 사진 입력은 없음
제작사 벤치마크	SWE-bench Verified 74.2%, Terminal-Bench 2.1 54.9% (제작사 측정)
테스트한 파일	① `unsloth/flint-GGUF`의 UD-Q4_K_XL 25.05GB ② `RecursiveSI/flint-nvfp4-gguf`의 NVFP4 22.86GB

이 표가 뜻하는 것: 크기는 40B지만 한 번에 쓰는 양은 2.5B라서, VRAM에 다 들어가기만 하면 작은 모델만큼 빠르게 돌 수 있는 구조입니다.

NVFP4는 RTX 50 계열 같은 엔비디아 블랙웰 그래픽카드가 바로 계산할 수 있는 4비트 형식입니다. 제작사 안내에는 "GPU 메모리 48GB 이상 권장"이라고 적혀 있고, 시험한 장비 목록에도 RTX 5090은 없습니다. 그래서 32GB에서 어떻게 되는지 함께 쟀습니다.

Unsloth Studio의 모델 고르기 목록. UNSLOTH 아래에 flint-GGUF(UD-Q4_K_XL, 25GB), OTHER MODELS 아래에 RecursiveSI/flint-nvfp4-gguf(nvfp4, 23GB)가 보인다

두 파일을 받아 두면 Unsloth Studio의 모델 목록(On Device)에 나란히 나옵니다.

Unsloth Studio 기본값(Auto)은 어떻게 올렸나

모델을 고르면 Unsloth가 남은 VRAM을 보고 컨텍스트를 정합니다. Q4 파일은 202,752토큰을 잡았고, 오른쪽 실행 설정(Run settings)의 예상 메모리는 GPU 30.85GiB였습니다. 생각 한도(Reasoning Budget)는 -1, 즉 한도 없음입니다.

Unsloth Studio 오른쪽 실행 설정 패널. 예상 메모리 GPU 30.85GiB, 전체 34.01GiB, Context Length Auto(최대 262,144), KV Cache Dtype f16, Speculative Decoding Auto, Parallel Slots·Batch Size auto, Reasoning Budget -1, VRAM Budget 97%

Flint Q4를 기본값으로 올린 뒤의 실행 설정입니다. 컨텍스트는 Auto, KV 캐시는 f16입니다.

항목	Q4	NVFP4
Unsloth가 정한 컨텍스트	202,752	262,144 (최대)
처음 올리는 시간	17.8초	11.7초
내렸다가 다시 올리는 시간	7.9초	7.8초
VRAM (800자 글을 쓰는 동안 최대)	30.4GB	29.6GB
시스템 램 (PC 전체, 최대)	17.6GB	17.5GB

이 표가 뜻하는 것: 처음 한 번은 파일을 디스크에서 읽느라 오래 걸리고, 그 뒤로는 8초 안에 다시 올라옵니다. 시스템 램은 모델을 올리기 전(15.7GB)과 거의 같아서, 모델이 램으로 넘어가지 않았습니다.

생성 속도: Q4 230.9t/s, NVFP4 213.1t/s

"집에 있는 PC로 AI 모델을 돌릴 때 알아야 할 점"을 주제로 800자 글을 5번 쓰게 했습니다. 속도는 생각 토큰까지 포함한 초당 토큰(t/s)입니다.

파일	평균	최소~최대	첫 토큰까지	GPU 사용률
Q4 (UD-Q4_K_XL)	230.9t/s	169.3~278.6	0.10~0.27초	평균 66.6%
NVFP4	213.1t/s	170.0~272.0	0.13~0.24초	평균 67.9%

이 표가 뜻하는 것: Q4가 평균 8% 빨랐지만 5번의 차이(표준편차 약 40t/s)보다 작아서, 실제로 쓸 때는 비슷하게 느껴집니다. 생각을 길게 할수록 글이 길어져 속도가 내려가는데, 그래서 같은 질문에도 170~280t/s로 흔들렸습니다.

같은 PC, 같은 Unsloth Studio에서 잰 Gemma 4 12B QAT는 233.5t/s였습니다(Gemma 4 12B QAT 글). 파일이 네 배 가까이 큰 40B 모델이 12B 모델과 비슷한 속도로 도는 셈입니다. 한 번에 쓰는 파라미터가 2.5B뿐이기 때문입니다.

Q4와 NVFP4 비교 표. 파일 25.05GB와 22.86GB, 컨텍스트 202,752와 262,144, VRAM 30.4GB와 29.6GB, 800자 글 230.9와 213.1t/s, 산수 5·4와 4·4, 파이썬 8문제 5·7과 5·7, 도구 하나 부르기 36번 중 32와 28, 정보 찾기 6번 중 6과 6, 100,000자 요약 30.0초와 17.6초

같은 질문을 같은 순서로 두 파일에 물은 결과입니다.

생각을 끌 수 없다

Flint는 항상 생각한 뒤에 답합니다. 생각을 끄는 값(enable_thinking: false)을 보내도 800자 글 앞에 Q4는 1,866~4,859토큰, NVFP4는 1,352~6,739토큰을 생각에 썼습니다. 생각은 대부분 영어로 합니다.

Unsloth Studio에서 한글 숫자를 정수로 바꾸는 파이썬 함수를 부탁한 뒤 펼친 생각. Worked for 59s 아래에 영어로 We need answer in Korean likely, Need maybe examples: 3523, "일이삼사오" -> 314? 처럼 예시를 고민하는 생각이 이어진다" style="max-width:100%;height:auto;border-radius:8px;" />

생각은 영어로 합니다. "일이삼사오"를 몇으로 읽어야 할지부터 고민합니다.

이 때문에 답 한도를 짧게 주면 생각만 하다가 끝납니다. 처음 측정에서 긴 대화(한도 200토큰), 문서 속 정보 찾기(60토큰), 긴 글 요약(300토큰)이 모두 빈 답으로 나왔습니다. 한도를 4,000~6,000토큰으로 늘려 다시 쟀고, 아래 값은 다시 잰 것입니다. LFM2.5-24B-A2B도 같은 성질이었습니다.

VRAM과 컨텍스트: NVFP4는 최대 컨텍스트까지 들어간다

컨텍스트(모델이 한 번에 기억하는 글의 길이)를 네 단계로 정해 올리고, 올린 직후의 VRAM을 쟀습니다.

컨텍스트	Q4 VRAM	NVFP4 VRAM
32,768	25.7GB	23.3GB
65,536	26.6GB	24.2GB
131,072	28.4GB	26.0GB
262,144	30.5GB (시스템 램 20.2GB로 늘어남)	29.5GB

이 표가 뜻하는 것: NVFP4는 최대 컨텍스트 262,144에서도 VRAM 29.5GB로 다 들어갑니다. Q4는 262,144로 올리면 시스템 램이 4.4GB 늘어, 일부가 램으로 넘어갑니다. Unsloth도 Q4가 VRAM에 다 들어가는 최대를 201,984토큰으로 봤습니다. 262,144는 올리기만 했고 속도는 재지 않았습니다.

컨텍스트별 VRAM 막대그래프. 32,768에서 Q4 25.7GB와 NVFP4 23.3GB, 65,536에서 26.6과 24.2GB, 131,072에서 28.4와 26.0GB, 262,144에서 30.5와 29.5GB. Q4의 262,144는 시스템 램이 20.2GB로 늘어남

막대 끝이 32GB입니다. 노란 막대는 일부가 시스템 램으로 넘어간 경우입니다.

코딩: 8문제 중 7문제, 한글 숫자 문제만 못 풀었다

파이썬 함수 8개를 만들게 하고, 숨겨 둔 테스트(문제마다 5~10개)를 모두 통과해야 정답으로 셌습니다. 답 한도는 2,000토큰과 8,000토큰 두 가지로 줬습니다.

문제	Q4 · 2,000	Q4 · 8,000	NVFP4 · 2,000	NVFP4 · 8,000
구간 합치기	통과	통과	통과	통과
로마 숫자	통과	통과	통과	통과
수식 계산기	한도 초과	통과	한도 초과	통과
가장 긴 회문	통과	통과	통과	통과
다음 영업일	통과	통과	통과	통과
자주 나온 낱말	통과	통과	한도 초과	통과
나선 순서	6개 중 3개	통과	통과	통과
한글 숫자 → 정수	한도 초과	한도 초과	한도 초과	한도 초과
통과한 문제	5/8	7/8	5/8	7/8

이 표가 뜻하는 것: 한도 2,000토큰에서 틀린 것은 대부분 "한도 초과", 즉 생각하다 코드를 내지 못한 경우입니다. 한도를 8,000으로 늘리면 두 파일 모두 7문제를 풉니다. 코딩 모델이라 일반 함수 문제는 잘 풀지만, 한글 숫자 문제는 8,000토큰 안에 끝내지 못했습니다.

앱 화면에서 한도 없이 비슷한 문제를 물어보니, 59초 동안 약 9,500토큰을 쓴 뒤에 함수를 내놓았습니다. 생각을 오래 하면 풀기는 합니다. 다만 그사이 "일이삼사오는 314인가 12345인가" 같은 고민을 길게 이어 갔습니다.

Unsloth Studio에서 Flint가 한글 숫자를 정수로 바꾸는 파이썬 함수 k(s)를 내놓은 화면. 위에 Worked for 59s, 아래 예시 print(k(

59초 생각한 뒤 짧은 함수와 예시 두 개를 내놓았습니다. 이때 속도는 157.2t/s였습니다.

파이썬 8문제 결과 표. 구간 합치기, 로마 숫자, 가장 긴 회문, 다음 영업일은 네 조건 모두 통과. 수식 계산기는 한도 2,000에서 두 파일 모두 한도 초과, 8,000에서 통과. 자주 나온 낱말은 NVFP4 한도 2,000에서만 한도 초과. 나선 순서는 Q4 한도 2,000에서 6개 중 3개. 한글 숫자를 정수로는 네 조건 모두 한도 초과. 통과한 문제 5, 7, 5, 7

"한도 초과"는 생각하다 답 한도를 다 써서 코드가 나오지 않은 것입니다.

도구 호출: 37만 8천 원을 3만 7,800원으로 읽었다

모델에게 도구 6개(날씨, 계산기, 알람, 문자 보내기, 웹 검색, 환율)를 주고 한국어 부탁 20개를 3번씩 보냈습니다. 도구를 실제로 실행하지는 않고, 모델이 부른 도구 이름과 값만 채점했습니다.

부탁 종류	Q4	NVFP4
도구 하나를 불러야 하는 부탁 (12개 × 3번)	36번 중 32번	36번 중 28번
도구 둘을 한 번에 불러야 하는 부탁 (4개 × 3번)	12번 중 12번	12번 중 12번
도구를 부르면 안 되는 말 (4개 × 3번)	12번 중 12번	12번 중 12번
한 번 답하는 데 걸린 시간 (평균)	0.56초	0.66초

이 표가 뜻하는 것: 도구 둘을 한 번에 부르는 것과 부르지 말아야 할 때 참는 것은 두 파일 모두 다 맞혔습니다. 차이는 도구 하나를 부르는 부탁에서 났습니다.

틀린 부탁은 이랬습니다.

"37만 8천 원의 15%가 얼마인지 계산해 줘": 두 파일 모두 3번 다 계산기에 37800 * 0.15를 넣었습니다. 378,000원을 37,800원으로 읽은 것입니다. 코딩의 한글 숫자 문제와 같은 약점입니다.
"내일 부산 날씨 알려 줘": NVFP4가 3번 중 2번 도구를 부르지 않고 끝냈습니다.
"파이썬 3.15에서 뭐가 바뀌었는지 검색해 줘": NVFP4가 3번 모두 검색을 영어와 한국어로 두 번 불렀습니다. 틀린 동작은 아니지만, 한 번만 부르기를 기대한 채점에서는 오답으로 셌습니다.
"김 대리에게 회의 자료 보냈다고 문자로 알려 줘": Q4가 3번 중 1번 도구를 부르지 않았습니다.

긴 글 요약과 문서 속 정보 찾기

이 블로그의 업데이트 기록을 3,000자, 15,000자, 100,000자로 잘라 세 문장으로 요약하게 했습니다(답 한도 6,000토큰, 컨텍스트 65,536).

글 길이	입력 토큰	Q4 걸린 시간	NVFP4 걸린 시간
3,000자	1,809	4.9초	7.1초
15,000자	9,114	7.6초	10.1초
100,000자	50,905	30.0초	17.6초

이 표가 뜻하는 것: 세 길이 모두 내용에 맞는 요약이 나왔습니다. 걸린 시간에는 생각 시간이 들어 있어서, 생각을 얼마나 했는지에 따라 달라집니다(100,000자에서 Q4는 3,245토큰, NVFP4는 1,485토큰을 썼습니다). 그래서 이 표로 두 파일의 빠르기를 견주기는 어렵습니다.

약 11,500토큰 글의 10%, 30%, 50%, 70%, 90% 위치에 "참고로 블로그 관리자가 키우는 고양이 보리차는 2019년에 태어났다."라는 문장을 하나씩 숨기고 고양이 이름과 태어난 해를 찾게 했습니다. 숨기지 않은 글에서는 "없음"이라고 답해야 합니다. 두 파일 모두 6번 중 6번 맞혔습니다. 한 번 찾는 데 3~17초가 걸렸습니다.

산수와 없는 소설

"사과 한 상자에 24개가 들어 있습니다. 3상자를 사서 19개를 먹고, 남은 것을 5명이 똑같이 나누면 한 사람당 몇 개이고 몇 개가 남나요?"를 생각 끔, 켬으로 5번씩 물었습니다. 정답은 "한 사람당 10개, 남는 것 3개"입니다. Q4는 끔 5번, 켬 4번 맞혔고, NVFP4는 끔 4번, 켬 4번 맞혔습니다. 틀린 답은 "한 사람당 1개, 남는 것 0개" 같은 엉뚱한 값이었습니다.

일부러 없는 소설 「윤서하의 2018년 장편소설 『푸른 등대의 겨울』」의 줄거리를 물었습니다. 두 파일 모두 "모른다"고 하지 않고 줄거리를 지어냈습니다. 섬의 등대로 이사한 부부 이야기 같은 내용을 그럴듯하게 썼습니다. 사실 확인이 필요한 질문에는 그대로 믿으면 안 됩니다.

전력과 온도: 평균 약 190W

Q4로 800자 글을 2번 쓰는 동안 0.5초마다 그래픽카드 전력과 온도를 읽었습니다.

항목	1번째	2번째
쉬고 있을 때	36.8W	31.5W
평균 전력	191.3W	182.6W
최대 전력	217.8W	212.5W
최고 온도	56°C	56°C
토큰 하나에 든 에너지	0.78J	0.69J

이 표가 뜻하는 것: RTX 5090의 최대 전력(575W)의 3분의 1 정도만 썼습니다. 한 번에 쓰는 파라미터가 적어 그래픽카드가 다 바쁘지 않기 때문입니다(GPU 사용률 평균 약 67%). NVFP4는 전력을 재지 않았습니다.

다른 곳의 측정과 견주면

다른 곳의 측정 표. 이 글 RTX 5090 Unsloth Studio llama.cpp b11798 Q4 230.9t/s(800자 글 5번 평균), atomicagent.io RTX 5090 llama.cpp b11825 Q4 145.7t/s(4만 1천 토큰 전체 평균), Recursive 제작사 M4 Pro 맥북 자체 엔진 125t/s 이상(짧은 컨텍스트), 독립 측정 M4 Max llama.cpp 약 110에서 32t/s(짧은 질문에서 3만 2천 토큰)

같은 모델의 다른 측정을 조건과 함께 나란히 놓았습니다.

같은 RTX 5090에서 llama.cpp b11825와 Q4 파일로 잰 다른 측정은 145.7t/s였습니다. 이 글의 230.9t/s와 꽤 다릅니다. 그 측정은 4만 1천 토큰짜리 긴 작업 전체의 평균이고, 이 글은 답이 2천~5천 토큰인 짧은 글입니다. 컨텍스트가 길어질수록 느려지는 것은 M4 Max 측정(짧은 질문 약 110t/s → 3만 2천 토큰 32t/s)에서도 보입니다. 그래서 두 값은 재는 길이가 달라 생긴 차이로 봅니다. 엔진 빌드와 설정 차이 때문인지는 확인하지 못했습니다.

답이 안 나오거나 느릴 때 무엇을 바꾸면 되나요?

증상	바꿀 것	이 글에서 잰 값
답이 비어 있다	답 한도(max tokens)를 4,000 이상으로	한도 60~300에서는 빈 답, 4,000~6,000에서는 정보 찾기 6/6, 요약 3/3
코드를 내기 전에 끊긴다	한도를 8,000 이상으로	2,000에서 5문제, 8,000에서 7문제
Flint를 고르면 오류가 난다	Unsloth의 llama.cpp를 b11798 이상으로 업데이트	b11734에는 Flint 구조가 없음
긴 컨텍스트에서 메모리가 모자란다	NVFP4 파일을 쓰거나 컨텍스트를 20만 아래로	NVFP4는 262,144에서 29.5GB, Q4는 201,984까지 VRAM 안
한글 금액을 잘못 계산한다	숫자를 아라비아 숫자로 바꿔서 묻기	"37만 8천 원"을 6번 모두 37,800으로 읽음

이 표가 뜻하는 것: Flint를 쓸 때는 답 한도를 넉넉히 주는 것이 가장 중요합니다. 한글 숫자는 고칠 설정이 없어서, 질문할 때 숫자로 적는 편이 안전합니다.

정리

모델 (RTX 5090, Unsloth Studio)	파일	800자 글 속도	글
Flint 40B (Q4)	25.05GB	230.9t/s	이 글
Flint 40B (NVFP4)	22.86GB	213.1t/s	이 글
Gemma 4 12B QAT	6.72GB	233.5t/s	111번

이 표가 뜻하는 것: 32GB 그래픽카드라면 40B 코딩 모델을 12B 모델과 비슷한 속도로 돌릴 수 있습니다.

RTX 5090 32GB 한 장에서 Flint 40B는 기본값으로 바로 돕니다. Q4와 NVFP4 모두 VRAM 안에 들어갑니다.
Q4가 조금 빠르고 도구 호출도 조금 나았습니다. NVFP4는 2.2GB 작아 최대 컨텍스트까지 들어갑니다. 긴 코드베이스를 넣을 계획이면 NVFP4, 아니면 Q4를 권합니다.
생각을 끌 수 없으니 답 한도를 넉넉히 줍니다. 한글 숫자와 없는 사실에는 약합니다.

내 그래픽카드에 어떤 모델이 들어가는지는 GPU 체험에서 볼 수 있습니다. 로컬 AI를 처음 시작한다면 로컬 AI 시작하기 1편부터 보면 됩니다. Flint 같은 코딩 모델을 에이전트에 붙이는 방법은 Hermes Agent 글과 MCP 도구 글에 있습니다.

이 글의 한계

코딩 에이전트로는 쓰지 않았습니다. 실제 저장소를 고치는 일이 아니라 함수 8개만 시켰습니다. 제작사가 내세우는 SWE-bench 같은 작업은 재지 않았습니다.
대표 조건(800자 글)만 5번 쟀습니다. 코딩, 도구 호출, 요약, 정보 찾기는 조건마다 한 번씩(도구 호출은 3번씩) 쟀습니다.
긴 대화에서 첫 토큰까지 시간은 재지 못했습니다. 생각 때문에 답 한도 200토큰 안에 답이 나오지 않았고, 다시 재지 않았습니다.
Q4의 262,144 컨텍스트와 NVFP4의 전력은 재지 않았습니다. 262,144는 올리기만 했습니다.
NVFP4가 블랙웰의 4비트 계산을 실제로 썼는지는 확인하지 못했습니다. 엔진 로그를 따로 보지 않았습니다.
다른 측정(145.7t/s)과의 차이가 재는 길이 때문인지, 엔진 빌드나 설정 때문인지는 확인하지 못했습니다.
기준은 2026년 10월 24일, Unsloth Studio 2026.10.7과 llama.cpp b11798입니다. 엔진이 바뀌면 값이 달라질 수 있습니다.

자주 묻는 질문

Flint 40B는 VRAM이 얼마나 필요한가요?

RTX 5090에서 Unsloth 기본값으로 Q4 파일은 30.4GB, NVFP4 파일은 29.6GB를 썼습니다. 컨텍스트를 32,768로 줄이면 Q4 25.7GB, NVFP4 23.3GB입니다. 24GB 그래픽카드라면 컨텍스트를 줄인 NVFP4나 더 작은 양자화 파일을 써야 합니다(이 글에서는 재지 않았습니다).

Unsloth Studio에서 Flint가 안 올라가요.

Flint는 새 구조라 llama.cpp가 Flint를 알아야 합니다. Unsloth Studio의 엔진을 b11798 이상으로 업데이트하면 됩니다. 앱에 뜨는 "runtime updates" 알림의 Update 버튼으로 할 수 있습니다.

Q4와 NVFP4 중 무엇을 받을까요?

점수는 거의 같았습니다. Q4가 8% 빠르고 도구 호출이 조금 나았고, NVFP4는 2.2GB 작아 최대 컨텍스트 262,144까지 VRAM에 들어갑니다. 짧은 작업 위주라면 Q4, 긴 코드를 한꺼번에 넣을 생각이라면 NVFP4가 맞습니다.

생각을 끄고 빨리 답하게 할 수 있나요?

이 글에서 쓴 방법(enable_thinking false)으로는 꺼지지 않았습니다. 800자 글에도 생각을 1,866~4,859토큰 했습니다. 답 한도를 넉넉히 주는 것이 현실적인 방법입니다.

출처

Recursive SI, Flint 모델 카드: https://huggingface.co/RecursiveSI/flint
Recursive SI, Flint NVFP4 GGUF: https://huggingface.co/RecursiveSI/flint-nvfp4-gguf
Unsloth, Flint GGUF: https://huggingface.co/unsloth/flint-GGUF
llama.cpp, Flint 추가 PR #30928: https://github.com/ggml-org/llama.cpp/pull/30928
Unsloth llama.cpp 빌드 b11798-mix-f8a7950: https://github.com/unslothai/llama.cpp/releases/tag/b11798-mix-f8a7950
atomicagent.io, Recursive Flint: Specs, VRAM, Local Agent Test: https://atomicagent.io/blog/recursive-flint/
Forkast, Flint 40B 발표 기사: https://forkast.news/recursive-si-launches-flint-40b-open-weights-that-run-on-the-developers-own-machine

측정 스크립트와 결과 파일, 질문 전문은 모두 보관하고 있습니다.