로컬 AI 그림 도구 ComfyUI, 노드를 몰라도 될까? Claude Code에게 말로 시키니 그림 한 장 3.7초였다

ComfyUI는 내 PC에서 그림·영상·음성을 만드는 무료 프로그램입니다. 상자(노드)를 선으로 이어 작업 순서를 만드는 방식이라 처음 보면 어렵습니다. 그런데 요즘은 노드를 직접 잇지 않아도 됩니다. Claude Code 같은 AI 코딩 도구에 "이런 그림을 만들어 줘"라고 말하면, AI가 노드를 짜서 ComfyUI에 보내고 그림을 받아 옵니다. RTX 5060 Ti 16GB PC에서 이렇게 풍경과 인물 그림 28장을 만들어 보니 첫 장은 57.2초, 그다음부터는 장당 3.7초였습니다.

• ComfyUI는 오픈소스(GPL-3.0)입니다. 윈도우·맥·리눅스에서 돌고, 0.44.2 기준으로 작업 흐름 예시(템플릿)가 664개 들어 있습니다. 그중 399개는 내 PC가 아니라 외부 유료 서버에서 도는 템플릿입니다.
• AI에게 맡기는 길은 두 가지입니다. 이 글처럼 AI가 ComfyUI의 API를 바로 부르게 하거나, Comfy가 만든 MCP 서버를 AI 도구에 연결합니다. 앞의 방법은 따로 설치할 것이 없습니다.
• 16GB에서는 모델을 바꿀 때 시간이 듭니다. 그림 모델 두 개를 같이 올려 둘 수 없어서, 바꿀 때마다 37초 안팎이 더 걸렸습니다.
• 인물 사진은 12장 모두 손이 자연스러웠습니다. 다만 한복은 Z-Image Turbo만 한복다웠고, FLUX.2 klein은 다른 나라 옷에 가깝게 그렸습니다.
• 한글 간판은 아직 어렵습니다. "책방 온기"를 8번 시켰는데 맞게 나온 그림은 없었습니다. Z-Image Turbo는 4장 모두 "책방 운기"로 한 글자만 틀렸습니다.

이 글의 숫자는 모두 이 블로그가 직접 잰 값입니다(2026년 11월 9일, ComfyUI 0.44.2, PyTorch 2.10.0, CUDA 13.0). 그림을 시킨 AI는 Claude Code입니다.

이 글의 내용을 20초로 요약한 영상입니다(소리 없음).

RTX 5060 Ti 16GB에서 직접 잰 값입니다.

ComfyUI는 무엇인가요?

ComfyUI는 그림을 만드는 AI 모델을 내 PC에서 돌려 주는 프로그램입니다. 2023년에 공개됐고 GitHub 스타가 14만 5천 개가 넘습니다. 그림만이 아니라 영상, 음성, 3D 모델도 만듭니다.

다른 그림 프로그램과 가장 다른 점은 노드입니다. "모델 불러오기", "프롬프트", "샘플러", "저장" 같은 상자를 화면에 늘어놓고, 앞 상자의 결과를 뒤 상자로 선을 그어 넘깁니다. 이렇게 이은 전체를 작업 흐름(워크플로)이라고 부릅니다. 버튼 몇 개로 끝나는 프로그램보다 처음 배우기는 어렵지만, 순서를 마음대로 바꿀 수 있고 새 모델이 나오면 빨리 쓸 수 있습니다.

노드 이름은 모델마다 조금 다르지만 큰 흐름은 같습니다.

설치 방법은 세 가지입니다(공식 문서 기준).

이 표가 뜻하는 것: 윈도우에 NVIDIA 그래픽카드라면 데스크톱 앱이 가장 쉽습니다. 공식 문서는 NVIDIA 20번대 이후 카드에 CUDA 13.0용 PyTorch를 권합니다.

템플릿을 열면 필요한 모델 파일이 무엇인지 알려 줍니다. 아래는 Z-Image Turbo 템플릿을 연 화면입니다. 왼쪽 안내 칸에 받을 파일과 크기가 적혀 있고, 이 PC에 없는 파일(텍스트 인코더 qwen_3_4b_fp8_mixed)은 빨간색과 경고로 표시됐습니다. 가운데 상자 하나는 노드 여러 개를 하나로 묶은 서브그래프입니다.

이 PC에는 같은 텍스트 인코더의 다른 파일이 있어 '누락'으로 나왔습니다.

템플릿과 노드는 얼마나 많나요?

ComfyUI 0.44.2에 들어 있는 템플릿과 노드 수를 직접 세어 봤습니다. 템플릿은 664개, 노드 종류는 1,490종입니다.

템플릿 목록에는 유료 API 템플릿이 절반 넘게 섞여 있습니다.

주의할 점은 템플릿 664개 중 399개가 유료 파트너 API라는 것입니다. Kling, Flux Pro 같은 외부 회사 모델을 ComfyUI 화면에서 부르는 템플릿으로, 내 그래픽카드가 아니라 외부 서버에서 돌고 Comfy 크레딧을 씁니다. 내 PC에서만 돌리고 싶다면 템플릿 창에서 공개 모델(오픈소스) 템플릿만 고르면 됩니다.

분류와 필터로 공개 모델 템플릿만 골라 볼 수 있습니다.

노드를 몰라도 되는 이유: AI에게 맡기는 방법

ComfyUI는 처음부터 서버로 돕니다. 화면에서 "실행"을 누르면 화면이 작업 흐름을 JSON 글로 바꿔 ComfyUI 서버의 /prompt 주소로 보냅니다. 그러니 화면 말고 다른 프로그램도 같은 JSON을 보내면 그림을 만들 수 있습니다. Claude Code 같은 AI 코딩 도구는 이 JSON을 직접 짤 수 있습니다.

세 방법 모두 같은 ComfyUI가 그림을 만듭니다.

Comfy는 AI 도구용 연결 방법도 공식으로 내놓았습니다. 문서에 적힌 내용은 이렇습니다.

• 로컬 MCP(comfy-mcp): 내 PC의 ComfyUI를 AI 도구(Claude Code, Claude Desktop, Cursor 등)에 연결합니다. 템플릿·노드·모델 찾기, 작업 흐름 검사, 실행, 결과 받기 같은 도구 15개가 있고, 내 그래픽카드로 돌리니 무료입니다. 다만 유료 파트너 모델을 부르면 크레딧이 듭니다.
• 클라우드 MCP: Comfy Cloud의 그래픽카드로 돌립니다. 그림을 만들려면 구독이 필요합니다.
• Comfy Agent: ComfyUI 안에 들어가는 AI 도우미입니다. 지금은 클라우드에서만 되고, 데스크톱 앱 지원은 "곧"이라고 적혀 있습니다.

이 글에서는 MCP를 깔지 않고, Claude Code가 ComfyUI API를 바로 부르게 했습니다. 따로 설치할 것이 없고, AI가 무엇을 보내는지 그대로 보이기 때문입니다.

직접 해 보기: Claude Code에게 말로 시켰다

사람이 한 일은 아래 왼쪽 칸처럼 말한 것뿐입니다. AI가 한 일과 결과는 그대로 적었습니다.

이 표가 뜻하는 것: 노드 이름을 몰라도 원하는 것을 말로 하면 됐습니다. 모델을 바꾸는 요청처럼 노드 구성이 달라지는 일도 AI가 처리했습니다. 이번에는 보낸 작업이 모두 한 번에 돌았습니다.

사람은 그릴 내용만 말했고, 영어 프롬프트와 API 호출은 AI가 했습니다.

AI가 보낸 작업 흐름은 ComfyUI 화면에 그대로 불러올 수 있습니다. 아래는 AI가 짠 FLUX.2 klein 작업 흐름을 노드 화면에 띄운 것입니다. 사람이 템플릿으로 만드는 것과 같은 노드들이고, 화면에서 값을 고쳐 다시 돌릴 수도 있습니다.

AI가 만든 작업 흐름도 사람이 만든 것과 똑같이 노드로 보입니다.

그림이 만들어지는 과정도 녹화했습니다. AI가 짠 작업 흐름을 화면에 띄워 두고, 프롬프트와 시드만 바꿔 세 번 실행했습니다(할머니, 학생, 서점 순서). 실행 중인 노드가 파란 테두리로 차례로 바뀌고, 오른쪽 저장 노드에 5초 안에 그림이 나타납니다. 영상은 실제 속도 그대로입니다.

AI가 짠 작업 흐름을 화면에서 세 번 실행한 모습입니다(소리 없음, 실제 속도).

처음에는 AI가 API로 보낸 작업을 화면에 띄운 채 녹화해 봤습니다. 위쪽 진행 막대와 '작업 완료' 알림은 나왔지만, 노드 위 표시와 저장 노드의 그림은 나오지 않았습니다. 화면에 불러온 작업 흐름은 노드 번호가 새로 매겨져서, API로 보낸 작업과 번호가 맞지 않기 때문입니다. API로 보낸 결과는 ComfyUI의 출력 폴더와 작업 기록에 그대로 남습니다.

직접 해 보고 싶다면 아래 파이썬 파일 하나로 충분합니다. AI가 보낸 것과 같은 작업 흐름을 대기열에 넣고, 끝나면 그림을 받아 저장합니다. 이 PC에서 돌려 보니 모델이 이미 올라간 상태에서 5.7초 만에 그림 파일이 생겼습니다. 주소의 포트 8188은 직접 설치·포터블의 기본값입니다. 데스크톱 앱은 보통 8000번이니 설정에서 확인하세요.

"""ComfyUI 에 그림 한 장을 시키는 가장 작은 예(FLUX.2 klein 4B).
쓰기 전에: ComfyUI 를 켜 두고, 아래 세 모델 파일이 ComfyUI 의 models 폴더에 있어야 합니다.
  diffusion_models/flux-2-klein-4b.safetensors, text_encoders/qwen_3_4b.safetensors, vae/flux2-vae.safetensors
사용: python make_image.py "그릴 내용(영어가 잘 됩니다)" [시드]
"""
import sys, time, urllib.parse
import requests

COMFY = "http://127.0.0.1:8188"   # ComfyUI 주소. 직접 설치·포터블은 8188, 데스크톱 앱은 보통 8000
prompt = sys.argv[1]
seed = int(sys.argv[2]) if len(sys.argv) > 2 else 1

# 작업 흐름: 노드 번호마다 종류(class_type)와 입력. ["1", 0] 은 '1번 노드의 첫 번째 결과'라는 뜻
wf = {
    "1": {"class_type": "UNETLoader", "inputs": {"unet_name": "flux-2-klein-4b.safetensors", "weight_dtype": "default"}},
    "2": {"class_type": "CLIPLoader", "inputs": {"clip_name": "qwen_3_4b.safetensors", "type": "flux2", "device": "default"}},
    "3": {"class_type": "VAELoader", "inputs": {"vae_name": "flux2-vae.safetensors"}},
    "4": {"class_type": "CLIPTextEncode", "inputs": {"clip": ["2", 0], "text": prompt}},
    "5": {"class_type": "CLIPTextEncode", "inputs": {"clip": ["2", 0], "text": ""}},
    "6": {"class_type": "EmptyFlux2LatentImage", "inputs": {"width": 1024, "height": 1024, "batch_size": 1}},
    "7": {"class_type": "Flux2Scheduler", "inputs": {"steps": 4, "width": 1024, "height": 1024}},
    "8": {"class_type": "KSamplerSelect", "inputs": {"sampler_name": "euler"}},
    "9": {"class_type": "RandomNoise", "inputs": {"noise_seed": seed}},
    "10": {"class_type": "CFGGuider", "inputs": {"cfg": 1, "model": ["1", 0], "positive": ["4", 0], "negative": ["5", 0]}},
    "11": {"class_type": "SamplerCustomAdvanced", "inputs": {"noise": ["9", 0], "guider": ["10", 0], "sampler": ["8", 0],
                                                             "sigmas": ["7", 0], "latent_image": ["6", 0]}},
    "12": {"class_type": "VAEDecode", "inputs": {"samples": ["11", 0], "vae": ["3", 0]}},
    "13": {"class_type": "SaveImage", "inputs": {"images": ["12", 0], "filename_prefix": "api"}},
}

# 1) 대기열에 넣는다
r = requests.post(f"{COMFY}/prompt", json={"prompt": wf}, timeout=30)
r.raise_for_status()
pid = r.json()["prompt_id"]

# 2) 끝날 때까지 기다린다
while True:
    h = requests.get(f"{COMFY}/history/{pid}", timeout=30).json()
    if pid in h and h[pid]["status"].get("completed"):
        break
    if pid in h and h[pid]["status"].get("status_str") == "error":
        sys.exit("실패: " + str(h[pid]["status"]))
    time.sleep(0.5)

# 3) 그림을 받는다
for out in h[pid]["outputs"].values():
    for img in out.get("images", []):
        q = urllib.parse.urlencode({"filename": img["filename"], "subfolder": img["subfolder"], "type": img["type"]})
        name = f"result_{seed}.png"
        open(name, "wb").write(requests.get(f"{COMFY}/view?{q}", timeout=60).content)
        print("저장:", name)

AI 코딩 도구에 이 파일을 보여 주고 "이걸 바탕으로 Z-Image Turbo용도 만들어 줘", "시드 10개로 한 번에" 하는 식으로 시키면 됩니다.

시간과 VRAM은 얼마나 들었나요?

모델을 바꾸는 시간이 그림을 만드는 시간보다 훨씬 깁니다.

이 표가 뜻하는 것: 모델이 올라가 있으면 그림 한 장은 4~6초입니다. 16GB에서 두 모델을 번갈아 쓰면 바꿀 때마다 37초 안팎을 더 기다려야 하니, 같은 모델로 할 일을 모아서 시키는 편이 빠릅니다. 프롬프트를 바꾸면 글을 다시 읽느라 1초쯤 더 걸리고, 시드만 바꾸면 그 단계를 건너뜁니다. 시간은 ComfyUI 실행 기록의 시작~끝 시각이고, VRAM은 0.2초마다 잰 PC 전체 사용량입니다(아무것도 안 할 때 1.3GB).

그림은 어떻게 나왔나요?

같은 프롬프트로 FLUX.2 klein 시드 5개와 Z-Image Turbo 한 장을 모았습니다. FLUX.2 klein은 5장 모두 비에 젖은 돌바닥과 노란 불빛이 프롬프트대로 나왔습니다. Z-Image Turbo는 서점 앞모습을 더 크게 잡았고, 비 오는 밤보다는 해 질 녘에 가깝게 나왔습니다(사람이 본 판단).

시드 숫자만 바꿔도 구도가 달라집니다.

사람 사진은 어떻게 나왔나요?

지어낸 인물 세 장면을 두 모델로 두 장씩, 모두 12장 만들었습니다. 실제 사람을 닮게 만드는 추가 파일(LoRA)은 쓰지 않았습니다. 아래는 시드 101로 만든 여섯 장입니다.

얼굴과 손은 두 모델 모두 자연스러웠고, 옷과 배경 글자에서 차이가 났습니다.

이 표가 뜻하는 것: 12장 모두 손을 확대해 봤는데 손가락이 많거나 녹아 붙은 그림은 없었습니다. 한국다운 옷차림은 Z-Image Turbo가 더 잘 맞췄습니다. 그림 판정은 사람이 눈으로 본 것입니다.

한글 간판은 쓸 수 있을까요?

프롬프트에 a wooden shop sign that reads "책방 온기" in Korean Hangul letters를 붙여 두 모델로 4장씩 만들었습니다. 맞게 나온 그림은 없었습니다.

Z-Image Turbo는 네 장 모두 같은 글자 하나를 틀렸습니다.

이 표가 뜻하는 것: Z-Image Turbo는 한글을 거의 쓰지만 받침 없는 모음 하나를 계속 틀렸습니다. 한글 간판이 꼭 필요하면 그림만 AI로 만들고 글자는 그림 편집 프로그램으로 넣는 편이 확실합니다.

AI에게 맡길 때 주의할 점

• 결과는 사람이 봐야 합니다. AI는 그림이 만들어졌는지는 알지만, 간판 글자가 틀린 것처럼 내용이 맞는지는 사람이 확인해야 했습니다.
• 모델 파일 이름이 정확해야 합니다. 작업 흐름에는 파일 이름이 글자 그대로 들어갑니다. 위 템플릿 화면처럼 이름이 한 글자만 달라도 '누락'으로 멈춥니다. AI에게 먼저 "있는 모델부터 확인해"라고 시키면 이런 실패가 줄어듭니다.
• 유료 노드가 섞이지 않게 합니다. 파트너 API 노드는 내 PC가 아니라 외부에서 돌고 크레딧을 씁니다. 내 PC에서만 돌리려면 "공개 모델만 써"라고 함께 시킵니다.
• 확장(커스텀 노드)은 남이 만든 코드입니다. 확장을 깔면 그 코드가 내 PC에서 그대로 실행됩니다. AI가 "이 확장이 필요하다"고 해도 어떤 저장소인지 보고 깔지 직접 정하세요.
• ComfyUI 서버를 다른 PC에 열어 두지 않습니다. 서버 주소로 누구나 작업을 보낼 수 있습니다. 같은 PC 안에서만 쓰면 기본 설정(127.0.0.1)으로 충분합니다.
• 16GB에서는 모델을 자주 바꾸지 않습니다. 위에서 본 것처럼 바꿀 때마다 37초 안팎이 더 듭니다.

로컬 AI로 그림을 만드는 다른 글도 있습니다. 32GB 그래픽카드에서 잰 Qwen-Image-2.1 그림 한 장 7.6초, Qwen-Image-2.1-Turbo 8단계 3.6초, LTX-2.5로 5초 영상 20초를 보면 모델과 그래픽카드에 따라 무엇이 달라지는지 견줄 수 있습니다. 그림·영상·음성을 한 번에 훑어보려면 로컬 AI 시작하기 7편이, ComfyUI 작업 흐름을 클라우드에 올리는 방법은 Comfy API 소식이 이어지는 글입니다. 다음 글에서는 16GB 그래픽카드로 그림 모델 여러 개를 같은 조건에서 비교합니다.

이 글의 한계

• 그래픽카드 한 대(RTX 5060 Ti 16GB, 시스템 램 32GB)에서 2026년 11월 9일에 잰 값입니다. ComfyUI는 자주 업데이트되니 버전이 바뀌면 시간이 달라질 수 있습니다.
• 시스템 램 사용량은 재지 않았습니다.
• Comfy의 MCP 서버(comfy-mcp)와 Comfy Agent는 직접 써 보지 않았습니다. 이 글의 설명은 공식 문서를 읽고 정리한 것입니다.
• AI에게 시킨 요청은 일곱 가지이고 모두 한 번에 됐습니다. 영상이나 이미지 편집처럼 노드가 많고 복잡한 작업 흐름은 시켜 보지 않았습니다.
• 그림 품질과 글자 판정은 사람이 눈으로 본 것입니다. 한글 간판은 모델마다 4장, 인물은 장면마다 2장씩만 만들었습니다.
• 과정 영상은 화면에서 실행한 작업을 녹화한 것입니다. API로 보낸 작업은 화면의 노드 위에 표시되지 않았습니다(본문 참고).

자주 묻는 질문

출처

• ComfyUI 저장소(GitHub)
• ComfyUI 설치와 시스템 요구 사항
• ComfyUI 서버 주소(Routes) 문서
• ComfyUI Agent Tools 문서
• Comfy MCP 문서
• comfy-mcp 저장소