LoRA는 그림 AI 모델에 덧붙여 쓰는 작은 파일입니다. 원본 모델 파일은 고치지 않고, 그림을 그릴 때만 LoRA를 더해서 그림체를 바꾸거나 배경 지우기 같은 기능을 더합니다. RTX 5060 Ti 16GB에서 Z-Image Turbo와 FLUX.2 klein 4B에 LoRA 9개를 붙여 보니, 170MB짜리 파일 하나로 사진 같던 그림이 픽셀 아트가 됐고, 시간은 첫 장에만 1.2초 늘었습니다. 원본 모델이 못 하던 배경 지우기와 바깥 늘리기도 LoRA를 붙이니 됐습니다.
- 파일이 작습니다. 이 글의 LoRA는 32~255MB로, 원본 그림 모델(6.2~7.8GB)의 0.4~3%입니다.
- 속도와 VRAM은 거의 그대로입니다. LoRA를 처음 붙인 장만 1.2~1.5초 더 걸렸고, 그다음은 LoRA 없이 그릴 때와 같은 6.0초였습니다. VRAM 차이는 보이지 않았습니다.
- 원본이 못 하는 것에서 차이가 큽니다. 픽셀 아트는 LoRA 없이 낱말만 넣으면 평범한 일러스트가 나왔습니다. 반대로 색칠 공부 그림은 원본 모델도 이미 잘 그려서 LoRA를 붙여도 차이가 작았습니다.
- 편집 LoRA 5개 중 3개는 확실히 됐습니다. 배경 지우기, 바깥 늘리기, 스프라이트 시트입니다. 스케치를 그림으로 바꾸는 것은 LoRA 없이도 비슷했고, 물건 지우기는 6번 해서 한 번도 되지 않았습니다.
- 모델에 맞는 LoRA를 써야 합니다. 다른 모델용 LoRA를 붙이면 오류 없이 그림은 나오지만, LoRA는 통째로 무시되고 로그에 경고만 136줄 찍혔습니다.
이 글의 숫자는 모두 이 블로그가 직접 잰 값입니다(2026년 11월 14일, ComfyUI 0.44.2). LoRA 9개는 모두 Apache 2.0 라이선스이고, 이 글의 그림은 모두 AI로 만든 것입니다.
이 글의 내용을 20초로 요약한 영상입니다(소리 없음, 그림은 모두 AI로 만든 것).

RTX 5060 Ti 16GB에서 직접 잰 값입니다.
LoRA는 무엇인가요?
그림 AI 모델은 수십억 개의 숫자(가중치)로 되어 있습니다. 모델에 새 그림체를 가르치려면 이 숫자를 고쳐야 하는데, 모델 전체를 다시 학습하면 시간이 오래 걸리고 결과 파일도 원본만큼 큽니다.
LoRA(Low-Rank Adaptation)는 원본 숫자는 그대로 두고, 바꿀 만큼만 작은 파일에 따로 담는 방법입니다. 2021년 마이크로소프트 연구진이 언어 모델을 적은 비용으로 고치려고 내놓았고, 지금은 그림 AI에서 가장 많이 쓰입니다. 그릴 때 원본 모델에 LoRA를 더해서 쓰고, 빼면 원래 모델로 돌아갑니다.

rank와 표 개수는 LoRA 파일의 머리 부분을 직접 읽어 확인했습니다.
LoRA 파일 크기는 rank(얇은 표의 폭)에 따라 달라집니다. 이 글의 파일을 직접 열어 보니 색칠 공부 LoRA는 rank 6이라 32MB였고, 옛날 컬러 영화 LoRA는 rank 48이라 255MB였습니다. Z-Image용 LoRA 4개는 모두 그림 모델의 30개 레이어에서 표 240개씩을 고쳤습니다.
이 글에서 쓴 LoRA 9개
허깅페이스에서 내려받은 수가 많고, 라이선스가 Apache 2.0이며, 실존 인물을 닮게 만드는 용도가 아닌 것으로 골랐습니다. 4개는 그림체를 바꾸는 LoRA, 5개는 그림을 고치는(편집) LoRA입니다.
| LoRA (만든 곳) | 원본 모델 | 하는 일 | 크기 | 트리거 낱말 |
|---|---|---|---|---|
| Pixel Art Style (tarn59) | Z-Image Turbo | 픽셀 아트 | 170MB | Pixel art style. |
| Classic Painting (renderartist) | Z-Image Turbo | 고전 유화 | 170MB | class1cpa1nt |
| Coloring Book (renderartist) | Z-Image Turbo | 색칠 공부 선화 | 32MB | c0l0ringb00k |
| Technically Color (renderartist) | Z-Image Turbo | 1960년대 컬러 영화 장면 | 255MB | t3chnic4lly |
| Background Remove (fal) | FLUX.2 klein 4B | 배경 지우기 | 76MB | 정해진 문장 |
| Outpaint (fal) | FLUX.2 klein 4B | 바깥 늘리기 | 76MB | 정해진 문장 |
| Spritesheet (fal) | FLUX.2 klein 4B | 2×2 스프라이트 시트 | 76MB | 2x2 sprite sheet |
| Object Remove (fal) | FLUX.2 klein 4B | 표시한 물건 지우기 | 76MB | 정해진 문장 |
| Sketch to Image (ostris) | FLUX.2 klein 4B | 스케치를 그림으로 | 92MB | 없음 |
이 표가 뜻하는 것: LoRA는 원본 모델마다 따로 있습니다. 받기 전에 모델 카드의 '원본 모델(base model)' 칸이 내가 쓰는 모델과 같은지 먼저 봐야 합니다. 트리거 낱말은 LoRA를 학습할 때 쓴 낱말이라 프롬프트에 함께 넣습니다. 편집 LoRA는 모델 카드에 적힌 문장(예: Remove the background from the image)을 그대로 씁니다.
ComfyUI에서 LoRA는 어떻게 붙이나요?
LoRA 파일을 ComfyUI의 models/loras 폴더에 넣고, 작업 흐름에 'LoRA 로드 (모델 전용)' 노드를 하나 더하면 됩니다. 이 노드는 모델을 읽는 노드와 그다음 노드 사이에 끼웁니다. 노드에서 고를 것은 LoRA 파일과 강도(strength_model) 두 가지입니다.

노란 상자가 LoRA를 붙이는 노드입니다. 나머지는 LoRA 없이 그릴 때와 같습니다.
LoRA를 붙이는 노드는 '모델 전용'과 'CLIP도 함께 고치는 것' 두 가지가 있습니다. 이 글의 LoRA 9개는 파일 안을 열어 보니 모두 그림 모델 쪽 표만 들어 있어서, 모델 전용 노드로 충분했습니다. LoRA를 둘 이상 쓰려면 이 노드를 줄줄이 이어 붙입니다.
테스트 PC는 RTX 5060 Ti 16GB, 시스템 램 32GB, ComfyUI 0.44.2입니다. 원본 모델은 16GB 이미지 모델 비교 글과 같은 설정으로 썼습니다. Z-Image Turbo는 int8 파일로 9스텝, FLUX.2 klein 4B는 4스텝입니다. 그림은 1024×1024, 시드는 101로 맞추고, 같은 프롬프트로 LoRA를 붙인 것과 뺀 것을 견줬습니다.
그림체 LoRA를 붙이면 무엇이 바뀌나요?

Z-Image Turbo, 같은 프롬프트와 시드. LoRA마다 트리거 낱말을 앞에 붙였습니다.

두 번째 장면도 같은 방법으로 그렸습니다.
네 LoRA 모두 그림체가 바뀌었습니다. 픽셀 아트는 두 장면 모두 한눈에 픽셀 그림이었습니다. 고전 유화는 카페 장면에서는 바뀐 폭이 작았고, 등대 장면에서 붓질이 더 잘 보였습니다. 색칠 공부는 색이 빠진 선화가 됐고, 옛날 컬러 영화는 색이 진하고 장면 구성도 영화처럼 바뀌었습니다.
한 장에 걸린 시간은 LoRA를 붙인 쪽이 7.2초 안팎, LoRA 없이 같은 낱말만 넣은 쪽이 6.6초 안팎이었습니다. 이 실험은 장마다 다른 LoRA로 바꿔 끼웠기 때문에 매번 LoRA를 새로 더하는 시간이 들어갔습니다.
LoRA 없이 트리거 낱말만 넣으면 안 되나요?

윗줄과 아랫줄은 프롬프트가 같고 LoRA만 다릅니다.
LoRA가 정말 필요한지 보려고, 프롬프트는 그대로 두고 LoRA만 빼서 다시 그렸습니다. 픽셀 아트 낱말만 넣으면 픽셀이 보이지 않는 매끈한 일러스트가 나왔습니다. 고전 유화와 옛날 컬러 영화 낱말만 넣은 것은 LoRA 없는 사진과 거의 같았습니다. class1cpa1nt 같은 트리거 낱말은 LoRA를 학습할 때만 쓴 낱말이라, LoRA가 없으면 원본 모델이 알아듣지 못합니다.
색칠 공부는 달랐습니다. 프롬프트에 '색칠 공부, 흑백 선화'라는 보통 낱말도 넣었더니, LoRA 없이도 선화가 나왔습니다. 원본 모델이 이미 잘 그리는 그림체라면 LoRA를 붙여도 얻는 것이 적습니다. LoRA는 원본 모델이 못 하는 그림체에 쓸 때 효과가 컸습니다.
강도를 바꾸면 어떻게 되나요?

강도(strength_model)만 바꾸고 나머지는 같습니다.
강도는 LoRA를 얼마나 세게 더할지 정하는 값입니다. 0이면 LoRA를 붙이지 않은 것과 같고, 1.0이 모델 카드가 권하는 기본값입니다. 픽셀 아트는 0.25부터 조금씩 각이 지다가 1.0에서 뚜렷한 픽셀 그림이 됐습니다. 1.5로 올리면 픽셀이 굵어지고 고양이와 화분 모양이 뭉개졌습니다. 고전 유화는 강도가 오를수록 그림이 어둡고 단순해졌습니다.
효과가 너무 세면 0.7~0.8로 낮추고, 약하면 1.2 정도까지 올려 보는 것이 무난했습니다. 1.5는 두 LoRA 모두 그림이 망가지기 시작했습니다.
LoRA 두 개를 함께 쓸 수 있나요?

두 LoRA의 트리거 낱말을 모두 넣고 강도를 조금씩 낮췄습니다.
LoRA 로드 노드를 두 개 이어 붙이면 됩니다. 둘 다 1.0으로 넣으면 효과가 겹쳐 세지기 때문에 0.6~0.8로 낮췄습니다. 고전 유화와 옛날 컬러 영화를 섞으니 둘 중 어느 쪽과도 다른, 면을 단순하게 칠한 포스터 같은 그림이 나왔습니다. 픽셀 아트와 영화를 섞은 것은 픽셀 그림에 영화 쪽의 짙은 색이 입혀졌습니다. 간판 글자는 두 경우 모두 깨졌습니다.
편집 LoRA로는 무엇을 할 수 있나요?
FLUX.2 klein 4B는 그림을 넣고 글로 고칠 곳을 말하는 편집도 합니다. 편집 LoRA는 이 편집 기능에 특정한 일을 가르친 것입니다. 작업 흐름은 그림을 읽어 참조 잠재(ReferenceLatent)로 넣는 ComfyUI 기본 편집 방식에, LoRA 로드 노드 하나를 더했습니다. 강도는 모델 카드가 권하는 1.1로 맞췄습니다.

노란 상자가 LoRA 노드입니다. 편집 LoRA 다섯 개 모두 이 작업 흐름에서 LoRA 파일과 프롬프트만 바꿨습니다.
배경 지우기

프롬프트는 Remove the background from the image 입니다.
LoRA 없이 같은 문장을 넣으면, 모델이 투명 배경을 흉내 낸 회색 체크무늬를 그려 넣었습니다. 진짜 투명 배경이 아니라 무늬를 그린 것이라 쓸 수 없습니다. LoRA를 붙이니 찻주전자만 남고 배경이 흰색으로 깨끗하게 지워졌습니다. 그림자도 거의 남지 않았습니다.
바깥 늘리기(아웃페인팅)

프롬프트는 Fill the green spaces according to the image 입니다.
세로로 긴 산 그림을 가로 화면 가운데 놓고, 양옆을 초록색으로 채워 넣었습니다. LoRA 없이는 초록 칸이 연두색 안개처럼 그대로 남았습니다. LoRA를 붙이니 양옆에 단풍과 바위, 먼 산이 이어져 처음부터 넓게 찍은 풍경처럼 됐습니다.
스프라이트 시트
![]()
프롬프트는 2x2 sprite sheet 입니다.
스프라이트 시트는 게임에서 한 물건을 여러 방향으로 그려 한 장에 모은 그림입니다. LoRA 없이는 같은 찻주전자를 네 번 복사해 붙였습니다. LoRA를 붙이니 네 칸에 서로 다른 각도의 찻주전자를 그렸습니다. 사진이 게임 그림체로 바뀌는 것도 이 LoRA의 특징입니다.
스케치를 그림으로

프롬프트는 a cozy wooden cabin by a lake with pine trees and mountains 입니다.
이 LoRA는 차이가 작았습니다. FLUX.2 klein 4B는 LoRA 없이도 스케치를 보고 호숫가 나무집을 그렸습니다. LoRA를 붙인 쪽이 집을 가운데 두고 산 모양을 스케치에 조금 더 가깝게 따랐습니다. 이 LoRA는 원본 모델 칸에 klein 4B의 base 모델이 적혀 있어서, 이 글이 쓴 klein 4B(빠른 4스텝 모델)와는 맞는 정도가 다를 수 있습니다.
물건 지우기 (안 됨)

프롬프트는 모델 카드의 Remove the highlighted object from the scene 입니다.
지울 물건을 빨간 상자로 표시하는 방식은 모델 카드 예시와 같게 했습니다. 강도 1.1과 1.5, 시드 세 개, 지울 물건을 반찬 그릇과 숟가락으로 바꿔 모두 6번 그렸습니다. 6번 모두 물건은 그대로 남고 빨간 상자만 사라졌습니다.
처음 받은 이 LoRA의 기본 파일(58MB)은 ComfyUI가 읽지 못했습니다. 파일 머리를 읽어 보니 적힌 끝 위치가 76MB인데 파일이 58MB에서 끊겨 있었습니다. 같은 저장소에 올라온 ComfyUI용 변환 파일(76MB)은 정상으로 읽혀서 이 파일로 시험했습니다. 그래도 지워지지 않은 이유는 확인하지 못했습니다. 만든 곳의 체험 페이지가 klein 4B base 모델로 돌아가는 것으로 보아, 모델 차이일 수 있습니다(추정).
LoRA를 붙이면 느려지나요? VRAM은?

모델을 먼저 올려 둔 뒤(첫 장 33.8초) 잰 값입니다.
LoRA를 처음 붙인 장은 1.2초(LoRA 1개)와 1.5초(LoRA 2개) 더 걸렸습니다. 이때 ComfyUI가 원본 모델에 LoRA를 더합니다. 같은 LoRA로 계속 그리면 둘째 장부터는 LoRA 없이 그릴 때와 같은 6.0초였습니다. LoRA를 바꾸거나 강도를 바꾸면 다시 더해야 해서, 그림체 실험(7.2초)과 강도 실험(6.85초)에서는 장마다 조금씩 더 걸렸습니다.
VRAM은 LoRA가 있든 없든 최대 14.3~15.8GB 사이였습니다. LoRA 자체가 수백 MB이고, ComfyUI가 VRAM을 미리 넉넉히 잡아 두기 때문에 차이가 보이지 않았습니다. 편집 LoRA를 붙인 klein 편집도 한 장에 7.3~8.2초였습니다.
다른 모델용 LoRA를 붙이면 어떻게 되나요?

왼쪽 두 장은 같은 시드로 그렸습니다.
LoRA를 잘못 고르는 실수가 흔해서 일부러 해 봤습니다. Z-Image Turbo에 klein용 LoRA를 붙이니 오류 없이 그림이 나왔는데, LoRA 없이 그린 그림과 픽셀 하나까지 같았습니다. LoRA가 통째로 무시된 것입니다. 반대로 klein에 Z-Image용 픽셀 아트 LoRA를 붙여도 픽셀 아트가 되지 않았습니다.
이때 ComfyUI 로그에는 lora key not loaded: base_model.model.double_blocks.0.img_attn.proj.lora_A.weight 같은 경고가 찍힙니다. klein용 LoRA를 Z-Image에 붙였을 때 136줄이었습니다. 이 LoRA 파일에 든 136개 항목(얇은 표 68쌍)이 하나도 들어가지 못했다는 뜻입니다. Z-Image는 레이어 이름이 layers, klein은 double_blocks·single_blocks라 표 이름부터 다릅니다. LoRA를 붙였는데 그림이 그대로라면 ComfyUI 콘솔에서 이 경고가 있는지 먼저 보면 됩니다.
16GB 그래픽카드에서 LoRA를 고를 때
| 볼 것 | 이 시험에서 확인한 것 |
|---|---|
| 원본 모델이 같은가 | 다르면 오류 없이 무시되고 로그에 'lora key not loaded' 경고 |
| 파일 크기 | 32~255MB. 16GB에서도 VRAM 차이가 보이지 않음 |
| 트리거 낱말 | 모델 카드의 낱말을 넣음. LoRA 없이 낱말만으로는 효과 없음 |
| 강도 | 카드의 권장값(1.0, 편집은 1.1)부터. 1.5는 그림이 뭉개짐 |
| 원본이 이미 잘하는 그림체인가 | 색칠 공부처럼 원본이 잘하면 LoRA 효과가 작음 |
| 라이선스 | 이 글의 9개는 Apache 2.0. LoRA마다 다르니 카드에서 확인 |
이 표가 뜻하는 것: LoRA는 원본 모델을 크게 바꾸지 않고 작은 파일로 기능을 더하는 방법이라, 16GB 그래픽카드에서 부담이 거의 없습니다. 대신 원본 모델과 짝이 맞아야 하고, 원본이 이미 하는 일에는 효과가 작습니다.
LoRA 중에는 실존 인물의 얼굴이나 다른 작가의 그림체를 흉내 내도록 만든 것도 있습니다. 이런 LoRA는 초상권과 저작권 문제가 생길 수 있어 이 글에서는 쓰지 않았습니다.
이 글의 원본 모델 두 개를 포함해 그림 모델 다섯 개를 견준 결과는 16GB 이미지 모델 비교 글에 있습니다. ComfyUI를 처음 쓴다면 ComfyUI 소개 글을 먼저 보세요. 같은 16GB에서 소리 나는 영상을 만든 HyperFlow H3 Flash 글도 있습니다. 내 그래픽카드로 어떤 AI가 도는지는 GPU 체험에서 볼 수 있습니다.
이 글의 한계
- 그래픽카드 한 대(RTX 5060 Ti 16GB)에서 2026년 11월 14일에 잰 값입니다. 시간은 같은 설정을 세 번 잰 값입니다.
- 원본 모델 두 개(Z-Image Turbo int8, FLUX.2 klein 4B)와 LoRA 9개만 시험했습니다. 다른 모델용 LoRA나 SDXL 같은 예전 모델은 시험하지 않았습니다.
- 스케치 LoRA는 klein 4B base 모델용으로 나온 것을 klein 4B에 붙였습니다. 물건 지우기 LoRA도 base 모델에서는 결과가 다를 수 있습니다. base 모델로는 시험하지 않았습니다.
- 그림 품질은 사람이 보고 판단했습니다. 장면마다 시드 하나로 그렸고, 물건 지우기만 시드를 바꿔 여러 번 그렸습니다.
- LoRA를 직접 학습하지는 않았습니다. 남이 만든 LoRA를 받아서 붙여 본 결과입니다.
자주 묻는 질문
LoRA를 쓰려면 VRAM이 더 필요한가요?
이 시험에서는 차이가 보이지 않았습니다. LoRA 파일이 32~255MB로 작고, RTX 5060 Ti 16GB에서 LoRA를 하나, 둘 붙여도 최대 VRAM은 LoRA 없을 때와 같은 15GB대였습니다.
LoRA를 붙였는데 그림이 그대로예요.
먼저 LoRA의 원본 모델이 내가 쓰는 모델과 같은지 보세요. 다르면 ComfyUI 로그에 'lora key not loaded' 경고가 찍히고 LoRA는 무시됩니다. 원본 모델이 맞다면 트리거 낱말을 프롬프트에 넣었는지, 강도가 0에 가깝지 않은지 확인하세요.
트리거 낱말만 넣어도 되나요?
안 됩니다. 이 시험에서 픽셀 아트, 고전 유화, 옛날 컬러 영화 LoRA의 트리거 낱말만 넣으면 그림체가 거의 바뀌지 않았습니다. 트리거 낱말은 LoRA와 함께 쓸 때 효과가 있습니다.
강도는 얼마로 하면 되나요?
모델 카드의 권장값부터 시작하세요. 이 글의 그림체 LoRA는 1.0(색칠 공부는 0.7), 편집 LoRA는 1.1이었습니다. 1.5로 올리면 픽셀 아트와 유화 모두 그림이 뭉개지기 시작했습니다. 두 개를 함께 쓸 때는 0.6~0.8로 낮췄습니다.
LoRA를 붙이면 그림이 느려지나요?
처음 붙인 장만 1.2~1.5초 더 걸렸고, 같은 LoRA로 계속 그리면 LoRA 없을 때와 같은 6.0초였습니다. LoRA나 강도를 바꾸면 그 장에서 0.5~1.5초쯤 다시 더 걸렸습니다.
프롬프트 원문
- 카페:
a small coffee shop on a quiet street corner in Seoul in the evening, warm light from the window, a cat sitting next to the door, potted plants, bicycle parked outside - 등대:
a white lighthouse on a rocky coast at sunset, waves crashing on the rocks, seagulls flying, small fishing boat - 그림체 LoRA 앞에 붙인 낱말: 픽셀 아트
Pixel art style., 고전 유화class1cpa1nt classic oil painting,, 색칠 공부c0l0ringb00k coloring page, black and white line art,(강도 0.7), 옛날 컬러 영화t3chnic4lly vibrant 1960s film still, - 편집 입력 그림(찻주전자, 상차림, 산)은 이 블로그가 Z-Image Turbo와 FLUX.2 klein 4B로 만든 것이고, 스케치는 직접 그린 선 그림입니다
- 설정: Z-Image Turbo int8 9스텝(res_multistep, simple, shift 3, CFG 1), FLUX.2 klein 4B 4스텝(euler, CFG 1), 시드 101, 1024×1024
출처
- LoRA: Low-Rank Adaptation of Large Language Models (Hu 외, 2021)
- Pixel Art Style LoRA (tarn59)
- Classic Painting LoRA (renderartist)
- Coloring Book LoRA (renderartist)
- Technically Color LoRA (renderartist)
- Background Remove LoRA (fal)
- Outpaint LoRA (fal)
- Spritesheet LoRA (fal)
- Object Remove LoRA (fal)
- Sketch to Image LoRA (ostris)
- Z-Image Turbo 모델 카드
- FLUX.2 klein 4B 모델 카드
댓글 0개