이 단원의 카드 12개
개념 비교
레퍼런스 이미지와 LoRA 중에서 고르기
- 레퍼런스 이미지 방식: 생성할 때마다 기준 이미지를 모델에 함께 넣고 그 이미지의 스타일이나 인물을 따르라고 지시하는 방법
- LoRA(Low-Rank Adaptation): 기준 이미지 여러 장으로 모델에 붙일 작은 보정 파일을 학습시키는 방법
- LoRA로 생성할 때: 그 파일을 붙이고 학습 때 정한 단어(trigger word)를 프롬프트에 넣어 부릅니다.
| 항목 | 레퍼런스 이미지 | LoRA |
|---|---|---|
| 준비물 | 기준 이미지 한 장 이상 | 이미지 5 |
| 첫 결과까지 | 이미지를 연결하고 바로 실행합니다 | 학습 서비스(fal.ai·replicate)에서 학습을 마치고 safetensors 파일을 받아 생성 도구로 가져옵니다 |
| 비용이 나가는 서비스 | 생성 도구 | 학습 서비스와 생성 도구(따로 청구) |
| 쓸 수 있는 모델 | 레퍼런스 이미지 입력을 받는 모델 | 학습에 쓴 베이스 모델 계열 |
| 자주 생기는 문제 | 기준 이미지의 배경을 되풀이하는 등 스타일만 골라 따르지 못합니다 | 이미지 속 글자가 뭉개지고, trigger word를 빠뜨리면 스타일이 나오지 않습니다 |
-
출처: Figma Weave 공식 튜토리얼이 두 방법을 같은 이미지로 나란히 비교했습니다.
-
LoRA 쪽: fal.ai에서 Flux LoRA fast training으로 학습한 파일을 Import LoRA 노드로 올려 Flux Dev LoRA 노드에 연결
-
레퍼런스 쪽: 같은 이미지를 레퍼런스 입력으로 넣음
-
발표자는 두 결과가 비슷하다고 보고, 레퍼런스 방식을 먼저 해 보고 만족스러우면 LoRA까지 가지 않기를 권했습니다.
-
LoRA로 넘어갈지는 레퍼런스 방식의 결과를 항목별로 확인한 뒤에 정합니다.
-
같은 조건으로 여러 장을 만들어 색·재질·형태·글자·배경이 기준과 같은지 표로 적습니다.
-
여러 장에서 계속 어긋나는 항목이 있을 때 학습을 검토합니다.
직접 해보기
만들 이미지의 조건을 적고 두 방법 중 무엇을 먼저 쓸지 판정하게 합니다.
대괄호 안은 실제 값으로 바꿔서 붙여넣습니다.
같은 [제품 스타일·인물 중 하나]를 이미지 여러 장에 유지해야 해. 한 번에 만들 장수는 [장수], 같은 작업을 반복하는 주기는 [예: 매주], 지금 쓰는 생성 도구는 [도구 이름]이야. 기준 이미지를 생성할 때마다 함께 넣는 레퍼런스 방식과, 이미지 20~30장으로 학습시킨 LoRA 파일을 붙이는 방식 중 무엇을 먼저 써야 하는지 판정해 줘. 판정 근거와 함께 두 방식의 준비물, 비용이 나가는 서비스, 내 도구에서 쓸 수 있는지를 표로 정리하고, 내 도구의 기능은 공식 문서에서 확인하지 못했으면 확인하지 못했다고 적어 줘.
레퍼런스 방식으로 만든 결과가 흔들리는지 확인할 기준표부터 만듭니다.
대괄호 안은 실제 값으로 바꿔서 붙여넣습니다.
레퍼런스 이미지를 넣고 같은 프롬프트로 이미지를 다섯 장 만들었어. 파일은 [폴더 경로]에 있어. 다섯 장을 보고 기준 이미지와 비교해 색, 재질, 형태, 글자, 배경 다섯 항목마다 기준과 같은지 다른지를 표로 적어 줘. 다섯 장 중 세 장 이상에서 다른 항목이 있으면 그 항목을 따로 뽑아 줘.
LoRA로 넘어가기로 했다면 학습에 넣을 이미지부터 점검합니다. 학습은 이 단계에서 실행하지 않습니다.
대괄호 안은 실제 값으로 바꿔서 붙여넣습니다.
LoRA 학습에 쓸 이미지를 [폴더 경로]에 모았어. 한 장씩 보고 손가락·글자·원근이 잘못 그려진 이미지, 서로 거의 같은 이미지, 흐리거나 잘린 이미지를 표로 골라 줘. 남은 이미지가 20장 이상인지 세어 주고, 각도와 조명이 한쪽에 몰려 있으면 어떤 이미지를 더 모아야 하는지 적어 줘. 학습 서비스에 올리거나 학습을 시작하지는 마.
최근에 같은 스타일로 만든 이미지 세 장 이상을 골라, 어떤 방법으로 스타일을 맞췄는지와 장마다 기준과 달라진 부분을 적어 보세요.
헷갈리기 쉬운 것
LoRA는 학습 이미지에 있는 결함까지 스타일로 학습합니다. 생성 도구로 만든 이미지를 학습에 넣으면 손가락이나 글자 오류가 그대로 굳을 수 있으므로 학습 전에 한 장씩 걸러 냅니다. 학습 서비스 요금은 생성 도구 요금과 따로 청구되므로 학습을 시작하기 전에 두 곳의 요금을 각각 확인합니다. 학습 때 정한 trigger word를 프롬프트에 넣지 않으면 파일을 붙여도 학습한 스타일이 나오지 않습니다.
왜 이렇게 작동하나요
미용실에서 원하는 머리 모양 사진을 매번 보여 주며 설명하는 손님이 있고, 같은 미용사에게 여러 번 다니며 그 스타일을 익히게 한 손님이 있습니다. 앞쪽은 사진만 있으면 어느 미용실에서나 바로 시작하지만 결과가 조금씩 달라지고, 뒤쪽은 익히는 데 시간이 들지만 그 미용사에게서는 결과가 고르게 나옵니다.
레퍼런스 방식은 기준 이미지를 입력으로 넣을 때마다 모델이 그 이미지를 새로 읽고 해석하므로 준비가 필요 없는 대신 실행마다 해석이 조금씩 달라집니다. LoRA는 기준 이미지 여러 장을 학습해 모델에 붙는 작은 보정 파일로 만들어 두므로 같은 스타일이 고르게 나오지만, 그 파일은 학습에 쓴 베이스 모델 계열에서만 동작하고 학습 이미지의 결함도 함께 담습니다.
더 알고 싶다면
레퍼런스 방식에서 LoRA로 넘어가는 시점은 언제인가요?
- 레퍼런스 방식으로 같은 조건을 여러 번 실행해도 색이나 형태가 기준과 계속 어긋나고, 프롬프트를 고쳐도 나아지지 않을 때입니다. 같은 스타일의 이미지를 매주 수십 장씩 만드는 작업처럼 반복이 많을수록 학습에 드는 시간과 요금을 나눠 낼 장수가 많아집니다.
- 튜토리얼 발표자도 레퍼런스 방식을 먼저 해 보고 결과가 만족스러우면 LoRA까지 가지 않기를 권했습니다. LoRA는 학습 서비스 가입, 이미지 준비, 학습 대기, 파일 가져오기까지 단계가 더 많습니다.
학습한 LoRA 파일을 다른 생성 도구에서도 쓸 수 있나요?
- LoRA 파일은 학습에 쓴 베이스 모델 계열에서만 동작합니다. 튜토리얼처럼 Flux로 학습한 파일은 Flux 계열 모델을 고를 수 있는 도구에서만 붙일 수 있고, 가중치 파일을 공개하지 않고 API로만 여는 모델에는 붙일 수 없습니다.
- 도구를 옮길 계획이 있으면 옮길 도구가 어떤 베이스 모델과 LoRA 파일 가져오기를 지원하는지 먼저 확인합니다. Figma Weave는 Import LoRA 노드로 파일을 올려 Flux 계열 노드에 연결합니다.
용어 풀이
전체 용어집 →- LoRA
- Low-Rank Adaptation의 줄임말입니다. 베이스 모델을 다시 학습하지 않고, 모델 옆에 붙이는 작은 보정 파일만 학습해 특정 스타일이나 인물을 기억시키는 방법입니다.
- trigger word
- LoRA를 학습할 때 정하는 단어입니다. 프롬프트에 이 단어를 넣어야 학습한 스타일이 결과에 나옵니다. 일상어와 겹치지 않는 조어로 정합니다.
2026-07-28 기준 · 출처 · Figma Weave 공식 튜토리얼 — LoRA 학습 후 Weave에서 활용하기, Helpers Overview (Import LoRA 노드)