시작한 이유
오늘은 회사에서 쓰는 디자인 에셋을 AI로 학습시켜서, 프롬프트만 넣으면 우리 스타일에 맞는 이미지를 자동으로 만들어낼 수 있을까 하는 실험을 해봤다. 디자인 리소스를 매번 사람이 만들어내는 것도 중요하지만, POC 단계에서는 AI가 어느 정도 대체나 보조할 수 있는지를 확인하는 게 목표였다.
고민한 지점
처음에는 kohya_ss GUI를 이용해 내 맥북(M2 Pro)으로 학습을 시켜볼까 했는데, 예상 시간이 최소 6시간 이상 걸린다는 걸 알고 고민이 됐다. 짧게 테스트만 해도 하루 반나절을 태워야 하니, 로컬에서 학습하는 게 과연 효율적인가? 라는 생각이 들었다. 그래서 클라우드 기반 GPU 서비스를 알아보다가 Replicate를 선택했다.
학습 환경
- 모델: Flux LoRA Trainer ostris/flux-dev-lora-trainer
- GPU: NVIDIA H100 (초당 $0.001525 과금)
- 데이터셋: 사내에서 이미 만들어둔 그래픽 에셋 36종
- 트리거 단어: TRTR
총 학습 시간은 13분 18초, 비용은 $1.22. 맥북에서 6~10시간 걸릴 걸 생각하면, 확실히 클라우드에서 시도하는 게 훨씬 합리적이라고 느꼈다. 이미지 생성 테스트까지 해서 4달러 조금 안되게 들었다.
테스트 결과
- 이미지 생성 속도는 한 장당 10~20초 정도.
- 학습 데이터에 있는 오브젝트(예: 마이크, 손, 심볼)는 꽤 유사한 스타일로 뽑혔다.
- 하지만 데이터셋에 없는 오브젝트를 요청했을 때는 전혀 다른 느낌으로 결과가 나오기도 했다.
- 결론: 프롬프트가 정말 중요하다.
단순히 “TRTR microphone”이라고 하면 실사처럼 나오기도 하고,
frosted glass, pastel tones, no background같은 구체적인 키워드를 붙여줘야 안정적인 스타일이 유지됐다.
망한 결과 이미지만 올려본다. 학습 데이터에 사람 관련된 것들이 없다보니 전혀 일관성 없이 생성되는 것을 확인할 수 있었다.
프롬프트 생성기 만들기
매번 긴 프롬프트를 손으로 쓰는 건 비효율적이라, TRTR 토큰을 자동으로 넣고 회사 스타일 키워드를 포함해주는 프롬프트 생성기를 ChatGPT로 만들었다.
이제는 아이템 이름(예: “마이크”)만 입력하면 자동으로 완성된 프롬프트가 나오도록 했다.
이미지 생성을 할 일이 없어서 잘 몰랐는데, 이미지 생성에는 프롬프트가 굉장히 중요하다고 느꼈다. 모델도 중요하지만 8할은 프롬프트인 것 같다.
생성기를 통하면 아래와 같은 프롬프트를 만들어준다.
질문 예시: 하이파이브
생성된 프롬프트:
<<TRIGGER WORD>> high five hands, isolated object, no background, transparent background, alpha channel, cutout, sticker style, no shadow, frosted glass texture, translucent, pastel tones (peach, light pink, soft yellow), smooth rounded emoji-like style, simplified cute design, internal glow, layered translucency, light refraction, soft caustic effects, sharp reflections, crisp highlights, dreamy premium whimsical aesthetic, ultra-high resolution, clean and noise-free, never realistic
느낀 점
- 클라우드 학습 장점: 저렴한 비용($1~2)으로 빠르게 시도할 수 있고, 여러 번 반복 실험이 가능하다.
- 아직 한계: 완전히 기존 리소스를 대체할 수 있을지는 판단하기 어렵다. 특히 학습 데이터에 없는 아이템에 대해서는 결과가 불안정하다.
- POC 결론: POC 단계에서 새로운 시도를 해보기에는 좋은 방법이라는 확신을 얻었다. 앞으로는 더 많은 학습 리소스를 모으고, 프롬프트 생성기를 고도화해보면 더 의미 있는 테스트가 될 것 같다.
오늘의 키워드
- Flux 모델
- LoRA 학습
- Replicate (클라우드 학습)
- Trigger Word
- 프롬프트 엔지니어링