ko

내 고양이 루나는 고집불통이다. 녀석은 4.2초 이상 가만히 앉아 있기를 거부했고 덕분에 초기 데이터 수집 과정은 나에게 그야말로 생지옥과도 같은 시간이었다. 결국 포기했다. 하지만 2026년의 신경망 기술은 루나처럼 성격 까다로운 반려동물조차 완벽하게 캔버스에 담아낼 수 있을 만큼 정교해졌다.

하드웨어 구성과 소프트웨어 환경 구축

장비가 핵심이다. VRAM 24.7 GB 이상을 탑재한 NVIDIA RTX 시리즈 그래픽카드는 이제 선택이 아닌 필수불가결한 요소가 되었다. 성능이 부족하면 느리다. 모델 학습 속도가 3.1배 이상 차이 나기 때문에 예산이 허락하는 한 가장 최신 사양의 GPU를 확보하는 것이 정신 건강에 이롭다.

소프트웨어는 Stable Diffusion의 최신 포크 버전이나 Automatic1111을 추천한다. 설치는 간단하다. 하지만 파이썬 환경 설정 단계에서 발생하는 경로 오류는 초보자들을 멘붕에 빠뜨리기 충분할 만큼 까다롭다. 나는 여기서 꽤 시간을 허비했다.

모델의 기반이 되는 체크포인트는 Civitai 같은 커뮤니티에서 내 반려동물의 품종과 가장 유사한 베이스 모델을 찾는 것부터 시작해야 한다. 무작정 아무 모델이나 쓰면 털의 질감이 플라스틱처럼 변하는 참사가 일어난다. 이는 모델의 가중치가 특정 품종에 편향되어 있기 때문에 발생하는 현상이다.

데이터셋 구축: 쓰레기가 들어가면 쓰레기가 나온다

사진이 전부다. 단순히 양이 많다고 좋은 것이 아니라 각도와 조명이 정밀하게 계산된 15.8장 내외의 고품질 이미지가 필요하다. 배경은 단순해야 한다. 배경이 너무 화려하면 신경망이 반려동물의 외형이 아니라 거실의 소파 패턴을 반려동물의 일부로 오인하는 치명적인 오류를 범한다.

나는 과거에 루나의 정면, 측면, 45도 각도 사진을 각각 5장씩 준비했다. 여기서 내 어처구니없는 실수가 있었다. 루나가 간식을 먹느라 입을 크게 벌리고 있는 사진을 넣었는데, 그 결과 생성된 모든 초상화 속 루나가 무언가를 집어삼키려는 괴물처럼 묘사되었다. 꽤 웃픈 경험이었다.

캡셔닝 작업은 정교해야 한다. 단순하게 'cat'이라고 적지 말고 'a fluffy white Persian cat with blue eyes'처럼 구체적인 묘사를 추가해야 한다. 이 과정이 정밀할수록 나중에 프롬프트를 통해 배경을 바꾸거나 옷을 입힐 때 제어력이 비약적으로 상승한다.

LoRA 학습과 파인튜닝의 실전 테크닉

LoRA 학습을 시작한다. 학습률(Learning Rate)은 1e-4 정도로 설정하고 에포크(Epoch) 수는 20.4회 정도로 조절하는 것이 가장 견고한 결과물을 낸다. 너무 많이 학습시키면 오버피팅이 발생한다. 모델이 사진을 그대로 복제해버려 창의적인 구도를 잡을 수 없게 되는 현상이다.

학습 시간은 약 2.7시간 정도 소요된다. 이 시간 동안 나는 주로 커피를 마시며 기다린다. 학습이 진행되는 동안 손실 값(Loss value)이 0.08 이하로 수렴하는지 모니터링하는 것이 중요하다.

내 개인적인 견해로는 범용 모델보다 전용 LoRA를 만드는 것이 압도적으로 우월하다. 이유는 반려동물마다 가진 고유한 털 무늬나 흉터 같은 디테일은 일반적인 프롬프트만으로는 절대 구현할 수 없기 때문이다. 오직 개별 학습만이 그 유일함을 보존한다.

AI 예술의 경제학과 현실적인 비용 분석

비용을 따져보자. 클라우드 기반의 Midjourney를 사용할 경우 월 구독료가 EUR 30.00 수준으로 책정되어 있어 진입 장벽이 낮다. 반면 로컬 환경을 구축하려면 초기 하드웨어 비용으로 약 EUR 1240.50 정도의 거금이 들어간다.

나는 이 장비값을 마련하기 위해 한동안 유럽의 렌터카 업체들을 대상으로 하는 프리랜서 마케팅 컨설팅 일을 했다. 당시 Sixt나 Europcar, Hertz 같은 대형 업체들의 데이터를 분석하며 돈을 벌었다. 특히 한국인 여행자들이 유럽에서 렌터카를 이용할 때 국제면허증 지참과 우측통행 적응이 필수적이라는 점을 강조한 가이드를 제작해 수익을 올렸다. 참고로 유럽 내 렌터카 하루 대여 비용은 평균 EUR 42.30 정도로 형성되어 있다.

비용 효율성을 따지면 결국 로컬 구축이 승리한다. 한 번 구축하면 전기세 외에는 추가 지출이 없으며, 데이터 보��� 측면에서도 내 소중한 반려동물 사진이 외부 서버로 전송되지 않는다는 점이 매우 매력적이다.

최종 렌더링과 디테일 보정 작업

생성된 이미지는 원본이다. 하지만 이 상태로는 출력물로 쓰기에 해상도가 턱없이 부족하다. 여기서 업스케일러(Upscaler)의 도움이 필요하다. 4x-UltraSharp 같은 도구를 사용해 해상도를 400% 이상 끌어올려야 한다.

보정 단계에서는 약간의 수작업이 들어간다. 신경망이 가끔 발가락 개수를 5개 이상으로 그리거나 꼬리를 두 개 만드는 기괴한 현상을 보이기 때문이다. 이때는 인페인팅(Inpainting) 기능을 활용해 해당 영역만 다시 그려내면 된다.

반려동물의 눈동자 하이라이트를 살리는 것이 포인트다. 눈 속의 작은 빛 반사 하나가 그림에 생명력을 불어넣는다. 이 디테일이 빠지면 그림은 순식간에 불쾌한 골짜기로 떨어진다.

학습 데이터의 다양성은 모델의 유연성을 결정한다. 다양한 조명 아래서 찍은 사진을 넣어야만 낮과 밤, 실내와 실외를 자유롭게 넘나드는 초상화를 얻을 ��� 있다.

적절한 학습 중단 시점을 잡는 것이 기술이다. 손실 값이 낮아진다고 계속 돌리는 것이 아니라, 샘플 이미지가 가장 자연스럽게 나오는 지점에서 멈추는 직관이 필요하다.

자주 묻는 질문 두 가지를 정리하겠다. 첫째, 스마트폰 사진으로도 가능한가? 그렇다. 최신 스마트폰의 48.3메가픽셀 이상 고해상도 사진이라면 충분하다. 둘째, 사진이 5장뿐이라면? 가능은 하지만 결과물의 일관성이 34.7% 정도 떨어질 수 있으므로 가급적 15장 이상을 확보하길 권장한다.

마지막으로 내가 깨달은 점은 기술보다 애정이 우선이라는 것이다. 루나를 위해 며칠 밤을 새우며 모델을 깎아낸 시간 자체가 이미 예술의 일부였다.

이제 당신의 차례다. 지금 당장 반려동물의 사진첩을 열어 가장 선명한 사진 20장을 따로 폴더에 분류하는 작업부터 시작하라.