야외에서 찍은 영상인데 조명이 너무 밋밋하게 나왔을 때, 그 막막함을 아시는 분들이 있을 겁니다. 저도 그냥 포기하거나 다시 찍는 수밖에 없다고 생각했는데, Lightricks(라이트릭스)가 공개한 LTX 2.3 리라이트 LoRA(로라)를 직접 써보고 생각이 달라졌습니다. 무료 오픈소스 모델로 영상 조명을 바꿀 수 있다는 게 반신반의했는데, 결과물을 보니 입이 안 다물어졌습니다.
오픈소스 리라이팅 모델, 진짜 무료로 이게 됩니까
처음 소식을 접했을 때 "무료 오픈소스로 움직이는 영상의 조명을 바꾼다고?" 하는 반응이 많았습니다. 저도 그랬고요. 그런데 LTX 2.3 리라이트 LoRA는 실제로 공개된 가중치 모델입니다. 여기서 LoRA(Low-Rank Adaptation)란 기존 베이스 모델에 추가로 붙여 특정 기능을 부여하는 경량화 어댑터를 의미합니다. 쉽게 말해 전체 모델을 새로 학습시키지 않고, 리라이팅 기능만 덧붙인 구조입니다.
이 모델을 개발한 Lightricks는 OSS(Open Source Software), 즉 소스코드와 가중치를 누구나 내려받아 활용할 수 있는 형태로 배포하고 있습니다(출처: Hugging Face). 구현 방식은 원본 영상 위에 라이팅 방향을 나타내는 구체형(Sphere) 이미지를 입력으로 함께 넣으면, 모델이 그 방향을 학습된 패턴으로 반영해 전체 영상의 조명을 재구성하는 원리입니다.
다만, 모델 카드를 꼼꼼히 읽어보면 한 가지 중요한 제약이 있습니다. 이 모델은 야외 조명 환경 변경에 특화된 형태로 훈련되어 있어서, 실내 영상에는 기대만큼 적용이 되지 않을 수 있습니다. 저도 처음에 실내 클립을 넣었다가 결과물이 어색하게 나와서 당황했습니다. 야외 소스라는 전제 조건을 꼭 기억해 두셔야 합니다.
- 적용 범위: 야외 영상 전용 (실내 영상 효과 제한적)
- 너무 큰 해상도나 과도하게 긴 영상은 추론 오류 발생 가능
- 가중치 및 워크플로우 JSON 파일 모두 Hugging Face에서 무료 다운로드 가능
ComfyUI 세팅, 어렵다는 의견도 있지만 실제로 써보니
ComfyUI(컴피UI)를 한 번도 안 써본 분이라면 워크플로우를 처음 불러왔을 때 노드가 잔뜩 펼쳐진 화면에 압도될 수 있습니다. 저도 그랬습니다. 그런데 실제로 손을 대야 할 부분은 생각보다 훨씬 적습니다.
핵심은 두 가지입니다. 소스 비디오를 입력 노드에 연결하고, 조명 방향을 지정하는 구체형 노드에서 로테이션(Rotation)과 각도 수치를 조정하는 것이 전부에 가깝습니다. 제가 직접 써봤는데, 좌측 조명을 우측으로 바꾸는 작업은 로테이션 값 하나만 110도 정도로 수정해도 꽤 극적인 변화가 나타났습니다.
한 가지 꼭 짚고 싶은 건 비디오 랭스(Video Length) 설정입니다. 이 모델은 인퍼런스(Inference) 방식, 즉 추론 기반으로 작동하기 때문에 프레임 수를 소스 영상 길이에 딱 맞게 설정하지 않으면 결과물 뒤쪽에서 엉뚱한 움직임이 붙어 나옵니다. 제 경험상 이건 좀 예상 밖이었습니다. 결과물이 마음에 들더라도 특정 구간을 잘라내면 추론 결과 자체가 달라질 수 있으니, 생성된 클립 전체를 그대로 쓰는 걸 권장합니다.
하드웨어 쪽으로도 한마디 드리면, RTX 5060 Ti 16GB / RAM 24GB 환경 기준으로 GGUF Q4 양자화 모델을 사용하면 무난하게 돌아갑니다. 여기서 GGUF Q4란 모델의 가중치를 4비트로 압축한 포맷으로, 메모리를 아끼면서 속도와 품질 사이에서 균형을 잡는 방식입니다. OOM(Out Of Memory) 오류가 나면 해상도를 낮추거나 영상 길이를 줄이는 방향으로 조정해 보시면 됩니다. 또한 GGUF 모델 중 DISTILLED 버전이 있는데, 이는 체크포인트 자체가 경량화된 모델로 가볍게 쓰기 좋고, 베이스 모델에 DISTILLED LoRA를 섞어 강도를 조절하며 테스트하는 방식도 있습니다(출처: ComfyUI GitHub).
실전 조명 변경 결과, 솔직하게 말하면
크리스토퍼 놀란 감독 영화 클립을 소스로 테스트해봤는데, 결과물은 솔직히 놀라웠습니다. 단순히 밝기가 올라가는 수준이 아니라, 피사체의 그림자 방향이 바뀌고 배경의 펜스 질감에도 조명 변화가 반영됐습니다. 어두운 장면에서 미처 눈에 띄지 않던 배경 인물 세 명이 리라이팅 후 자연스럽게 드러나는 장면은 제가 예상하지 못했던 부분이었습니다.
그런데 솔직히 다 좋다고 말하기는 어렵습니다. 제가 여러 번 써본 결과, 원본 영상 대비 질감이 뭉개지는 느낌이 꽤 있습니다. 프롬프트에서 요청하지 않은 미세한 움직임이 생성 과정에서 끼어드는 경우도 있어서 가끔 깜짝 놀랐습니다. 간단한 장면조차 한 번에 원하는 결과를 뽑기가 생각보다 쉽지 않았습니다.
프롬프트 작성에서 한 가지 팁을 드리면, 모델 카드에 포함된 리라이팅 가이드를 꼭 참고하는 것이 좋습니다. "magic hour sunset from the left"처럼 조명 시간대와 방향을 함께 명시하면, 수치 노드 설정만 했을 때보다 더 의도에 가까운 결과물이 나왔습니다. 프롬프트 마지막에 방향 키워드를 한 번 더 반복하는 것도 효과가 있었습니다.
세로형 쇼츠 영상을 다룰 때는 이미지 확대 비율과 마스크 합성 노드의 좌표 조정이 필요합니다. 이게 머릿속 계산이 잘 안 된다면, 관련 노드를 뮤트(Mute) 상태로 놓고 하나씩 실행하면서 시각적으로 어색하지 않은 위치를 찾는 방식이 훨씬 수월했습니다. 정밀한 수치 계산보다 눈으로 확인하는 게 더 빠릅니다.
현재 시점 평가
개인적으로는 LTX 3.0 정도 되면 실제 작업에 쓸 만한 수준이 될 것 같다고 봅니다. 지금 2.3 버전은 "이 방향으로 가면 되겠구나"를 확인해 주는 단계라는 시각도 있고, "이 정도면 충분히 쓸 수 있다"는 시각도 있습니다. 저는 전자에 조금 더 기울어져 있지만, 무료 오픈소스라는 점을 감안하면 이 수준도 꽤 인상적인 건 분명합니다.
자주 묻는 질문
Q. LTX 2.3 리라이팅 모델은 실내 영상에도 쓸 수 있나요?
A. 공식 모델 카드 기준으로 이 모델은 야외 조명 변경에 특화되어 훈련되어 있습니다. 실내 영상에 적용했을 때 결과물이 어색하게 나오는 경우가 많아서, 현재는 야외 소스를 사용하는 쪽이 훨씬 안정적입니다.
Q. GGUF DISTILLED 모델이 일반 GGUF보다 좋은 건가요?
A. 단순히 좋고 나쁨보다는 용도 차이로 보는 게 맞습니다. DISTILLED 체크포인트 자체는 경량화된 구조라 가볍게 쓰기에 좋고, 베이스 모델에 DISTILLED LoRA를 결합해서 LoRA 강도를 조절하며 테스트하는 방식도 있습니다. 하드웨어 여건에 맞게 선택하면 됩니다.
Q. 결과물 영상 일부만 잘라서 써도 되나요?
A. 추론(Inference) 방식으로 작동하는 모델 특성상, 생성된 클립을 중간에 자르면 그 뒤 프레임에 영향이 생길 수 있습니다. 결과물이 마음에 들었다면 전체 클립을 그대로 사용하는 것이 오류를 방지하는 방법입니다.
Q. 세로형 쇼츠 영상도 리라이팅할 수 있나요?
A. 가능합니다. 다만 기본 워크플로우가 가로형 기준이라, 이미지 확대 비율과 마스크 합성 노드의 구체형 이미지 배치 좌표를 세로 비율에 맞게 수정해야 합니다. 관련 노드를 뮤트 상태로 두고 하나씩 실행해 위치를 잡아가는 방법이 실용적입니다.
결론
LTX 2.3 리라이트 LoRA는 분명히 방향은 맞습니다. 야외 영상의 조명 방향을 바꾸고, 그림자와 배경 질감까지 반영한다는 건 불과 얼마 전까지 유료 전문 도구에서나 기대할 수 있었던 일입니다. 그걸 오픈소스로 풀었다는 것만으로도 주목할 이유가 충분합니다.
다만 현재 버전에서 질감 손실과 의도치 않은 움직임 생성 문제는 실제로 체감됩니다. 저는 당장 실제 작업에 바로 투입하기보다 구조와 세팅을 익히는 단계로 활용하고 있습니다. 지금 써보면서 비디오 랭스 조정, 프롬프트 가이드 활용, GGUF 양자화 모델 선택 같은 부분을 몸에 익혀두면, 다음 버전이 나왔을 때 바로 쓸 수 있는 준비가 될 것 같습니다.