솔직히 이건 예상 밖이었습니다. 시댄스 2.5에서 멀티모달 입력을 50개까지 받는다길래 그냥 다 넣어버리면 되겠다 싶었는데, 막상 해보니 30개 캐릭터를 등장시키는 것조차 생각보다 훨씬 손이 많이 갔습니다. 클로드와 미드저니를 연결해 가며 30초짜리 영상 하나를 만드는 과정, 그 안에서 배운 것들을 정리해 봤습니다.
30캐릭터 영상, 처음 시도는 완전히 망했습니다
제가 처음 잡은 구상은 이랬습니다. 원피스 실사 느낌이되 원피스 캐릭터는 아닌, 주인공과 동료 8명, 그리고 적 40명이 청량한 바다에서 뒤섞여 싸우는 30초짜리 영상. 야심찬 기획이었습니다.
클로드 오퍼스에게 캐릭터 기획을 맡겼더니 뼈령단, 난파선 무덤, 각종 어두운 설정들을 줄줄이 뽑아냈습니다. 제가 원한 건 스파이더맨처럼 배 위를 뛰어다니며 붉은색 전기 주먹을 날리는 경쾌한 느낌이었는데, 결과물은 영락없이 어두운 해양 판타지였습니다. 그래서 방향을 잡아줬습니다. 에메랄드 바다, 쨍한 파란 하늘, 재기발랄한 캐릭터들로. 클로드는 바로 알아듣고 취주학회단, 미식계 적단, 비누방울 적단, 황금공작단 같은 유쾌한 이름의 집단들을 짜줬습니다.
미드저니 8.2에서 이미지를 찍어내는 건 빨랐습니다. 스탠더드, 8.21, 스타일 100, 16:9 로우 설정으로 고정하고 클로드가 뽑아준 미드저니 프롬프트를 하나씩 복사해 붙였습니다. 이 작업이 생각보다 빠르게 끝났고, 서커스 캐릭터, 광대 적단, 요리사, 피터팬 느낌의 인물까지 꽤 개성 있는 이미지들이 나왔습니다.
문제는 그다음이었습니다. 시댄스 2.5의 옴니 레퍼런스(Omni Reference) 기능, 쉽게 말해 여러 이미지나 영상을 동시에 참조 소재로 넣어 AI가 각 에셋의 특성을 반영해 영상을 생성하는 기능인데, 여기에 이미지 50장을 전부 넣으려다가 막혔습니다. 최대 이미지 30장, 동영상 10개, 오디오 10개로 슬롯이 나뉘어 있었던 겁니다. 이미지 50장을 한꺼번에 넣는 건 애초에 불가능한 구조였습니다.
클로드에게 30개 선별을 맡기고, 4,800자 분량의 영어 프롬프트를 만들어 첫 번째 영상을 돌렸습니다. 결과물은 솔직히 말해 엉망이었습니다. 전개는 개판이고, 캐릭터들이 그냥 차례차례 등장하기에 급급했습니다. 스토리가 흐르는 게 아니라 소개 슬라이드를 보는 느낌이었습니다.
- 미드저니 설정: 스탠더드, 8.21, 스타일 100, 16:9, 로우(raw)
- 옴니 레퍼런스 슬롯: 이미지 최대 30장 / 동영상 10개 / 오디오 10개 (총 50개)
- 프롬프트 상한선: 5,000자 초과 시 입력 불가 → 실사용 권장은 4,800자 이내
멀티모달 50개, 숫자에 속으면 안 됩니다
첫 번째 영상 실패 이후 클로드를 상당히 몰아붙였습니다. 음악 제거, 주인공 시점 중심 재편, 전환 방식 개선, 캐릭터들이 단순 노출이 아니라 실제로 싸우는 장면으로 바꿔달라고 요청했고, 미드저니 이미지를 그대로 재현하려는 경향을 버리고 이미지는 참고 소재일 뿐이라는 점도 명확히 했습니다. 그렇게 수정한 결과물이 처음 영상과 비교할 때 훨씬 나았습니다. 주인공이 이동하며 상황이 펼쳐지는 흐름이 생겼고, 적어도 오프닝 영상다운 전개감은 나왔습니다.
그런데 이 과정에서 제가 더 중요하게 느낀 건 멀티모달 입력 개수에 대한 오해였습니다. 50개라는 숫자를 수용 상한선으로 이해해야지, 권장 최적 수량으로 착각하면 안 됩니다. 제가 직접 써봤는데, 2.0 버전도 10개까지 받지만 5개만 넘어가면 중복 출력이 쏟아지기 시작합니다. 2.5가 됐다고 30장을 전부 넣는다고 결과가 좋아지는 게 아닙니다.
바이트댄스가 공식적으로 밝힌 포지셔닝도 이 점을 뒷받침합니다. 안정적인 출력을 위한 최적 소재 구간은 2.0과 크게 다르지 않으며, 50개 상한선은 복잡한 다중 캐릭터·다중 스타일 혼합 프로젝트처럼 소재 라이브러리를 대량으로 사전 로딩해야 하는 특수 시나리오를 위한 확장 기능이라는 설명입니다(출처: Vidu 공식 페이지). 제 경험상 이건 좀 다르게 읽힙니다. 10명 캐릭터 이미지 10장, 그들의 목소리 오디오 10개, 배경 참고 영상 몇 개를 동시에 넣어서 각 캐릭터가 대사를 주고받는 장면을 만드는 것, 혹은 하나의 밀실 공간에 소품 이미지, 인물 캐릭터, 동작 참고 영상, 목소리, 나레이션 오디오를 모두 넣어 정교하게 제어하는 것. 이런 식의 확장 시나리오에서 50개 슬롯이 진짜 힘을 발휘할 가능성이 있습니다.
중요한 건 투입 소재 수가 아니라 각 소재가 AI에게 무엇을 전달하는지입니다. 그리고 그 설명을 담는 프롬프트의 밀도가 영상 퀄리티를 결정합니다. 제가 4,800자 프롬프트를 고집한 이유도 여기 있습니다. 경험상 프롬프트가 길수록, 그리고 영어로 작성할수록 30초 영상의 완성도가 확연히 달랐습니다.
연장 기능, 아직은 검열 장벽이 먼저입니다
시댄스 2.5에서 제가 가장 테스트하고 싶었던 건 사실 영상 연장(Extend) 기능이었습니다. 기존 30초 영상을 AI가 인식해서 뒷이야기를 이어 만들어주는 기능인데, 이렇게 30초씩 붙이면 최대 180초짜리 영상을 만들 수 있다는 설명이었습니다.
영상 연장 기능(Video Extend)이란 이미 생성된 영상의 장면 일관성, 캐릭터 외형, 조명, 모션 스타일을 보존하면서 이후 장면을 자동으로 이어 생성하는 기능입니다. 기존에는 장면이 바뀔 때마다 새 프롬프트로 처음부터 만들어야 했기 때문에, 복잡한 서사를 가진 영상에서 캐릭터 일관성이 무너지는 게 가장 큰 문제였습니다. 이 기능이 그 문제를 직접 겨냥하고 있습니다.
그런데 제가 직접 테스트해보니 연장 자체보다 검열 문제가 먼저 발목을 잡았습니다. 연장 버튼을 누르면 "제3자 콘텐츠 관련 우려 사항이 있을 수 있습니다"라는 메시지가 뜨며 막히는 경우가 반복됐습니다. 이미지 생성 단계에서도 특정 캐릭터가 현실 인물이나 유명 캐릭터를 연상시킬 경우 이미지 자체가 시댄스에 등록되지 않는 상황이 있었습니다. 그 이미지를 제외하고 30개를 다시 구성한 이유가 여기 있습니다.
공식 문서에 따르면 시댄스 2.5는 캐릭터 식별 및 장면 일관성 보존 성능이 이전 버전 대비 개선됐다고 밝히고 있습니다(출처: Vidu 기술 문서). 가능성은 분명히 있습니다. 다만 제 경험상 지금 당장 연장 기능을 안정적으로 활용하려면 캐릭터 설계 단계부터 검열에 걸리지 않을 오리지널 에셋을 만드는 데 더 신경 써야 합니다. 연장 기능 자체의 완성도 테스트는 조금 더 미뤄야 할 것 같습니다.
자주 묻는 질문
Q. 시댄스 2.5에서 이미지 50개를 다 넣으면 영상이 더 잘 나오나요?
A. 제가 직접 테스트해본 결과, 그렇지 않습니다. 50개는 시스템이 허용하는 상한선이지 권장 입력 수가 아닙니다. 이미지만 해도 최대 30장까지만 들어가고, 소재가 많아질수록 중복 출력이 늘어나는 경향이 있습니다. 소재 수보다 각 소재의 역할을 명확히 하는 프롬프트 설계가 훨씬 중요합니다.
Q. 시댄스 2.5 프롬프트는 한글로 써도 되나요?
A. 한글로도 입력이 되지만, 제 경험상 영어 프롬프트로 작성했을 때 30초 영상의 완성도가 눈에 띄게 달랐습니다. 특히 긴 서사를 담을 때는 영어로 4,000~4,800자 수준으로 작성하는 걸 권장합니다. 5,000자를 넘기면 입력 자체가 막히는 경우가 있었습니다.
Q. 시댄스 2.0과 2.5, 체감 퀄리티 차이가 크게 납니까?
A. 같은 프롬프트로 비교해봤을 때 영상 자체의 화질이나 애니메이션 퀄리티가 드라마틱하게 좋아진 느낌은 아니었습니다. 2.5의 핵심 차이는 30초 생성과 연장 기능, 그리고 멀티모달 슬롯 확장에 있습니다. 복잡한 설정을 AI에게 정확히 이해시켜야 하는 프로젝트라면 2.5를 쓸 이유가 생기는 구조입니다.
Q. 미드저니 이미지가 시댄스에 등록 안 되는 경우가 있던데 왜 그런가요?
A. 생성한 이미지가 실존 인물이나 유명 IP 캐릭터를 연상시킨다고 시스템이 판단하면 등록 자체가 차단됩니다. 캐릭터 설계 단계부터 특정 원작을 지나치게 따라가지 않는 오리지널 외형으로 만드는 게 이 문제를 피하는 현실적인 방법입니다.
결론
시댄스 2.5를 한마디로 정리하면, 더 나은 영상을 만들어주는 도구가 아니라 더 복잡한 설정을 이해시킬 수 있게 된 도구입니다. 30초 생성, 최대 180초 연장, 멀티모달 50개 슬롯. 이 기능들이 의미 있는 건 영상 한 편에 캐릭터, 소품, 목소리, 동작 레퍼런스를 동시에 주입해서 AI가 제대로 이해한 채 만들어내는 정교한 제작 방식이 가능해졌기 때문입니다.
다만 숫자에 현혹되지 않는 게 중요합니다. 50개 슬롯을 꽉 채우는 게 목표가 아니라, 그 슬롯을 어떤 조합으로 채울지 설계하는 게 먼저입니다. 연장 기능도 검열 문제가 잡히는 시점부터 본격적으로 활용할 수 있을 것 같습니다. 지금 당장은 30초 영상 안에서 멀티모달 슬롯을 어떻게 구성하느냐에 더 집중하는 게 현실적인 접근이라고 봅니다.