영상편집을 처음 시작했을 때, 10분짜리 영상에 자막 하나 달려고 두 시간을 붙잡고 앉아 있던 기억이 납니다. 그런데 요즘 Claude(클로드)의 Fable 5 모델을 활용하면 단 한 줄의 프롬프트만으로 예능 자막 수준의 디자인이 자동 생성된다는 걸 직접 확인했습니다. 처음엔 솔직히 과장된 이야기라고 생각했는데, 제가 직접 써봤더니 예상을 훨씬 넘는 결과물이 나왔습니다.
예능자막을 손으로 달던 시절 — 그 노가다의 기억
제가 영상편집을 처음 배울 때는 자막 작업이 말 그대로 체력전이었습니다. 영상을 5초 단위로 멈추고, 받아쓰고, 타임코드(Timecode)를 맞추고, 다시 재생하는 과정을 수십 번 반복해야 했습니다. 여기서 타임코드란 영상에서 특정 장면의 정확한 시간 위치를 나타내는 값으로, 자막이 화면에 등장하고 사라지는 시점을 정밀하게 맞추기 위해 반드시 확인해야 하는 수치입니다.
음질이 나쁘거나 발음이 뭉개지는 구간은 같은 부분을 열 번 넘게 들어야 했습니다. 그렇게 텍스트를 다 옮겨 적어도 문제는 끝나지 않았습니다. 자막 디자인을 영상 분위기에 맞게 잡는 작업이 또 하나의 산이었기 때문입니다. 폰트, 크기, 색상, 외곽선 두께까지 하나하나 건드려야 했는데 제 경우엔 아무리 손을 봐도 어딘가 어색한 느낌이 남아 있었습니다.
STT(Speech-to-Text), 즉 음성을 텍스트로 자동 변환해주는 기술이 등장하면서 받아쓰기 부담은 많이 줄었습니다. 그런데 초창기 STT 도구의 변환 정확도는 지금과 비교하면 현저히 낮았고, 결국 변환된 텍스트를 다시 영상과 대조해가며 수정하는 작업이 필요했습니다. 결과적으로 시간을 줄이는 효과는 있었지만, 자막 디자인 문제는 여전히 사람이 감당해야 할 영역으로 남아 있었습니다.
그 당시 제가 느낀 가장 큰 벽은 "센스의 영역"이었습니다. 예능 프로그램에서 보이는 그 특유의 팡팡 튀는 자막 디자인은 색감 감각이 없으면 흉내 내기가 어려웠습니다. 디자인 툴을 다룰 줄 알아도 어떤 조합이 그 영상에 맞는지를 아는 건 전혀 다른 문제였으니까요.
- 타임코드 맞추기: 자막 등장·퇴장 시점을 수동으로 하나씩 조정
- STT 오류 수정: 변환된 텍스트를 영상과 대조하며 재확인
- 디자인 작업: 폰트·색상·레이아웃을 분위기에 맞게 수작업
- 센스의 한계: 예능 자막 특유의 감각은 경험과 안목이 필요
프롬프트 한 줄로 바뀐 판 — 코워크 모드와 외부 디자인 참조
이번에 제가 직접 확인한 방법의 핵심은 Claude 데스크톱 앱의 코워크(Co-work) 모드입니다. 코워크 모드란 Claude가 로컬 환경, 즉 사용자의 컴퓨터 안에서 직접 파일을 분석하고 수정 작업을 수행하는 에이전틱(Agentic) 방식의 운영 모드를 말합니다. 쉽게 말해 사람이 옆에서 지켜보는 가운데 AI가 실제로 파일을 열고, 편집하고, 저장하는 과정을 실시간으로 수행한다는 뜻입니다.
제가 직접 써봤는데, 준비 과정은 생각보다 간단했습니다. Claude 데스크톱 앱을 설치하고, 자막을 입힐 원본 영상을 준비한 다음 코워크 모드에서 영상을 드래그 앤드롭으로 올립니다. 그리고 입력창에 "아이돌 자컨 스타일로 UI를 편집해 줘"라고 적고 실행하면 됩니다. 자컨이란 자체 제작 콘텐츠의 줄임말로, 아이돌 그룹이 자체적으로 제작해 올리는 유튜브 콘텐츠 특유의 감성적인 자막 스타일을 가리킵니다.
놀라웠던 부분은 Claude가 이 축약어를 전혀 막힘 없이 이해했다는 점입니다. 모델이 스스로 파스텔 큐트 계열의 스타일을 추천하고, 어떤 UI 요소를 배치할지 선택지를 제시했습니다. 제가 추천 항목을 골라주자 약 6분 만에 결과물이 나왔는데, 실제로 예능 프로그램에서 볼 법한 수준의 자막 디자인이 영상 위에 얹혀 나왔습니다. 제 경험상 이 정도 퀄리티를 수작업으로 뽑으려면 최소 두세 시간은 잡아야 했을 작업이었습니다.
여기에 하나 더, 외부 영상의 디자인을 직접 참조하게 하는 기능도 확인해봤습니다. 크롬 브라우저에 Claude 확장 프로그램을 설치한 뒤 참고하고 싶은 영상의 URL을 Claude에 붙여 넣고 "해당 영상의 디자인을 참고해서 반영해 줘"라고 추가 지시를 내리면, Claude가 해당 영상의 프레임을 하나씩 캡처해 디자인 요소를 분석하고 적용합니다. Anthropic이 공개한 기술 문서에 따르면 Claude의 멀티모달(Multimodal) 분석 능력, 즉 텍스트와 이미지를 동시에 이해하는 능력이 이 과정의 핵심입니다(출처: Anthropic 공식 발표).
"참고 영상의 하단 민트색 박스 스타일을 글자 디자인에 적용해 줘"처럼 세밀한 디렉션을 추가로 넣어줬더니 그 요소가 정확하게 반영된 결과물이 나왔습니다. 제가 예상했던 것보다 훨씬 정교하게 이해하고 있었습니다. 더 나아가 "포토 다이어리처럼 사진 프레임과 타임스탬프를 추가하고 낙서 효과를 활용해 브이로그 감성으로 편집해 줘"와 같이 복합적인 디렉션을 입력했을 때도 감성적인 브이로그 영상이 완성됐습니다. 가로형 영상뿐만 아니라 세로형 쇼츠(Shorts) 포맷에도 동일한 방식이 적용된다는 점은, 인스타그램 릴스나 유튜브 쇼츠를 주로 제작하는 분들에게는 특히 반가운 부분일 것 같습니다. 실제로 McKinsey Digital의 보고서에 따르면 AI 기반 콘텐츠 자동화 도구는 크리에이터의 반복 작업 시간을 평균 40% 이상 절감하는 효과를 보이는 것으로 나타났습니다(출처: McKinsey Digital).
다만 한 가지 짚고 싶은 부분이 있습니다. 현재 Fable 5 모델은 Max 구독자에게 자유롭게 개방돼 있고, Pro 사용자의 경우 별도 크레딧 충전이나 이벤트 참여를 통해 이용할 수 있습니다. 제 생각엔 Opus 4.8 모델로도 유사한 수준의 작업이 충분히 가능할 것으로 보이기 때문에, 구독 플랜에 따라 현실적인 선택을 하는 것이 좋겠습니다.
자주 묻는 질문
Q. Claude로 예능 자막 만들려면 무조건 Fable 5 모델을 써야 하나요?
A. 반드시 그런 건 아닙니다. Fable 5 모델이 현재 가장 높은 완성도를 보여주는 건 사실이지만, 제가 확인한 바로는 Opus 4.8 모델에서도 유사한 수준의 자막 편집 작업이 가능합니다. Fable 5가 Max 구독자에게만 무제한으로 열려 있는 만큼, 플랜에 따라 현실적인 선택을 하면 됩니다.
Q. 코워크 모드가 뭔가요? 일반 채팅이랑 다른 건가요?
A. 코워크(Co-work) 모드는 Claude가 단순히 텍스트 답변을 생성하는 것을 넘어, 사용자의 로컬 컴퓨터 환경에서 직접 파일을 열고 편집하고 저장하는 에이전틱(Agentic) 방식으로 작동하는 모드입니다. 쉽게 말해 AI가 직접 손을 움직여 작업하는 것을 옆에서 실시간으로 지켜볼 수 있는 구조입니다. 일반 채팅처럼 답변만 받는 게 아니라 실제 결과 파일이 생성된다는 점이 가장 큰 차이입니다.
Q. 외부 영상 디자인을 참조하게 하려면 어떻게 해야 하나요?
A. 크롬 브라우저에 Claude 확장 프로그램을 설치한 다음, 참고하고 싶은 영상의 URL을 Claude 입력창에 붙여 넣고 "해당 영상의 디자인을 참고해서 반영해 줘"라고 지시하면 됩니다. Claude가 확장 프로그램을 통해 해당 영상의 프레임을 하나씩 분석하고 디자인 요소를 추출해 적용하는 방식으로 진행됩니다. 민트색 박스처럼 구체적인 요소를 지정해서 추가 지시를 넣어주면 더 정교한 결과를 얻을 수 있습니다.
Q. 영상편집 경험이 없어도 이 방법을 쓸 수 있나요?
A. 기본적인 Claude 데스크톱 앱 설치와 코워크 모드 접근 방법만 익히면 편집 경험이 없어도 시도해볼 수 있습니다. 다만 어떤 프롬프트를 어떻게 입력하느냐에 따라 결과물의 퀄리티 차이가 꽤 나기 때문에, 다양한 표현을 조합해보는 연습은 필요합니다. 제 경험상 처음 몇 번의 시도를 통해 감을 잡고 나면 이후 작업은 훨씬 수월해집니다.
결론
솔직히 처음 이 소식을 접했을 때는 반신반의했습니다. 프롬프트 한 줄로 예능 자막 수준의 디자인이 나온다는 건 너무 이상적인 이야기처럼 들렸기 때문입니다. 그런데 제가 직접 써봤더니 정말 그 이상의 결과가 나왔습니다. 수작업으로는 두세 시간이 걸릴 작업이 6분 만에 완성되는 걸 눈으로 확인하고 나서는, 이게 단순한 편의 기능이 아니라 영상 제작 워크플로우(Workflow) 자체를 바꾸는 변화라는 생각이 들었습니다.
물론 이 도구가 전문 편집자의 창의성과 판단력을 완전히 대체한다고 보지는 않습니다. 어떤 분위기의 자막이 이 영상에 맞는지, 참조할 레퍼런스를 어떻게 골라야 하는지, 세밀한 디렉션을 어떻게 구성할지는 여전히 사람의 감각과 경험이 필요한 영역입니다. 다만 평균적인 퀄리티를 끌어올리는 데 있어서는 이 방법이 지금까지 제가 써본 어떤 도구보다 효과적이었습니다. 한 번 흐름을 익혀두면 앞으로의 영상 편집 작업이 훨씬 가벼워질 것 같습니다.