영상 제작 왕초보 AI로 유튜브 첫 영상을 만들기까지

📝 한줄 요약

ElevenLabs, HeyGen, Claude Code 세 가지 AI 도구를 조합해서, 영상 제작 경험 없이 유튜브 영상을 혼자 완성했습니다.

바쁘시면 이것만 읽어도 돼요:

• ElevenLabs(음성) + HeyGen(아바타) + Claude Code(영상 합성)로 유튜브 영상 제작

• 영상 편집 프로그램 없이, AI에게 "아바타를 원형으로 잘라서 우하단에 넣어줘" 같은 자연어로 요청

• 처음부터 완벽하게 만들려 하지 말고, 테스트 영상을 빠르게 여러 번 돌려보는 게 핵심

• 가로세로 비율 같은 세부 조정은 AI에게 구체적으로 뭐가 이상한지 말해주면 바로 수정 가능

• 한번 만든 파이프라인은 스크립트만 바꾸면 다음 에피소드에도 재사용 가능

🎯 이런 분들께 도움돼요

• 유튜브를 시작하고 싶지만 영상 제작이 막막한 비개발자

• 영상 외주 비용이 부담인 1인 사업가

• AI 도구를 실제 업무에 활용해보고 싶은 분

😫 문제 상황 (Before)

K-Beauty 서비스를 해외 크리에이터와 인플루언서를 대상으로 홍보 영상이 필요했습니다. 유튜브 채널을 만들어서 시리즈 콘텐츠를 올리고 싶었는데, 문제는 영상 제작 경험이 전혀 없다는 것.

영상 외주를 맡기자니 비용이 부담이고, 직접 만들자니 편집 프로그램부터 배워야 하는 상황. "AI로 어디까지 할 수 있을까?" 하는 궁금증에 직접 도전해보기로 했습니다.

🛠️ 사용한 도구

• ElevenLabs: 내 목소리와 비슷한 AI 음성 선정

• HeyGen: 클론 아바타 영상 생성

• Claude Code: 영상 스크립트 작성, 슬라이드 이미지 생성, 영상 합성 자동화

⸻

🔧 작업 과정

목소리 찾기 — ElevenLabs에서 나와 비슷한 음성 고르기

가장 먼저 한 건 내 영상에 쓸 목소리를 정하는 것이었습니다. ElevenLabs에 들어가서 다양한 AI 음성을 하나하나 들어보면서, 내 실제 목소리와 가장 비슷한 음성을 골랐습니다. 단순히 좋은 목소리가 아니라 "내 목소리 같은" 음성을 찾는 게 포인트였어요. 선정 후 API 키를 가져왔습니다.

아바타 만들기 — HeyGen으로 클론 영상 생성

선정한 음성과 나레이션 텍스트를 HeyGen에 넣어서 1분짜리 클론 아바타 영상을 만들었습니다. 카메라 앞에서 직접 촬영하지 않아도, AI가 내 모습과 목소리로 말하는 영상을 생성해주는 거죠.

스크립트 설계 — Claude Code에게 영상 구조 짜달라고 하기

아바타 영상이 준비되니, 이제 어떤 화면 구성으로 영상을 만들지 설계할 차례. Claude Code에게 요청했습니다.

K-Beauty 유튜브 영상 에피소드 스크립트를 만들어줘. 1분짜리 동기부여 훅 영상이고, 크리에이터/인플루언서 대상으로 한국 뷰티 시장 기회를 소개하는 내용이야.

Claude Code가 만들어준 건 단순한 대본이 아니었습니다. 1분 영상을 5개 세그먼트로 나누고, 각 세그먼트마다 화면 타입(아바타 풀스크린 / 통계 슬라이드 + 아바타 PIP), 나레이션, 타임코드까지 설계된 구조화된 스크립트였어요.

• 0:00~0:12 — "$600B 글로벌 뷰티 시장" 통계 슬라이드 + 아바타 PIP

• 0:12~0:22 — 아바타 풀스크린 (시청자에게 직접 호소)

• 0:22~0:32 — 한국 뷰티 수출 통계 슬라이드 + 아바타 PIP

• 0:32~0:48 — 한국의 4대 강점 다이어그램 + 아바타 PIP

• 0:48~0:59 — 아바타 풀스크린 (클로징)

유튜브 제목, 설명, 태그, 챕터 정보까지 한 번에 만들어줘서 업로드 준비까지 같이 됐습니다.

슬라이드 제작 — 통계 이미지 자동 생성

스크립트에 맞는 슬라이드 이미지도 Claude Code에게 맡겼습니다.

스크립트에 맞는 슬라이드 이미지들을 만들어줘. 다크 배경에 코랄 액센트 색상으로, 시네마틱한 느낌으로.

"$600B" 히어로 통계, 한국 뷰티 수출 3대 통계, 한국의 4대 강점 다이어그램까지 — 다크 배경에 코랄 액센트 색상으로 통일된 슬라이드 3장이 만들어졌습니다.

영상 합성 — "아바타를 원형으로 잘라서 우하단에 넣어줘"

여기가 가장 인상적이었던 부분입니다. 아바타 영상과 슬라이드 이미지를 합쳐야 하는데, 영상 편집 프로그램을 쓸 줄 모르니까 Claude Code에게 이렇게 요청했습니다.

아바타 영상과 다이어그램 이미지를 합성하는 스크립트를 만들어줘. 아바타를 원형으로 잘라서 우하단에 넣어줘.

FFmpeg라는 영상 처리 도구의 복잡한 명령어를 Claude Code가 알아서 만들어줬습니다. 원형 마스크 처리, 세그먼트별 시간에 맞춰 화면 전환, 슬라이드 위에 아바타 작게 띄우기까지 — 직접 짤 엄두도 못 냈을 작업이 자연어 요청 한 번으로 완성됐어요.

디버깅 — 테스트 영상 12번 돌려보기

물론 한 번에 완벽하진 않았습니다. 가로로 긴 아바타 영상을 넣었더니 얼굴이 쭉 늘어나서 나온 적도 있었어요. 가로세로 비율을 제대로 맞추지 못한 거죠.

이런 문제가 생기면 Claude Code에게 "얼굴이 가로로 늘어났어, 비율 맞춰줘" 하고 구체적으로 뭐가 이상한지 말해주면 바로 수정해줍니다. Claude Code가 스스로 테스트 영상을 12번 넘게 만들면서 조금씩 다듬어 나갔고, 아직 완벽하진 않지만 파이프라인 자체는 동작하는 상태까지 왔습니다.

⸻

✅ 결과 (After)

Before vs After

현재 상태

• 영상 합성 파이프라인은 동작하는 상태 (아바타 + 슬라이드 합성 가능)

• 아바타 품질, 비율 조정 등 세부 튜닝이 아직 필요한 테스트 단계

• 완성도를 높여서 실제 유튜브 업로드를 목표로 진행 중

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. 각 AI 도구의 강점을 조합하기 — 음성은 ElevenLabs, 아바타는 HeyGen, 코딩과 합성은 Claude Code. 하나의 도구로 다 하려 하지 않고 역할을 나누니 결과가 훨씬 좋았습니다.

2. 처음부터 완벽하게 만들려 하지 않기 — 테스트 영상을 빠르게 여러 번 만들어보면서 수정하는 게 훨씬 효율적이었습니다. 12번 넘게 테스트했지만 그게 오히려 빨랐어요.

3. 문제가 생기면 구체적으로 말하기 — "이상해"보다 "얼굴이 가로로 늘어났어"라고 말해야 AI가 정확히 수정합니다.

이렇게 하면 안 돼요

1. 처음부터 완벽한 결과를 기대하지 마세요 — AI도 한 번에 완벽하진 않습니다. 특히 영상 비율 같은 세부사항은 테스트하면서 잡아야 해요.

2. 하나의 AI 도구로 모든 걸 해결하려 하지 마세요 — 음성, 아바타, 코딩 각각 잘하는 도구가 다릅니다.

🌍 다른 업무에 적용한다면?

• 제품 소개 영상: 스크립트 구조만 바꾸면 제품별 소개 영상도 같은 방식으로 제작 가능

• 교육/온보딩 영상: 사내 교육 자료나 고객 온보딩 영상을 아바타로 제작

• 다국어 콘텐츠: ElevenLabs로 다른 언어 음성을 선택하면 같은 영상을 여러 언어로 확장 가능

🚀 앞으로의 계획

• 아바타 품질 개선: HeyGen에 제공하는 원본 영상을 다시 촬영할 예정. 원본 영상 품질이 낮으면 AI가 자동 보정하면서 실제 얼굴과 달라지는 문제가 있어서, 조명 셋팅을 제대로 하고 고품질로 촬영하려 합니다.

• 콘텐츠 퀄리티 강화: Remotion 외에도 NanoBanana로 이미지 생성, 웹에서 사진 수집 등 비주얼 다양화

• 완전 자동화 파이프라인: 자막, BGM, 인트로/아웃트로까지 자동화해서 스크립트 하나로 완성된 영상이 나오는 구조를 만들 계획