내 얼굴 AI 클론 아바타로 영상 만들기 자동화 : 현실적인 워크플로우

윤미정2026. 3. 25.조회 1

소개

AI 아바타를 활용한 유튜브 채널을 만들기 위해 전체 전략을 먼저 설계했다.
단순한 영상 제작이 아니라, 콘텐츠 → 자동화 → 수익화까지 이어지는 구조를 목표로 했다.

  • 영어권 대상 K-Beauty 공급망 인사이트 채널

  • AI 아바타 기반 롱폼 콘텐츠(숏폼에서 욕심 내서 롱폼)

  • 최종적으로 컨설팅/디지털 상품으로 수익화

처음 목표는 명확했다. 👉 “최대한 자동화해서 최소 노력으로 콘텐츠를 만든다”


진행 방법

전체 워크플로우를 먼저 설계했다.

🧩 전체 구조

  • 주제 한 줄 입력 → 자동 콘텐츠 생성

  • 사람은 최소 개입 (검수만)

⚙️ 자동화 모듈 설계

Claude Code 기반으로 다음 모듈을 구성했다:

  • Script Module

    • 타임스탬프 포함 영어 대본 생성

    • 아바타용 대본 분리

  • Diagram Module

    • 대본 기반 다이어그램 이미지 생성

  • Audio Module

    • ElevenLabs로 전체 내레이션 생성

  • Compose Module

    • FFmpeg로 영상 합성

    • (아바타 + 다이어그램 + 자막 + BGM)

  • Upload Module

    • YouTube 업로드 자동화

스크린샷 스크린샷 스크린샷 스크린샷 스크린샷 스크린샷 스크린샷

🧪 테스트

  • HeyGen으로 얼굴 AI 아바타 생성

  • 실제 영상 생성 테스트 진행


결과와 배운 점

❌ 시행착오

처음엔 “거의 완전 자동화”를 목표로 설계했다.

하지만 가장 답답했던 순간은 여기였다:

  • 퀄리티를 포기할 수 없다는 현실

  • 콘텐츠는 결국 사람이 신경 써야 한다는 점

👉 영상 초보에게 ‘딸깍 자동화’는 없었다


✅ 다음 할 일

  • Module 1 (Script)부터 먼저 개발

  • full_script.json을 모든 모듈의 기준으로 정의

  • 모듈을 분리해서 각각 테스트

  • 일부 과정은 사람 개입 유지 (HeyGen 등)

👉 핵심 변화: “완전 자동화” → “검증 가능한 반자동 구조”

빌드 순서:

  1. Module 1 (Script) 만들기 — 에피소드 #1 "I Built a K-Beauty Business, Burned Out, and Now I'm Starting Over with AI"로 테스트

  2. 대본 만족하면: Module 2 (Diagram) 만들기 — 에피소드 #1의 다이어그램 실제 생성

  3. 비주얼 만족하면: Module 3 (Audio) — ElevenLabs 연동

  4. 소재 다 모이면: Module 4 (Compose) — FFmpeg 합성

  5. 파이프라인 안정화 후: Module 5 (Upload) — YouTube 자동 업로드

모델 생성 과정을 보여주는 다이어그램의 스크린샷

💡 배운 점

  • 자동화는 한 번에 완성되지 않는다

  • 가장 중요한 건 코드가 아니라 데이터 구조(JSON 설계)

  • AI 콘텐츠의 퀄리티는 결국 스크립트에서 결정된다

그리고 가장 현실적인 결론:

👉 ‘딸깍’은 없지만, 엄청난 수고를 줄여주는 건 맞다


도움 받은 글 (옵션)

댓글 1

로그인하고 댓글을 작성하세요

김진영2026. 3. 26.

최대한 자동화해서 최소 노력으로 컨텐츠 만드는 이야기가 정말 멋집니다. 모듈은 바이브코딩으로 만드시는건가요?.

내 얼굴 AI 클론 아바타로 영상 만들기 자동화 : 현실적인 워크플로우 | GPTers