Gemini API x Claude Code: 캐릭터 기반 '사업정리컨설팅' 숏폼 제작 자동화 도전기

소개

• 시도하고자 했던 것: 사업정리컨설팅 현장의 민감한 정보를 보호하면서도 전문성을 갖춘 콘텐츠를 꾸준히 생산하기 위해, '만화형 숏폼' 제작 공정을 AI로 자동화하고자 했습니다.

• 이유: 실사 촬영은 초상권이나 현장 보안 이슈가 크지만, 만화형은 사례를 안전하게 가공할 수 있고 캐릭터를 통해 브랜드화가 유리하기 때문입니다.

진행 방법

• 사용 도구:

  • Gemini 1.5 Flash API: 빠른 속도와 저렴한 비용으로 숏폼 대본 및 이미지 생성을 위한 정교한 영어 프롬프트 생성.

  • Claude Code: 전체 워크플로를 조립하고 파이썬 스크립트(make_shorts.py)를 작성하여 실행하는 '자동화 엔진' 역할 수행.

  • ChatGPT (DALL-E 3): 웹툰 스타일의 일관성 있는 캐릭터(양주지도사, 사장님, 알림봇) 이미지 생성.

  • FFmpeg & MoviePy: 이미지, 자막, TTS 음성을 합성하여 최종 영상 파일(.mp4) 렌더링.

  • gTTS: 대본을 자연스러운 한국어 음성으로 변환.

• 활용 프로세스:

  1. Gemini API로 기획안에 근거한 30초 분량의 상황극 대본 생성.

  2. DALL-E 3를 이용해 '2D 심플 웹툰풍'의 캐릭터 자산 확보.

  3. Claude Code가 작성한 파이썬 스크립트로 이미지와 대사(TTS)의 타이밍을 맞춰 영상 조립.

• 사용한 프롬프트 예시 (이미지 생성):

  A high-quality 2D digital illustration in a clean professional Korean webtoon style. Focusing on Yangju Jidosa, a male business consultant in his late 30s, wearing a navy blue suit and glasses, holding a tablet with a checklist.

결과와 배운 점

• 배운 점: AI 모델(Gemini)은 기획과 프롬프트 작성을 담당하고, 로컬 도구(Claude Code, Python)는 조립을 담당하는 '역할 분담'이 자동화의 핵심임을 깨달았습니다.

• 시행착오: 처음에는 음성과 화면이 따로 노는 현상이 있었으나, 각 장면의 오디오 길이를 계산해 자막 노출 시간을 맞춤으로써 '싱크(Sync)' 문제를 해결했습니다.

• 꿀팁: 캐릭터 이미지를 생성할 때 white background 옵션을 주면 나중에 영상 합성 시 훨씬 깔끔합니다.

• 앞으로의 계획: 배경음악(BGM)과 효과음을 자동 삽입하는 기능을 고도화하고, 주 1회 10개 이상의 영상을 일괄 생산하는 배치 시스템을 구축할 예정입니다.

도움 받은 글 (옵션)

• 사업정리컨설팅 숏폼 제작 기획안 (챗GPT 생성본)