AI 숏폼 영상 자동 생성 파이프라인 적용기(리모션 활용)

## "AI가 정장을 지워버렸다" — 퇴근 없는 채널 첫 번째 에피소드 제작기

---

### 한 줄 요약

> 크리에이터가 캐릭터 설정과 시나리오 아이디어를 건네면,

> AI 파이프라인이 이미지 → 영상 → 나레이션 → 자막까지 자동으로 만들어 낸다.

> 오늘의 결과물: 21초짜리 시니어 코미디 숏폼 영상 1편, 제작 시간 약 15분.

---

### 채널 소개: 퇴근 없는 채널 (강남시니어영상공장)

대치평생학습관 러닝카페를 배경으로, AI와 영상 편집을 배우는 6070 시니어들의 유쾌한 일상을 담는 채널이다. 채널의 철학은 단 하나—

"경력은 많고 조회수는 적다."

완벽한 결과물이 목표가 아니다. 기계와 싸우다가 만들어지는 엉뚱한 실수, 그 실수를 예술로 승화시키는 순간이 콘텐츠다. 노인을 무능하게 그리지 않는다. 시니어의 실수는 언제나 "새로운 예술의 탄생"이다.

---

### 에피소드 아이디어: AI 배경 제거의 반전

이번 에피소드의 씨앗은 이 한 줄이었다.

> "배경 제거를 눌렀는데 배경은 그대로고 대표님 정장만 사라졌다."

이것을 3막 구조로 풀었다.

1막 (0~8초) — 자신만만한 예고

Sean 대표가 비타민 리에게 AI 배경 제거 기능을 설명한다.

"리 여사님, 이게 바로 '딸깍'의 마법입니다."

2막 (8~16초) — 반전

비타민 리가 버튼을 누른다. 배경은 그대로다.

Sean의 네이비 정장만 감쪽같이 사라지고, 흰 런닝셔츠가 드러난다.

"어? 내 옷 어디 갔어요?"

3막 (16~24초) — 승화

캡틴 멘토가 등장한다. 안경을 고쳐 쓰고 엄지를 치켜든다.

"허허, 이게 바로 '누드 톤' 예술 아니겠습니까? 괜찮습니다, 이게 바로 시니어의 '파격'이죠."

세 사람이 함께 웃으며 영상이 끝난다.

---

### AI 파이프라인이 실제로 한 일

이 아이디어를 실제 영상으로 만들기까지 AI가 처리한 단계를 정리했다.

#### Step 1. 시나리오 → scenario.yaml

크리에이터가 제공한 세계관(캐릭터, 톤, 금기)과 씬 묘사를 바탕으로

구조화된 시나리오 파일을 생성했다.

각 씬에는 id, 상황 설명, 나레이션, 대사, 감정, 카메라 지시가 포함된다.

#### Step 2. 시나리오 → 영어 프롬프트 (Gemini)

Gemini LLM이 한국어 시나리오를 읽고,

fal.ai 이미지/영상 API에 최적화된 영어 프롬프트로 변환했다.

- 이미지: "Place this character in a cozy watercolor-style cafe. Sean is holding a smartphone... Keep the character's face, hair, and outfit exactly as shown. Vertical 9:16 composition."

- 영상: "Rapid dolly in to Sean's wide-eyed, shocked face. No text, no subtitles, no captions, no watermark."

수채화 터치가 가미된 세련된 시니어 캐릭터 스타일을 일관되게 유지하기 위해

"Place this character in..." 패턴을 사용했다.

#### Step 3. 프롬프트 → 이미지 + 영상 + 나레이션 생성

| 도구 | 용도 | 결과 |

| fal.ai nano-banana-2 | 씬별 이미지 생성 (9:16, 2K) | scene1~3.png (각 7MB) |

| fal.ai Grok Imagine Video | 이미지→영상 변환 (8초, 480p) | scene1~3.mp4 |

| Typecast TTS | 한국어 나레이션 음성 합성 | narration1~3.wav |

| Whisper Scribe v2 | 음성→자막 타이밍 추출 | 씬당 9~16개 단어 타이밍 |

#### Step 4. Remotion으로 최종 조립

Remotion이 씬 영상 3개를 이어붙이고,

카라오케 스타일 자막(하단)과 훅 배너(상단)를 오버레이했다.

```

훅 배너: "대표님 옷이... 사라졌다?! 😱"

카라오케 자막: 나레이션 단어가 하나씩 강조되며 표시

키워드: 시니어AI, 배경제거대참사, 퇴근없는채널 (골드 색상 강조)

```

<지시한 내용>

1. 크리에이티브 디렉터 페르소나 설정 — AI에게 부여한 역할

2. 세계관 및 배경 — 장소, 톤, 주제

3. 주요 캐릭터 설정 — Sean, 비타민 리, 마스터 정, 캡틴 멘토

4. 작업 규칙 — 숏폼 형식, 금기사항

5. 에피소드 장면 상황 설명 — 3씬 타임라인

6. 주요 대사 — 캐릭터별 대사

7. 영상 말미 고정 멘트 — 채널 슬로건

8. 이미지 생성 프롬프트 — Sean 캐릭터 영어 프롬프트

9. 최종 실행 지시 — 리모션으로 영상 생성 요청

최종 결과: gnsvfc_final.mp4 — 33.9 MB, 21.3초

https://youtube.com/shorts/JHm-noJDTKI?feature=share

---

### 만들면서 생긴 일들

완벽하게 한 번에 되지 않았다. 중간에 생긴 일들도 기록해 둔다.

1. fal.ai 잔액 부족

이미지 생성 단계에서 API 호출이 막혔다.

잔액 충전 후 재시도. 이미 생성된 파일은 건너뛰는 로직 덕분에 처음부터 다시 할 필요가 없었다.

2. 영상 duration 제한

시나리오에서 씬1을 15초, 씬2를 25초로 기획했지만

Grok Imagine Video API는 최대 10초 제한이 있었다.

모든 씬을 8초로 조정했다. 나레이션이 영상보다 길어도 Remotion이 알아서 처리해 준다.

3. ffmpeg PATH 문제

에셋 믹싱 단계에서 ffmpeg을 찾지 못했다.

프로젝트에 이미 ffmpeg_extracted/ 폴더가 있었고,

실행 시 PATH에 추가해서 해결했다.

---

### 크리에이터 입장에서 달라진 것

| 기존 방식 | AI 파이프라인 |

| 캐릭터 이미지 직접 그리기/찍기 | 텍스트 프롬프트 → 자동 생성 |

| 영상 촬영 및 편집 | 이미지 → 영상 자동 변환 |

| 나레이션 녹음 | TTS 자동 합성 |

| 자막 수동 타이핑 | Whisper 자동 추출 |

| 영상 조립 | Remotion 자동 렌더링 |

| 예상 소요: 수 시간 | 실제 소요: 약 15분 |

---

### 다음 에피소드 아이디어

이번 에피소드에서 발견한 것이 있다.

"실수가 콘텐츠가 된다"는 공식이 잘 작동한다.

다음 아이디어 후보:

- 마스터 정이 AI에게 "밥 먹었니?"라고 물어봤더니 레시피를 내놓은 사건

- 비타민 리가 자기 사진을 AI로 편집했더니 30살이 된 사진이 나온 사건

- Sean 대표가 자막을 자동 생성했더니 이름이 "씐" 으로 표기된 사건

---

### 마치며

"경력은 많고 조회수는 적은, 퇴근 없는 채널이었습니다."

이 채널의 엔딩 멘트는 자조가 아니다.

60대, 70대가 AI 툴을 배우고, 실수하고, 웃으며 계속 만들어 나간다는 선언이다.

=======================================================

추가 보완 작업

자막이 깨진 부분을 찾아서 정확히 변경해 주고, 스마트폰 속의 사람 옷만 지우고 밖에 있는 사람 옷은 입혀서 다시 보완 작성해줘

https://youtube.com/shorts/CZKjXC_2FDI