AI UGC 영상 파이프라인

ai-ugc-video-pipeline

숏폼 AI 발표자 마케팅 영상(토킹헤드 + 실제 제품 영상 + 자막)은 최종 파일을 실제 기기에서 재생하기 전까지는 드러나지 않는 특정 실패 모드를 가집니다. ffprobe나 타임라인을 탐색하는 스크립트로는 발견되지 않죠. 이 파이프라인은 배포 전에 이러한 문제를 잡아내는 게이트 방식이며, 한 번 알고 나서도 다시 실수하기 쉬운 두 가지 오디오 버그도 함께 해결합니다.

사용 시기

• 숏폼(세로 9:16) AI 발표자 제품/마케팅 영상을 제작할 때
• 기존 영상을 재편집하거나 반복 작업할 때
• AI 생성 토킹헤드 영상 + 실제 화면 캡처 + 생성 자막을 ffmpeg로 조립하는 모든 파이프라인

필수 단계 순서 — 각 단계가 다음 단계를 게이트합니다

1. 준비 (이 단계가 통과될 때까지 비용 지출 금지). 현재 발표자/음성 생성 모델 환경을 조사합니다(이 API의 가격과 엔드포인트는 매월 변경되므로 라이브 제공업체 문서를 기준으로 확인). 여러 스크립트 변형을 작성하고, 텍스트 판정기로 하나를 선택하며, 사용할 얼굴/음성 참조 자료(사용 신원에 대한 실제 문서화된 동의 포함)를 준비하고, 합성할 실제 제품 영상을 캡처하며, 루브릭과 엄격한 예산 상한선을 설정한 후 비용을 지출합니다.
2. 교정. 본격적인 촬영 전에 하나의 짧고 저렴한 클립을 먼저 생성하여 프레이밍과 신원 수용 여부를 검증합니다. 프레이밍이 잘못된 경우, 모델 선택을 바꾸지 말고 모델에 제공하는 참조 이미지를 수정합니다.
3. 생성. 최소한의 신중한 촬영. 하나의 제공업체/모델이 성능이 부족하다는 증거가 있을 때만 A/B 비교를 수행합니다. 요청을 무분별하게 보내지 마세요. 점수가 정체되면 생성을 중단하고, 유료 반복 횟수에 상한을 둡니다(예: 점수가 계속 상승하지 않으면 2회 이후 중단).
4. 조립. 최종 조립에는 ffmpeg의 concat 필터(디먹서 아님)를 사용합니다(아래 오디오 버그 참조). 다시 빌드할 때마다 새 파일명을 사용합니다. 절대 덮어쓰지 마세요. 그래야 마지막 정상 버전과 차이점을 비교할 수 있습니다.
5. 검증. 미디어 검증 게이트(아래 참조)와 모든 스크립트/자막/카피 자산에 대한 텍스트/정직성 사전 점검을 실행합니다. 게이트에 실패하면 배포하지 않습니다.
6. 배포. 짧은 평가/메모 문서와 함께 최종 승인을 위해 사람에게 파일을 전달합니다. 모든 플랫폼 게시는 항상 사람이 결정합니다. 자동 게시는 절대 안 됩니다. 발표자가 사실적인 합성 초상인 경우, 영상 내 공개를 별도로 선택했더라도 플랫폼의 AI 콘텐츠 공개 토글을 사용합니다.

보호하지 않으면 조용히 배포되는 두 가지 오디오 버그

1. 세그먼트의 오디오 트랙이 비디오 트랙보다 짧습니다(음성 해설이 비디오 클립보다 먼저 끝남). 스트림 복사 concat을 사용하면 오디오 타임라인이 미끄러져 최종 파일 중간에 사실상 일찍 종료됩니다. 해결책: 모든 세그먼트의 오디오를 비디오 길이에 맞게 패딩하고, 연결 전에 모든 세그먼트를 동일한 샘플레이트/채널 수로 정규화합니다.
2. 패딩을 해도 concat 디먹서는 오디오 길이 반올림으로 인해 아주 작은(~0.1초) 패킷 타이밍 간격을 남길 수 있습니다. ffmpeg나 전사 도구처럼 직선 디코딩하는 도구는 이 간격을 잘 통과하며 아무 문제도 감지하지 않습니다. 하지만 일부 실제 플레이어는 첫 번째 간격에서 오디오가 완전히 멈추므로, 자동 검사를 "통과"한 파일도 실제 시청자에게는 깨진 상태일 수 있습니다. 해결책: 최종 조립을 디먹서가 아닌 단일 패스 concat 필터로 수행하고, 오디오 리샘플링을 연속적인 갭 없는 타임라인으로 강제합니다.

두 버그를 모두 잡는 프로브: 최종 파일의 오디오 패킷 타임스탬프를 스캔하여 50ms보다 큰 간격이 있는지 확인합니다. 실제 플레이어가 미디어를 소비하는 방식(연속 디코딩 + 전체 파일 전사)으로 검증하세요. 타임스탬프를 탐색하고 샘플링하는 방식으로는 잡으려는 간격을 자동으로 재동기화하여 조용히 통과할 수 있습니다.

판정기 프로토콜 — LLM 판정기는 미디어에서 환각을 일으키므로 교차 검증하세요

• 고정된 중간 수준의 압축 프록시를 기준으로 점수를 매깁니다(너무 공격적인 압축은 아티팩트를 과장하고 콘텐츠가 아닌 포맷에 대해 점수를 왜곡합니다).
• 판정기가 주장하는 오디오 관련 내용은 결정론적 프로브(위 패킷 갭 스캔 + 전사)로 항상 교차 검증한 후 조치하세요. 판정기가 "결함"이라고 부르는 것은 옳을 수도 있고 틀릴 수도 있으며, 이유가 잘못되었을 수도 있습니다. 직감으로 신뢰하거나 무시하지 말고, 먼저 결정론적 검사를 실행한 후 결정하세요.
• A/B 비교의 경우: 동일한 오디오 트랙, 고정된 기준, 일관된 순서를 사용하고 엄격한 구조화된 출력을 강제합니다. 자유 텍스트 판정기 의견은 실행하기 어렵고 합리화하기 쉽습니다.
• 판정기가 가혹할 것이라고 예상하세요. 증거(모든 결정론적 게이트 통과 + 실제 사람 승인)를 바탕으로 배포하고, 판정기의 단독 판결만으로 배포하지 마세요.

정직성 및 안전 게이트 — 분위기 확인이 아닌 코드로 인코딩하세요

모든 스크립트/자막/카피 자산에 대해 자동 사전 점검을 실행합니다.

• 제품의 기능이나 결과에 대한 허위 주장 금지.
• 동의 없는 얼굴이나 음성 사용 금지. 실제 사람의 초상으로 생성하기 전에 실제 동의를 얻고 문서화하며, 생성 제공업체의 신원 기반 생성 관련 사용 정책을 확인합니다.
• 실제 사용자 결과로 제시되지만 실제로 생성/시뮬레이션된 주장 금지.
• 공개되어서는 안 되는 브랜드나 제품명이 스크립트, 자막, 게시 노트에 포함되지 않도록 합니다.
• 게시 자체는 항상 별도의 사람이 결정하는 단계입니다. 파이프라인의 역할은 "검토 준비 완료"까지이며, "게시됨"이 아닙니다.

예산 규율

준비 단계에서 설정한 엄격한 상한선에 대해 추정 대비 실제 비용을 지속적으로 기록하고, 점수가 정체되면 수확 체감이 발생하기 전에 생성을 중단합니다. 사전에 예산을 책정하고, "한 번만 더"가 아닌 증거에 기반해 중단하는 것이 이 파이프라인의 경제성을 유지하는 핵심입니다.

사용 방법

설치: 개인용으로 이 폴더를 ~/.claude/skills/ai-ugc-video-pipeline/에 복사하거나, 프로젝트 리포지토리 내 .claude/skills/ai-ugc-video-pipeline/에 복사합니다. 자체 발표자/음성 생성 제공업체와 화면 캡처 도구를 연결하여 사용합니다. 이 스킬은 게이트 방법론과 어렵게 얻은 실패 모드 수정 사항을 제공하며, 특정 벤더 통합이 아닙니다.

호출:

30초 제품 데모 영상에 대한 ai-ugc-video-pipeline 준비 단계를 진행해 주세요.
스크립트 변형과 예산 장부를 작성하는 것을 도와주세요. 아직 생성은 하지 않습니다.

조립한 영상의 오디오가 일부 플레이어에서는 중간에 끊기지만 ffplay에서는 정상적으로 재생됩니다.
ai-ugc-video-pipeline의 오디오 버그 섹션을 사용하여 진단하고 수정해 주세요.