Communitygithub.com

Future Captions — 동영상 자막 스튜디오

음성을 자동으로 감지하고 단어 수준 타임스탬프를 생성하며, 사용자가 대본을 검토하고 수정할 수 있고, 다양한 텍스트 스타일과 6가지 애니메이션 자막 프리셋을 제공하여 최종 자막이 포함된 동영상과 투명 배경 자막 동영상, SRT 파일을 내보냅니다.

Future Captions — 동영상 자막 스튜디오란 무엇인가요?

Future Captions은 동영상에 자막을 입히는 전 과정을 안내하는 AI 에이전트 기술입니다. 사용자가 동영상을 업로드하면, 자동으로 음성 언어를 감지하고(Whisper tiny) 단어 수준의 타임스탬프를 포함한 대본을 생성합니다. 이후 사용자는 대본을 검토하고 편집할 수 있으며, 구두점 표시 여부, 대소문자 스타일, 한 줄 또는 두 줄 레이아웃을 선택하고 6가지 애니메이션 프리셋(가라오케, 영화 스타일, 단어별 등) 중 하나를 고를 수 있습니다. 최종적으로 자막이 영상에 합쳐진 MP4 파일, 투명 배경(알파 채널)의 자막만 있는 MOV 파일(After Effects, Premiere Pro 등 호환), 그리고 SRT 자막 파일을 ZIP 파일로 제공합니다. 이 스킬은 Claude Code, Cursor 등 코드 실행 환경에서 동작하며, 동영상 편집 워크플로우를 크게 간소화합니다.

지원 대상✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/touchstd/future-captions/tree/HEAD/future-captions

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

Future Captions

단계별로 안내하는 자막 스튜디오입니다. Claude가 모든 작업을 실행하며, 사용자는 업로드, 검토, 선택만 하면 됩니다.

기본 규칙

  • 사용자와는 항상 영어로 대화합니다. 동영상이나 사용자 메시지의 언어와 관계없습니다. 대본은 동영상의 음성 언어로 유지되며, 사용자가 요청하지 않는 한 번역하지 않습니다.
  • 순서대로 단계를 따르고, 표시된 모든 체크포인트 ⏸에서 사용자의 응답을 기다립니다.
  • 메시지는 짧고 친근하게 유지합니다. 사용자에게 필요 없는 명령, 트레이스백, 파일 경로는 절대 보여주지 않으며, 문제는 한 문장으로 요약합니다.
  • 작업 디렉터리: /home/claude/fc_work. 최종 결과물은 /home/claude/fc_work/out/에 저장되며, 사용자는 원본 동영상 이름을 딴 ZIP 파일(예: Interview 01.mp4 → Interview 01.zip)을 /mnt/user-data/outputs/에서 present_files를 통해 다운로드합니다.
  • 스크립트는 이 스킬의 scripts/ 폴더(이하 $S)에 있습니다. 먼저 실제 경로를 확인합니다(예: S=$(dirname "$(find /mnt/skills -path '*future-captions/SKILL.md' | head -1)")/scripts).

단계 0 — 환영 및 업로드

아직 동영상이 첨부되지 않은 경우, 정확히 다음과 같은 메시지로 응답하고 중단합니다:

🎬 Future Captions에 오신 것을 환영합니다. 자막을 입힐 동영상(MP4, MOV 또는 WebM)을 업로드해 주세요. 나머지는 제가 처리합니다.

⏸ 업로드를 기다립니다. 업로드된 파일은 /mnt/user-data/uploads/에 있습니다. 여러 동영상이 도착하면, 어떤 동영상부터 자막을 입힐지 물어봅니다.

단계 1 — 전사(Transcribe)

  1. 세션당 한 번씩 엔진을 조용히 설치합니다: pip install -q sherpa-onnx soundfile --break-system-packages
  2. 사용자에게 전사 중임을 한 줄로 알린 후(세션의 첫 실행 시 약 600MB의 음성 모델을 GitHub에서 다운로드하므로 1분 정도 걸립니다), 다음 명령을 실행합니다: python "$S/transcribe.py" "<video>" --out-dir /home/claude/fc_work
    • 모든 작업은 sherpa-onnx를 사용하여 샌드박스 내에서 오프라인으로 실행됩니다. 언어는 자동 감지(Whisper tiny)되고, 음성은 Silero VAD로 찾으며, 엔진은 자동으로 선택됩니다:
      • 25개 유럽 언어(영어, 포르투갈어, 스페인어, 프랑스어, 독일어, 이탈리아어, 네덜란드어, 폴란드어, 러시아어, 우크라이나어 등)에는 Parakeet TDT 0.6B v3 — 정확한 단어 타이밍.
      • 그 외 언어(일본어, 중국어, 한국어, 아랍어, 힌디어 등)에는 Whisper small — 각 구문 내에서 단어 타이밍이 추정됩니다. transcript.json의 word_timing이 "estimated"이면, 사용자에게 가라오케/단어별 싱크가 근사치일 수 있으며 이 언어에는 프리셋 03(Cinema)이 가장 잘 맞는다고 한 줄로 알립니다.
    • 언어 감지가 잘못된 경우 --language <code>(예: --language pt)로 다시 실행합니다.
    • 모델 다운로드가 실패하면 사용자에게 "음성 모델을 다운로드할 수 없습니다. 코드 실행 환경이 github.com에 접근할 수 있는지 확인하신 후, 다시 시도하라는 메시지를 보내주세요."라고 말하고 중단합니다. ⏸
    • 오디오가 없거나 음성이 감지되지 않으면 그렇게 말하고 중단합니다.
  3. 두 개의 선택 버튼("대본 승인", "대본 편집")과 함께 검토할 대본을 표시합니다:
    • 인라인 HTML 위젯을 렌더링하는 도구(예: Visualizer의 show_widget)를 사용할 수 있다면, 생성된 파일의 내용을 그대로 사용하여 검토 패널을 빌드합니다: python "$S/make_review_widget.py" /home/claude/fc_work/transcript.json /home/claude/fc_work/review.html 패널은 타임스탬프가 포함된 번호별 구문을 나열하고 두 버튼을 제공합니다. 대본 편집 버튼을 누르면 각 구문이 편집 가능한 텍스트 상자로 바뀌고(변경사항 저장 / 취소 버튼 포함), 상자를 비우면 해당 구문이 삭제됩니다. 패널 앞에 "여기에 대본이 있습니다. 패널에서 직접 승인하거나 편집하세요."와 같은 한 줄의 짧은 설명을 추가하고, 텍스트로 대본을 반복해서 보여주지 마십시오.
    • 그렇지 않은 경우, /home/claude/fc_work/transcript_review.txt의 전체 내용을 코드 블록 안에 표시한 다음, 사용 가능한 도구(옵션: 대본 승인, 대본 편집)를 사용하여 두 선택지를 제시하거나 텍스트로 물어봅니다.

⏸ 사용자의 선택을 기다립니다.

단계 2 — 편집 적용 (승인될 때까지 반복)

  • "Transcript approved" (또는 "대본 승인") → 단계 3으로 이동합니다.
  • 패널 밖에서 "대본 편집"을 선택한 경우(대체 경로) → "물론입니다. 변경할 줄을 [N] 새 텍스트(줄당 하나) 또는 [N] (delete)(삭제) 형식으로 보내주세요. '자막이 늦게 느껴집니다'와 같은 타이밍 수정도 설명해 주세요."라고 응답합니다. ⏸
  • "Apply these transcript edits:" 뒤에 [N] text / [N] (delete) 줄이 오는 경우(패널의 '변경사항 저장' 버튼 또는 사용자가 직접 입력) → 각 줄을 작업으로 변환하여 한 번에 모두 실행합니다.

편집 내용(및 자유 형식 요청)을 edit_transcript.py 작업으로 변환합니다. 번호는 항상 사용자가 본 검토 화면의 번호를 참조하며, 여러 삭제가 함께 실행되더라도 마찬가지입니다:

사용자 입력작업
[3] new text / "세그먼트 3은 ...여야 함"--set 3 "new text"
[7] (delete) / "세그먼트 7 삭제"--delete 7
"Jon을 John으로 모두 바꿔줘"--replace-all "Jon" "John"
"세그먼트 2 시작 00:12.4, 끝 00:15"--timing 2 00:00:12.400 00:00:15.000
"자막이 늦게/빠르게 나타남"--shift -0.2 (더 빠르게) / --shift 0.2 (더 늦게)
"4와 5 병합" (단독 실행 시 번호 재할당)--merge 4
"6을 'today' 단어 뒤에서 분할" (단독 실행 시 번호 재할당)--split 6 K (K = 해당 단어의 위치)

명령: python "$S/edit_transcript.py" /home/claude/fc_work/transcript.json <작업들>

그런 다음 변경된 세그먼트를 한 줄로 알리고 단계 1.3과 똑같이 검토 화면을 다시 표시합니다(make_review_widget.py로 패널 재빌드, 또는 코드 블록 + 두 선택지). ⏸

단계 3 — 텍스트 스타일, 그 다음 프리셋 선택

사용자는 다음 순서로 선택합니다: 텍스트 스타일(구두점, 대소문자), 레이아웃(한 줄 또는 두 줄), 그 다음 프리셋.

  1. 인라인 HTML 위젯 도구를 사용할 수 있다면, assets/preset_preview.html 파일을 읽어 그 내용을 그대로 렌더링하고, 그 앞에 "먼저 텍스트 스타일을 선택한 다음 프리셋을 골라주세요."와 같은 짧은 설명을 추가합니다. 패널은 다음을 포함합니다:
    • 1 · 텍스트 스타일: 구두점(유지 / 숨기기) 및 대소문자(원음 그대로 / 소문자 / 대문자); 레이아웃(한 줄 / 두 줄). 모든 미리보기가 실시간으로 업데이트됩니다.
    • 2 · 프리셋 선택: "The Future is Now!"의 6가지 애니메이션 미리보기. 각 선택 버튼은 모든 선택 사항을 한 번에 전송합니다(예: "프리셋 05 사용 · 두 줄 · 구두점: 숨기기 · 대소문자: 대문자").
  2. 그렇지 않은 경우(위젯 도구 없음): a. 먼저 텍스트 스타일을 묻습니다(가능하면 tappable-options 도구를 사용하고, 그렇지 않으면 텍스트로): 구두점 → 구두점 유지 / 구두점 숨기기; 대소문자 → 원음 그대로 / 소문자 / 대문자. ⏸ b. 그런 다음 해당 선택 사항으로 미리보기 클립을 렌더링하여 보여줍니다: for p in 01 02 03 04 05 06; do python "$S/render.py" --demo --preset $p --lines 1 --punct <keep|hide> --case <original|lower|upper> --out-dir /mnt/user-data/outputs/previews; done c. 프리셋(01–06)과 레이아웃(한 줄 / 두 줄)을 묻습니다. ⏸
  3. 필요할 때 설명할 프리셋:
    • 01 · 가라오케 — 볼드한 모던 산세리프; 둥근 컬러 박스가 말하는 단어 위를 미끄러지듯 이동합니다.
    • 02 · 엘레강트 — 모던 세리프; 각 단어가 부드러운 블러에서 떠오르고, 그 줄은 위로 흩어지며 사라집니다.
    • 03 · 시네마 — 클래식 영화 자막: 깔끔하고 읽기 쉬운 텍스트; 각 자막이 하드 컷으로 이전 자막을 대체하며, 애니메이션은 없습니다.
    • 04 · 단어별 — 한 번에 한 단어씩 볼드체로 표시, 애니메이션 없음(레이아웃 적용 안 됨).
    • 05 · 다이나믹 가라오케 — Bricolage Grotesque; 단어가 비틀며 등장하고, 노란색 박스가 늘어나고 기울어져 말하는 단어로 이동하며, 해당 단어는 점프하며 어두워집니다; 강조된 단어는 박스를 분홍색으로 바꾸고 커집니다; 각 자막은 올라가며 작아지며 사라집니다.
    • 06 · 만화 — 두꺼운 외곽선과 하드 섀도우가 있는 만화체(Bangers); 단어가 탄력적인 스쿼시 앤 스트레치와 장난기 있는 기울기로 튀어나오고, 말하는 단어는 노란색으로 변하며 흔들리고, 단어는 하나씩 톡톡 튀어나옵니다. 항상 대문자처럼 보입니다.

답변을 플래그에 매핑합니다: 구두점 유지/숨기기 → --punct keep|hide; 대소문자 원음 그대로/소문자/대문자 → --case original|lower|upper; 줄 수 → --lines 1|2. 구두점 숨기기는 단어나 숫자에 속하는 것(I'm, bye-bye, $120,877.50, 50%)은 유지합니다.

단계 4 — 렌더링 및 전달

  1. 프리셋 05와 06만 해당 — 강조 단어 선택. 승인된 대본을 읽고 가장 임팩트 있는 단어나 짧은 구(숫자와 금액, 이름, 강한 감정, 결정적 대사, 놀라운 단어)를 선택합니다 — 대략 자막 2~3개당 하나씩, 자막당 최대 한 개. --emphasis "grand prize,congratulations,really" 형식으로 전달합니다. 전달 후, 사용자에게 어떤 단어를 강조했는지 한 줄로 알리고 변경할 수 있음을 알립니다.
  2. 사용자에게 렌더링이 시작되었음을 알립니다(동영상 길이의 약 1~3배 시간 소요).
  3. 실행합니다(이 스킬이 생성하는 모든 MOV는 After Effects가 투명도를 읽을 수 있도록 QuickTime Animation + 알파를 유지해야 하며, render.py의 인코더 설정을 절대 변경하지 마십시오): python "$S/render.py" --video "<video>" --transcript /home/claude/fc_work/transcript.json --preset <01-06> --lines <1|2> --punct <keep|hide> --case <original|lower|upper> [--emphasis "..."] --out-dir /home/claude/fc_work/out --zip-to /mnt/user-data/outputs 출력 파일 이름은 업로드된 동영상 파일 이름을 따르므로, ZIP은 /mnt/user-data/outputs/<video name>.zip이 됩니다. 이름을 절대 바꾸지 마십시오. 사용자 요청 시 선택적 플래그: --scale 1.2(더 큰 텍스트), --accent "#FF4D6D"(박스/활성 단어 색상), --emph-color "#34D1BF"(05/06 강조 색상), --text-color "#FFE14D", --position middle|top, --webm(추가 웹 친화적 알파 파일). 스크립트는 After Effects alpha check: OK로 끝납니다. 대신 WARNING이 출력되면 MOV를 전달하지 말고 한 번 더 실행합니다. 다시 실패하면 투명 파일 검사에 실패했음을 한 줄로 알리고 MP4와 SRT만 전달합니다.
  4. present_files로 전달할 때 ZIP 파일을 먼저, 그 다음 /home/claude/fc_work/out/<name>_captioned.mp4를 전달하여 사용자가 채팅에서 결과를 볼 수 있도록 합니다. 다른 파일은 개별적으로 제시하지 마십시오. 사용자에게 ZIP <name>.zip에 <name>/ 폴더가 포함되어 있으며, 다음 파일이 있음을 알립니다:
    • <name>_captioned.mp4 — 자막이 영상에 합쳐진 동영상.
    • <name>_captions_alpha.mov — 투명 배경에 자막만 있는 QuickTime Animation(32비트 ARGB, "Millions of Colors+") 파일. After Effects에서 알파 채널을 기본으로 인식합니다. 원본과 동일한 크기, 프레임 속도, 길이로, 동영상 위 레이어에 0:00에 배치하면 자동으로 정렬됩니다. Premiere Pro, DaVinci Resolve, Final Cut Pro에서도 작동합니다. 가장자리에 테두리가 보이면, 푸티지를 마우스 오른쪽 클릭 → Interpret Footage → Main → Alpha: Straight – Unmatted를 선택하십시오.
    • <name>.srt — 표준 자막 파일(YouTube나 플레이어용 보너스), 동일한 텍스트 스타일 적용.
    • <name>_captions_alpha.webm — --webm이 사용된 경우에만 포함.
  5. 크기, 색상, 위치, 강조 단어, 텍스트 스타일, 다른 프리셋 또는 한 줄/두 줄 변경 등 조정을 제안하는 한 줄로 마무리합니다. 조정은 단계 4만 다시 실행하면 됩니다. 사용자가 새 동영상을 업로드하지 않는 한 다시 전사하지 마십시오.

문제 해결

  • 업로드가 너무 큼: 더 짧거나 낮은 해상도 사본(1080p면 충분)을 내보내거나, Claude Code/Claude desktop에서 이 스킬을 실행하여 파일을 디스크에서 직접 읽도록 제안합니다.
  • 한 곳에서 자막 타이밍이 어긋남: --timing으로 해당 세그먼트를 수정하고, 전체 오프셋에는 --shift를 사용합니다.
  • 화면에 너무 많은 단어: --scale 1.15로 다시 렌더링(줄당 더 적은 단어)하거나 한 줄을 선택합니다.
  • 세로 동영상(9:16)은 자동으로 감지되며 자막이 더 위쪽에 위치하여 소셜 앱 버튼과 겹치지 않습니다.

관련 스킬