Communitygithub.com

비디오 자막 생성 및 편집 기술

자막이 없는 동영상(X/Twitter, YouTube, 모든 yt-dlp URL 또는 로컬 파일)을 로컬 Whisper로 받아쓰고, SRT 자막 파일을 생성하며, 새 MP4 파일에 자막을 내장합니다. '자막 추출', '대사 추출', '자막 추가', '동영상에 자막 넣기', '이 동영상에 자막이 없음'과 같은 요청 시 사용합니다.

비디오 자막 생성 및 편집 기술란 무엇인가요?

이 기술은 클라우드 서비스 없이 동영상에서 음성을 텍스트로 변환하고 자막을 추가하는 완전한 로컬 파이프라인을 제공합니다. yt-dlp를 사용하여 동영상을 다운로드하고, faster-whisper로 로컬에서 전사하며, SRT 자막 파일을 생성하고, ffmpeg로 자막을 동영상에 굽거나(소프트 자막으로 먹싱) 내장할 수 있습니다. X/Twitter, YouTube, 기타 yt-dlp가 지원하는 URL 또는 로컬 파일에서 작동하며, 특히 '자막 추출', '대사 추출', '자막 추가'와 같은 요청에 최적화되어 있습니다. 이 기술은 대규모 언어 모델(Whisper large-v3)을 사용하므로 첫 다운로드 시 약 3GB의 모델이 필요하며, CPU 또는 GPU에서 실행 가능합니다. 또한 잘못 인식된 부분을 수정하는 기능(vocabulary hints 사용)과 자막을 동영상에 내장하는 옵션을 제공합니다. 주의할 점은 'small' 모델은 다중 음성, 농담, 전문 용어에서 오류가 많아 자막에 적합하지 않으며, ffmpeg에 libass 필터가 필요할 수 있습니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/gengwg/skills/tree/HEAD/video-transcribe-and-caption

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

기술: video-transcribe-and-caption

목적

동영상의 음성을 텍스트로 변환하고 클라우드 서비스를 사용하지 않습니다: yt-dlp로 다운로드하고, faster-whisper로 로컬에서 전사하며, SRT 파일을 생성하고, 선택적으로 ffmpeg로 자막을 굽거나 내장하여 모든 플레이어에서 표시되도록 합니다.

단계

1. 도구 확인

which yt-dlp ffmpeg uv; nvidia-smi --query-gpu=name --format=csv,noheader 2>/dev/null

uvx yt-dlp 및 uv run --with faster-whisper는 아무것도 설치하지 않고 실행할 수 있습니다. ffmpeg subtitles 필터는 libass가 포함된 실제 ffmpeg 빌드가 필요합니다(ffmpeg -filters | grep subtitles); imageio-ffmpeg의 번들 바이너리에는 이 필터가 없을 수 있습니다.

2. 다운로드

uvx yt-dlp -f "bv*[ext=mp4]+ba[ext=m4a]/b[ext=mp4]/b" --merge-output-format mp4 -o "video.%(ext)s" --no-playlist "<url>"
uvx yt-dlp --skip-download -j "<url>" | jq '{title, uploader, upload_date, description}'

3. SRT로 전사

# srt.py — 실행: uv run --with faster-whisper python srt.py
from faster_whisper import WhisperModel

def ts(t):
    h, r = divmod(t, 3600); m, s = divmod(r, 60)
    return f"{int(h):02d}:{int(m):02d}:{int(s):02d},{int(s % 1 * 1000):03d}"

model = WhisperModel("large-v3", device="cpu", compute_type="int8")  # device="cuda" if a GPU exists
segments, info = model.transcribe("video.mp4", vad_filter=True, beam_size=5)
with open("video.srt", "w") as f:
    for i, s in enumerate(segments, 1):
        f.write(f"{i}\n{ts(s.start)} --> {ts(s.end)}\n{s.text.strip()}\n\n")

모델 선택:

  • small은 빠르지만 다중 음성, 농담 및 전문 용어에서 오류가 많습니다. 첫 번째 확인에는 괜찮지만 자막에는 적합하지 않습니다.
  • large-v3는 최종 배포용입니다. 처음 다운로드 시 약 3GB이며 ~/.cache/huggingface/hub/에 저장됩니다. 느린 링크에서는 30분 이상 걸릴 수 있습니다. 시작하기 전에 사용자에게 알리고 물어보세요; medium은 크기가 절반입니다.
  • 긴 전사 작업은 백그라운드에서 실행하고 진행 상황을 정직하게 보고하세요: HF 캐시의 .incomplete 블롭이 계속 커지고 있는지(다운로드 중) 또는 프로세스가 높은 CPU 사용률을 보이는지(전사 중) 확인합니다.

4. 잘못 인식된 줄 수정

Whisper는 여전히 이름 및 도메인 단어를 잘못 인식할 수 있습니다. 전체 파일을 다시 실행하는 대신 잘못된 구간만 어휘 힌트를 사용하여 다시 전사합니다:

ffmpeg -loglevel error -y -ss 53 -to 64 -i video.mp4 -vn -ac 1 -ar 16000 clip.wav
segments, _ = model.transcribe("clip.wav", beam_size=5,
    initial_prompt="예상 단어 짧은 목록: 제품명, 전문 용어, 이모지 이름.")

그런 다음 해당 SRT 항목을 수동으로 편집합니다(타임스탬프 유지). 화면 텍스트가 오디오를 명확히 할 때는 프레임을 추출하는 것이 도움이 됩니다(ffmpeg -ss 58 -i video.mp4 -frames:v 1 f.jpg). 사용자에게 여전히 신뢰도가 낮은 줄을 추측으로 제시하지 말고 알려주세요.

5. 자막 굽기

ffmpeg -hide_banner -loglevel error -y -i video.mp4 \
  -vf "subtitles=video.srt:force_style='FontSize=20,Outline=1,MarginV=30'" \
  -c:v libx264 -preset fast -crf 20 -c:a copy video_cc.mp4

출력 파일 옆에 SRT 파일을 보관하여 한 줄을 수정하고 1분 미만으로 다시 렌더링할 수 있습니다. 소프트(토글 가능) 자막을 원하는 경우 ffmpeg -i video.mp4 -i video.srt -c copy -c:s mov_text video_cc.mp4로 먹싱합니다.

결과물

원본 동영상, 자막 동영상, .srt 파일, 일반 텍스트 전사본. 캐시된 모델 크기를 언급하여 사용자가 삭제할 수 있도록 합니다.

일반적인 실수

  • small 모델 출력을 자막으로 제공하는 경우.
  • 사용자에게 묻지 않고 수 GB 모델 다운로드를 시작하는 경우.
  • 세 줄을 수정하기 위해 전체 전사를 다시 실행하는 경우.
  • libass가 없는 ffmpeg를 사용하여 "No such filter: subtitles" 오류가 발생하는 경우.

관련 스킬