기술: video-transcribe-and-caption
목적
동영상의 음성을 텍스트로 변환하고 클라우드 서비스를 사용하지 않습니다: yt-dlp로 다운로드하고, faster-whisper로 로컬에서 전사하며, SRT 파일을 생성하고, 선택적으로 ffmpeg로 자막을 굽거나 내장하여 모든 플레이어에서 표시되도록 합니다.
단계
1. 도구 확인
which yt-dlp ffmpeg uv; nvidia-smi --query-gpu=name --format=csv,noheader 2>/dev/null
uvx yt-dlp 및 uv run --with faster-whisper는 아무것도 설치하지 않고 실행할 수 있습니다.
ffmpeg subtitles 필터는 libass가 포함된 실제 ffmpeg 빌드가 필요합니다(ffmpeg -filters | grep subtitles); imageio-ffmpeg의 번들 바이너리에는 이 필터가 없을 수 있습니다.
2. 다운로드
uvx yt-dlp -f "bv*[ext=mp4]+ba[ext=m4a]/b[ext=mp4]/b" --merge-output-format mp4 -o "video.%(ext)s" --no-playlist "<url>"
uvx yt-dlp --skip-download -j "<url>" | jq '{title, uploader, upload_date, description}'
3. SRT로 전사
# srt.py — 실행: uv run --with faster-whisper python srt.py
from faster_whisper import WhisperModel
def ts(t):
h, r = divmod(t, 3600); m, s = divmod(r, 60)
return f"{int(h):02d}:{int(m):02d}:{int(s):02d},{int(s % 1 * 1000):03d}"
model = WhisperModel("large-v3", device="cpu", compute_type="int8") # device="cuda" if a GPU exists
segments, info = model.transcribe("video.mp4", vad_filter=True, beam_size=5)
with open("video.srt", "w") as f:
for i, s in enumerate(segments, 1):
f.write(f"{i}\n{ts(s.start)} --> {ts(s.end)}\n{s.text.strip()}\n\n")
모델 선택:
small은 빠르지만 다중 음성, 농담 및 전문 용어에서 오류가 많습니다. 첫 번째 확인에는 괜찮지만 자막에는 적합하지 않습니다.large-v3는 최종 배포용입니다. 처음 다운로드 시 약 3GB이며~/.cache/huggingface/hub/에 저장됩니다. 느린 링크에서는 30분 이상 걸릴 수 있습니다. 시작하기 전에 사용자에게 알리고 물어보세요;medium은 크기가 절반입니다.- 긴 전사 작업은 백그라운드에서 실행하고 진행 상황을 정직하게 보고하세요: HF 캐시의
.incomplete블롭이 계속 커지고 있는지(다운로드 중) 또는 프로세스가 높은 CPU 사용률을 보이는지(전사 중) 확인합니다.
4. 잘못 인식된 줄 수정
Whisper는 여전히 이름 및 도메인 단어를 잘못 인식할 수 있습니다. 전체 파일을 다시 실행하는 대신 잘못된 구간만 어휘 힌트를 사용하여 다시 전사합니다:
ffmpeg -loglevel error -y -ss 53 -to 64 -i video.mp4 -vn -ac 1 -ar 16000 clip.wav
segments, _ = model.transcribe("clip.wav", beam_size=5,
initial_prompt="예상 단어 짧은 목록: 제품명, 전문 용어, 이모지 이름.")
그런 다음 해당 SRT 항목을 수동으로 편집합니다(타임스탬프 유지). 화면 텍스트가 오디오를 명확히 할 때는 프레임을 추출하는 것이 도움이 됩니다(ffmpeg -ss 58 -i video.mp4 -frames:v 1 f.jpg). 사용자에게 여전히 신뢰도가 낮은 줄을 추측으로 제시하지 말고 알려주세요.
5. 자막 굽기
ffmpeg -hide_banner -loglevel error -y -i video.mp4 \
-vf "subtitles=video.srt:force_style='FontSize=20,Outline=1,MarginV=30'" \
-c:v libx264 -preset fast -crf 20 -c:a copy video_cc.mp4
출력 파일 옆에 SRT 파일을 보관하여 한 줄을 수정하고 1분 미만으로 다시 렌더링할 수 있습니다. 소프트(토글 가능) 자막을 원하는 경우 ffmpeg -i video.mp4 -i video.srt -c copy -c:s mov_text video_cc.mp4로 먹싱합니다.
결과물
원본 동영상, 자막 동영상, .srt 파일, 일반 텍스트 전사본. 캐시된 모델 크기를 언급하여 사용자가 삭제할 수 있도록 합니다.
일반적인 실수
small모델 출력을 자막으로 제공하는 경우.- 사용자에게 묻지 않고 수 GB 모델 다운로드를 시작하는 경우.
- 세 줄을 수정하기 위해 전체 전사를 다시 실행하는 경우.
- libass가 없는 ffmpeg를 사용하여 "No such filter: subtitles" 오류가 발생하는 경우.