Communitygithub.com

YouTube 오디오 번역 — 원본 초 단위에 맞춘 더빙

영상의 말소리를 다른 언어로 더빙하면서 원래 음악은 그대로 둡니다. 모든 구절이 원본과 같은 초에 들어가고, 트랙 길이를 영상과 정확히 맞춰 YouTube 다국어 오디오로 바로 쓸 수 있습니다.

YouTube 오디오 번역 — 원본 초 단위에 맞춘 더빙란 무엇인가요?

Video Localization 레시피 3단계(더빙하고 내보내기), oknehcvark/youtube-audio-translation(2026-10-06 공개). edge-tts 음성을 빼면 전부 무료 로컬 실행입니다. scripts/dub.py가 목소리와 음악을 분리하고, faster-whisper로 시간이 붙은 구절을 받아쓰고, 구절별 글자 수 예산을 보여주면 에이전트가 각 줄을 그 시간 안에 들어가게 번역합니다. build는 모든 구절을 읽어 원래 시작 시점에 놓고, mix는 영상 파일의 정확한 길이로 음악과 합치며(길이가 다르면 YouTube가 거부), check는 더빙을 다시 인식해 오류율을 냅니다. 같은 타이밍의 SRT도 주고, 빨라진 구절을 알려주며, 아직 아무도 들어보지 않았다는 사실도 솔직하게 말합니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/oknehcvark/youtube-audio-translation/tree/HEAD/skills/youtube-audio-translation

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

YouTube 오디오 번역

하나의 비디오를 다른 언어의 추가 오디오 트랙으로 변환합니다. 음성(edge-tts는 Microsoft의 온라인 음성을 사용)을 제외한 모든 과정은 무료이며 로컬에서 실행됩니다. 엔진은 이 스킬 폴더의 scripts/dub.py입니다.

파이프라인: 분리 음성과 음악 -> 전사 음성을 시간이 지정된 구문으로 -> 사용자가 번역 각 구문을 시간에 맞게 -> 구축 (각 구문을 말하고 원래 초에 배치) -> 믹싱 비디오의 정확한 길이에 맞춰 음악과 함께 -> 확인.

규칙 (각 규칙 위반 시 시도 실패)

  1. 결과의 길이는 VIDEO 파일의 길이와 같아야 합니다 (--ref video.mp4). 원시 .aac 파일에서 길이를 가져오지 마세요: ffprobe는 비트레이트로부터 지속 시간을 추정하기 때문에 15초까지 오차가 발생할 수 있습니다. YouTube는 비디오와 일치하지 않는 트랙을 거부합니다("오디오 트랙과 비디오의 길이가 같아야 합니다").
  2. 사용자가 번역합니다; 자동 번역기를 사용하지 마세요. 번역기는 구문이 몇 초인지 무시합니다. 먼저 budget을 실행하고 각 줄을 문자 예산 내에서 작성하세요. 예산을 초과하면 음성이 빨라져 급하게 들립니다; 슬롯의 80% 미만이면 도구가 음성을 약간 느리게 만듭니다.
  3. 번역 전에 인식 오류를 수정하세요. 이름과 용어가 잘못 들릴 수 있습니다("Klap"이라는 서비스가 "Clip" 및 "Клэп"으로 들렸고; "экспорт"가 "эксперт"로 들렸습니다). 전체 source.srt를 읽고, 수정한 후, 사용자에게 어떤 추측을 했는지 알려주세요.
  4. 구문은 원래 시작 초에 배치되며, 절대 연속으로 붙이지 않습니다. 도구가 이미 이 작업을 수행합니다; 구문을 이동시키는 방식으로 오디오를 후처리하지 마세요.
  5. 오디오를 들을 수 없습니다. check와 숫자로 확인하고, 아무도 듣지 않았다고 명확히 말하세요. 사용자(이상적으로는 원어민)에게 듣도록 요청하세요. "자연스럽게 들린다"고 절대 쓰지 마세요.
  6. 설치 전에 물어보세요. 사용자 파일을 덮어쓰거나 삭제하지 마세요; 별도의 폴더(예: 비디오 옆에 work/)에서 작업하세요.

1. 설정 확인 (한 번)

python3 --version                       # 3.10 이상
ffmpeg -version | head -1               # 4.4 이상
python3 -c "import numpy, soundfile, edge_tts, faster_whisper, pyrubberband; print('ok')"
audio-separator --version               # 분리 단계에만 필요
rubberband --version                    # 선택 사항: 더 나은 속도 향상 (그렇지 않으면 ffmpeg atempo 사용)

누락된 항목:

  • Python 패키지: pip3 install -r requirements.txt
  • ffmpeg: brew install ffmpeg (macOS) / winget install ffmpeg (Windows) / apt install ffmpeg (Linux)
  • rubberband (선택 사항): brew install rubberband / apt install rubberband-cli
  • 분리기 (크기가 큼, 별도로 설치): pip3 install "audio-separator[cpu]". macOS에서 import scipy가 충돌하면 (dlopen 오류), pip3 install scipy==1.14.1로 수정됩니다.

첫 번째 transcribe는 약 1.5GB의 음성 모델을 다운로드하고; 첫 번째 separate는 약 70MB의 모델을 다운로드합니다. 사용자에게 알리고, 수 GB의 여유 디스크 공간이 있는지 확인하세요.

2. 음성과 음악 분리

python3 scripts/dub.py separate "/path/video.mp4" -o work

work/vocals.wav 및 work/music.wav가 생성됩니다. 비디오에 음악이 없으면 이 단계를 건너뛰고 무음과 믹싱하세요 (--music에 무음 파일 사용) - 또는 단순히 dub_only.wav를 구축하여 제공하세요.

3. 전사

python3 scripts/dub.py transcribe work/vocals.wav --lang ru -o work/source.srt

--lang은 원본 음성의 언어입니다. work/source.srt를 완전히 읽고 제자리에서 오류를 수정하세요 (타이밍 유지). 구문은 약 2-7초 길이로 나옵니다.

4. 번역

python3 scripts/dub.py budget work/source.srt --lang fr

각 구문에 대해 초 단위 시간과 최대 문자 수(프랑스어 및 영어의 경우 약 15자/초, 스페인어 14자, 힌디어 및 독일어 13자, 중국어의 경우 5자/초)를 출력합니다. 직접 번역을 동일한 순서의 JSON 문자열 목록으로 작성하세요 (구문당 하나씩). 예: work/lines.fr.json:

["번역된 첫 번째 구문.", "번역된 두 번째 구문.", "..."]

의미를 번역하고, 단어 그대로 번역하지 마세요; 자유롭게 줄이세요 (필러, 반복되는 단어 제거); 브랜드 이름은 그대로 유지하세요. 힌디어의 경우 외국 브랜드 이름을 데바나가리 문자로 작성하여 음성이 발음하도록 하세요. 숫자는 그대로 유지하세요. 일관된 호칭 형태를 유지하세요 ("vous", "ustedes" 등). 문장이 경계를 넘을 경우 구문을 인접한 줄에 다시 분할할 수 있습니다.

python3 scripts/dub.py srt work/source.srt work/lines.fr.json -o work/fr.srt

fr.srt는 동일한 언어의 자막 파일이기도 합니다 (원본 타이밍) - 사용자에게 제공하세요.

5. 구축, 믹싱, 확인

음성 선택: edge-tts --list-voices | grep fr- (예: fr-FR-HenriNeural, es-MX-JorgeNeural, hi-IN-MadhurNeural, zh-CN-YunxiNeural, en-US-GuyNeural, de-DE-ConradNeural).

python3 scripts/dub.py build work/fr.srt --ref "/path/video.mp4" --voice fr-FR-HenriNeural -o work/fr --loudness-ref work/vocals.wav

요약을 읽으세요. 1.25배 이상이 필요하거나 다음 구문으로 넘어가는 구문이 나열되면 lines.fr.json에서 해당 줄을 줄이고, fr.srt를 다시 구축한 후 build를 다시 실행하세요: 변경된 구문만 다시 말해집니다.

python3 scripts/dub.py mix work/fr/dub_only.wav --music work/music.wav --ref "/path/video.mp4" -o work/fr/final
python3 scripts/dub.py check work/fr/dub_only.wav work/fr.srt --lang fr --ref "/path/video.mp4"

mix는 final.wav 및 final.m4a를 작성하고 비디오의 길이와 함께 길이를 출력합니다; 두 길이는 수백 분의 1초 이내로 일치해야 합니다. check는 음성 인식기로 더빙을 다시 읽습니다 (오류율: 몇 % ~ 약 15%가 정상; 숫자, 브랜드 이름 및 철자 변형은 오류로 계산; 중국어는 문자당 점수 계산).

각 언어에 대해 4-5단계를 반복하세요; 2-3단계는 한 번만 수행됩니다.

6. 사용자에게 보고

사용자에게 언어별로 알리세요: 파일 (final.m4a, <lang>.srt), 사용된 음성, 비디오 대비 길이, 오류율, 속도가 빨라진 구문 수 및 최대 속도. 확인할 수 없는 사항을 말하세요: 소리 자체, 그리고 언어를 잘 판단할 수 없는 경우 번역. 인식 오류를 수정할 때 내린 추측을 나열하세요.

YouTube 업로드는 사용자의 몫입니다: YouTube Studio -> 자막 -> 언어 추가 -> 오디오 트랙 추가 (해당 언어의 자막으로 .srt도 함께). 사용자를 대신하여 아무것도 업로드하지 마세요.

문제 발생 시

  • TTS failed for phrase N / retry: 네트워크 끊김; build를 다시 실행하세요. 완료된 구문은 유지됩니다.
  • 구문이 무음: 텍스트가 비어 있음; JSON에서 해당 줄을 확인하세요.
  • 음성이 급하게 들림: 예산을 초과한 줄; 줄이세요.
  • YouTube에서 길이가 다르다고 표시: 비디오와 final.m4a에 대해 ffprobe를 실행하고 비교하세요; 비디오를 --ref로 다시 구축하세요. .m4a 길이는 AAC 프레임으로 반올림됩니다 (약 0.02초).
  • Windows/Linux: 작성자가 테스트하지 않음; 코드는 크로스 플랫폼이지만 문제를 정직하게 보고하세요.

관련 스킬