Noah-Wu0/multilingual-video-dubbing-skill

Was macht multilingual-video-dubbing-skill?

Fertigkeit für mehrsprachige Videovertonung – Übersetzungs- und TTS-Synchronisationspipeline zur Lokalisierung von kurzen und langen Videos.

Überblick

Diese Fertigkeit automatisiert die Erstellung von synchronisierten Videos in verschiedenen Sprachen. Sie extrahiert den Originalton, transkribiert ihn, übersetzt den Text und generiert eine neue Tonspur mit einer TTS-Engine. Das Ergebnis ist ein lokalisiertes Video, das den Inhalt originalgetreu wiedergibt.

Funktionen

• Automatische Spracherkennung und Transkription
• Maschinelle Übersetzung in über 30 Sprachen
• Nahtlose TTS-Synchronisation mit passenden Stimmen
• Unterstützung für gängige Videoformate (MP4, MOV, AVI)
• Parallele Verarbeitung mehrerer Segmente für lange Videos

Voraussetzungen

• Python 3.8 oder höher
• TTS-API-Schlüssel (z. B. ElevenLabs, Google Cloud Text-to-Speech)
• Übersetzungs-API-Schlüssel (z. B. DeepL, OpenAI GPT-4)
• ffmpeg installiert und im Systempfad

Installation

pip install -r requirements.txt

Umgebungsvariablen setzen:

export TTS_API_KEY="your_tts_api_key"
export TRANSLATION_API_KEY="your_translation_api_key"

Verwendung

python dub_video.py --input video.mp4 --target-lang de

Weitere Optionen:

• --source-lang: Ursprungssprache (automatisch erkannt, wenn nicht angegeben)
• --tts-engine: TTS-Engine (Standard: elevenlabs)
• --output: Pfad zur Ausgabedatei

Konfiguration

Erstelle eine config.yaml (optional):

tts:
  engine: elevenlabs
  voice_id: "21m00Tcm4TlvDq8ikWAM"
translation:
  provider: deepl
  target_languages:
    - de
    - fr
    - es

Beispiele

Kurzes Video (unter 5 Minuten)

python dub_video.py --input promo.mp4 --target-lang fr --output promo_fr.mp4

Langes Video (über 30 Minuten)

python dub_video.py --input lecture.mp4 --target-lang es --tts-engine google

Fehlerbehandlung

Bei Fehlern wird eine aussagekräftige Fehlermeldung ausgegeben. Überprüfe die API-Schlüssel und die Internetverbindung.

Lizenz

MIT