shuyingkj-coder/youtube-mimo-dubber

Was macht youtube-mimo-dubber?

End-to-End YouTube-Synchronisation: Mimo TTS, Stimmklon, Zeitleistenanpassung, Gesangsentfernung, feste Untertitel, Validierungsartefakte.

Übersicht

Diese Fähigkeit automatisiert den gesamten Dubbing-Prozess für YouTube-Videos, von der Textextraktion bis zur finalen synchronisierten Version mit festen Untertiteln.

Funktionen

• Mimo TTS Integration: Sprachsynthese mit natürlicher Intonation.
• Stimmklon: Erstellen und Verwenden personalisierter Sprachmodelle.
• Zeitleistenanpassung: Automatische Anpassung der Übersetzung an die Video-Timeline.
• Gesangsentfernung: Entfernung von Hintergrundgesang aus Audiospuren.
• Feste Untertitel: Einbrennen von Untertiteln in das Video.
• Validierungsartefakte: Erstellung von Test- und Qualitätsnachweisen.

Voraussetzungen

• Python 3.8+
• ffmpeg
• API-Schlüssel für Mimo TTS (Umgebungsvariable: MIMO_TTS_ENDPOINT)
• YouTube API-Schlüssel (Umgebungsvariable: YOUTUBE_API_KEY)
• Optional: Pfad zu einem Klonmodell (CLONE_MODEL_PATH)

Installation

pip install -r requirements.txt

Verwendung

1. Setzen Sie die Umgebungsvariablen:

   export YOUTUBE_API_KEY="ihr-api-schluessel"
   export MIMO_TTS_ENDPOINT="https://api.mimo-tts.example.com"
   export CLONE_MODEL_PATH="/pfad/zu/klonmodell"
   

2. Führen Sie das Hauptskript aus:

   python dub.py --video-url https://youtube.com/watch?v=beispiel --target-lang de
   

3. Optionale Parameter:

   • --remove-vocals: Gesangsspuren entfernen.
   • --hard-subs: Feste Untertitel einbrennen.
   • --validate: Validierungsartefakte erstellen.

Beispiel-Pipeline

1. Textextraktion aus dem Originalvideo.
2. Übersetzung mit Mimo TTS.
3. Stimmklon (optional).
4. Zeitleistenanpassung.
5. Audiomischung mit Gesangsentfernung.
6. Festes Untertitel-Einbrennen.
7. Ausgabe der finalen Datei und Validierungsartefakte.

Ausgabe

• output_sync.mp4: Synchronisiertes Video mit festen Untertiteln.
• validation_report.json: Qualitätsbericht mit Metriken.
• audio_track.wav: Die bearbeitete Audiospur.

Fehlerbehebung

Stellen Sie sicher, dass ffmpeg installiert ist und im PATH verfügbar ist. Überprüfen Sie die API-Schlüssel auf Gültigkeit.

Lizenz

MIT