andyluu98/VideoMotion

Erzeugt vietnamesische Sprachausgabe mit VieNeu-TTS aus einer script.json eines Videoprojekts, überprüft die Aussprache automatisch mit Whisper, behält die beste Aufnahme und extrahiert Zeitmarken für jedes Wort (voice.wav, words.json). Wird in Schritt 4 von /videomotion verwendet oder wenn der Nutzer ‚Sprache erzeugen‘, ‚Satz vorlesen‘, ‚Stimme ändern‘ oder ‚Aussprache korrigieren‘ sagt.

Was ist VideoMotion?

Das Skill ‚andyluu98/VideoMotion‘ dient der Integration von Sprachsynthese in Videoprojekte. Es nutzt die vietnamesische TTS-Engine VieNeu-TTS, um aus einer `script.json` eine natürlich klingende Sprachausgabe zu generieren. Dabei wird die Aussprache automatisch mit Whisper überprüft und bewertet – nur die beste Aufnahme bleibt erhalten. Das Skill erzeugt zwei Hauptausgaben: `voice.wav` (48 kHz Mono, mit definierten Pausen) und `words.json` (mit Zeitmarken für Sätze, Szenen und einzelne Wörter). Es ist für Entwickler von Videoproduktions-Workflows gedacht, die eine automatisierte, qualitätsgesicherte Vertonung benötigen. Fehlerhafte Aussprache kann durch Anpassungen in der `script.json` (z. B. Einträge unter `"pron"`) oder durch Erhöhung der Kandidatenanzahl (`--candidates 4`) korrigiert werden. Standardmäßig wird die Stimme ‚Ngọc Huyền‘ (weiblich, nördlicher Dialekt) verwendet, es stehen jedoch über 25 weitere Stimmen zur Auswahl.

Funktioniert mit✓Claude Code~Codex CLI~Cursor

npx skills add https://github.com/andyluu98/VideoMotion/tree/HEAD/skills/vm-giong

Dokumentation

Sprachausgabe

Die Variablen VV und PY werden wie im Skill videomotion verwendet.

Ausführung

"$PY" "$VV/tools/voice/voice.py" <projekt> > <projekt>/voice.log 2>&1

Bei längeren Skripten (über 1 Minute) im Hintergrund ausführen. Fertig, sobald VOICEDONE im Log erscheint. Jede Sprachausgabe wird basierend auf dem Inhalt zwischengespeichert: Wenn ein Satz in script.json geändert und das Skript erneut ausgeführt wird, wird nur dieser Satz neu generiert.

Ergebnisse lesen

Jeder Satz gibt score <id>: <punktzahl> ok|WEAK | <was Whisper gehört hat> aus.
Ein einziger Durchlauf ist ausreichend. Die Punktzahl dient nur der Filterung – es ist nicht nötig, nach maximalen Werten zu streben. WEAK aufgrund von Whisper-Fehlern bei englischen Namen (z. B. "Claude" → "Clock", "code" → "cốt") ist kein Lesefehler.
Echte WEAK-Fälle (falsch gelesen, verschluckte Buchstaben, falsch gelesene Ziffern) werden in dieser Reihenfolge korrigiert:
1. Satz so umschreiben, dass er ein vietnamesisches Subjekt enthält; kurze Sätze unter 5 Wörtern oder solche, die mit einem englischen Namen beginnen, vermeiden;
2. Einen Eintrag unter "pron" in script.json hinzufügen, z. B. "MCP": "em xi pi" (Groß-/Kleinschreibung des Schlüssels wird beachtet);
3. Erneut ausführen mit --candidates 4.
Für projektübergreifende Korrekturen: in ~/.motionfly/pron.json eintragen.

Stimmen

Standardmäßig wird Ngọc Huyền (weiblich, Norden) verwendet. Einige verfügbare Stimmen: Ngọc Huyền, Mai Anh (Nachrichten), Trúc Ly, Thùy Dung (männlich, Nachrichten), Hải Đăng, Thiện Minh (Erzähler), Quang Sơn und Ngọc Trân (Mitte). Alle 25 Stimmen anzeigen:

"$PY" -c "from vieneu import Vieneu; [print(v[0]) for v in Vieneu().list_preset_voices()]"

Die Stimme wird im Schlüssel "voice" in script.json festgelegt.

Ausgabe

voice.wav: 48 kHz Mono, mit Pausen: Anfang 0,5 s, zwischen Sätzen 0,35 s, bei | 0,55 s, zwischen Szenen 0,7 s, Ende 0,8 s.
words.json: total, scenes (Start- und Endmarken jeder Szene), segments (jeder Satz mit Punktzahl und weak-Flag), words (jedes anzuzeigende Wort mit start, end). Die angezeigten Wörter entsprechen exakt dem Skripttext, auch wenn die Aussprache über pron geändert wurde.