Communitygithub.com

ai-video-voice

Sprachausgabe und Untertitel für ein kurzes Video: Ganzaufnahme-TTS-Synthese, Audio-Bild-Synchronisation anhand der echten Dauer, Untertitel-Timing basierend auf Audio, Mix normalisiert auf -14 LUFS. Läuft nach ai-video-render, vor der Überprüfung.

Was ist ai-video-voice?

Dieses Skill (ai-video-voice) fügt einem kurzen, stummen Video (film.mp4) eine Sprachausgabe (Voiceover) und Untertitel hinzu und erstellt den finalen Mix. Es ist speziell für KI-Agenten wie Claude Code, Cursor oder Codex konzipiert, die eine Pipeline zur Videoproduktion verwalten. Der Agent synthetisiert die Sprachausgabe in einem einzigen Durchgang, um hörbare Nähte und Drift zu vermeiden, und synchronisiert sie mit dem Video anhand der tatsächlichen Audiodauer – ohne das Audio zu dehnen. Die Untertitel werden aus dem Audio generiert (entweder durch Spracherkennung oder Skript + Stille-Erkennung), wobei Fehlertoleranzen im Mix-Bericht dokumentiert werden. Der finale Audiomix wird auf -14 LUFS normalisiert, und alle Ausgaben (Sprachdatei, captions.srt, mix-report.md) folgen einem klaren Vertrag. Das Skill blockiert nie die Bild- oder Skriptarbeit, sondern nur die Sprachausgabe, wenn die Konfiguration fehlt, und gewährleistet so eine robuste und zuverlässige Pipeline-Integration.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/LaomaiAI/ai-video-skills/tree/HEAD/skills/04-voice

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

ai-video-voice: 配音

Wann verwenden

Es liegt ein stummes Video (film.mp4) vor. Dieses Skill fügt Sprachausgabe, Untertitel und den finalen Mix hinzu. Es verändert niemals das Bild.

1. Zuerst die Sprachkonfiguration prüfen

Führen Sie den TTS-Konfigurationscheck vor der Synthese durch (z. B. einen doctor-Befehl, falls das TTS-Tool einen bereitstellt). Melden Sie fehlende Konfiguration dem Benutzer; wechseln Sie nicht stillschweigend zu einer anderen Stimme.

  • Wenn der Benutzer eine persönliche Stimme angefordert hat und deren Konfiguration fehlt oder defekt ist, pausieren Sie nur die betroffene Sprachausgabe. Tauschen Sie nicht stillschweigend eine andere Stimme ein.
  • Konfigurationen persönlicher Stimmen, Aufnahmen, Referenzclips und Modellgewichte verbleiben in einem privaten Verzeichnis. Sie gelangen niemals in dieses Repository.

2. In einem ganzen Durchgang synthetisieren

  • Synthetisieren Sie die Sprachausgabe in einem ganzen Durchgang, nicht Satz für Satz zusammengestückelt. Zusammennähen erzeugt hörbare Nähte und Drift.
  • Wenn sich das Stimmmodell oder der Referenzclip ändert, generieren Sie eine neue Version der Sprachausgabe. Überschreiben Sie niemals die alte Audiodatei.

3. Audio-Bild-Synchronisation verwendet die echte Dauer

  • Synchronisieren Sie anhand der echten Dauer der Sprachausgabe. Dehnen Sie Audio niemals zeitlich, um in eine Einstellung zu passen.
  • Wenn das Filmmaterial kurz ist, halten Sie das letzte Bild, um die Lücke zu füllen. Wenn das Filmmaterial lang ist, schneiden Sie das Segment mit dem geringsten Informationsgehalt.
  • Platzieren Sie schwere Aktionen auf starke Beats. Verschieben Sie Soundeffekte aus der Bewegung selbst heraus.

4. Untertitel folgen dem Audio

  • Das Timing der Untertitel stammt vom Audio, nicht von der Skriptschätzung. Transkribieren Sie mit einem Spracherkenner, falls verfügbar; ohne einen solchen verwenden Sie das Skript plus Stille-Erkennung (Fehler kann 0,4 Sekunden erreichen).
  • Korrigieren Sie Fehlerkennungen anhand des Skripts. Schneiden Sie führende und nachfolgende Sätze ab, die zu Nachbarn gehören.
  • Liefern Sie captions.srt mit dem Film. Wenn der Film für einen Editor, der eigene Untertitel hinzufügt, neu geschnitten wird, liefern Sie auch ein Video ohne Untertitel sowie die .srt-Datei.

5. Mix

  • Normalisieren Sie den gemischten Audio-Mix auf -14 LUFS.
  • Halten Sie Musik, Sprachausgabe und Soundeffekte auf einer einzigen Zeitleiste mit dem Bild.
  • Überprüfen Sie die Audiospitze und die vollständige Dekodierung, bevor Sie an die Überprüfung übergeben.

Ausgabe-Vertrag

  • voiceover.wav (oder .mp3), ein ganzer Durchgang.
  • captions.srt.
  • mix-report.md (Dauer, Spitze, LUFS, Untertitelquelle und Fehlergrenze).

Regeln

  • Eine fehlende Sprachkonfiguration blockiert nur die Sprachausgabe. Sie blockiert niemals die Skript- oder Bildarbeit.
  • Bezeichnen Sie eine Untertiteldatei niemals als exakt, wenn sie aus der Stille-Erkennung stammt; schreiben Sie die Fehlergrenze in den Mix-Bericht.
  • Kein Hochladen oder Bereitstellen von Audio ohne Freigabeerlaubnis.

Individual skills in this repo

This repo contains 4 individual skills — each has its own dedicated page.

Verwandte Skills