Communitygithub.com

Stimme, Video und Sound

Alles, was in einem Film zu hören ist – erstellt, ohne es hören zu können. Generiere und überprüfe die Erzählerstimme, wähle eine Stimme mit der Person aus, vertone den Film so, dass die Musik der Stimmung folgt, platziere Soundeffekte, blende Musik unter der Stimme ein und erreiche einen Lautstärkezielwert. Verwende es, sobald das Drehbuch geschrieben ist, und immer dann, wenn sich Zeilen, Stimme, Musik oder Mix ändern.

Was ist Stimme, Video und Sound?

Dieses Skill ermöglicht die vollständige Postproduktion von Audio – Sprachaufnahmen, Musik, Soundeffekte und Mix – ohne dass der Entwickler die Audiodateien selbst anhören kann. Es basiert auf einer strengen, messbaren Arbeitsweise: Jede Sprachzeile wird mit dem Tool `scripts/vo.py` über die ElevenLabs-API generiert, auf -17 LUFS normalisiert und mit `scripts/transcribe` zurück transkribiert, um Abweichungen wie fehlende oder vertauschte Wörter zu erkennen. Die Wahl der Erzählerstimme erfolgt über eine Hörprobe von fünf bis acht Stimmen aus der Bibliothek, wobei Akzent, Geschlecht und Tonfall gefiltert werden. Der Entwickler misst Lautstärkepegel und Tempo mit `scripts/levels.py`, um Musiktitel zu segmentieren und Übergänge auf Wort- oder Bildschnitten zu platzieren. Der Mix wird mit `scripts/mix.py` berechnet, das die Musik dynamisch unter der Stimme zurückfährt (Ducking) und einen integrierten Lautstärkezielwert von -16 LUFS anstrebt. Der Skill eignet sich für plattformunabhängige Webprojekte mit HTML+JS (z. B. HyperFrames) und erfordert Umgebungsvariablen für ElevenLabs-API-Keys sowie eine Lizenzdatei `CREDITS.md` für alle verwendeten Samples.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shubhamnshukla/video-agent-kit/tree/main/skills/video-voice-and-sound

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Stimme und Sound

Du kannst nicht hören. Entscheide anhand von Messungen, überprüfe durch Transkription und sag der Person, worauf sie achten soll.

1. Die Stimme

Generiere eine Datei pro Zeile mit scripts/vo.py lines.json assets/vo-raw <voice_id>. Es fragt ElevenLabs nach Wortzeitstempeln und übergibt die Zeilen davor und danach, damit der Tonfall von Zeile zu Zeile fließt. Diese Wortzeitstempel sind der Takt des Films: Jeder Schnitt und jede Karte wird auf ein Wort gesetzt.

Danach scripts/vo_finish.py assets/vo-raw assets/vo:

  • normalisiert jede Zeile auf −17 LUFS (generierte Takes variieren um 10 dB oder mehr);
  • mit --tighten <prefix> verkürzt es Pausen über 0,34 s in schnellen Abschnitten. Zeilen, die als Fragmente geschrieben sind („Kabir. Designer. …“), kommen mit Abständen von einer halben Sekunde oder mehr zurück, und der Film wirkt dadurch langsam.

Überprüfe jede Zeile. Füge die Dateien zusammen, transkribiere sie (npx hyperframes transcribe file.wav --json) und lies den Text gegen das Drehbuch. Generierte Sprache lässt kleine Wörter weg oder vertauscht sie: „konnte nicht“ kam als „konnte“ zurück. Schreibe eine solche Zeile neu („konnte nicht“) und generiere sie erneut. Melde alles, bei dem Transkriptor und Drehbuch unterschiedlicher Meinung sind, selbst wenn du denkst, dass der Transkriptor falsch liegt.

Tempo. Nach Fertigstellung sollte die Sprache des Films für ein energiegeladenes Stück 2,4 bis 2,8 Wörter pro Sekunde betragen. Ein ruhiger, langsamer Erzähler macht einen langsamen Film, egal wie geschnitten wird; das ist der häufigste Grund, warum ein erster Entwurf als langweilig bezeichnet wird.

Einzelne Zeilen wiederholen mit --only id,id; die Timingdatei wird zusammengeführt.

2. Wahl eines Erzählers mit der Person

Stimme ist Geschmackssache und gehört der Person. Biete früh Hörproben an, bevor der Film auf einer Stimme aufgebaut ist, denn eine neue Stimme ändert die Länge jeder Zeile und jedes Cues.

  • Durchsuche die Stimmbibliothek nach Akzent, Geschlecht und Verwendung (ihre API listet geteilte Stimmen mit Beschreibungen auf).
  • Generiere denselben Abschnitt mit fünf bis acht Stimmen: vo.py lines.json samples A,B,C --sample 5. Verwende einen Abschnitt, der die Namen und den Markennamen enthält.
  • Gib ihnen die Dateien mit einer Zeile pro Datei: die eigene Beschreibung der Bibliothek und das gemessene Tempo. Du kannst nicht nach Gehör bewerten; sag das.

Namen. Eine Stimme kann Namen aus einer anderen Sprache falsch aussprechen. Erstelle einen A/B-Vergleich der Namenszeilen: wie geschrieben und für diesen Sprecher umgeschrieben (Kabeer, Urjun). Lass sie wählen. Die Hörprüfung des Markennamens ist Aufgabe der Person; frage explizit danach.

3. Musik, die der Stimmung folgt

Ein einziger Track von Anfang bis Ende macht eine Geschichte flach. Ordne zuerst die Akte den Stimmungen zu, dann suche einen Track für jeden:

Teil des FilmsStimmungWorauf achten
Eröffnung, Menschen kennenlernenleicht, hoffnungsvollleises Klavier oder weicher Puls, wenig Percussion
Das Problemangespannt, schwerein dunkles Bett, das sich langsam aufbaut; füge einen Herzschlag oder einen tiefen Drone hinzu
Der Satz, der alles zusammenfasstfast Stilleein tiefer Einschlag, dann fast nichts unter den Worten
Das Produkt kommtAufschwungein optimistischer Track mit zurückhaltendem Beginn, der später einsetzt
Ende und EndkarteErleichterungder leisere Abschnitt desselben Tracks

Wahl ohne Hören. Messe für jeden Kandidaten den Pegel über die Zeit (scripts/levels.py track 2) und das Tempo. Du suchst nach einer Form: einen gleichmäßigen, leisen Abschnitt für die Eröffnung; einen langsamen Anstieg für Spannung; einen deutlichen Sprung von 5 dB oder mehr, wo ein Track einsetzt. Setze den Einschlag auf den Moment, in dem die Antwort des Produkts erscheint. Finde das Beat-Gitter (Tempo und Zeit des ersten Downbeats) für jeden Abschnitt, der zum Beat geschnitten wird.

Einen Track bearbeiten. Schneide nur an Taktstrichen mit einem 40 ms Crossfade und überdecke die Naht mit einem Schnitt im Bild. Um einen Track vorzeitig zu beenden, springe von einem Taktstrich im lauten Abschnitt zu einem Taktstrich, wo der leise Abschnitt beginnt. Messe nach der Bearbeitung über die Naht hinweg, um zu bestätigen, dass der Pegel dort wechselt, wo du es wolltest.

Tracks wechseln. Wechsle bei einem harten Schnitt im Bild mit einem Einschlag am Schnitt. Blende den ausgehenden Track über 0,3 s aus.

4. Soundeffekte

Kleine Geräusche lassen Karten und Schnitte platziert wirken. Halte ein Kit bereit: drei oder vier kurze Pops, ein Taps, gesendete und empfangene Töne, Stift auf Papier, ein leises Whoosh, ein tiefer Boom, ein dunkler Riser, ein Herzschlag.

  • Messe, wo der Peak jedes Effekts liegt (levels.py file 0.1). Ein Riser kann 1,9 s nach Dateibeginn peaken; ein Einschlag kann zuerst 0,25 s Ruhe haben. Beginne die Datei so, dass der Peak auf das Bild fällt.
  • Setze den Sound etwa 20 ms nach dem Bild, niemals davor.
  • Wechsle bei einer Reihe von Karten zwischen zwei oder drei verschiedenen Pops.
  • Ein Herzschlag unter einem angespannten Abschnitt: anfangs leise (0,3), ansteigend (0,4, dann 0,6) und eine Sekunde lang allein gelassen, wenn die Musik stoppt.

5. Der Mix

Clips in der Hauptkomposition: Musik auf eigenen Clips mit data-volume="1", Stimme bei 1,25 nach Normalisierung, Effekte zwischen 0,35 und 2,0 je nach Datei.

scripts/mix.py index.html mix.json schreibt die Lautstärke-Lanes, die Musik unter der Stimme ausblenden (Ducking). Wähle die Pegel aus dem gemessenen Pegel des Tracks: Ein Bett sollte 11 bis 13 dB unter der Stimme liegen.

Bett, gemessenUnter der StimmeIn den Lücken
Leises Klavier, −25 dBFS0,91,5
Dunkles Bett, −21 dBFS0,550,95
Optimistischer Track, zurückhaltender Beginn, −17 dBFS0,340,62
Derselbe Track bei voller Anordnung, −11 dBFS0,190,4
Sein leiser Abschnitt, −15 dBFS0,30,75

Führe mix.py erneut aus, wenn sich ein Sprachclip bewegt.

Zielwert. Messe die gerenderte Datei: ffmpeg -i film.mp4 -af ebur128=peak=true -f null -. Strebe etwa −16 LUFS integriert und einen wahren Spitzenwert bei oder unter −1 dBFS an.

6. Was der Person mitgeteilt werden soll

Jede Übergabe enthält in einfachen Worten: es wurde nichts gehört; die Sprachzeilen wurden zurück transkribiert und stimmen überein (oder welche nicht); die Lautstärkewerte; und die spezifischen Dinge, auf die geachtet werden soll, z. B. wie der Markenname ausgesprochen wird, ob die Musik in einem benannten Abschnitt zu laut unter der Stimme ist und ob ein Musikwechsel sauber wirkt.

7. Lizenzen und Schlüssel

Musik und Effekte stammen aus einer Bibliothek, für die die Person ein Konto hat, oder aus Quellen, deren Lizenz die Nutzung erlaubt. Trage Titel und das Konto in CREDITS.md ein und erinnere daran, zu bestätigen, dass der Plan den Ort abdeckt, an dem der Film gezeigt wird. Schlüssel werden aus der Umgebung oder einer Datei außerhalb des Projekts gelesen, niemals in das Projekt geschrieben.

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

Verwandte Skills