Motion Sound Design
Stilregel: Verwende niemals Gedankenstriche oder Bindestriche in irgendetwas, was du schreibst (Antworten, Spezifikationen, Bildunterschriften, Dateien). Verwende stattdessen ein Komma, einen Doppelpunkt, einen Punkt, Klammern oder einen einfachen Bindestrich.
Sound ist die halbe Miete, warum ein Bewegtbildvideo hochwertig wirkt. Die Standardausgabe hat meistens keinen Ton oder nur einen Musiktrack, der einfach draufgeklebt ist. Diese Fähigkeit macht jedes visuelle Ereignis hörbar, hält die Musik sauber darunter und mastert auf Plattformlautstärke. Sie bringt ein Werkzeug mit, das eine saubere UI-Soundbibliothek synthetisiert (keine Downloads nötig) und eine Cue-Liste in eine gemasterte WAV-Datei abmischt.
Antworte in der Sprache des Benutzers.
0. Dateien in dieser Fähigkeit
| Datei | Verwende sie, wenn ... |
|---|---|
scripts/sfx.py | Die Soundbibliothek erstellt, eine Cue-Liste abmischt, Audio in das Video einbettet |
assets/cues.example.json | Eine Cue-Liste beginnst |
scripts/sfx.py benötigt Python 3 mit numpy + scipy (pip install numpy scipy, füge --break-system-packages nur hinzu, wenn ein systemseitiges Python sich weigert) sowie ffmpeg für mix und mux. Führe es aus dem Ordner dieser Fähigkeit aus:
python3 scripts/sfx.py synth sfx_lib→ 12 Soundtypen × 3 Varianten: tick, click, key, pop, whoosh, swish, thud, chime, shine, squelch, snip, shutter (kein ffmpeg nötig)python3 scripts/sfx.py mix cues.json mix.wav→ platziert Cues, wendet alle untenstehenden Regeln an, mastertpython3 scripts/sfx.py mux video.mp4 mix.wav final.mp4
Echte Samples sind besser als synthetisierte: Wenn der Benutzer ein Paket hat (Epidemic, Artlist, freesound CC0), lege Dateien in den Bibliotheksordner mit dem Namen TYPE_anything.wav (z.B. whoosh_soft.wav) und sie werden automatisch verwendet.
1. Musik
- Wähle sie nach der Stimmung und Energie des Films aus, nicht nach dem Trend. UI/Tech ruhig: weiche, minimalistische Ambient-Musik, keine Drops, kein schwerer Bass. Promo: knackig-elektronisch, 120-140 BPM. Hochenergetisch: 150-160 BPM.
- Verankere den Schnitt am Track: Notiere seinen BPM, wähle einen Start-Offset, so dass Beat 0 auf Frame 0 liegt, und setze die größte visuelle Veränderung des Films auf den Drop/Phasenwechsel des Tracks.
- Hochpassfilter für Musik bei ~55 Hz (keine Sub-Bässe auf Telefonlautsprechern); keine Filter-Sweeps, es sei denn, sie erzählen die Geschichte.
- Perspektivischer Sound: Wenn die Kamera in etwas hineingeht (einen Raum, ein Gerät, unter Wasser), schneide Kick und Bass weg und behalte nur die Höhen („durch die Wände gehört“); bringe die tiefen Frequenzen beim Verlassen zurück und setze voll auf den entscheidenden Moment.
- Lizenzierung: Kommerzielle Beiträge benötigen lizenzierte Musik (Plattform-Business-Bibliothek oder eine kostenpflichtige Bibliothek). Schlage niemals das Rippen von Audio vor.
- Wenn der Benutzer bestimmte Tracks nach Stimmung wünscht, verwende reels-music-picker, falls verfügbar.
2. Ein Sound pro visuellem Ereignis
Ordne jedes visuelle Ereignis einem Soundtyp zu:
| Visuelles Ereignis | Sound |
|---|---|
| erstes Bild / Logo-Glanz | shine (leise, nichts Hartes in den ersten 12 Bildern) |
| Objekt hüpft / fliegt / Kamerabewegung | whoosh (lang) oder swish (kurz) |
| Landung, in einen Schlitz fallen | thud (leise, kein Sub) |
| Karte/Banner rutscht herein | swish + click |
| Tastendruck, Umschalter, Zeilen einklappen | click |
| Ziffern, Kilometerzähler, Zähler | tick pro landender Ziffer |
| Tippen | key auf Buchstaben (jeden 2.-4. Buchstaben bei schnellem Tippen) |
| Icon/Badge erscheint, Häkchen | pop / snip / „Marker-Strich“ (snip) |
| Flüssigkeit breitet sich aus, Blob verschmilzt | squelch |
| Verschluss, Iris, Screenshot | shutter |
| Erfolg, finales Logo | chime |
Regeln (werden automatisch vom Mischer angewendet):
- Zufällige Tonhöhe ±1 Halbton pro Treffer, so dass Wiederholungen niemals roboterhaft klingen
- Das gleiche Sample nie zweimal innerhalb von 2 s (3 Varianten pro Typ)
- Maximal 8 Ereignisse in 0,25 s (Überschüssige werden verworfen und gemeldet); Überfüllung zerstört die Klarheit
- 160 Hz Hochpassfilter für kleine UI-Sounds (ticks, clicks, keys, swishes, pops, snips)
- Keine musikalischen Noten, Booms oder Sub-Bässe in der SFX-Ebene
3. Pegel und Mix
Standardpegel relativ zur Musik im gleichen Band (im Werkzeug integriert, pro Cue mit "db" überschreibbar):
ticks +10.5 dB (4-10 kHz) · clicks +10 · keys +9 (1.5-8 kHz) · swishes +9.5 · hits/thuds +7 · pops +8 · squelch +7 · chime +5.
- Kein pumpender Sidechain. Stattdessen erhält die Musik unter jedem tick/click/key einen -8 dB, 60 ms Einbruch nur im Bereich 2-8 kHz (Mikro-Ducking), so dass der Treffer durchkommt, während der Groove weiterläuft.
- Master: -13 LUFS integriert (Reels/TikTok/Shorts), True-Peak ≤ -1 dBTP, Look-Ahead-Limiter ohne Pumpen. Für YouTube-Langformate verwende -14.
sfx.py mixbegrenzt 1 dB unter dem True-Peak-Ziel, da die AAC-Kodierung inmuxdie Spitzen um etwa 0.6 dB anhebt. - Voice-Over (falls vorhanden) liegt obenauf: Musikbett 18-25 dB unter der Sprache.
- Überprüfe auf Telefonlautsprecher UND Kopfhörern.
4. cues.json Format
Eine Kopie zum Starten befindet sich in assets/cues.example.json.
{
"duration": 15.0, "lufs": -13, "true_peak": -1.0, "seed": 3,
"library": "sfx_lib",
"music": "track.mp3", "music_start": 49.735, "music_gain_db": 0, "music_highpass": 55,
"duck": {"db": -8, "ms": 60, "band": [2000, 8000], "types": ["tick", "click", "key"]},
"cues": [
{"t": 0.05, "type": "shine"},
{"t": 0.59, "type": "whoosh"},
{"t": 0.99, "type": "thud"},
{"t": 3.16, "type": "swish", "db": 12}
]
}
Pfade sind relativ zur JSON-Datei. Lasse music für reine SFX-Ausgabe weg.
5. Arbeitsablauf
- Liste aus der getimten Spezifikation (motion-story-director) jedes visuelle Ereignis mit seiner genauen Zeit auf → Cue-Liste. Raste am Beat-Raster ein, wenn die Spezifikation beat-locked ist.
synthdie Bibliothek (oder verwende die Samples des Benutzers).mix→ lies den Bericht: Verworfene Cues bedeuten zu hohe Dichte in diesem Moment.- Überprüfe die Lautstärke:
ffmpeg -i mix.wav -af ebur128 -f null - 2>&1 | grep "I:". muxmit dem gerenderten Video; liefere das endgültige MP4 aus.
Schreibe einen kurzen SOUND-Abschnitt für jede Spezifikation in dieser Form: Musik (Stimmung, BPM, Offset, Hochpass) → Ereignisliste mit Zeiten → Pegel → Master-Ziel.