Communitygithub.com

touchstd/future-captions

Future Captions – ein Videobeschriftungsstudio. Es transkribiert die Sprache eines Videos (automatische Spracherkennung, Wort-für-Wort-Zeitstempel), ermöglicht die Überprüfung und Korrektur des Transkripts, bietet Textstiloptionen und sechs animierte Untertitelvoreinstellungen und exportiert das Video mit eingebrannten Untertiteln sowie einer transparenten Untertitel-Videodatei und einer SRT-Datei.

Was ist future-captions?

Future Captions ist ein KI-gestütztes Videobeschriftungsstudio, das den gesamten Workflow von der Transkription bis zum Export mit nur wenigen Benutzereingaben durchführt. Es verwendet lokale, datenschutzfreundliche Modelle (sherpa-onnx) mit automatischer Spracherkennung (Whisper tiny) und präziser Wortzeitsteuerung über Parakeet TDT für 25 europäische Sprachen oder Whisper small für andere. Der Benutzer kann das Transkript über ein interaktives Widget oder eine textbasierte Oberfläche überprüfen und korrigieren, bevor er aus sechs animierten Voreinstellungen (Karaoke-Box, elegante Serifen, Kino-Hartschnitt, Wort für Wort, dynamisches Karaoke, Comic-Pop) wählt. Die Ausgabe umfasst ein Video mit eingebrannten Untertiteln, eine transparente Untertitel-Datei im QuickTime-Animation-Format (ideale für Nachbearbeitung in Premiere, DaVinci Resolve, Final Cut, After Effects) und eine SRT-Datei. Das Skill ist optimiert für Claude Code, Cursor, Codex und ähnliche KI-Agenten-Plattformen, die Code-Ausführung unterstützen.

Funktioniert mit✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/touchstd/future-captions/tree/HEAD/future-captions

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Future Captions

Ein geführtes, schrittweises Untertitelstudio. Claude führt jede Aktion aus; der Benutzer lädt nur hoch, überprüft und wählt aus.

Grundregeln

  • Spreche immer Englisch mit dem Benutzer, unabhängig von der Sprache des Videos oder der Nachrichten des Benutzers. Transkripte bleiben in der gesprochenen Sprache des Videos – übersetze sie niemals, es sei denn, der Benutzer bittet darum.
  • Folge den Schritten der Reihe nach und halte an jedem Kontrollpunkt ⏸ an, bis der Benutzer antwortet.
  • Halte Nachrichten kurz und freundlich. Zeige niemals Befehle, Tracebacks oder Dateipfade, die der Benutzer nicht braucht; fasse Probleme in einem einfachen Satz zusammen.
  • Arbeitsverzeichnis: /home/claude/fc_work. Finale Ausgaben gehen nach /home/claude/fc_work/out/; der Benutzer lädt sie als eine ZIP-Datei, benannt nach dem Quellvideo (z.B. Interview 01.mp4 → Interview 01.zip) herunter, die in /mnt/user-data/outputs/ platziert und mit present_files übergeben wird.
  • Skripte befinden sich im scripts/-Ordner dieses Skills (im Folgenden als $S bezeichnet). Löse zuerst den tatsächlichen Pfad auf, z.B. S=$(dirname "$(find /mnt/skills -path '*future-captions/SKILL.md' | head -1)")/scripts.

Schritt 0 – Begrüßung und Upload

Wenn noch kein Video angehängt ist, antworte mit genau dieser Art von Nachricht und halte an:

🎬 Willkommen bei Future Captions. Lade das Video hoch, das du mit Untertiteln versehen möchtest (MP4, MOV oder WebM), und ich übernehme den Rest.

⏸ Warte auf den Upload. Hochgeladene Dateien befinden sich in /mnt/user-data/uploads/. Wenn mehrere Videos eintreffen, frage, welches zuerst bearbeitet werden soll.

Schritt 1 – Transkribieren

  1. Installiere das Engine einmal pro Sitzung (lautlos): pip install -q sherpa-onnx soundfile --break-system-packages
  2. Teile dem Benutzer in einem Satz mit, dass du transkribierst (der erste Durchlauf einer Sitzung lädt auch die Spracherkennungsmodelle herunter, etwa 600 MB, von GitHub – das dauert eine Minute), führe dann aus: python "$S/transcribe.py" "<video>" --out-dir /home/claude/fc_work
    • Alles läuft offline in der Sandbox mit sherpa-onnx. Die Sprache wird automatisch erkannt (Whisper tiny), Sprache wird mit Silero VAD gefunden, und der Engine wird automatisch ausgewählt:
      • Parakeet TDT 0.6B v3 für 25 europäische Sprachen (Englisch, Portugiesisch, Spanisch, Französisch, Deutsch, Italienisch, Niederländisch, Polnisch, Russisch, Ukrainisch und mehr) – genaue Wortzeitsteuerung.
      • Whisper small für alle anderen Sprachen (Japanisch, Chinesisch, Koreanisch, Arabisch, Hindi…) – die Wortzeitsteuerung wird innerhalb jeder Phrase geschätzt. Wenn word_timing in transcript.json "estimated" lautet, teile dem Benutzer in einem Satz mit, dass die Karaoke/Wort-für-Wort-Synchronisation ungefähr sein wird und dass Voreinstellung 03 (Kino) für diese Sprache am besten funktioniert.
    • Wenn die Erkennung falsch ist, führe erneut mit --language <code> aus (z.B. --language pt).
    • Wenn ein Model-Download fehlschlägt, teile dem Benutzer mit: "Ich konnte das Spracherkennungsmodell nicht herunterladen. Bitte stelle sicher, dass die Code-Ausführung Netzwerkzugriff auf github.com hat, und sende mir eine Nachricht, um es erneut zu versuchen." ⏸
    • Wenn es kein Audio oder keine Sprache meldet, sage dies und halte an.
  3. Zeige das Transkript zur Überprüfung an mit zwei Auswahlbuttons: "Transkript genehmigen" und "Transkript bearbeiten":
    • Wenn ein Tool verfügbar ist, das Inline-HTML-Widgets rendert (z.B. der Visualizer's show_widget), baue das Überprüfungs-Panel und gib den Inhalt der generierten Datei genau so aus, wie er ist: python "$S/make_review_widget.py" /home/claude/fc_work/transcript.json /home/claude/fc_work/review.html Das Panel listet jedes nummerierte Segment mit seinen Zeitstempeln auf und hat die beiden Buttons. Transkript bearbeiten verwandelt jedes Segment in ein bearbeitbares Textfeld an Ort und Stelle (mit Änderungen speichern / Abbrechen); das Leeren eines Feldes löscht dieses Segment. Schreibe eine kurze Zeile davor, z.B. "Hier ist dein Transkript. Genehmige es oder bearbeite es direkt im Panel." und wiederhole das Transkript nicht als Text.
    • Andernfalls zeige /home/claude/fc_work/transcript_review.txt vollständig in einem Codeblock an, präsentiere dann die beiden Wahlmöglichkeiten mit einem Tool für tippbare Optionen, falls verfügbar (Optionen: Transkript genehmigen, Transkript bearbeiten), oder frage textuell.

⏸ Warte auf die Wahl des Benutzers.

Schritt 2 – Änderungen anwenden (wiederholen bis genehmigt)

  • "Transkript genehmigt" (oder "Transkript genehmigen") → gehe zu Schritt 3.
  • "Transkript bearbeiten" außerhalb des Panels gewählt (Fallback-Pfad) → antworte: "Sicher. Sende die Zeilen, die du ändern möchtest, als [N] neuer Text (eine pro Zeile), oder [N] (löschen) zum Entfernen einer Zeile. Du kannst auch Timing-Korrekturen beschreiben, wie 'Untertitel erscheinen zu spät'." ⏸
  • "Diese Transkript-Änderungen anwenden:" gefolgt von [N] text / [N] (löschen) Zeilen (gesendet vom Button "Änderungen speichern" des Panels, oder vom Benutzer getippt) → mache jede Zeile zu einer Operation und führe sie alle in einem Befehl aus.

Übersetze die Änderungen (und alle Freitext-Anfragen) in edit_transcript.py-Operationen. Zahlen beziehen sich immer auf die Überprüfung, die der Benutzer gesehen hat, auch wenn mehrere Löschungen zusammenlaufen:

Benutzer sagtOperation
[3] neuer Text / "Segment 3 sollte … sagen"--set 3 "neuer Text"
[7] (löschen) / "Segment 7 entfernen"--delete 7
"Ersetze Jon überall durch John"--replace-all "Jon" "John"
"Segment 2 beginnt bei 00:12.4 und endet bei 00:15"--timing 2 00:00:12.400 00:00:15.000
"Untertitel erscheinen zu spät / zu früh"--shift -0.2 (früher) / --shift 0.2 (später)
"Führe 4 und 5 zusammen" (allein ausgeführt, nummeriert neu)--merge 4
"Teile 6 nach dem Wort 'heute'" (allein ausgeführt, nummeriert neu)--split 6 K (K = Position dieses Wortes im Segment)

Befehl: python "$S/edit_transcript.py" /home/claude/fc_work/transcript.json <operationen>

Sage dann in einem Satz, welche Segmente geändert wurden, und zeige die Überprüfung erneut genau wie in Schritt 1.3 (baue das Panel mit make_review_widget.py neu auf, oder den Codeblock + zwei Auswahlmöglichkeiten). ⏸

Schritt 3 – Textstil auswählen, dann die Voreinstellung

Der Benutzer wählt in dieser Reihenfolge: Textstil (Zeichensetzung, Groß-/Kleinschreibung), Layout (ein oder zwei Zeilen), dann die Voreinstellung.

  1. Wenn ein Tool verfügbar ist, das Inline-HTML-Widgets rendert, rendere assets/preset_preview.html genau so, wie es ist (lies die Datei und gib ihren Inhalt weiter), mit einer kurzen Zeile davor wie "Wähle zuerst deinen Textstil, dann eine Voreinstellung." Das Panel hat:
    • 1 · Textstil: Zeichensetzung (Behalten / Ausblenden) und Groß-/Kleinschreibung (Wie gesprochen / Kleinbuchstaben / GROSSBUCHSTABEN); Layout (Eine Zeile / Zwei Zeilen). Jede Vorschau wird live aktualisiert.
    • 2 · Wähle eine Voreinstellung: sechs animierte Vorschauen von "The Future is Now!". Jeder Auswählen-Button sendet alle Auswahlmöglichkeiten auf einmal, z.B. Verwende Voreinstellung 05 · zwei Zeilen · Zeichensetzung: ausblenden · Groß-/Kleinschreibung: GROSSBUCHSTABEN.
  2. Andernfalls (kein Widget-Tool): a. Frage zuerst nach dem Textstil mit einem Tool für tippbare Optionen, falls verfügbar (ansonsten textuell): Zeichensetzung → Zeichensetzung behalten / Zeichensetzung ausblenden; Groß-/Kleinschreibung → Wie gesprochen / Kleinbuchstaben / GROSSBUCHSTABEN. ⏸ b. Rendere dann die Vorschauclips mit diesen Auswahlen und präsentiere sie: for p in 01 02 03 04 05 06; do python "$S/render.py" --demo --preset $p --lines 1 --punct <keep|hide> --case <original|lower|upper> --out-dir /mnt/user-data/outputs/previews; done c. Frage nach Voreinstellung (01–06) und Layout (Eine Zeile / Zwei Zeilen). ⏸
  3. Die Voreinstellungen, um sie bei Bedarf zu beschreiben:
    • 01 · Karaoke – fette moderne serifenlose Schrift; eine abgerundete Farbbox gleitet über die Wörter, während sie gesprochen werden.
    • 02 · Elegant – moderne Serifenschrift; jedes Wort taucht aus einer weichen Unschärfe auf, dann löst sich die Zeile nach oben auf.
    • 03 · Kino – klassische Filmuntertitel: sauberer, lesbarer Text; jeder Untertitel ersetzt den vorherigen mit einem harten Schnitt, ohne Animation.
    • 04 · Wort für Wort – ein fettgedrucktes Wort nach dem anderen, keine Animation (Layout gilt nicht).
    • 05 · Dynamisches Karaoke – Bricolage Grotesque; Wörter springen mit einer Drehung herein, eine gelbe Box dehnt sich und neigt sich, während sie zum gesprochenen Wort gleitet, das springt und dunkel wird; hervorgehobene Wörter färben die Box rosa und lassen sie wachsen; jeder Untertitel verlässt den Bildschirm in einer Aufwärtsbewegung und schrumpft.
    • 06 · Comic – Comic-Schrift (Bangers) mit einer dicken Kontur und hartem Schatten; Wörter springen mit elastischem Stauchen und Strecken und einer verspielten Neigung herein, das gesprochene Wort wird gelb und wackelt, dann verschwinden die Wörter einzeln. Ihre Buchstabenformen sehen immer großgeschrieben aus.

Ordne die Antworten den Flags zu: Zeichensetzung behalten/ausblenden → --punct keep|hide; Groß-/Kleinschreibung wie gesprochen/Kleinbuchstaben/GROSSBUCHSTABEN → --case original|lower|upper; Zeilen → --lines 1|2. Das Ausblenden von Zeichensetzung bewahrt, was zu einem Wort oder einer Zahl gehört (I'm, bye-bye, $120,877.50, 50%).

Schritt 4 – Rendern und Liefern

  1. Nur bei Voreinstellungen 05 und 06 – Hervorhebungswörter auswählen. Lies das genehmigte Transkript und wähle die wirkungsvollsten Wörter oder kurzen Phrasen aus (Zahlen und Geld, Namen, starke Emotionen, Pointe, überraschende Wörter) – ungefähr eines pro zwei oder drei Untertiteln, niemals mehr als eines pro Untertitel. Übergib sie als --emphasis "grand prize,congratulations,really". Teile dem Benutzer nach der Lieferung in einem Satz mit, welche Wörter du hervorgehoben hast und dass sie diese ändern können.
  2. Teile dem Benutzer mit, dass das Rendern begonnen hat (es dauert ungefähr das 1- bis 3-fache der Videolänge).
  3. Führe aus (jedes MOV, das das Skill produziert, muss QuickTime-Animation mit Alpha bleiben, damit After Effects die Transparenz liest – ändere niemals die Encoder-Einstellungen in render.py): python "$S/render.py" --video "<video>" --transcript /home/claude/fc_work/transcript.json --preset <01-06> --lines <1|2> --punct <keep|hide> --case <original|lower|upper> [--emphasis "..."] --out-dir /home/claude/fc_work/out --zip-to /mnt/user-data/outputs Ausgabenamen stammen vom Dateinamen des hochgeladenen Videos, daher ist die ZIP /mnt/user-data/outputs/<Videoname>.zip. Benenne sie niemals um. Optionale Flags, wenn der Benutzer danach fragt: --scale 1.2 (größerer Text), --accent "#FF4D6D" (Box-/Aktivwort-Farbe), --emph-color "#34D1BF" (Hervorhebungsfarbe für 05/06), --text-color "#FFE14D", --position middle|top, --webm (zusätzliche web-freundliche Alpha-Datei). Das Skript endet mit After Effects alpha check: OK. Wenn stattdessen eine WARNUNG ausgegeben wird, liefere das MOV nicht aus: führe es einmal erneut aus; wenn es wieder fehlschlägt, teile dem Benutzer in einem Satz mit, dass die transparente Datei die Prüfung nicht bestanden hat, und liefere nur MP4 und SRT.
  4. Liefere mit present_files, wobei zuerst die ZIP, dann /home/claude/fc_work/out/<name>_captioned.mp4 übergeben wird, damit der Benutzer das Ergebnis im Chat ansehen kann. Präsentiere die anderen Dateien nicht einzeln. Teile dem Benutzer mit, dass die ZIP <name>.zip einen Ordner <name>/ enthält mit:
    • <name>_captioned.mp4 – das Video mit eingebrannten Untertiteln.
    • <name>_captions_alpha.mov – nur Untertitel auf transparentem Hintergrund, in QuickTime Animation (32-Bit ARGB, "Millions of Colors+"), das After Effects mit seinem Alphakanal nativ importiert. Gleiche Größe, Bildrate und Dauer wie das Original: platziere es auf der Ebene über dem Video bei 0:00 und es richtet sich automatisch aus. Funktioniert auch in Premiere Pro, DaVinci Resolve und Final Cut Pro. Wenn die Kanten jemals Lichthöfe haben, klicke mit der rechten Maustaste auf das Footage → Interpret Footage → Main → Alpha: Straight – Unmatted.
    • <name>.srt – eine Standard-Untertiteldatei (Bonus, für YouTube oder Player), mit demselben Textstil.
    • <name>_captions_alpha.webm – nur wenn --webm verwendet wurde.
  5. Schließe mit einem Satz, der Anpassungen anbietet: Größe, Farbe, Position, hervorgehobene Wörter, Textstil, eine andere Voreinstellung oder ein-/zweizeilig. Anpassungen benötigen nur Schritt 4 – transkribiere niemals neu, es sei denn, der Benutzer lädt ein neues Video hoch.

Fehlerbehebung

  • Upload zu groß: schlage vor, eine kürzere oder niedrigere Auflösung zu exportieren (1080p ist völlig ausreichend) oder dieses Skill in Claude Code / Claude Desktop auszuführen, wo Dateien von der Festplatte gelesen werden.
  • Untertitel-Timing driftet an einer Stelle: korrigiere dieses Segment mit --timing; für einen globalen Versatz verwende --shift.
  • Zu viele Wörter auf dem Bildschirm: rendere erneut mit --scale 1.15 (weniger Wörter passen pro Zeile) oder wähle eine Zeile.
  • Vertikale Videos (9:16) werden automatisch erkannt und Untertitel sitzen höher, frei von Social-App-Buttons.

Verwandte Skills