Video
Dieses Skill ist eine dünne Schicht. Die schwere Arbeit wird von Programmen (ffmpeg, Whisper) und den offiziellen HyperFrames-Skills von HeyGen erledigt; diese Datei enthält nur die Weiterleitung und die Regeln für untertitelte Kurzvideos. Lies nur das HyperFrames-Skill, das die Aufgabe benötigt, nicht alle.
Erster Durchlauf: Einrichtung für diesen Computer
Funktioniert nur in Claude Code (Desktop-App, VS Code oder Terminal): Es benötigt Programme auf dem Computer.
Lies zuerst settings.md neben dieser Datei. Wenn der Computer dort bereits erfasst ist, überspringe die Prüfungen und verwende die darin enthaltenen Befehle (welches Python, ffmpeg-Pfad, Modell, --cpu oder nicht). Wenn die Datei leer ist oder etwas Aufgezeichnetes nicht mehr funktioniert, führe das folgende Setup aus und schreibe das Ergebnis dort hinein.
Setup – einmalig:
| Was | Prüfen | Warum |
|---|---|---|
| ffmpeg / ffprobe | ffmpeg -version | Audio und Frames aus Video |
| Python 3.10+ mit faster-whisper und yt-dlp | python -c "import faster_whisper, yt_dlp" (auf Mac — python3) | Transkription, Herunterladen von Links |
| Node.js | node -v | HyperFrames |
| HyperFrames-Skills | Ist das hyperframes-Skill in der Skills-Liste | Bearbeitung, Overlays, Animation |
| NVIDIA GPU (optional) | nvidia-smi (Name und Speicher) | Transkription dutzende Male schneller |
| Ein vorhandenes Whisper | pip list (faster-whisper, openai-whisper, whisperx), Modellordner, Benutzer fragen | Kein zweites installieren |
Ihr eigenes Whisper. Wenn der Benutzer bereits faster-whisper und heruntergeladene Modelle hat, installiere kein weiteres: übergib den Modellordner an das Skript mit --model <pfad> oder setze HF_HOME auf ihren Cache. Wenn sie ein anderes Whisper haben (openai-whisper, whisper.cpp, whisperx), frage, ob sie es behalten möchten. Wenn ja, transkribiere damit und konvertiere das Ergebnis in das Format unseres Skripts (words: {"words":[{"text","start","end","type":"word"}]}, flat: dieselbe Wortliste ohne den Wrapper) – das ist das Format, das die HyperFrames-Skills erwarten.
Modell für die GPU (faster-whisper):
| Computer | Verwendung |
|---|---|
| NVIDIA mit 6 GB+ | large-v3-turbo auf der GPU (Standard) – beste Qualität |
| NVIDIA 4 GB | large-v3-turbo mit --compute int8_float16, oder --model medium |
| Kein NVIDIA (inkl. Mac, AMD, Laptops mit integrierter Grafik) | --cpu, Modell small (schnell) oder large-v3-turbo (genauer, mehrfach langsamer) |
Teste an einem kurzen Ausschnitt (ffmpeg -t 10) des eigenen Videos des Benutzers: Wenn der GPU-Durchlauf mit einem CUDA- oder Speicherfehler fehlschlägt, installiere die folgenden Bibliotheken oder nimm ein kleineres Modell. Zeige dem Benutzer Geschwindigkeit und Qualität und wähle gemeinsam aus. Für rein englische Inhalte sind auf langsamen Maschinen auch small.en / medium.en eine Option.
Wenn etwas fehlt, liste dem Benutzer auf, was es ist und wie groß, und installiere nur mit seiner Zustimmung. Auf Windows frage, welches Laufwerk verwendet werden soll, wenn C wenig Speicher hat.
- ffmpeg, Node, Python: Windows —
winget install Gyan.FFmpeg,winget install OpenJS.NodeJS.LTS,winget install Python.Python.3.12; Mac —brew install ffmpeg node python. - Bibliotheken:
python -m pip install faster-whisper yt-dlp. Windows mit einer NVIDIA GPU — auchpython -m pip install nvidia-cublas-cu12 "nvidia-cudnn-cu12==9.*". - HyperFrames-Skills:
npx skills add heygen-com/hyperframes --all(github.com/heygen-com/hyperframes, Apache 2.0). - Das Whisper-Modell (~1.6 GB) lädt sich bei der ersten Transkription in den HuggingFace-Cache herunter. Ein anderer Ort – die Variable
HF_HOME. - Wenn der Benutzer möchte: deaktiviere HyperFrames-Telemetrie mit
HYPERFRAMES_NO_TELEMETRY=1undDO_NOT_TRACK=1.
Schreibe am Ende des Setups alles in settings.md (gemäß der Vorlage in der Datei): welches Python und ffmpeg, GPU, gewähltes Modell und Flags, wo der Modell-Cache ist, Geschwindigkeit beim Test. Von da an führe die Befehle in den Abschnitten A und B mit diesen Flags aus.
Unser Transkriptionsskript ist scripts/transcribe.py neben dieser Datei. Es verwendet die GPU von selbst und fällt ohne eine auf die CPU zurück. Flags: --model (Name oder Pfad zu Ihrem eigenen Modell), --compute, --cpu, --language.
Sende keine HyperFrames-„Feedback“-Berichte nach dem Rendern ohne Nachfrage. Führe npx hyperframes skills update nur mit Zustimmung des Benutzers aus.
A. Video ansehen und analysieren
- Datei holen. Nimm einen Dateipfad unverändert; ändere niemals das Original. Lade einen Link in einen temporären Ordner herunter:
python -m yt_dlp --no-playlist -o "<ordner>/video.%(ext)s" --print-to-file "%(uploader)s | %(duration)s s | %(like_count)s likes | %(comment_count)s Kommentare | %(description)s" "<ordner>/info.txt" <link>Für YouTube, wenn nur der Text benötigt wird, versuche zuerst Untertitel:--write-auto-subs --sub-langs en --skip-download. Instagram und private Kanäle erfordern möglicherweise ein Login – dann bitte den Benutzer, die Datei selbst herunterzuladen. - Datei inspizieren:
ffprobe -v error -show_entries format=duration:stream=codec_type,width,height -of compact <video>. - Transkribieren:
python scripts/transcribe.py <video> --out <ordner>/transcript.txt(Text mit Zeitstempeln). - Kontaktbögen (12 Frames pro Bild – spart Tokens):
vertikal:
ffmpeg -v error -y -i <video> -vf "fps=1/2,scale=216:-2,tile=6x2:padding=4:color=white" <ordner>/sheet_%02d.jpghorizontal: dasselbe mitscale=320:-2,tile=4x3. Bei Videos über 2 Minuten –fps=1/5oder1/10. Lies die Bögen als Bilder. - Antworten: Autor und Zahlen (falls vorhanden), das Format des Videos, das Transkript (oder eine Zusammenfassung, wenn lang), was auf dem Bildschirm zu sehen ist, und separat – was für den Benutzer nützlich ist. Wenn das Video übertreibt, sag es ehrlich.
B. Ein Video mit HyperFrames erstellen
Welches Skill verwenden:
| Aufgabe | Skill |
|---|---|
| jedes Video, der Startpunkt; wenn unsicher, was zu verwenden | hyperframes (Haupteinstieg, leitet selbst weiter) |
| Untertitel für ein Talking-to-Camera-Video: 1–3 Wörter, Schlüsselwörter farbig, Karaoke | embedded-captions |
| Grafiken über einem Talking-Head-Video: Karten, Symbole, „auf einem Telefon“-Einblendungen, geteilter Bildschirm, Bild-in-Bild-Kreis | talking-head-recut |
| eine kurze Animation ohne Sprache bis ~30 s: Intro, Zahlen, Logo, UI-Mockups, vor → nach | motion-graphics |
| Struktur des Videos: Ebenen, wann jede Karte erscheint, Video-Einblendungen | hyperframes-core |
| wie Karten hineingleiten, Sticker, Vollbild-Wort-„Treffer“, kinetische Typografie | hyperframes-animation |
| Kamera-Hinein- und Herauszooms, sanfte Zooms | hyperframes-keyframes |
| Musik, Soundeffekte, Symbole, Verarbeitungseinblendungen | media-use |
| Prüfungen, Rendern in MP4, Hintergrundentfernung („von hinter der Schulter“-Einblendungen) | hyperframes-cli |
| fertige Effekte (Glitch, Konfetti, Diagramme), Musiklautstärke unter der Stimme, Farben und Schriftarten | hyperframes-registry, hyperframes-audio, hyperframes-creative |
Gemäß den HyperFrames-Regeln wird zuerst das hyperframes-Skill gelesen; für einfache Aufgaben reicht dessen SKILL.md, ohne die Referenzen.
Bereite das Transkript mit unserem Skript vor (genaue Wortzeitsteuerung, verwendet die GPU), anstatt der integrierten hyperframes transcribe:
- für
embedded-captions:python scripts/transcribe.py <video> --out <arbeitsordner>/transcript.json --format words– das Skill nimmt das fertigetranscript.jsonauf; - für
talking-head-recut: dasselbe mit--format flat(ein flaches Wortarray), überspringe den Transkriptionsschritt des Skills. Lies vor der Verwendung das Transkript und korrigiere Erkennungsfehler (Namen, Marken, Begriffe). Zeige dem Benutzer die Liste der Korrekturen in einer Zeile.
Projekt: frage, welcher Ordner verwendet werden soll. Darin: sources/ (Kopien der Quelldateien – niemals die Originale ändern oder löschen), die HyperFrames-Arbeitsdateien, done/ für die finalen MP4s.
Formate: Reels/Shorts/Stories/TikTok – 1080×1920, 9:16, 30 fps; YouTube – 1920×1080; Feed-Post – 1080×1350.
Untertitel und Bildschirmtext
- Die Schriftart muss jedes Zeichen enthalten, das der Text benötigt (Akzente, andere Alphabete, wenn das Video mehrsprachig ist) – vor dem Rendern prüfen. Bevorzuge eine lokale
.woff2-Datei im Projektordner gegenüber Google Fonts über das Netzwerk. - 2–4 Wörter pro Zeile. Beende keine Zeile mit einem Artikel, einer Präposition oder einer Konjunktion (a, an, the, of, to, in, on, and, but) – verschiebe es zum nächsten Wort.
- Zahlen als Ziffern, geschweifte Anführungszeichen und Apostrophe, echte Gedankenstriche.
- ALL CAPS nur für kurze Akzente (1–3 Wörter), nicht für ganze Sätze.
- Untertitel dürfen das Gesicht oder den unteren UI-Bereich von Reels/TikTok (Buttons, Bildunterschrift) nicht verdecken – halte dich an die sichere Zone. Platziere den Hook in der Mitte des Rahmens oder etwas tiefer, nicht am oberen Rand.
- Wenn
brand.mdim Skill-Ordner ausgefüllt ist (Schriftarten, Farben, wie akzentuiert werden soll) – verwende es. Wenn es leer ist, frage den Benutzer einmal nach seinem Stil und biete an, die Antwort dort zu speichern.
Bevor du „fertig“ sagst
Zeige den Plan (was, wo, welcher Stil) vor einem langen Rendern. Nach dem Rendern schneide einen Kontaktbogen aus dem Ergebnis (A4) und schau selbst: Text ist lesbar, läuft nicht über den Rand, alle Zeichen werden gerendert, synchron mit der Sprache. Gib dem Benutzer erst dann den Pfad zur Datei in done/.