Communitygithub.com

auto-tutorial-studio

Gegeben eine Website-Adresse oder Software-Name sowie eine grobe Kapitelgliederung, steuert diese Fähigkeit die tatsächlichen Bedienungsschritte, während der Benutzer mit externen Tools aufzeichnet. Anschließend wird das aufgenommene Video satzweise synchron geschnitten, mit Animationen und Überblendungen versehen, der Hintergrundmusik-Pegel automatisch abgesenkt, eine framegenaue Blockierungsprüfung durchgeführt und ein abspielbarer finaler Film exportiert. Dient der Erstellung von praxisnahen Tutorial-Videos.

Was ist auto-tutorial-studio?

Diese Fähigkeit automatisiert die Erstellung von Software-Tutorial-Videos, indem sie den gesamten Workflow von der Planung über die tatsächliche Bedienung bis hin zum fertigen Schnitt orchestriert. Der Benutzer zeichnet das Bildschirmgeschehen mit einem externen Tool (z.B. OBS, ShareX) auf, während die Fähigkeit über CDP oder Fensterautomatisierung die Maus- und Tastatureingaben für die gezeigten Abläufe übernimmt. Nach der Aufnahme importiert und indexiert die Fähigkeit das Filmmaterial, erstellt aus der Benutzervorgabe ein Drehbuch (Script), generiert eine Sprachsynthese (TTS), plant die Kameraeinstellungen (Beats) und führt einen vollautomatischen Schnitt mit Toneffekten, Überblendungen und Hintergrundmusik durch. Eine framegenaue OCR-Prüfung stellt sicher, dass keine unerwünschten Konsolenfenster oder Benachrichtigungen im finalen Video erscheinen. Die Fähigkeit ist für Entwicklungsumgebungen wie Claude Code, Cursor und Codex konzipiert und setzt auf strikte Arbeitsteilung: Der Benutzer zeichnet auf, die Fähigkeit steuert und schneidet – die Hardware-Maus des Benutzers wird nicht blockiert.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/wildmai/video-skills/tree/main/auto-tutorial-studio

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Automatisiertes Tutorial-Video-Studio

Gegeben eine Website-Adresse oder Software-Name sowie eine grobe Kapitelgliederung, übernimmt diese Fähigkeit:

Tatsächliche Bedienung steuern → Benutzer zur Aufnahme auffordern → Aufnahmematerial importieren → Durchsuchbaren Index erstellen → Satzweise synchron schneiden → Effekte und Überblendungen → Framegenaue Prüfung → Fertigstellung des Films

Aufgabenverteilung: Was die Fähigkeit tut, was der Benutzer tut

Wer macht esBeschreibung
Bildschirm aufnehmenBenutzerDer Benutzer zeichnet mit externen Tools wie OBS / ShareX / systemeigener Bildschirmaufnahme auf. Die Fähigkeit zeichnet nicht auf. Externe Aufnahme erhält native Auflösung und Schärfe und kann auch Systemaudio aufnehmen.
Tatsächliche BedienungFähigkeitDie Fähigkeit führt jeden Schritt mit CDP des Browsers oder Fensterautomatisierung aus und zeichnet die Bedienpositionen auf.
Schnitt, Sprachsynthese, Effekte, PrüfungFähigkeitVollautomatisch, mit Sicherheitsprüfungen.
Material importierenBenutzerNach der Bedienung gibt der Benutzer der Fähigkeit das aufgenommene Video (nur den Pfad).

Die Fähigkeit blockiert nicht die Hardware-Maus des Benutzers: Browser-Aktionen erfolgen über CDP-Element-Klicks, ohne den echten Mauszeiger zu bewegen.

Sieben eiserne Regeln

  1. Aufnahme obliegt dem Benutzer, die Fähigkeit zeichnet nicht auf. Die Fähigkeit steuert nur die Bedienung und die Nachbearbeitung. Der Benutzer muss der Fähigkeit nach der Aufnahme die Datei übergeben.
  2. Bedienung obliegt der Fähigkeit, das Aufnahmefenster dem Benutzer. Die Fähigkeit handelt erst, nachdem der Benutzer „Aufnahme starten“ verkündet hat, und informiert den Benutzer sofort nach Ende der Bedienung, die Aufnahme zu stoppen.
  3. Während der Aufnahme dürfen keine Konsolenfenster auf dem Bildschirm sichtbar sein. Jeder Befehl der Fähigkeit muss fensterlos ausgeführt werden. Ein guard (Wächter) blendet neu auftauchende Konsolenfenster und Overlays sofort aus, da sie mit aufgezeichnet würden.
  4. Nur Fenster ausblenden, nicht schließen. Verwenden Sie SW_HIDE, mit guard stop werden alle Fenster wiederhergestellt.
  5. Jeder Einstellung (Beat) ist ein bestimmter Satz des Skripts zugeordnet. Jeder Beat in der plan.json deklariert, zu welchem Satz er gehört. Die Gesamtlänge eines Kapitels muss der Gesamtlänge der Sprachsynthese dieses Kapitels entsprechen.
  6. Zahlen, die genannt werden, müssen aus der echten Benutzeroberfläche ausgelesen werden. Scheitelpunktanzahlen, Preise, Versionsnummern usw. sind maßgeblich von der Benutzeroberfläche zu übernehmen.
  7. Die Blockierungsprüfung ist ein Tor, kein Bericht. Vor dem Bau des Films wird das Ausgabefenster framegenau per OCR auf Konsolen-/Benachrichtigungs-/Startseiten geprüft. Bei Fund wird der Film abgelehnt. Hintergrundmusik muss der menschlichen Stimme den Vortritt lassen: Endfilm −16 LUFS, True Peak ≤ −1,5 dBFS.

Phase 0 · Projekteinrichtung

Drei Dinge müssen geklärt sein, alle sind erforderlich:

  • Ziel: Website-Adresse oder Name und Version einer Desktop-Software.
  • Gliederung: Kapitelreihenfolge (der Benutzer kann grob vorgeben, Details ergänzt die Fähigkeit).
  • Aufnahmeverfahren: Welches Tool wird verwendet, welcher Bildschirmbereich, wird Systemaudio aufgezeichnet, Ausgabeformat und Auflösung.

Zudem wird der Aufnahmebereich (Vollbild oder ein Fenster) und die Segmentierung (segmentierte Aufnahmen pro Funktion oder eine durchgängige Aufnahme) festgelegt. Eine Aufnahme pro Funktion ist leichter zu warten; eine durchgängige Aufnahme ist auch möglich, wobei die Indexierung die genauen Stellen liefert.

Phase 1 · Skript schreiben

Erstelle build/script.md mit einem ## -Titel pro Kapitel, Format: ## <Kapitel-ID> | <Anzeigetitel>:

## ch00 | Einleitung

Seht euch an, was ich gemacht habe.

Diese Figur wurde aus einem Bild generiert.

## ch01 | Registrierung und Anmeldung

Die Website ist hi3d.ai, öffnet sie im Browser.
  • Kapitel-ID darf nur aus Kleinbuchstaben, Ziffern, Unterstrichen und Bindestrichen bestehen (TTS-Anforderung) und muss exakt mit der Kapitel-ID in plan.json übereinstimmen. Mehrere Segmente im selben Kapitel werden automatisch zu ch01, ch01_1, ch01_2 usw. nummeriert.
  • Anzeigetitel wird für Karteikarten verwendet und kann in chinesischer Sprache sein.
  • Kapitel-IDs dürfen keine Präfixe voneinander sein (z.B. ch0 und ch01 würden sich überschneiden). Empfohlen wird chNN.
  • Beginne mit einem Ergebnis (dem prägnantesten Bild) und wechsle dann zur Bedienung.
  • Randfunktionen werden mit einem Satz abgetan, der Fokus liegt auf den „Parametern, die das Ergebnis bestimmen“ und „wie überprüft wird, ob etwas richtig gemacht wurde“.
  • Prompt-Vorlagen, Code, Konfigurationen werden in Codeblöcken mit ``` gespeichert – Codeblöcke werden nicht vorgelesen, sie dienen nur als Bildmaterial.
  • Jeder gesprochene Satz muss ein entsprechendes reales Bild haben; Passagen ohne Bildmaterial müssen so umgeschrieben werden, dass sie durch Bildmaterial belegt werden können.

Phase 2 · Sprachsynthese

python scripts/studio.py voice --project <Projekt>

Unterteilt entsprechend ## <Kapitel-ID> | <Anzeigetitel> in Kapitel, leere Zeilen trennen Sätze, Codeblöcke und >-Anmerkungen werden übersprungen. Es wird build/audio_map.json mit der tatsächlich gemessenen Dauer jedes Segments ausgegeben.

Achte auf die ausgegebenen chars/s: Segmente unter 3.0 sind ein Zeichen für TTS-Anomalien (einzelne Synthesen wurden verlängert). Diese müssen umgeschrieben und neu generiert werden, nicht in den Schnitt übernehmen.

Phase 3 · Tatsächliche Bedienung und externe Aufnahme ★

Dies ist der Kernschritt der Fähigkeit.

3.1 Aufnahmeumgebung vorbereiten

python scripts/studio.py windows                      # Zielfenster finden
python scripts/studio.py prep --project <Projekt> \
    --keep-title "Chrome" --maximize-title "Chrome"   # Irrelevante Fenster ausblenden, Zielfenster maximieren

prep blendet niemals das eigene Terminal der Fähigkeit aus (nach Ancestor-PID gefiltert).

3.2 Bildschirmwächter starten ★

Dieser Schritt darf nicht ausgelassen werden. Die Fähigkeit führt während der Bedienung Befehle aus (ffmpeg, ffprobe, Python-Subprozesse), von denen jeder ein Konsolenfenster öffnen könnte, das genau auf dem Aufnahmebildschirm des Benutzers landet und mit aufgezeichnet wird.

python scripts/studio.py guard start --project <Projekt> \
    --protect "DeepSeek Harness" --protect "Chrome"

Der Wächter ist ein unabhängiger Hintergrundprozess, der alle 0,25 Sekunden die Fensterliste scannt und neue Fenster vom Typ Konsole (ConsoleWindowClass, cmd, PowerShell, Terminal, xshell usw.) sowie Eingabemethoden-/Benachrichtigungs-Overlays sofort mit SW_HIDE ausblendet. Er merkt sich, welche Fenster er ausgeblendet hat, und stellt sie bei guard stop originalgetreu wieder her.

  • --protect schützt die demonstrierten Programme (Matchen nach Titel, erforderlich).
  • Standardmäßig werden nur Konsolenfenster des eigenen Prozessbaums der Fähigkeit ausgeblendet, keine GUI – die Sitzungsoberfläche des Benutzers bleibt sichtbar.
  • Wenn auch GUI-Fenster ausgeblendet werden sollen, füge --hide-own-gui hinzu.
  • Das Kriterium des Wächters ist „echte Überlappung“: Ein Fenster, das nur wenige Pixel in den Aufnahmebereich ragt (auf einem anderen Monitor), wird nicht fälschlicherweise ausgeblendet.

3.3 Benutzer zum Start der Aufnahme auffordern

Teile dem Benutzer klar mit: Bitte starten Sie die Aufnahme. Wenn Sie fertig sind, antworten Sie mir mit „Aufgenommen“. Beginne nicht mit der Bedienung, bevor der Benutzer nicht zugestimmt hat – sonst wird diese Vorbereitung mit aufgezeichnet.

3.4 Tatsächliche Bedienung ausführen

Führe die Schritte in Kapitelreihenfolge aus, jeder Schritt:

  • Browser: Klicke CDP-Elemente an, ohne die echte Maus zu bewegen. Notiere vor dem Klick die Koordinaten, sie werden später für Markierungen benötigt: python scripts/studio.py aim <Projekt> <x> <y> --note "Exportformat".
  • Desktop-Software: Fenster aktivieren + Tastatur bevorzugen; wenn ein Klick erforderlich ist, echte Maus verwenden, aber den Benutzer bitten, die Maus während der Aufnahme nicht zu bewegen.
  • Um einen Status zu überprüfen, ist es nicht nötig, den Benutzer zu unterbrechen – erfasse ein Bild und sieh selbst nach:
python scripts/studio.py shot --out <Projekt>/build/check.png
  • Anmeldung, Autorisierung, Captcha: Die Aufnahme läuft weiter, der Benutzer erledigt diese Schritte selbst. Die Fähigkeit bestätigt nur den Erfolg. Entferne Anmeldedaten, Captchas, Schlüssel aus dem Video – segmentiere die Aufnahme vor und nach der Anmeldung und setze sie später nach Abhängigkeitsreihenfolge zusammen.
  • Jeder Befehl der Fähigkeit muss fensterlos ausgeführt werden: scripts/h.ps1 startet Subprozesse mit CreateNoWindow, interne Subprozesse der Fähigkeit werden immer mit CREATE_NO_WINDOW gestartet.

3.5 Benutzer zum Stopp der Aufnahme auffordern

Nach Abschluss aller Bedienungsschritte teile dem Benutzer sofort mit: Die Bedienung ist abgeschlossen. Bitte stoppen Sie die Aufnahme und geben Sie mir den Pfad zur Videodatei. Warte auf die Rückmeldung des Benutzers. Suche selbstständig weder nach noch lösche Aufnahmedateien.

3.6 Abschluss

python scripts/studio.py guard stop --project <Projekt>      # Wächter stoppen und Fenster wiederherstellen
python scripts/studio.py guard status --project <Projekt>    # Bestätigen, dass keine Konsolenfenster auf dem Aufnahmebildschirm verbleiben

guard status listet alle noch sichtbaren Konsolenfenster im Aufnahmebereich auf – muss leer sein, um als sauber zu gelten. Sollten noch welche vorhanden sein, deutet dies darauf hin, dass ein Programm wiederholt ein Fenster öffnet. Lasse den Benutzer diesen Abschnitt erneut aufnehmen.

Phase 4 · Material importieren und Index erstellen

python scripts/studio.py import --project <Projekt> --file "D:\video\rec.mp4"
python scripts/studio.py index  --project <Projekt> --clip rec.mp4 --step 2

index durchsucht das gesamte Video in festen Schritten, führt framegenau OCR durch und zeichnet auf:

  • Welcher Text ist zu jedem Zeitpunkt auf dem Bildschirm sichtbar (um zu finden, was zu welcher Sekunde passiert);
  • Visuelle Änderungspunkte (natürliche Schnittpunkte);
  • Kontaminierte Intervalle (Konsolenfenster, Benachrichtigungsblasen, Startseiten, die vermieden werden sollen).

Erzeugt werden build/index_<Name>.txt (durchsuchbar) und .json (strukturiert). Lies den Index, bevor du die Einstellungen planst – schätze keine Zeitcodes nach Gefühl.

Phase 5 · Einstellungsplan (Beats) erstellen

Erstelle build/plan.json:

{
  "display": {"region": [0, 0, 1920, 1080]},
  "voice": {"voice": "zh-CN-XiaoxiaoNeural", "rate": "+8%"},
  "chapters": [
    {
      "id": "ch02", "num": "02", "title": "Text-zu-Bild", "sub": "Dreiteiliger Prompt bestimmt die Detailtreue",
      "beats": [
        {"seg": 0, "src": "rec.mp4", "in": 120,  "out": 134},
        {"seg": 1, "src": "rec.mp4", "in": 136,  "out": 152, "zoom": 1.0}
      ],
      "callouts": [
        {"seg": 1, "offset": 1.0, "text": "Prompt in drei Teilen\nCharakter → Material → Komposition",
         "x": 120, "y": 680, "pointer": "up"}
      ]
    }
  ]
}
  • src ist der Dateiname in raw/ (vom Benutzer importierte Aufnahme), in/out sind in Sekunden.
  • seg gibt an, zu welchem Satz im Kapitel dieser Einstellung gehört, beginnend mit 0.
  • zoom > 1 erzeugt einen Zoom-in (statischer Ausschnitt vergrößert).
  • callouts verwenden seg + offset (in Sekunden) für die Position der Markierung, synchron mit der Sprachsynthese; x/y sind die Koordinaten der Markierung (können mit aim aufgezeichnete Bedienungskoordinaten sein).
  • Die Kapitel-ID muss exakt der Kapitel-ID in script.md und auch dem Segment-Präfix in audio_map.json entsprechen.
  • Ein vollständiges Beispiel findest du in assets/plan.example.json.

Regeln für den Einstellungsplan:

  • Ein Einstellung dient einem Bedienungsschwerpunkt; die Länge des Einstellung wird durch den zugehörigen Satz bestimmt.
  • Der Name (oder Schaltflächenbeschriftung) sollte vor oder gleichzeitig mit dem Erscheinen des entsprechenden Steuerelements gesprochen werden; für wichtige Rückmeldungen sollte Lesezeit eingeplant werden.
  • Versuche, benachbarte Steuerelemente in einer Einstellung zu zeigen, anstatt ständig hin und her zu springen.
  • Verkürze Wartezeiten sinnvoll, aber behalte die erkennbare Zeitspanne zwischen „Aktion auslösen“ und „Rückmeldung sehen“ bei.
  • Fehlt zu einem Absatz das Bildmaterial, schreibe ihn um, sodass er etwas zeigt, das durch Bildmaterial belegt werden kann, oder nimm ihn erneut auf.
  • Vermeide vom Index als kontaminiert markierte Intervalle.

Phase 6 · Schnitt, Prüfung, Auslieferung

python scripts/studio.py build  --project <Projekt>
python scripts/studio.py verify --video <Projekt>/final.mp4 --expect-duration <Gesamtlänge Sprachsynthese>

build automatisiert: satzweise zeitgenauer Schnitt → Kapiteltitelkarte → Markierungen einblenden → Überblendungsbaum (Cross-Dissolve) → Seitenkettenkompression für Hintergrundmusik → Lautheitsnormalisierung.

Hintergrundmusik: Lege die Musik als build/bgm.wav (oder build/bgm_final.wav) ab. Der Builder berechnet anhand der Sprachhüllkurve eine Dämpfungskurve und mischt sie bei. Ohne diese Datei wird der Film ohne Hintergrundmusik erstellt.

Bei nicht bestandener Prüfung: Ersetze das betroffene Fenster oder nimm den Abschnitt gemäß der Zeitcodes in build/audit.txt erneut auf, passe die plan.json an und starte den Bau neu. Üblich ist es, die kontaminierten in/out-Zeiten insgesamt auf einen sauberen Bereich zu verschieben oder den Benutzer bitten, diesen Teil erneut aufzunehmen.

Selbstkontrolle vor der Auslieferung:

  • Die Datei kann vollständig abgespielt werden, Bild- und Tonspur sind vollständig, die Dauer entspricht in etwa der Gesamtsprachdauer.
  • Die framegenaue OCR-Prüfung hat keinerlei Beanstandungen.
  • Sieh dir den gesamten Film in normaler Geschwindigkeit an und höre ihn dir an; überprüfe besonders die ersten 3–10 Sekunden, jede Funktionsumschaltung, Einreichungen, Ergebnisse, Zahlen und Eigennamen, Warteabschnitte und das Ende.
  • Für jeden erklärten Punkt ist ein Mauszeiger oder eine Markierung sichtbar; keine langen statischen Bildwechsel, keine inhaltsleeren Pausen; die Hintergrundmusik übertönt nicht die menschliche Stimme.

Befehlsschnellübersicht

studio init   <Projekt>                     # Projektskelett erstellen
studio windows                               # Fenster auflisten, Bedienungsziel finden
studio prep   --project <Projekt> --maximize-title "Chrome"
studio guard  start --project <Projekt> --protect "Chrome"    # ★ Aufnahmebildschirm sauber halten
studio shot   --out check.png               # Ein Bild zur Statusüberprüfung erfassen
studio aim    --project <Projekt> 1001 720 --note "Exportformat"
studio guard  stop  --project <Projekt>      # Wächter stoppen und Fenster wiederherstellen
studio guard  status --project <Projekt>     # Bestätigen, dass keine Konsolenfenster mehr vorhanden sind
studio import --project <Projekt> --file rec.mp4
studio index  --project <Projekt> --clip rec.mp4
studio voice  --project <Projekt>
studio build  --project <Projekt>
studio audit  --project <Projekt>
studio verify --video final.mp4
studio status --project <Projekt>

Referenzen

  • references/production.md – Details zu Aufnahme, Sprachsynthese, Schnitt, Mischung, Abnahme
  • references/troubleshooting.md – Symptome → Ursachen → Lösungen
  • assets/plan.example.json – Vollständiges Beispiel für einen Einstellungsplan

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

outline-to-video

把「一份视频大纲 + 一个素材视频目录」做成完整的知识/干货讲解成片:清点并转写素材视频、按大纲匹配相关片段、编写带钩子与节奏设计的口播脚本、用免费的 Edge TTS 出试听稿等用户确认,确认后再用豆包声音复刻配音并渲染输出 MP4。当用户说"按大纲做视频""把这些录屏剪成讲解视频""根据大纲配音出片""大纲出片""outline to video"时使用。

web-video-presentation

把一篇文章或口播稿,做成"看起来像视频"的点击驱动 16:9 网页演示,可选合成口播音频。流程:原始文章 → **一次产出**口播稿 + outline 开发计划 → 用户**一次对齐** 5 件事(稿子 / outline / 主题 / 素材 / 开发模式)→ 网页开发(逐章 / 顺序 / 并行)→ 可选音频合成(provider-agnostic:内置 MiniMax mmx-cli + OpenAI TTS,可换 ElevenLabs / edge-tts / Azure / 自带 TTS)。**outline 只规划节奏与信息密度,不规划动画** —— 动画由章节开发时按 PRINCIPLES + ANTI-AI 法则即时设计。每次点击推进口播稿的一个节拍,每一步独占整屏,进度条平时隐藏只在悬浮时出现。适用场景:用网页做视频(动态 PPT 但不像 PPT)、把口播稿 / 文章变成可交互的解说、为 B 站 / YouTube / 视频号录屏教程、做有电影感的产品 / talk demo。本 Skill 沉淀的是设计方法论 + 协作流程 —— 不绑定任何特定样式 / 字体 / 颜色 —— 因此能复用到任意主题与美学。

youtube-viral-thumbnail-designer

Create high-click-through YouTube thumbnails from a video summary, script opening, product test result, or brief topic description. Use this skill when the user asks to design, redesign, generate, or evaluate a YouTube thumbnail, especially for AI, AI coding, agents, software development, model benchmarks, technical tutorials, product tests, workflow automation, and industry-opinion videos. The skill automatically extracts the strongest click hook, compresses it into a short judgment-led headline, selects one visual composition, preserves mobile readability, and follows the formula: one strong judgment + one strong visual subject + one credible proof + generous whitespace.

Verwandte Skills