Automatisiertes Tutorial-Video-Studio
Gegeben eine Website-Adresse oder Software-Name sowie eine grobe Kapitelgliederung, übernimmt diese Fähigkeit:
Tatsächliche Bedienung steuern → Benutzer zur Aufnahme auffordern → Aufnahmematerial importieren → Durchsuchbaren Index erstellen → Satzweise synchron schneiden → Effekte und Überblendungen → Framegenaue Prüfung → Fertigstellung des Films
Aufgabenverteilung: Was die Fähigkeit tut, was der Benutzer tut
| Wer macht es | Beschreibung | |
|---|---|---|
| Bildschirm aufnehmen | Benutzer | Der Benutzer zeichnet mit externen Tools wie OBS / ShareX / systemeigener Bildschirmaufnahme auf. Die Fähigkeit zeichnet nicht auf. Externe Aufnahme erhält native Auflösung und Schärfe und kann auch Systemaudio aufnehmen. |
| Tatsächliche Bedienung | Fähigkeit | Die Fähigkeit führt jeden Schritt mit CDP des Browsers oder Fensterautomatisierung aus und zeichnet die Bedienpositionen auf. |
| Schnitt, Sprachsynthese, Effekte, Prüfung | Fähigkeit | Vollautomatisch, mit Sicherheitsprüfungen. |
| Material importieren | Benutzer | Nach der Bedienung gibt der Benutzer der Fähigkeit das aufgenommene Video (nur den Pfad). |
Die Fähigkeit blockiert nicht die Hardware-Maus des Benutzers: Browser-Aktionen erfolgen über CDP-Element-Klicks, ohne den echten Mauszeiger zu bewegen.
Sieben eiserne Regeln
- Aufnahme obliegt dem Benutzer, die Fähigkeit zeichnet nicht auf. Die Fähigkeit steuert nur die Bedienung und die Nachbearbeitung. Der Benutzer muss der Fähigkeit nach der Aufnahme die Datei übergeben.
- Bedienung obliegt der Fähigkeit, das Aufnahmefenster dem Benutzer. Die Fähigkeit handelt erst, nachdem der Benutzer „Aufnahme starten“ verkündet hat, und informiert den Benutzer sofort nach Ende der Bedienung, die Aufnahme zu stoppen.
- Während der Aufnahme dürfen keine Konsolenfenster auf dem Bildschirm sichtbar sein. Jeder Befehl der Fähigkeit muss fensterlos ausgeführt werden. Ein
guard(Wächter) blendet neu auftauchende Konsolenfenster und Overlays sofort aus, da sie mit aufgezeichnet würden. - Nur Fenster ausblenden, nicht schließen. Verwenden Sie
SW_HIDE, mitguard stopwerden alle Fenster wiederhergestellt. - Jeder Einstellung (Beat) ist ein bestimmter Satz des Skripts zugeordnet. Jeder Beat in der
plan.jsondeklariert, zu welchem Satz er gehört. Die Gesamtlänge eines Kapitels muss der Gesamtlänge der Sprachsynthese dieses Kapitels entsprechen. - Zahlen, die genannt werden, müssen aus der echten Benutzeroberfläche ausgelesen werden. Scheitelpunktanzahlen, Preise, Versionsnummern usw. sind maßgeblich von der Benutzeroberfläche zu übernehmen.
- Die Blockierungsprüfung ist ein Tor, kein Bericht. Vor dem Bau des Films wird das Ausgabefenster framegenau per OCR auf Konsolen-/Benachrichtigungs-/Startseiten geprüft. Bei Fund wird der Film abgelehnt. Hintergrundmusik muss der menschlichen Stimme den Vortritt lassen: Endfilm −16 LUFS, True Peak ≤ −1,5 dBFS.
Phase 0 · Projekteinrichtung
Drei Dinge müssen geklärt sein, alle sind erforderlich:
- Ziel: Website-Adresse oder Name und Version einer Desktop-Software.
- Gliederung: Kapitelreihenfolge (der Benutzer kann grob vorgeben, Details ergänzt die Fähigkeit).
- Aufnahmeverfahren: Welches Tool wird verwendet, welcher Bildschirmbereich, wird Systemaudio aufgezeichnet, Ausgabeformat und Auflösung.
Zudem wird der Aufnahmebereich (Vollbild oder ein Fenster) und die Segmentierung (segmentierte Aufnahmen pro Funktion oder eine durchgängige Aufnahme) festgelegt. Eine Aufnahme pro Funktion ist leichter zu warten; eine durchgängige Aufnahme ist auch möglich, wobei die Indexierung die genauen Stellen liefert.
Phase 1 · Skript schreiben
Erstelle build/script.md mit einem ## -Titel pro Kapitel, Format: ## <Kapitel-ID> | <Anzeigetitel>:
## ch00 | Einleitung
Seht euch an, was ich gemacht habe.
Diese Figur wurde aus einem Bild generiert.
## ch01 | Registrierung und Anmeldung
Die Website ist hi3d.ai, öffnet sie im Browser.
- Kapitel-ID darf nur aus Kleinbuchstaben, Ziffern, Unterstrichen und Bindestrichen bestehen (TTS-Anforderung) und muss exakt mit der Kapitel-ID in
plan.jsonübereinstimmen. Mehrere Segmente im selben Kapitel werden automatisch zuch01,ch01_1,ch01_2usw. nummeriert. - Anzeigetitel wird für Karteikarten verwendet und kann in chinesischer Sprache sein.
- Kapitel-IDs dürfen keine Präfixe voneinander sein (z.B.
ch0undch01würden sich überschneiden). Empfohlen wirdchNN. - Beginne mit einem Ergebnis (dem prägnantesten Bild) und wechsle dann zur Bedienung.
- Randfunktionen werden mit einem Satz abgetan, der Fokus liegt auf den „Parametern, die das Ergebnis bestimmen“ und „wie überprüft wird, ob etwas richtig gemacht wurde“.
- Prompt-Vorlagen, Code, Konfigurationen werden in Codeblöcken mit ``` gespeichert – Codeblöcke werden nicht vorgelesen, sie dienen nur als Bildmaterial.
- Jeder gesprochene Satz muss ein entsprechendes reales Bild haben; Passagen ohne Bildmaterial müssen so umgeschrieben werden, dass sie durch Bildmaterial belegt werden können.
Phase 2 · Sprachsynthese
python scripts/studio.py voice --project <Projekt>
Unterteilt entsprechend ## <Kapitel-ID> | <Anzeigetitel> in Kapitel, leere Zeilen trennen Sätze, Codeblöcke und >-Anmerkungen werden übersprungen. Es wird build/audio_map.json mit der tatsächlich gemessenen Dauer jedes Segments ausgegeben.
Achte auf die ausgegebenen chars/s: Segmente unter 3.0 sind ein Zeichen für TTS-Anomalien (einzelne Synthesen wurden verlängert). Diese müssen umgeschrieben und neu generiert werden, nicht in den Schnitt übernehmen.
Phase 3 · Tatsächliche Bedienung und externe Aufnahme ★
Dies ist der Kernschritt der Fähigkeit.
3.1 Aufnahmeumgebung vorbereiten
python scripts/studio.py windows # Zielfenster finden
python scripts/studio.py prep --project <Projekt> \
--keep-title "Chrome" --maximize-title "Chrome" # Irrelevante Fenster ausblenden, Zielfenster maximieren
prep blendet niemals das eigene Terminal der Fähigkeit aus (nach Ancestor-PID gefiltert).
3.2 Bildschirmwächter starten ★
Dieser Schritt darf nicht ausgelassen werden. Die Fähigkeit führt während der Bedienung Befehle aus (ffmpeg, ffprobe, Python-Subprozesse), von denen jeder ein Konsolenfenster öffnen könnte, das genau auf dem Aufnahmebildschirm des Benutzers landet und mit aufgezeichnet wird.
python scripts/studio.py guard start --project <Projekt> \
--protect "DeepSeek Harness" --protect "Chrome"
Der Wächter ist ein unabhängiger Hintergrundprozess, der alle 0,25 Sekunden die Fensterliste scannt und neue Fenster vom Typ Konsole (ConsoleWindowClass, cmd, PowerShell, Terminal, xshell usw.) sowie Eingabemethoden-/Benachrichtigungs-Overlays sofort mit SW_HIDE ausblendet. Er merkt sich, welche Fenster er ausgeblendet hat, und stellt sie bei guard stop originalgetreu wieder her.
--protectschützt die demonstrierten Programme (Matchen nach Titel, erforderlich).- Standardmäßig werden nur Konsolenfenster des eigenen Prozessbaums der Fähigkeit ausgeblendet, keine GUI – die Sitzungsoberfläche des Benutzers bleibt sichtbar.
- Wenn auch GUI-Fenster ausgeblendet werden sollen, füge
--hide-own-guihinzu. - Das Kriterium des Wächters ist „echte Überlappung“: Ein Fenster, das nur wenige Pixel in den Aufnahmebereich ragt (auf einem anderen Monitor), wird nicht fälschlicherweise ausgeblendet.
3.3 Benutzer zum Start der Aufnahme auffordern
Teile dem Benutzer klar mit: Bitte starten Sie die Aufnahme. Wenn Sie fertig sind, antworten Sie mir mit „Aufgenommen“. Beginne nicht mit der Bedienung, bevor der Benutzer nicht zugestimmt hat – sonst wird diese Vorbereitung mit aufgezeichnet.
3.4 Tatsächliche Bedienung ausführen
Führe die Schritte in Kapitelreihenfolge aus, jeder Schritt:
- Browser: Klicke CDP-Elemente an, ohne die echte Maus zu bewegen.
Notiere vor dem Klick die Koordinaten, sie werden später für Markierungen benötigt:
python scripts/studio.py aim <Projekt> <x> <y> --note "Exportformat". - Desktop-Software: Fenster aktivieren + Tastatur bevorzugen; wenn ein Klick erforderlich ist, echte Maus verwenden, aber den Benutzer bitten, die Maus während der Aufnahme nicht zu bewegen.
- Um einen Status zu überprüfen, ist es nicht nötig, den Benutzer zu unterbrechen – erfasse ein Bild und sieh selbst nach:
python scripts/studio.py shot --out <Projekt>/build/check.png
- Anmeldung, Autorisierung, Captcha: Die Aufnahme läuft weiter, der Benutzer erledigt diese Schritte selbst. Die Fähigkeit bestätigt nur den Erfolg. Entferne Anmeldedaten, Captchas, Schlüssel aus dem Video – segmentiere die Aufnahme vor und nach der Anmeldung und setze sie später nach Abhängigkeitsreihenfolge zusammen.
- Jeder Befehl der Fähigkeit muss fensterlos ausgeführt werden:
scripts/h.ps1startet Subprozesse mitCreateNoWindow, interne Subprozesse der Fähigkeit werden immer mitCREATE_NO_WINDOWgestartet.
3.5 Benutzer zum Stopp der Aufnahme auffordern
Nach Abschluss aller Bedienungsschritte teile dem Benutzer sofort mit: Die Bedienung ist abgeschlossen. Bitte stoppen Sie die Aufnahme und geben Sie mir den Pfad zur Videodatei. Warte auf die Rückmeldung des Benutzers. Suche selbstständig weder nach noch lösche Aufnahmedateien.
3.6 Abschluss
python scripts/studio.py guard stop --project <Projekt> # Wächter stoppen und Fenster wiederherstellen
python scripts/studio.py guard status --project <Projekt> # Bestätigen, dass keine Konsolenfenster auf dem Aufnahmebildschirm verbleiben
guard status listet alle noch sichtbaren Konsolenfenster im Aufnahmebereich auf – muss leer sein, um als sauber zu gelten.
Sollten noch welche vorhanden sein, deutet dies darauf hin, dass ein Programm wiederholt ein Fenster öffnet. Lasse den Benutzer diesen Abschnitt erneut aufnehmen.
Phase 4 · Material importieren und Index erstellen
python scripts/studio.py import --project <Projekt> --file "D:\video\rec.mp4"
python scripts/studio.py index --project <Projekt> --clip rec.mp4 --step 2
index durchsucht das gesamte Video in festen Schritten, führt framegenau OCR durch und zeichnet auf:
- Welcher Text ist zu jedem Zeitpunkt auf dem Bildschirm sichtbar (um zu finden, was zu welcher Sekunde passiert);
- Visuelle Änderungspunkte (natürliche Schnittpunkte);
- Kontaminierte Intervalle (Konsolenfenster, Benachrichtigungsblasen, Startseiten, die vermieden werden sollen).
Erzeugt werden build/index_<Name>.txt (durchsuchbar) und .json (strukturiert).
Lies den Index, bevor du die Einstellungen planst – schätze keine Zeitcodes nach Gefühl.
Phase 5 · Einstellungsplan (Beats) erstellen
Erstelle build/plan.json:
{
"display": {"region": [0, 0, 1920, 1080]},
"voice": {"voice": "zh-CN-XiaoxiaoNeural", "rate": "+8%"},
"chapters": [
{
"id": "ch02", "num": "02", "title": "Text-zu-Bild", "sub": "Dreiteiliger Prompt bestimmt die Detailtreue",
"beats": [
{"seg": 0, "src": "rec.mp4", "in": 120, "out": 134},
{"seg": 1, "src": "rec.mp4", "in": 136, "out": 152, "zoom": 1.0}
],
"callouts": [
{"seg": 1, "offset": 1.0, "text": "Prompt in drei Teilen\nCharakter → Material → Komposition",
"x": 120, "y": 680, "pointer": "up"}
]
}
]
}
srcist der Dateiname inraw/(vom Benutzer importierte Aufnahme),in/outsind in Sekunden.seggibt an, zu welchem Satz im Kapitel dieser Einstellung gehört, beginnend mit 0.zoom> 1 erzeugt einen Zoom-in (statischer Ausschnitt vergrößert).calloutsverwendenseg+offset(in Sekunden) für die Position der Markierung, synchron mit der Sprachsynthese;x/ysind die Koordinaten der Markierung (können mitaimaufgezeichnete Bedienungskoordinaten sein).- Die Kapitel-ID muss exakt der Kapitel-ID in
script.mdund auch dem Segment-Präfix inaudio_map.jsonentsprechen. - Ein vollständiges Beispiel findest du in
assets/plan.example.json.
Regeln für den Einstellungsplan:
- Ein Einstellung dient einem Bedienungsschwerpunkt; die Länge des Einstellung wird durch den zugehörigen Satz bestimmt.
- Der Name (oder Schaltflächenbeschriftung) sollte vor oder gleichzeitig mit dem Erscheinen des entsprechenden Steuerelements gesprochen werden; für wichtige Rückmeldungen sollte Lesezeit eingeplant werden.
- Versuche, benachbarte Steuerelemente in einer Einstellung zu zeigen, anstatt ständig hin und her zu springen.
- Verkürze Wartezeiten sinnvoll, aber behalte die erkennbare Zeitspanne zwischen „Aktion auslösen“ und „Rückmeldung sehen“ bei.
- Fehlt zu einem Absatz das Bildmaterial, schreibe ihn um, sodass er etwas zeigt, das durch Bildmaterial belegt werden kann, oder nimm ihn erneut auf.
- Vermeide vom Index als kontaminiert markierte Intervalle.
Phase 6 · Schnitt, Prüfung, Auslieferung
python scripts/studio.py build --project <Projekt>
python scripts/studio.py verify --video <Projekt>/final.mp4 --expect-duration <Gesamtlänge Sprachsynthese>
build automatisiert: satzweise zeitgenauer Schnitt → Kapiteltitelkarte → Markierungen einblenden → Überblendungsbaum (Cross-Dissolve) → Seitenkettenkompression für Hintergrundmusik → Lautheitsnormalisierung.
Hintergrundmusik: Lege die Musik als build/bgm.wav (oder build/bgm_final.wav) ab. Der Builder berechnet anhand der Sprachhüllkurve eine Dämpfungskurve und mischt sie bei. Ohne diese Datei wird der Film ohne Hintergrundmusik erstellt.
Bei nicht bestandener Prüfung: Ersetze das betroffene Fenster oder nimm den Abschnitt gemäß der Zeitcodes in build/audit.txt erneut auf, passe die plan.json an und starte den Bau neu. Üblich ist es, die kontaminierten in/out-Zeiten insgesamt auf einen sauberen Bereich zu verschieben oder den Benutzer bitten, diesen Teil erneut aufzunehmen.
Selbstkontrolle vor der Auslieferung:
- Die Datei kann vollständig abgespielt werden, Bild- und Tonspur sind vollständig, die Dauer entspricht in etwa der Gesamtsprachdauer.
- Die framegenaue OCR-Prüfung hat keinerlei Beanstandungen.
- Sieh dir den gesamten Film in normaler Geschwindigkeit an und höre ihn dir an; überprüfe besonders die ersten 3–10 Sekunden, jede Funktionsumschaltung, Einreichungen, Ergebnisse, Zahlen und Eigennamen, Warteabschnitte und das Ende.
- Für jeden erklärten Punkt ist ein Mauszeiger oder eine Markierung sichtbar; keine langen statischen Bildwechsel, keine inhaltsleeren Pausen; die Hintergrundmusik übertönt nicht die menschliche Stimme.
Befehlsschnellübersicht
studio init <Projekt> # Projektskelett erstellen
studio windows # Fenster auflisten, Bedienungsziel finden
studio prep --project <Projekt> --maximize-title "Chrome"
studio guard start --project <Projekt> --protect "Chrome" # ★ Aufnahmebildschirm sauber halten
studio shot --out check.png # Ein Bild zur Statusüberprüfung erfassen
studio aim --project <Projekt> 1001 720 --note "Exportformat"
studio guard stop --project <Projekt> # Wächter stoppen und Fenster wiederherstellen
studio guard status --project <Projekt> # Bestätigen, dass keine Konsolenfenster mehr vorhanden sind
studio import --project <Projekt> --file rec.mp4
studio index --project <Projekt> --clip rec.mp4
studio voice --project <Projekt>
studio build --project <Projekt>
studio audit --project <Projekt>
studio verify --video final.mp4
studio status --project <Projekt>
Referenzen
references/production.md– Details zu Aufnahme, Sprachsynthese, Schnitt, Mischung, Abnahmereferences/troubleshooting.md– Symptome → Ursachen → Lösungenassets/plan.example.json– Vollständiges Beispiel für einen Einstellungsplan