Skizzen-Erklärvideo
Das fertige Video sieht so aus: Bei jedem gesprochenen Satz wird das Bild Strich für Strich gezeichnet – Schriftzeichen werden von links nach rechts „geschrieben", Schlüsselwörter mit einem Textmarker hervorgehoben, Symbole werden Strich für Strich gezeichnet, ✓✗ erscheinen; jede Szene drückt eine Bedeutung aus und wechselt synchron zur Sprachausgabe; unten läuft eine handgeschriebene Untertitelzeile. Referenzbild: assets/style-ref.png.
Im gesamten Ablauf musst du nur beim „Szenendesign" nachdenken, der Rest ist Skript: Sprachausgabe, Erkennung, zeichengenaue Synchronisation, Engine, Prüfung, Rendering. Gehe die Schritte der Reihe nach durch und überspringe die Prüfung nicht.
Voraussetzungen (bei erster Nutzung prüfen)
- Der Benutzer hat bereits einen API-Key für MiniMax oder Doubao gebunden. Wenn keiner von beiden vorhanden ist, stoppe zuerst, teile dem Gegenüber die folgenden Schritte mit und lass ihn selbst binden. Keine Zusammenfassung, nicht nach dem Key-Originaltext fragen.
coli(lokale Spracherkennung),ffmpeg,node/npx,python3- macOS: Verwendet automatisch die systemeigene Schriftart „Tehuti" (手札体); andere Systeme verwenden
--font eine_chinesische_handschriftliche_schriftart.ttf - Bei der ersten Ausführung werden in
~/.cache/sketch-explainer-video/venvfonttools installiert - Für Prüfung und Rendering wird fest
[email protected]verwendet.
Sprachausgabe binden
Leite den Benutzer online nur an, diese beiden Dienste zu binden. Wenn keiner gebunden ist, stoppe und übergib die Schritte dem Gegenüber zur eigenen Ausführung:
- MiniMax (Standard. Wenn beide gebunden sind, verwende diesen): Öffne https://platform.minimax.cn , gehe zu „Kontoverwaltung → API-Schlüssel" und erstelle einen API-Key. Für die internationale Website verwende https://platform.minimax.io und setze
MINIMAX_API_HOST=https://api.minimax.io. Führe dannbash <skill>/scripts/bind_tts.sh minimaxaus. - Doubao-Sprache: Öffne https://console.volcengine.com/speech/new , erstelle einen API-Key und aktiviere „Doubao-Sprachsynthesemodell 2.0". Führe dann
bash <skill>/scripts/bind_tts.sh doubaoaus.
Die Eingabe wird nicht angezeigt, der Key verbleibt nur auf dem lokalen Rechner. Nicht in den Chat einfügen. Preise und Stimmen siehe references/tts.md. Erst nach dem Binden ein Projekt erstellen. Wenn bereits eine mp3-Datei vorhanden ist, verwende --audio und synthetisiere nicht neu. Verwende --provider minimax oder --provider doubao, um einen bestimmten Anbieter anzugeben.
Ablauf
1. Projekt erstellen (Sprachausgabe + Synchronisation in einem Schritt)
<skill>/scripts/new_video.sh <Projektverzeichnis> <Sprechertext.txt> --title "Videotitel"
- Der Text wird ohne Änderungen als txt-Datei übergeben. Das Skript liest den Originaltext vor und führt dann eine lokale Erkennung zur Synchronisation durch.
- Wenn bereits eine Sprachausgabe vorhanden ist, generiere keine neue:
--audio vorhandene.mp3. - Überprüfe am Ende die Ausgabe auf „matched x/y": ≥95% ist normal (nicht Übereinstimmende sind meist homophone Zeichen, beeinträchtigt nicht); deutlich niedriger deutet darauf hin, dass Sprachausgabe und Text nicht identisch sind.
- Ergebnisse:
sentences.txt(Startsekunden jedes Satzes),assets/timing.js,index.html(Engine bereit, mit<!--SCENES-->).
Stimme (--speaker): MiniMax standardmäßig „Sanfte ältere Schwester" Chinese (Mandarin)_Gentle_Senior, auch austauschbar durch Chinese (Mandarin)_News_Anchor, Chinese (Mandarin)_Gentleman. Doubao standardmäßig „Xiao He 2.0" zh_female_xiaohe_uranus_bigtts, auch austauschbar durch „Vivi 2.0" zh_female_vv_uranus_bigtts, „Yun Zhou 2.0" zh_male_m191_uranus_bigtts. Keine Stimmen-IDs von ListenHub übergeben.
2. Szenen unterteilen (STORYBOARD.md schreiben)
Lese sentences.txt und unterteile das gesamte Video in 8–13 Szenen, jede 6–16 Sekunden:
- Der Schnittpunkt = Startzeit eines Satzes − 0,15 Sekunden; die erste Szene beginnt bei 0; die letzte Szene endet bei
data-durationdes index.html root (= Ende der Sprachausgabe + 1 Sekunde); benachbarte Szenen stoßen nahtlos aneinander. - Jede Szene kann mit einem Satz beschreiben, „was dieser Frame darstellt", mit einer Hauptvisualisierung. Schreibe zuerst als Tabelle:
Szene | Start-Ende-Sekunden | Szeneninhalt | Ankerphrase. - Lange Sätze (>16 Sekunden) können innerhalb des Satzes geschnitten werden, der Schnittpunkt liegt bei der Zeit dieses Zeichens − 0,15.
3. Szenen schreiben
Lies zuerst references/components.md (Komponentenbibliothek: Titelgruppe, Kapitelkapsel, Kette, Vergleich, ≠, Liste, Schritte, Kalender, Raumüberlagerung, Abschluss, Symbole) und dann ein vollständiges Beispiel, das am nächsten liegt:
references/examples/event-overview.html– Ereignisablauf / Kapitelweise Faktenreferences/examples/relationship-chain.html– Wer mit wem in Beziehung steht / Lieferkettereferences/examples/step-checklist.html– Schrittmethode / Praktische Checkliste
Füge dann im index.html an der Stelle <!--SCENES--> alle <section> ein. Gestalte die Szenen basierend auf diesem spezifischen Sprechertext selbst: Die Beispiele dienen nur zum Erlernen der Schreibweise. Gehe nicht in andere Video-Projekte auf dem gleichen Rechner, um deren Szenen zu kopieren – diese gehören zu anderen Sprechertexten und Zeitpunkten. Das Kopieren würde die Ankerpunkte und den Rhythmus komplett zerstören und bedeutet auch, dass du die Aufgabe nicht gemacht hast. Ändere nicht die <script>-Engine; für neue Stile füge am Ende von <style> hinzu.
Wie Animationen deklariert werden (Wert ist die Phrase aus dem Sprechertext, die Engine sucht danach nach data-from und beginnt die Animation, sobald dieses Zeichen ausgesprochen wird):
| Attribut | Effekt | Platzieren an |
|---|---|---|
data-w | Handschriftliches Einblenden von links nach rechts | Blockelement oder Span mit class="ib" |
data-d | Alle Linien Strich für Strich zeichnen; data-dur steuert Sekunden pro Strich | <svg> |
data-h | Textmarker-Hervorhebung | Element mit class="hl" |
data-p | Einblenden (✓✗?≠, Kapitelkapsel) | Span mit .ib |
data-f / data-dim | Einblenden / Verblassen | Beliebiges Blockelement |
Wert-Schreibweise: "Phrase" · "Phrase|-0,4" (0,4 Sekunden vorher) · "@0.2" (0,2 Sekunden nach Szenenstart).
Szenen-Prinzipien (und warum)
- Szenentext darf nur aus dem Sprechertext stammen, kann gekürzt werden, „nicht eine Portion" kann als „0 Portionen" dargestellt werden, aber keine Fakten, Zahlen oder Markenurteile außerhalb des Textes hinzufügen – solche Videos betreffen oft reale Marken und Kontroversen, ein zusätzlicher Satz in der Szene könnte einen sachlichen Fehler verursachen.
- Erscheine nacheinander, dem gesprochenen Wort folgend: Das Element wird an den entsprechenden Zeichen verankert. Wenn alles auf einmal zu Beginn der Szene angezeigt wird, schauen die Zuschauer zuerst fertig und schweifen dann ab.
- Die letzte Animation muss ≥0,5 Sekunden vor dem Wegschneiden beendet sein: Sonst wird der Textmarker/✓ gerade erst angezeigt und sofort vom nächsten Frame abgeschnitten, was gleichbedeutend mit nicht vorhanden ist. Am Satzende verankerte Dinge sind besonders anfällig, verschiebe sie nach vorne.
- Inhalt nur im Bereich top 120–1480px platzieren: Darunter ist der Untertitelbereich und das untere YouTube-UI.
- Die Szene muss voll und bebildert sein: Der Inhalt füllt vertikal 150–1400px (Hauptvisualisierung auf 60–85% der Szenenbreite vergrößern), jeder Frame benötigt mindestens eine Grafik (Symbol / Kasten / Vergleich / Kette / Diagramm), nicht nur ein paar kleine Zeilen in der oberen Bildschirmhälfte – auf dem Handy wirkt eine halbleere Szene billig und informationsarm.
check.pywird Szenen mit leerer unterer Hälfte abweisen. - Zurückhaltender Stil: Schwarze Linien + gelber Textmarker + wenig Rot; Rot nur für ✓✗?≠, Kreise, Warnwörter. Keine Emojis, Fotos, Logos, Porträts.
- Untertitel: Sätze mit mehr als 16 Zeichen müssen in
assets/cap_breaks.jsmit Bruchstellen versehen werden:window.CAP_BREAKS = ["Die Phrase, wo die neue Zeile beginnt", …], breche zwischen Wörtern (Doppelpunkt ist kein automatischer Trennpunkt, besonders bei langen Sätzen mit Doppelpunkt hinzufügen).check.pylistet Sätze auf, die gebrochen werden müssen.
4. Prüfung (wiederholt ausführen, bis alles bestanden ist)
<skill>/scripts/verify.sh
Es führt nacheinander aus: Schriftart-Subsetting → check.py (existiert der Ankerpunkt, wird die Satzende-Animation abgeschnitten, stoßen Szenen aneinander, sind Untertitel zu lang, ragen sie in den Untertitelbereich) → hyperframes lint/check → Screenshots (1,2 Sekunden nach Szenenstart + 0,4 Sekunden vor Ende) → density.py misst bei jedem Frame-Ende, wie tief der Inhalt reicht (<1000px bedeutet untere Bildschirmhälfte leer, zu viele leere Frames führen zum Fehlschlag).
- Die ✗ von
check.pyunddensity.pymüssen alle behoben werden: Ersteres rechnet mit der echten Engine-Zeit, Letzteres basiert auf Screenshot-Messungen, beides sind keine Vorschläge. - Öffne
snapshots/contact-sheet*.jpgund betrachte jedes Bild einzeln: Überlappungen, über den Rand ragend, umgebrochene Zeichen drängen auf andere Zeichen, Symbole nicht erkennbar, große leere Flächen. Das Skript kann „verstehe ich nicht" nicht erkennen, nur du siehst es. Nach Korrekturen erneut verify ausführen. - Warnungen von lint wie
nested_structure/track_too_densekönnen ignoriert werden.
5. Rendern und Ausliefern
<skill>/scripts/render.sh # → renders/video.mp4, ca. 2–4 Minuten
Bei der Auslieferung klar angeben: Pfad und Dauer der Ergebnisdatei, Anzahl der Szenen, Pfad des contact sheet, was du selbst nachgebessert hast, welche Textstellen in den Szenen von dir zusammengefasst wurden (nicht der Originalsatz).
Häufige Fallstricke
| Phänomen | Ursache → Vorgehen |
|---|---|
| Engine meldet phrase not found / check meldet Phrase nicht gefunden | Die Phrase muss zeichengenau mit dem Text übereinstimmen (einschließlich Leerzeichen wie „9 月中旬", Vollbreiten-Satzzeichen); und muss nach data-from erscheinen |
| Element hat keinen Wischeffekt | data-w wurde auf einem normalen inline-span platziert → class="ib" hinzufügen |
| Große Zeichen brechen auf zwei Zeilen um und drücken auf darunterliegendes | Schriftgröße verkleinern oder white-space:nowrap hinzufügen, oder in zwei Blöcke aufteilen |
| Szene zeigt alles auf einmal zu Beginn | Die Ankerphrase wurde an einer früheren Position gefunden → durch eine in dieser Szene eindeutige Phrase ersetzen |
| Gleichzeitig Projekte für mehrere Videos erstellen | Parallel möglich, das Erkennungsskript hat eine eingebaute Lock-Warteschlange |
Batch-Erstellung mehrerer Videos
Siehe references/batch.md: Einheitliche Texte erfassen → Sprachausgaben parallel generieren → Jeweils Projekt erstellen → Jedes als Unteraufgabe Szenen schreiben → Einheitlich abnehmen → Ausliefern.