lilei0311/skill-digital-human-video

Digital Human Video · Agent Skill

Ziel

Ein Thema oder einen vorbereiteten Text in ein vertikales AI-Digital-Human-Talking-Head-Video umwandeln: Skript -> MiniMax TTS -> HeyGen Digital-Human-Lip-Sync -> FFmpeg (Untertitel, Titel, AI-Kennzeichnung, optional Picture-in-Picture/BGM) -> MP4 + Veröffentlichungstext. Beim ersten Mal nur eine persönliche Digital-Human-Look-ID und eine Klon-Stimm-ID erstellen; bei Wiederholungen darauf zurückgreifen, nicht neu erstellen. Eine 15-sekündige, kostenpflichtige Vorschau über HeyGen anbieten; standardmäßig muss der Benutzer die Vorschau gesehen haben, bevor die Vollversion produziert wird. Nur nach ausdrücklicher Wahl des Benutzers für automatische Genehmigung beide Abschnitte hintereinander ausführen.

Installation und Überprüfung

• Skill in ~/.codex/skills/digital-human-video oder ~/.claude/skills/digital-human-video ablegen, sicherstellen, dass SKILL.md im Stammverzeichnis des Ordners liegt.
• Python 3.10+, pip install -r requirements.txt, systemweite Installation von ffmpeg/ffprobe (mit libass und H.264-Encoder); am besten mit verfügbaren chinesischen Schriftarten.
• .env.example nach .env kopieren, API-Keys lokal und sicher einrichten; den Benutzer nicht bitten, Keys, eigene Fotos/Sprache im Chat zu teilen. .env niemals in Git aufnehmen.
• Zuerst ausführen: python scripts/dhv.py doctor, dann python scripts/dhv.py run --topic '...' --out ./outputs/example --dry-run.

Arbeitsablauf (in Reihenfolge)

1. Einwilligung und Material prüfen. Nur echte Personen oder solche mit ausreichender Autorisierung für Porträt/Stimme akzeptieren; Nachahmung, Täuschung oder Irreführung des Publikums ohne Zustimmung verboten. Autorisierung für echte Fotos/Videos und Audio getrennt prüfen; KI-synthetisierte Videos klar kennzeichnen. Musik und Picture-in-Picture-Material müssen lizenziert sein.
2. Einmalige Profileinrichtung. Saubere Sprachaufnahme von 30–60 Sekunden für beste Ergebnisse (MiniMax akzeptiert 10 Sekunden bis 5 Minuten, ≤20 MB, mp3/m4a/wav). Video/Foto in HeyGen v3 hochladen, um einen Avatar zu erstellen; Fotos sollten frontal und hochauflösend sein, Videotraining kann separate Zustimmung/Verifizierung der echten Person erfordern, muss abgeschlossen sein, und das Training erfolgt asynchron. Mit avatars die bereits trainierten Look-IDs abfragen. MINIMAX_VOICE_ID, HEYGEN_AVATAR_ID für nachfolgende Pipeline bereitstellen.
3. Zuerst das Sprachskript schreiben. Wenn der Benutzer keinen Text bereitstellt, schreibt das LLM automatisch: 3-Sekunden-Hook → 2–3 Argumente → Zusammenfassung, mit Angabe von Zielgruppe, Plattform und geschätzter Dauer. Nicht verifizierbare Daten nicht erfinden. Kreative Bearbeitung/Regie kann von Claude Opus 5.5 oder Codex übernommen werden; Modell ist für Skript und Orchestrierung zuständig, die tatsächliche Medienverarbeitung wird von FFmpeg ausgeführt.
4. Vorschau. run --mode preview: state.json und script.txt bevorzugt wiederverwenden; für die ersten ca. 55 Zeichen (ungefähr 15 Sekunden) Audio synthetisieren, Digital-Human-Lip-Sync ausführen, preview_final.mp4 ausgeben. Bei unterschiedlicher Sprechgeschwindigkeit ist die Dauer der Vorschau nicht streng auf 15 Sekunden garantiert.
5. Regie-/Schnittplan. Wenn das aktuelle Agent Claude Opus 5.5 ist oder an Opus delegiert werden kann, script.txt, Thema, Marke und Materialliste an es übergeben, damit es edit-plan.json ausgibt, das strikt den JSON-Schlüsseln von examples/edit-plan.json entspricht: headline, brand, key_points[{text,start,end}], pip_start/end, subtitle_font_size, music_volume (0–0.3). Start- und Endzeiten müssen innerhalb der Gesamtvideolänge liegen. --edit-plan lässt FFmpeg die Animation von Textkarten/Picture-in-Picture-Zeitachse, Untertitelstil und BGM-Lautstärke umsetzen; ohne Opus generiert Codex/das aktuelle Agent dasselbe JSON. Das Modell trifft nur Entscheidungen, gibt nicht vor, Videos selbst zu rendern.
6. Prüfen und ausführen. Der Benutzer überprüft Lippenbewegungen, Schärfe, Urheberrechte, Untertitel, Realismus. Nach Bestätigung run --mode full --approve; bei bereits erteilter Autorisierung und ausdrücklicher Wahl ohne manuelle Prüfung run --mode full --auto-approve für automatische Produktion beider Abschnitte. Nicht ohne Autorisierung direkt auf Social-Media-Plattformen veröffentlichen.
7. Validierung und Auslieferung. full_final.mp4 auf Dauer, Audio/Video, Untertitel, Titelüberlagerung, Musiklautstärke, KI-Synthese-Kennzeichnung prüfen und publish.md ausliefern. Vor externer Veröffentlichung Fakten und AIGC-Regeln der Plattform prüfen.

CLI-Verwendung (im Skill-Stammverzeichnis)

# Initialisierung: eigenes Porträt und Audio, nur bei bekannter rechtmäßiger Autorisierung consent flag verwenden
python scripts/dhv.py avatar --file ./myself.mp4 --kind digital_twin --name 'My Presenter' --i-own-the-likeness
python scripts/dhv.py avatars  # Training kann Wartezeit erfordern, offizielle Verifizierung nachholen
python scripts/dhv.py clone --file ./myvoice.wav --voice-id MyBrandVoice2026 --i-own-the-voice

# Vorschau: standardmäßig schreibt MiniMax-Textmodell das Skript; --script-file übergibt LLM
python scripts/dhv.py run --topic 'Wie KI Unternehmen hilft, wiederkehrende Prozesse zu reduzieren' --out ./outputs/ai-workflow --mode preview --edit-plan ./examples/edit-plan.json

# Erst nach Benutzerprüfung das vollständige Video erstellen
python scripts/dhv.py run --topic 'Wie KI Unternehmen hilft, wiederkehrende Prozesse zu reduzieren' --out ./outputs/ai-workflow --mode full --approve

# Bei ausdrücklicher Zustimmung zu unbeaufsichtigtem Betrieb: ein Befehl für Vorschau + Vollvideo (API-Videoaufrufe werden pro Abschnitt separat abgerechnet)
python scripts/dhv.py run --topic 'Digital Human in einer Minute erklärt' --out ./outputs/demo --mode full --auto-approve

# Optionale Materialien
python scripts/dhv.py run --script-file ./script.txt --out ./outputs/manual --mode preview --music ./licensed-bgm.mp3 --broll ./owned-broll.mp4

Verhaltensregeln für den Agenten

• --dry-run oder bestandene Unit-Tests nicht als „tatsächlichen Durchlauf über HeyGen/MiniMax“ beschreiben. Ohne gültige bezahlte Keys und autorisiertes Material können nur Offline-Rendering/Anfrageformate verifiziert werden.
• Bei API-Async-Timeouts die video_id im state.json anzeigen und wiederverwenden, nicht direkt neu erstellen, um doppelte Abrechnung zu vermeiden.
• Sprachklonen erfordert MiniMax-Identitätsprüfung; wenn die voice_id 7 Tage lang nicht für formales TTS verwendet wurde, kann sie ungültig werden; zuerst vorhandene Stimmer probieren, nicht still neu klonen.
• Plattform-Untertiteldateien sind möglicherweise nicht wortgenau; falls keine brauchbare SRT zurückgegeben wird, generiert das Tool geschätzte Untertitel und markiert sie im state.json als approximate. Vor Auslieferung überprüfen; für wortgenaue Genauigkeit wird ein zusätzlicher ASR-Abgleich empfohlen.
• Bei Problemen mit Videogröße/Trainingsrichtlinien/Authentifizierung/Kontingentbeschränkungen den spezifischen Fehler melden, nicht behaupten, dass alles vollautomatisch abgeschlossen wurde.
• Keine automatische Anmeldung oder direkte Veröffentlichung auf Douyin, Kuaishou, Video Account, Xiaohongshu, Bilibili usw., da keine autorisierten APIs dieser Plattformen integriert sind; nur publish.md zur Überprüfung vor der Veröffentlichung generieren.
• API-Keys, Aufnahmeoriginale, ähnliche Stimmen und ursprünglich generierte Assets nicht in öffentliche Code-Repositories einchecken.

Referenzen

• API-Schnittstellen und Regionskonfiguration siehe references/api.md.
• Auslieferung und Fehlerbehebung siehe README.md.