Video-to-Text – Douyin/Lokales Video → Text → Content Intelligence (ein Befehl, geschlossener Kreislauf)
Douyin-Share-Link → Automatischer Download → Spracherkennung → Strukturiertes Markdown → Virale Inhaltsanalyse – alles in einem Befehl. Kein manuelles Speichern von Videos, kein externer API-Key erforderlich, die Privatsphäre bleibt auf dem Gerät (Standardmäßig lokales faster-whisper).
📁 Installation:
hermes skills install jiawood2006/hermes-skills/skills/video-to-textoder./install.sh(Ein-Klick-Installation + globaler Befehlvtt) → Skripte in~/.hermes/skills/utilities/video-to-text/scripts/.
Auslösebedingung
Verwende diese Fähigkeit, wenn der Benutzer Folgendes sendet:
- Douyin-Share-Link (v.douyin.com / www.douyin.com/video/…), mit dem Wunsch „in Text umwandeln / Untertitel extrahieren / analysieren / virale Struktur untersuchen / Inhalt ansehen“
- Bilibili-Link mit dem Wunsch „Videoinformationen anzeigen“
- Lokale Videodatei (.mp4/.mov/.m4a) mit dem Wunsch „Sprache in Text umwandeln / Untertitel erstellen / Zusammenfassung / Analyse“
Nutzungsschritte
1. Douyin-Link → Vollautomatischer Kreislauf (Standardverhalten)
# Ein Befehl: Metadaten + automatischer Download + lokale Transkription
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/"
# Kompletter Workflow + LLM-Zusammenfassung + Aufschlüsselung der viralen Struktur
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --all
# Nur Metadaten (kein Download, keine Transkription)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --meta-only
# Transkriptions-Engine auf SiliconFlow SenseVoice umstellen (besser für chinesische Umgangssprache/rauschende Umgebungen; benötigt SILICONFLOW_API_KEY, Fallback auf lokal bei Fehler)
SILICONFLOW_API_KEY=sk-xxx python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --engine sensevoice
Technische Kette: curl Shortlink → echte Video-ID extrahieren → Playwright lauscht auf aweme/detail API → Metadaten + wasserzeichenfreie play_url → automatischer Download → Audio extrahieren → Transkription.
2. Lokale Videodatei → Transkription + Content Intelligence
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 # Nur Transkription
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --summary # + Inhaltszusammenfassung
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --analyze # + Aufschlüsselung der viralen Struktur
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --engine sensevoice # SenseVoice-Engine verwenden
3. Bilibili-Link → Metadaten (Zero-Abhängigkeiten, öffentliche API)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://www.bilibili.com/video/BV1..."
Gibt aus: Titel/Autor/Dauer/Abspielzahlen/Likes/Beschreibung; für Transkription bitte herunterladen und lokale Datei verwenden.
4. Ausgabeprodukt (Strukturiertes Markdown)
Standardmäßig gespeichert als <Titel>_transcript.md, direkt in Obsidian/Wissensdatenbank nutzbar:
---
platform: douyin
url: https://v.douyin.com/xxx
title: Video-Titel
author: Autorname
duration_s: 42
digg: 12345
date: 2026-09-04
tags: ["Thema1", "Thema2"]
---
# Video-Titel
| Feld | Wert |
|:---|:---|
| duration_s | 42 |
...
## Vollständige Transkription
[00:00] Hallo zusammen, heute stelle ich Ihnen…
[00:05] Dieses Produkt…
5. Untertiteldateien ausgeben (SRT / VTT, mit echten Zeitstempeln)
Zum Videoschneiden, Hochladen auf YouTube/Bilibili oder für zeilenweises Korrekturlesen direkt Untertiteldateien ausgeben:
# Text + SRT-Untertitel (am häufigsten verwendet)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt
# Gleichzeitig SRT und VTT ausgeben
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt,vtt
# Nur Untertitel, kein Text
t python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --format srt
- Ausgabe
<Titel>_transcript.srt(kompatibel mit CapCut/Premiere/YouTube) oder.vtt(kompatibel mit Webbrowsern) - Chinesisch wird standardmäßig in vereinfachten Schriftzeichen + Satzzeichen ausgegeben, und nach Sätzen segmentiert (kein Untertitel, der Dutzende von Sekunden überspannt)
- Segmentierungsschwellenwerte über Umgebungsvariablen einstellbar:
VTT_MAX_CHARS=18(Zeichen pro Untertitel),VTT_MAX_DUR=7(maximale Dauer pro Untertitel in Sekunden)
6. Sprache für Transkription angeben
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py englisch_video.mp4 --asr-lang en
Standard ist zh (Mandarin). Bei chinesischen Untertiteln wird zusätzlich ein Prompt zur Ausgabe in vereinfachten Schriftzeichen eingefügt.
7. Vorhandenen transkribierten Text analysieren
python3 ~/.hermes/skills/utilities/video-to-text/scripts/analyze.py transkription.md --all
--summaryAusgabe: Ein-Satz-Zusammenfassung/Kernpunkte/Key Quotes/Zielgruppe/Übernehmbare Erkenntnisse--analyzeAusgabe: Einstiegshaken (0-10s)/Rhythmus-Struktur-Verhältnis/Emotionskurve/Verkaufspunkte/CTA/Wiederverwendbare Muster--format txtAusgabe als Klartext (für alte Formate kompatibel);--out-dirZielverzeichnis angeben
Verifikation (Selbsttest nach Installation)
# Schneller Selbsttest mit lokaler Datei: Kein Video? macOS-eigene Sprachsynthese verwenden
say -v "Ting-Ting" "Hallo zusammen, dies ist ein Testsprachclip" -o /tmp/t.m4a # Linux überspringen
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --out-dir /tmp/vtt_test
# Erwartet: /tmp/vtt_test enthält *_transcript.md mit Text in der Nähe von "Testsprachclip"
# Selbsttest für Untertitelfunktion (sollte vereinfachtes Chinesisch mit Satzzeichen und satzweise segmentierte SRT ergeben)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --subtitles srt --out-dir /tmp/vtt_test
# Erwartet: /tmp/vtt_test enthält *_transcript.srt mit --> Zeitstempelzeilen
Abhängigkeiten (bei Erstgebrauch installieren)
pip3 install faster-whisper # Standard lokale Transkription (lädt beim ersten Mal tiny-Modell ~75 MB)
# macOS hat avconvert; Linux benötigt ffmpeg
# Douyin-Analyse benötigt playwright + chromium (wird intern von douyin_extract verwendet)
# Inhaltszusammenfassung/virale Analyse benötigt LLM-Key (LLM_API_KEY Umgebungsvariable oder ~/.deai_writer.conf)
# SenseVoice-Engine optional: SILICONFLOW_API_KEY (SiliconFlow, mit kostenlosem Kontingent)
Bekannte Fallstricke
- duration_ms=0 falsch negativ: Die SSR-Metadaten-Dauer kann 0 sein, obwohl es ein Video ist. Wenn eine Download-URL vorhanden ist, zuerst herunterladen und prüfen, nicht direkt als Bild+Text einstufen.
- play_addr URL abgelaufen: Die vom SSR geparste Video-URL kann 404 ergeben. Wenn der Download fehlschlägt, erscheint ein Hinweis, die Datei manuell bereitzustellen (automatisches Downgrade ohne Abbruch).
- Bild+Text-Inhalt: Wenn duration=0 und heruntergeladene Datei <1 MB, handelt es sich um Bild+Text (kein Audio). Nur Metadaten ausgeben, keine Inhalte erfinden.
- Whisper-Transkription langsam: Auf Intel Mac dauert ein 3-minütiges Video ca. 5 Minuten. Automatisch
language='zh'+ VAD zum Herausfiltern von Stille. Für schneller / genauer--engine sensevoiceverwenden. - Chinesische Standardausgabe in Langzeichen (bereits behoben): Whisper gibt für Chinesisch oft Langzeichen aus und fast nie Satzzeichen. Diese Fähigkeit injiziert standardmäßig
initial_prompt, um Kurzzeichen + Satzzeichen zu erzwingen. Bei Bedarf anpassen über UmgebungsvariableWHISPER_INITIAL_PROMPT(leer lassen, um die Steuerung zu deaktivieren). - Genauigkeit hängt von der Modellgröße ab: Standard
WHISPER_MODEL=tiny(~75 MB, schnell aber fehleranfällig). Für brauchbare Transkriptionsqualität aufsmall/mediumwechseln:
Beim ersten Mal wird das Modell heruntergeladen (bei chinesischem NetzwerkWHISPER_MODEL=small python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srtexport HF_ENDPOINT=https://hf-mirror.comsetzen). - Untertitel-Segmentierung anpassbar: Standardmäßig nach Satzzeichen/18 Zeichen/7 Sekunden segmentiert. Für feinere oder gröbere Segmentierung die Umgebungsvariablen
VTT_MAX_CHARS,VTT_MAX_DURverwenden. - SenseVoice ohne echte Zeitstempel: Diese Engine liefert keine Zeitinformationen; die Dauer wird anhand der Sprechgeschwindigkeit geschätzt, die Untertitel-Zeitachse daher nur ein Richtwert – für präzise Untertitel bitte faster-whisper verwenden.
- Analyse benötigt LLM-Key: --summary/--analyze benötigen LLM_API_KEY; falls nicht konfiguriert, wird nur transkribiert und nicht analysiert (klares Downgrade ohne Fehlermeldung).