Communitygithub.com

jiawood2006/hermes-skills

Videointelligenz. Erhalte automatisch Transkriptionen, SRT/VTT-Untertitel und virale Inhaltsanalysen von Douyin-Links, Bilibili-Links oder lokalen Videos – alles in einem Befehl.

Was ist hermes-skills?

Diese Fähigkeit wandelt Videocontent – von Douyin-Links über Bilibili-URLs bis hin zu lokalen MP4/MOV/M4A-Dateien – in strukturierten Text um, erzeugt Untertiteldateien (SRT/VTT) mit echten Zeitstempeln und führt bei Bedarf eine LLM-basierte Inhaltszusammenfassung sowie eine Dekonstruktion der viralen Struktur durch. Sie funktioniert vollständig lokal (Standardmodell: faster-whisper), erfordert keinen externen API-Key für die Transkription und schützt die Privatsphäre. Unterstützt die intelligente Verarbeitung chinesischer Sprache (vereinfachtes Chinesisch inkl. Satzzeichen) mit optionalem SenseVoice-Engine (benötigt SILICONFLOW_API_KEY) für bessere Genauigkeit bei Dialogen und Rauschen. Die Ausgabe erfolgt als strukturiertes Markdown inkl. Metadaten (Titel, Autor, Dauer, Likes), Transkription und Tags – ideal für Obsidian-Wissensdatenbanken. Zusätzlich bietet die Fähigkeit eine Content-Analyse (Hook, Rhythmus, Emotionskurve, Verkaufsstrategie) und über individuelle Umgebungsvariablen konfigurierbare Untertitel-Segmentierung.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/jiawood2006/hermes-skills/tree/HEAD/skills/video-to-text

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Video-to-Text – Douyin/Lokales Video → Text → Content Intelligence (ein Befehl, geschlossener Kreislauf)

Douyin-Share-Link → Automatischer Download → Spracherkennung → Strukturiertes Markdown → Virale Inhaltsanalyse – alles in einem Befehl. Kein manuelles Speichern von Videos, kein externer API-Key erforderlich, die Privatsphäre bleibt auf dem Gerät (Standardmäßig lokales faster-whisper).

📁 Installation: hermes skills install jiawood2006/hermes-skills/skills/video-to-text oder ./install.sh (Ein-Klick-Installation + globaler Befehl vtt) → Skripte in ~/.hermes/skills/utilities/video-to-text/scripts/.

Auslösebedingung

Verwende diese Fähigkeit, wenn der Benutzer Folgendes sendet:

  • Douyin-Share-Link (v.douyin.com / www.douyin.com/video/…), mit dem Wunsch „in Text umwandeln / Untertitel extrahieren / analysieren / virale Struktur untersuchen / Inhalt ansehen“
  • Bilibili-Link mit dem Wunsch „Videoinformationen anzeigen“
  • Lokale Videodatei (.mp4/.mov/.m4a) mit dem Wunsch „Sprache in Text umwandeln / Untertitel erstellen / Zusammenfassung / Analyse“

Nutzungsschritte

1. Douyin-Link → Vollautomatischer Kreislauf (Standardverhalten)

# Ein Befehl: Metadaten + automatischer Download + lokale Transkription
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/"

# Kompletter Workflow + LLM-Zusammenfassung + Aufschlüsselung der viralen Struktur
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --all

# Nur Metadaten (kein Download, keine Transkription)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --meta-only

# Transkriptions-Engine auf SiliconFlow SenseVoice umstellen (besser für chinesische Umgangssprache/rauschende Umgebungen; benötigt SILICONFLOW_API_KEY, Fallback auf lokal bei Fehler)
SILICONFLOW_API_KEY=sk-xxx python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --engine sensevoice

Technische Kette: curl Shortlink → echte Video-ID extrahieren → Playwright lauscht auf aweme/detail API → Metadaten + wasserzeichenfreie play_url → automatischer Download → Audio extrahieren → Transkription.

2. Lokale Videodatei → Transkription + Content Intelligence

python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4                 # Nur Transkription
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --summary       # + Inhaltszusammenfassung
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --analyze       # + Aufschlüsselung der viralen Struktur
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --engine sensevoice  # SenseVoice-Engine verwenden

3. Bilibili-Link → Metadaten (Zero-Abhängigkeiten, öffentliche API)

python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://www.bilibili.com/video/BV1..."

Gibt aus: Titel/Autor/Dauer/Abspielzahlen/Likes/Beschreibung; für Transkription bitte herunterladen und lokale Datei verwenden.

4. Ausgabeprodukt (Strukturiertes Markdown)

Standardmäßig gespeichert als <Titel>_transcript.md, direkt in Obsidian/Wissensdatenbank nutzbar:

---
platform: douyin
url: https://v.douyin.com/xxx
title: Video-Titel
author: Autorname
duration_s: 42
digg: 12345
date: 2026-09-04
tags: ["Thema1", "Thema2"]
---

# Video-Titel

| Feld | Wert |
|:---|:---|
| duration_s | 42 |
...

## Vollständige Transkription

[00:00] Hallo zusammen, heute stelle ich Ihnen…
[00:05] Dieses Produkt…

5. Untertiteldateien ausgeben (SRT / VTT, mit echten Zeitstempeln)

Zum Videoschneiden, Hochladen auf YouTube/Bilibili oder für zeilenweises Korrekturlesen direkt Untertiteldateien ausgeben:

# Text + SRT-Untertitel (am häufigsten verwendet)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt

# Gleichzeitig SRT und VTT ausgeben
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt,vtt

# Nur Untertitel, kein Text
t python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --format srt
  • Ausgabe <Titel>_transcript.srt (kompatibel mit CapCut/Premiere/YouTube) oder .vtt (kompatibel mit Webbrowsern)
  • Chinesisch wird standardmäßig in vereinfachten Schriftzeichen + Satzzeichen ausgegeben, und nach Sätzen segmentiert (kein Untertitel, der Dutzende von Sekunden überspannt)
  • Segmentierungsschwellenwerte über Umgebungsvariablen einstellbar: VTT_MAX_CHARS=18 (Zeichen pro Untertitel), VTT_MAX_DUR=7 (maximale Dauer pro Untertitel in Sekunden)

6. Sprache für Transkription angeben

python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py englisch_video.mp4 --asr-lang en

Standard ist zh (Mandarin). Bei chinesischen Untertiteln wird zusätzlich ein Prompt zur Ausgabe in vereinfachten Schriftzeichen eingefügt.

7. Vorhandenen transkribierten Text analysieren

python3 ~/.hermes/skills/utilities/video-to-text/scripts/analyze.py transkription.md --all
  • --summary Ausgabe: Ein-Satz-Zusammenfassung/Kernpunkte/Key Quotes/Zielgruppe/Übernehmbare Erkenntnisse
  • --analyze Ausgabe: Einstiegshaken (0-10s)/Rhythmus-Struktur-Verhältnis/Emotionskurve/Verkaufspunkte/CTA/Wiederverwendbare Muster
  • --format txt Ausgabe als Klartext (für alte Formate kompatibel); --out-dir Zielverzeichnis angeben

Verifikation (Selbsttest nach Installation)

# Schneller Selbsttest mit lokaler Datei: Kein Video? macOS-eigene Sprachsynthese verwenden
say -v "Ting-Ting" "Hallo zusammen, dies ist ein Testsprachclip" -o /tmp/t.m4a   # Linux überspringen
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --out-dir /tmp/vtt_test
# Erwartet: /tmp/vtt_test enthält *_transcript.md mit Text in der Nähe von "Testsprachclip"

# Selbsttest für Untertitelfunktion (sollte vereinfachtes Chinesisch mit Satzzeichen und satzweise segmentierte SRT ergeben)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --subtitles srt --out-dir /tmp/vtt_test
# Erwartet: /tmp/vtt_test enthält *_transcript.srt mit --> Zeitstempelzeilen

Abhängigkeiten (bei Erstgebrauch installieren)

pip3 install faster-whisper        # Standard lokale Transkription (lädt beim ersten Mal tiny-Modell ~75 MB)
# macOS hat avconvert; Linux benötigt ffmpeg
# Douyin-Analyse benötigt playwright + chromium (wird intern von douyin_extract verwendet)
# Inhaltszusammenfassung/virale Analyse benötigt LLM-Key (LLM_API_KEY Umgebungsvariable oder ~/.deai_writer.conf)
# SenseVoice-Engine optional: SILICONFLOW_API_KEY (SiliconFlow, mit kostenlosem Kontingent)

Bekannte Fallstricke

  • duration_ms=0 falsch negativ: Die SSR-Metadaten-Dauer kann 0 sein, obwohl es ein Video ist. Wenn eine Download-URL vorhanden ist, zuerst herunterladen und prüfen, nicht direkt als Bild+Text einstufen.
  • play_addr URL abgelaufen: Die vom SSR geparste Video-URL kann 404 ergeben. Wenn der Download fehlschlägt, erscheint ein Hinweis, die Datei manuell bereitzustellen (automatisches Downgrade ohne Abbruch).
  • Bild+Text-Inhalt: Wenn duration=0 und heruntergeladene Datei <1 MB, handelt es sich um Bild+Text (kein Audio). Nur Metadaten ausgeben, keine Inhalte erfinden.
  • Whisper-Transkription langsam: Auf Intel Mac dauert ein 3-minütiges Video ca. 5 Minuten. Automatisch language='zh' + VAD zum Herausfiltern von Stille. Für schneller / genauer --engine sensevoice verwenden.
  • Chinesische Standardausgabe in Langzeichen (bereits behoben): Whisper gibt für Chinesisch oft Langzeichen aus und fast nie Satzzeichen. Diese Fähigkeit injiziert standardmäßig initial_prompt, um Kurzzeichen + Satzzeichen zu erzwingen. Bei Bedarf anpassen über Umgebungsvariable WHISPER_INITIAL_PROMPT (leer lassen, um die Steuerung zu deaktivieren).
  • Genauigkeit hängt von der Modellgröße ab: Standard WHISPER_MODEL=tiny (~75 MB, schnell aber fehleranfällig). Für brauchbare Transkriptionsqualität auf small/medium wechseln:
    WHISPER_MODEL=small python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt
    
    Beim ersten Mal wird das Modell heruntergeladen (bei chinesischem Netzwerk export HF_ENDPOINT=https://hf-mirror.com setzen).
  • Untertitel-Segmentierung anpassbar: Standardmäßig nach Satzzeichen/18 Zeichen/7 Sekunden segmentiert. Für feinere oder gröbere Segmentierung die Umgebungsvariablen VTT_MAX_CHARS, VTT_MAX_DUR verwenden.
  • SenseVoice ohne echte Zeitstempel: Diese Engine liefert keine Zeitinformationen; die Dauer wird anhand der Sprechgeschwindigkeit geschätzt, die Untertitel-Zeitachse daher nur ein Richtwert – für präzise Untertitel bitte faster-whisper verwenden.
  • Analyse benötigt LLM-Key: --summary/--analyze benötigen LLM_API_KEY; falls nicht konfiguriert, wird nur transkribiert und nicht analysiert (klares Downgrade ohne Fehlermeldung).

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

Verwandte Skills