Vidéo-texte — Douyin/vidéo locale → texte → renseignement contenu (boucle fermée en une commande)
Lien de partage Douyin → téléchargement automatique → transcription vocale → Markdown structuré → décomposition du buzz, le tout en une commande. Pas besoin de sauvegarder la vidéo manuellement, pas de clé API tierce, la confidentialité reste sur votre machine (faster-whisper local par défaut).
📁 Installation :
hermes skills install jiawood2006/hermes-skills/skills/video-to-textou./install.sh(installation en un clic + commande globalevtt) → les scripts se trouvent dans~/.hermes/skills/utilities/video-to-text/scripts/.
Conditions de déclenchement
Utilisez cette compétence lorsque l'utilisateur envoie :
- Un lien de partage Douyin (v.douyin.com / www.douyin.com/video/…) avec demande de "transcrire / extraire le texte / décomposer / analyser le buzz / voir le contenu"
- Un lien BiliBili avec demande de "voir les infos vidéo"
- Un fichier vidéo local (.mp4/.mov/.m4a) avec demande de "transcription vocale / sous-titres / résumé / analyse"
Procédure d'utilisation
1. Lien Douyin → boucle fermée automatique (comportement par défaut)
# Une commande : métadonnées + téléchargement automatique + transcription locale
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/"
# Processus complet + résumé LLM + décomposition de la structure virale
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --all
# Seulement les métadonnées (pas de téléchargement ni transcription)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --meta-only
# Moteur de transcription SenseVoice (plus précis pour le chinois parlé/bruité, nécessite SILICONFLOW_API_KEY, retour automatique au local en cas d'échec)
SILICONFLOW_API_KEY=sk-xxx python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --engine sensevoice
Chaîne technique : curl sur l'URL courte → récupération de l'ID vidéo réel → Playwright écoute l'API aweme/detail pour obtenir les métadonnées et l'URL de lecture sans filigrane → téléchargement automatique → extraction audio → transcription.
2. Fichier vidéo local → transcription + renseignement contenu
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 # juste la transcription
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --summary # + résumé du contenu
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --analyze # + décomposition structure virale
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --engine sensevoice # utiliser SenseVoice
3. Lien BiliBili → métadonnées (API publique zéro dépendance)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://www.bilibili.com/video/BV1..."
Affiche titre/auteur/durée/vues/likes/description ; pour la transcription, téléchargez d'abord le fichier local.
4. Produits de sortie (Markdown structuré)
Enregistré par défaut sous <titre>_transcript.md, directement exploitable dans Obsidian/base de connaissances :
---
platform: douyin
url: https://v.douyin.com/xxx
title: Titre de la vidéo
author: Nom de l'auteur
duration_s: 42
digg: 12345
date: 2026-09-04
tags: ["sujet1", "sujet2"]
---
# Titre de la vidéo
| Champ | Valeur |
|:---|:---|
| duration_s | 42 |
...
## Transcription complète
[00:00] Bonjour tout le monde, aujourd'hui je vais vous parler…
[00:05] Ce produit…
5. Fichiers de sous-titres (SRT / VTT, avec horodatages réels)
Pour le montage vidéo, l'upload de sous-titres sur YouTube/BiliBili, ou la relecture phrase par phrase, générez directement les fichiers de sous-titres :
# Retranscription + sous-titres SRT (le plus courant)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt
# Génération simultanée SRT et VTT
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srt,vtt
# Uniquement les sous-titres, pas la retranscription
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --format srt
- Sortie
<titre>_transcript.srt(compatible CapCut/Premiere/YouTube) ou.vtt(lecteur web universel) - Le chinois est par défaut en simplifié + ponctuation, et découpé par phrases (pas de sous-titre traversant 10 secondes)
- Seuil de découpage ajustable via variables d'environnement :
VTT_MAX_CHARS=18(caractères par segment),VTT_MAX_DUR=7(durée max par segment en secondes)
6. Spécifier la langue de transcription
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video_anglais.mp4 --asr-lang en
Par défaut zh (mandarin). Les sous-titres chinois reçoivent un prompt supplémentaire pour guider la sortie en simplifié.
7. Analyser une transcription existante
python3 ~/.hermes/skills/utilities/video-to-text/scripts/analyze.py transcription.md --all
--summary: résumé en une phrase / points clés / citations marquantes / public cible / éléments à reprendre--analyze: accroche d'ouverture (0-10s) / proportion de la structure rythmique / courbe émotionnelle / arguments de vente / CTA / schémas réutilisables--format txt: sortie texte brut (compatibilité ancien format) ;--out-dir: répertoire de sortie
Validation (autotest après installation)
# Autotest rapide sur fichier local : pas de vidéo ? Utilisez la synthèse vocale macOS
say -v "Ting-Ting" "Bonjour tout le monde, ceci est un test vocal" -o /tmp/t.m4a # Linux peut sauter
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --out-dir /tmp/vtt_test
# Attendu : /tmp/vtt_test contient *_transcript.md avec le texte "test vocal" à proximité
# Autotest des sous-titres (doit obtenir SRT en simplifié avec ponctuation, découpé par phrases)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --subtitles srt --out-dir /tmp/vtt_test
# Attendu : /tmp/vtt_test contient *_transcript.srt avec des lignes --> d'horodatage
Dépendances (à installer lors de la première utilisation)
pip3 install faster-whisper # Transcription locale par défaut (télécharge le modèle tiny ~75MB)
# macOS a avconvert intégré ; Linux nécessite ffmpeg
# L'analyse Douyin nécessite playwright + chromium (utilisé en interne par douyin_extract)
# Le résumé/analyse du contenu nécessite une clé LLM (variable d'environnement LLM_API_KEY ou ~/.deai_writer.conf)
# Moteur SenseVoice optionnel : SILICONFLOW_API_KEY (plateforme SiliconFlow, avec crédit gratuit)
Pièges connus
- Faux négatif duration_ms=0 : la durée dans les métadonnées SSR peut être 0 alors qu'il s'agit bien d'une vidéo. S'il y a une URL de téléchargement, téléchargez d'abord pour vérifier, ne jugez pas directement comme image/texte.
- Expiration de l'URL play_addr : l'URL vidéo extraite par SSR peut être 404, auquel cas le téléchargement échoue et l'outil demande de fournir manuellement le fichier (dégradation élégante sans interruption).
- Contenu image/texte : duration=0 et fichier téléchargé <1MB signifie qu'il s'agit d'image+texte (pas d'audio) ; seules les métadonnées sont produites, aucun contenu n'est inventé.
- Transcription whisper lente : sur Intel Mac, une vidéo de 3 minutes prend environ 5 minutes ; le réglage
language='zh'+ VAD pour filtrer le silence est déjà automatique. Pour plus de rapidité/précision, utilisez--engine sensevoice. - Chinois par défaut en traditionnel (corrigé) : whisper a tendance à produire du chinois traditionnel et presque sans ponctuation. Ce skill injecte par défaut un
initial_promptpour guider vers le simplifié + ponctuation ; pour personnaliser, définissez la variable d'environnementWHISPER_INITIAL_PROMPT(vide désactive cette guidance). - Précision dépend de la taille du modèle : par défaut
WHISPER_MODEL=tiny(~75MB, rapide mais erreurs de caractères). Pour une qualité de transcription utilisable, passez àsmall/medium:
Le modèle est téléchargé la première fois (réseau national : suggestionWHISPER_MODEL=small python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py video.mp4 --subtitles srtexport HF_ENDPOINT=https://hf-mirror.com). - Granularité du découpage des sous-titres réglable : par défaut découpage par ponctuation/18 caractères/7 secondes. Pour des segments plus courts ou plus longs, utilisez
VTT_MAX_CHARSetVTT_MAX_DUR. - SenseVoice sans horodatage réel : ce moteur ne renvoie pas d'informations temporelles ; la durée est estimée à partir du débit de parole, l'axe temporel des sous-titres est donc indicatif — pour des sous-titres précis, utilisez faster-whisper.
- Analyse nécessite une clé LLM : --summary/--analyze nécessitent LLM_API_KEY ; sans configuration, seule la transcription est effectuée sans analyse (dégradation élégante sans erreur).