動画→テキスト — 抖音/ローカル動画 → テキスト → コンテンツ分析(ワンコマンド完結)
抖音共有リンク → 自動ダウンロード → 音声書き起こし → 構造化Markdown → バズり分析、ワンコマンドで完了。 動画を手動保存する必要も、外部APIキーも不要。プライバシーはローカルに保たれます(デフォルト: ローカルfaster-whisper)。
📁 インストール:
hermes skills install jiawood2006/hermes-skills/skills/video-to-textまたは./install.sh(ワンクリックインストール+グローバルコマンドvtt)→ スクリプトは~/.hermes/skills/utilities/video-to-text/scripts/に配置されます。
トリガー条件
このスキルは、ユーザーが以下を送信した際に使用します。
- 抖音共有リンク(v.douyin.com / www.douyin.com/video/…)で、「テキスト化/台本抽出/分解/バズり分析/内容確認」を依頼された場合
- B站(Bilibili)リンクで、「動画情報を見たい」と依頼された場合
- ローカルの動画ファイル(.mp4/.mov/.m4a)で、「音声テキスト化/字幕/要約/分析」を依頼された場合
使用方法
1. 抖音リンク → 全自動クローズドループ(デフォルト動作)
# ワンコマンド: メタデータ + 自動ダウンロード + ローカル書き起こし
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/"
# 全フロー + LLM要約 + バズり構造分析
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --all
# メタデータのみ(ダウンロード・書き起こしなし)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --meta-only
# 書き起こしエンジンをSenseVoiceに変更(中国語話し言葉/ノイズに強い、SILICONFLOW_API_KEYが必要、失敗時は自動でローカルにフォールバック)
SILICONFLOW_API_KEY=sk-xxx python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://v.douyin.com/xxxx/" --engine sensevoice
技術フロー: curlで短縮URLから実際の動画IDを取得 → Playwrightでaweme/detail APIをリッスンしメタデータ+透かしなしplay_urlを取得 → 自動ダウンロード → 音声抽出 → 書き起こし。
2. ローカル動画ファイル → 書き起こし + コンテンツ分析
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py 動画.mp4 # 書き起こしのみ
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py 動画.mp4 --summary # + 内容要約
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py 動画.mp4 --analyze # + バズり構造分析
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py 動画.mp4 --engine sensevoice # SenseVoiceに変更
3. B站リンク → メタデータ(依存関係ゼロ、公開API利用)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py "https://www.bilibili.com/video/BV1..."
タイトル/作者/再生時間/再生数/いいね数/概要を出力します。書き起こしが必要な場合は、動画をダウンロードしてからローカルファイルとして処理してください。
4. 出力物(構造化Markdown)
デフォルトでは <タイトル>_transcript.md として保存されます。そのままObsidianやナレッジベースで利用可能です。
---
platform: douyin
url: https://v.douyin.com/xxx
title: 動画タイトル
author: 著者名
duration_s: 42
digg: 12345
date: 2026-09-04
tags: ["話題1", "話題2"]
---
# 動画タイトル
| フィールド | 値 |
|:---|:---|
| duration_s | 42 |
...
## 書き起こし全文
[00:00] 皆さんこんにちは、今日は…
[00:05] この製品は…
5. 字幕ファイルの出力(SRT / VTT、正確なタイムスタンプ付き)
動画編集、YouTube/B站への字幕アップロード、または一文ごとの校正が必要な場合に、字幕ファイルを直接出力します。
# 文字起こし + SRT字幕添付(最も一般的)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py 動画.mp4 --subtitles srt
# SRTとVTTを同時出力
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py 動画.mp4 --subtitles srt,vtt
# 字幕のみ、文字起こしなし
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py 動画.mp4 --format srt
- 出力:
<タイトル>_transcript.srt(剪映/Premiere/YouTube対応)または.vtt(Webプレイヤー対応) - 中国語はデフォルトで簡体字 + 句読点、かつ文単位で分割されます(1字幕が十数秒にまたがることはありません)
- 分割しきい値は環境変数で調整可能:
VTT_MAX_CHARS=18(1行あたりの文字数)、VTT_MAX_DUR=7(1行あたりの最大秒数)
6. 書き起こし言語の指定
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py 英語動画.mp4 --asr-lang en
デフォルトは zh(普通話/北京語)。中国語字幕の場合は、追加のプロンプトで簡体字出力を誘導します。
7. 既存の書き起こしテキストの分析
python3 ~/.hermes/skills/utilities/video-to-text/scripts/analyze.py 書き起こし.md --all
--summary出力: 1文での概要/コアポイント/キラーフレーズ/ターゲットオーディエンス/参考になる点--analyze出力: 冒頭のフック(0-10秒)/リズムと構成比/感情曲線/セールスポイント/CTA/再利用可能なパターン--format txtプレーンテキスト出力(旧形式互換);--out-dir出力ディレクトリ指定
検証(インストール後のセルフテスト)
# ローカルファイルのクイックテスト: 動画がない場合、macOS標準の音声合成を利用
say -v "Ting-Ting" "皆さんこんにちは、これはテスト音声です" -o /tmp/t.m4a # Linuxではスキップ可
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --out-dir /tmp/vtt_test
# 期待: /tmp/vtt_test に *_transcript.md が作成され、「テスト音声」を含むテキストが含まれている
# 字幕機能のセルフテスト(簡体字+句読点、文単位分割のSRTが得られるはず)
python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py /tmp/t.m4a --subtitles srt --out-dir /tmp/vtt_test
# 期待: /tmp/vtt_test に *_transcript.srt が作成され、--> タイムスタンプ行が含まれている
依存関係(初回使用時にインストール)
pip3 install faster-whisper # デフォルトのローカル書き起こし(初回はtinyモデルをダウンロード ~75MB)
# macOSはavconvert標準搭載; Linuxはffmpegが必要
# 抖音解析にはplaywright + chromiumが必要(douyin_extract内部で使用)
# 内容要約/バズり分析にはLLMキーが必要(LLM_API_KEY環境変数 または ~/.deai_writer.conf)
# SenseVoiceエンジンはオプション: SILICONFLOW_API_KEY(シリコンフロークラウド、無料枠あり)
既知の落とし穴
- duration_ms=0 の偽陰性: SSRメタデータの再生時間が0でも、実際は動画の場合があります。ダウンロードURLがあれば先にダウンロードして確認し、画像テキストと判断しないでください。
- play_addr URLの有効期限切れ: SSRで解析した動画URLが404になる場合があります。その場合はダウンロードに失敗し、手動でファイルを提供するよう促されます(自動的にダウングレードされ、処理は中断しません)。
- 画像テキストコンテンツ: duration=0かつダウンロードファイルが1MB未満の場合は画像テキスト(音声なし)と判断し、メタデータのみ出力します。内容を捏造することはありません。
- whisperの書き起こしが遅い: Intel Macの場合、3分の動画で約5分かかります。
language='zh'の自動設定とVADによる無音フィルタリングが適用されています。より高速/高精度にするには--engine sensevoiceを使用してください。 - 中国語のデフォルト出力が繁体字(修正済み): whisperは中国語に対して繁体字を出力し、句読点もほとんど付加しません。このスキルではデフォルトで
initial_promptを注入し、簡体字 + 句読点を誘導します。カスタマイズが必要な場合は、環境変数WHISPER_INITIAL_PROMPTを設定します(空にすると誘導を無効化)。 - 精度はモデルサイズに依存: デフォルトは
WHISPER_MODEL=tiny(~75MB、高速だが誤字が多い)。実用的な書き起こし品質を求める場合はsmall/mediumに変更してください:
初回はモデルをダウンロードします(国内ネットワーク環境の場合はWHISPER_MODEL=small python3 ~/.hermes/skills/utilities/video-to-text/scripts/vtt.py 動画.mp4 --subtitles srtexport HF_ENDPOINT=https://hf-mirror.comを推奨)。 - 字幕分割の粒度は調整可能: デフォルトでは句読点/18文字/7秒で分割します。より細かく、またはより長くしたい場合は、環境変数
VTT_MAX_CHARS、VTT_MAX_DURを設定してください。 - SenseVoiceには正確なタイムスタンプなし: このエンジンは時間情報を返さないため、再生時間は話速から推定され、字幕のタイムラインは参考値です。正確な字幕が必要な場合はfaster-whisperを使用してください。
- 分析にはLLMキーが必要:
--summary/--analyzeにはLLM_API_KEYが必要です。設定されていない場合は書き起こしのみ行い、分析はスキップされます(明示的にダウングレードされ、エラーは発生しません)。