Communitygithub.com

ysyecust/lecture-to-notes

YouTube、Bilibili、X/Twitter 讲演视频を完全な中国語 LaTeX ノートセットと PDF に変換します。ソースに忠実な主張、流暢な散文、検証済みの教材図を含み、単なる文字起こしや画像ギャラリーではありません。

lecture-to-notes とは?

このスキルは、YouTube、Bilibili、X/Twitter の講演ビデオ URL を受け取り、完全な中国語 LaTeX(.tex)ノートセットとコンパイル済み PDF を生成する高度な AI エージェントスキルです。単なる文字起こしのダンプではなく、ソースビデオの実際の教育コンテンツを抽出し、それを正確に表現した独創的な散文、ソース忠実な主張、検証済みの教材図を含むプロフェッショナルな講義ノートを作成することを目的としています。このスキルは、yt-dlp(動画/字幕ダウンロード)、ffmpeg(フレーム抽出)、xelatex(LaTeX コンパイル)、sherpa-onnx/Whisper(ローカル音声認識)、rapidocr-onnxruntime(ハードサブ OCR)など、多数の外部ツールと Python ライブラリに依存しています。ワークフローは、メタデータプローブ、字幕抽出と修正、フレームサンプリングと分析(レイアウト、バンド、スコアリング)、教材図の選択、クレーム抽出と検証、LaTeX ノートの作成とコンパイル、最終的な検証という、厳格な一連のステップで構成されています。このスキルの品質バーは非常に高く、ソースフィット密度、完全な教育アトムカバレッジ、検証可能な数値クレーム、明確な構造(セクション/サブセクション、判定ボックス)、および読者を理解へ導くための明確なパスを義務付けています。具体的な質的・量的ゲート(中国語文字数、図の数、数式の数、セクション数)が定義されており、それらを満たさないと納品とは見なされません。このスキルは主に中国語(繁体字/簡体字)の講義ノート作成に特化していますが、その方法論とツールチェーンは、他の言語の同様のタスクにも適用可能な基盤を提供します。

対応✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/ysyecust/lecture-to-notes/tree/HEAD/skills/lecture-to-notes

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

講義ノート作成(Lecture to Notes)

YouTube、Bilibili、または X/Twitter の講演ビデオを、完全でコンパイル可能な .tex ノートセットとレンダリングされた PDF に変換します。

依存関係

開始前に確認してください(which を使用)。不足しているツールがある場合は、ユーザーにインストールを促してください。

ツール必須目的
yt-dlp常に動画/字幕/メタデータのダウンロード(YouTube + Bilibili + X/Twitter 対応)。yt-dlp --version で確認:約90日以上古いビルドは、現在の Bilibili や YouTube ページで失敗します
ffmpeg常にフレーム抽出、音声抽出
xelatex常にLaTeX コンパイル(TeX Live + CTeX for Chinese)
magick常にフレームモンタージュとコンタクトシート
ffprobe常に再生時間とフレーム高(ffmpeg に同梱)
pdftotext常にverify_notes.py でのレンダリングページチェック(poppler)
python3常にインストール済みヘルパースクリプトとローカル ASR サポート
sherpa-onnx + X ASR モデル任意(zh/en ASR)トークンタイムスタンプ付きの高速ローカル中国語/英語文字起こし
Whisper バックエンドASR フォールバック / 非 zh-en / CCなしtranscribe_whisper.py が mlx-whisper(macOS arm64)→ faster-whisper → openai-whisper を選択
rapidocr-onnxruntimeBilibili / 焼き付け字幕全般ocr_hardsubs.py が字幕帯とオーバーレイ形状を読み取る
Pillow + numpy常にframe_filter.py オーバーレイとコンポジットパネルの切り抜き、話者スコア

Python サイドを pip install rapidocr-onnxruntime Pillow numpy と、1つの文字起こしバックエンドでインストールしてください:Apple Silicon では pip install mlx-whisper、それ以外では pip install faster-whisper(または最も遅いフォールバックとして openai-whisper)。 /ABSOLUTE/PATH/TO/lecture-to-notes/assets/smart_crop.py はオプションの実験的機能です。

LaTeX パッケージの確認(スキップしないでください — which xelatex だけでは不十分です)

which xelatex が成功しても、必要な LaTeX パッケージがインストールされているとは限りません。最小限の TeX インストール(例:MacTeX Basic、TeX Live scheme-basic)では、バイナリは存在しますが、ctex、tcolorbox、およびその他のパッケージが欠落しています。これにより、長い中国語の行が \textwidth を超えたり(CJK 改行なし)、File '...' not found でコンパイルが中断されたりする、サイレント障害が発生します。

開始する前に必要なパッケージを確認してください:

MISSING=0
for pkg in ctex tcolorbox environ trimspaces listings hyperref booktabs float subcaption etoolbox; do
  if ! kpsewhich "$pkg.sty" >/dev/null 2>&1; then
    echo "❌ 不足している LaTeX パッケージ: $pkg"
    MISSING=1
  fi
done
if [ "$MISSING" -ne 0 ]; then
  echo "不足しているパッケージをインストールしてください:"
  echo "  tlmgr install ctex tcolorbox environ trimspaces etoolbox"
  echo "または完全な TeX ディストリビューションをインストール:"
  echo "  macOS:  https://www.tug.org/mactex/  (約4GB、すべてを含む)"
  echo "  Linux:  sudo apt install texlive-full"
fi

ctex がインストールできない場合(例:最小限のインストールでの l3kernel バージョン競合)、notes-template.tex には、システムフォントを使用した XeTeX の組み込み CJK 改行(\XeTeXlinebreaklocale "zh")を利用するフォールバックが含まれています — ctex や xeCJK は不要です。

クッキーと yt-dlp の鮮度

サポートされているすべてのプラットフォームは、認証されていないダウンロードを拒否する可能性があり、2つの失敗は異なって見えます:

症状プラットフォーム意味
Sign in to confirm you're not a botYouTubeボット検出
プローブまたはダウンロード時の HTTP Error 412Bilibiliスクレイピング防止チェック
WARNING: Your yt-dlp version (...) is older than 90 days任意抽出器がサイトの現在のマークアップより古い

まずバージョンを修正してください。古い抽出器は、クッキーで修正されるのと同じエラーを生成するためです:brew upgrade yt-dlp、pipx upgrade yt-dlp、または pip install -U yt-dlp を実行し、yt-dlp --version で確認します。Homebrew はセルフアップデータを無効にするため、yt-dlp -U は実際には何も変更せずに成功を報告します。

次にクッキーを提供します。video_source.py probe はそれらを直接受け取ります:

python3 "/ABSOLUTE/PATH/TO/lecture-to-notes/assets/video_source.py" probe \
  --cookies-from-browser chrome "<URL>" > metadata.json

ブラウザプロファイルが利用できない場合(ヘッドレスホストなど)は、代わりに --cookies FILE を使用します。認証理由で失敗したプローブは、再試行するフラグを指定するようになりました。そのメッセージをデッドエンドではなく、次のアクションとして扱ってください。

ワークフローの残りの部分では、yt-dlp を直接呼び出します。すべてのコマンドを編集する代わりに、yt-dlp 設定ファイルを一度作成し、XDG_CONFIG_HOME をそのファイルに向けてください。これにより、ダウンロード、字幕取得、サムネイル取得のすべてがクッキーを取得します:

mkdir -p "$WORKDIR/.xdg/yt-dlp"
printf -- '--cookies-from-browser chrome\n' > "$WORKDIR/.xdg/yt-dlp/config"
# その後、この講義のワークディレクトリ内の以降のすべての yt-dlp 呼び出しの前に次のように記述:
XDG_CONFIG_HOME="$WORKDIR/.xdg" yt-dlp --no-playlist ... "<URL>"

ブラウザクッキーは、ログインアカウントの Bilibili 1080P+ も解放するため、同じ設定でフレーム品質が向上します。

目標

YouTube、Bilibili、または X/Twitter のビデオ URL からプロフェッショナルな中国語講義ノートを作成します。出力は以下を満たす必要があります:

  • ビデオの実際の教育コンテンツを使用し、単なる字幕の文字起こしではないこと
  • ビデオの元のカバー画像を表紙に配置すること
  • コンタクトシートレビューで選択された、フルフレームの教材図を含めること;ビデオがカメラ映像とスライドを並べて配置する場合、各図は1つの測定されたパネルを保持し、スライドのテキストが読みやすくなるようにすること
  • 能力のある初読者が、文字起こしを解読することなく、問題、メカニズム、証拠、結果、および境界を理解できるようにすること
  • ソースフィットの情報密度を達成すること—すべての図、ボックス、数式、段落がそのスペースに値すること
  • \section{} / \subsection{} で構造的に整理されていること
  • 話者の結論とあなた自身の要約を組み合わせた統合セクションで終わること
  • \documentclass から \end{document} までの完全な .tex ファイルであること
  • PDF に正常にコンパイルされること

譲れない品質基準(Codex / プロダクションモード)

停止し、完了を主張しないでください。以下のすべての項目が真でない限り、スケルトンアウトライン、散文が薄い画像中心のPDF、または中間成果物の欠如は自動的に失敗とみなされます。

必須のワークディレクトリ成果物(「完了」と言う前にディスク上に存在する必要があります)

ファイル必要な内容
metadata.jsonvideo_source.py probe からの出力(または同等の完全なダンプ)
audio.srt作成に使用された最終字幕トラック(手動 CC、クリーニング済み自動、ハードサブ OCR、X ASR、または Whisper)
audio_corrected.srt最終トラックのコピー、またはローカル ASR を使用した場合は用語集/LLM 修正トラック
hardsub_ocr.srtocr_hardsubs.py detect が焼き付け字幕を報告した場合の ocr_hardsubs.py extract の出力;それ以外の場合は存在しない
bands.jsonocr_hardsubs.py detect --geometry または frame_filter.py bands からのオーバーレイ形状(ナビゲーションストリップ、字幕帯)
layout.jsonframe_filter.py layout による高密度サンプルからのパネルレイアウト;常に測定され、composite: false はシングルピクチャービデオを記録する
cover.jpg表紙
video.mp4フレームのソース(ユーザーがダウンロードを禁止し、フレームを提供する場合にのみ省略可能)
frames/高密度サンプル、デフォルト 1 フレーム / 15秒
frame_scores.json高密度サンプルに対する frame_filter.py score;ホストが画像を表示できない場合に必須
figures/意味のある名前(fig_01_topic.jpg、…)を持つ選択された図アセット、bands.json でオーバーレイが切り抜かれ、layout.json でコンポジットが1つのパネルにトリミングされている
figure_manifest.tsvヘッダー figure\tframe\tstart\tend\ttopic\tpanel — 図画像ごとに1行;panel は、それが保持する layout.json パネル(main、left、…)または full を指定する
figure_verification.txtすべてのマニフェストタイムスタンプに対する verify_figures.py の完全な標準出力
lecture_profile.json読者とソースフィットのプロファイル;必須フィールドは以下に説明
teaching_atoms.tsvヘッダー atom\tstatus\tevidence — すべての教育アトムがノートにマッピングされている
numerical_claims.tsvextract_claims.py extract で生成され、extract_claims.py check --write で埋められる;講義に数値的主張が含まれない場合はヘッダーのみでも有効
notes.tex完全な中国語講義ノート
notes.pdf2パス xelatex の出力
verify_notes.txtverify_notes.py の完全な標準出力、OVERALL PASS で終わる

ソースフィットプロファイルと読者契約(厳格)

字幕修正とコンタクトシートレビューの後、ノートのアウトラインを作成する前に lecture_profile.json を作成します:

{
  "mode": "technical-slide",
  "audience": "能力のある初読者",
  "central_question": "読者は読了後に何を説明できるようになるべきか?",
  "reader_outcome": "具体的な能力、判断、またはメンタルモデル",
  "visual_teaching_atoms": 24,
  "formula_teaching_atoms": 18
}

モードを正確に1つ選択してください:

  • technical-slide:スライド、板書、数式、コード、または図がほとんどの教育コンテンツを伝えます;
  • conceptual-talk:トーク、インタビュー、またはディスカッションが、視覚的なメカニズムではなく、主張、例、推論を通じてほとんどのコンテンツを伝えます;
  • mixed:両方のモードが相当な教育コンテンツを提供します。

visual_teaching_atoms と formula_teaching_atoms をドラフトからではなく、ソースから数えてください。視覚アトムとは、ポイントを教えるのに役立つ、ソース内の明確な視覚要素です。数式アトムとは、保存する価値のあるソースの方程式または導出です。より多くのアセットを正当化するためにこれらの数を水増ししたり、単にクォータをトリガーするために概念的なトークを技術的に分類したりしないでください。

すべてのモードにおいて、厳格なゲートは、ソース忠実性、完全な教育アトムカバレッジ、トレース可能な数値的主張、明確なソース帰属、および一貫性のある読者パスです。以下の数値密度ゲートは、ソースフィットの安全策です。それらは、発明された方程式、価値の低い話者の顔のスクリーンショット、反復的なボックス、または同義語のパディングを決して許可しません。

密度と構造のゲート(ソース適応型)

講義時間 $T$ 分(メタデータから)の場合:

ゲート vs ターゲット(混同しないでください): 以下の数値は厳格なゲートです(失敗=納品なし)。高品質の Codex クラスのノートは、多くの場合、CJK ゲートより約25~40%上に着地します。これはターゲットであり、2番目の厳格な下限ではありません。厳格な下限を測定されたゴールド値まで引き上げることは、より多くの教育アトムではなく、パディングを促進します。(CS336 L3 で検証済み:$T\approx 89$ → ゲート CJK 6246 / figs 25;ゴールド ~8035 CJK / 27 figs / 31 ページ。)

  1. 中国語文字数 notes.tex 本文内(CJK 統合漢字のみ):

    • technical-slide:少なくとも $\max(5000,\ \mathrm{round}(70\times T))$;
    • mixed:少なくとも $\max(3500,\ \mathrm{round}(55\times T))$;
    • conceptual-talk:少なくとも $\max(2500,\ \mathrm{round}(45\times T))$。 英語の専門用語、LaTeX コマンド、またはキャプションだけをカウントしないでください。これらは完全性の下限であり、同じアイデアを繰り返すための招待状ではありません。
  2. 図:理解を実質的に向上させる、すべての明確な視覚的教育アトムを含めます。技術的なターゲット $\max(20,\ \mathrm{round}(T/3.5))$ まで。4つの実際の視覚アトムしかない conceptual-talk には、20枚の話者のフレームではなく、4つの検証済みの図を含める必要があります。30の異なるメカニズムを持つスライド中心の講義は、20で止めてはいけません。

  3. セクション $T\ge 60$ の場合:technical-slide では少なくとも8、mixed では6、conceptual-talk では5を使用します。ただし、より少ない読者の質問が、明らかに明確な構造を生み出す場合はこの限りではありません。各主要セクションは1つの読者の質問に答え、\subsection{本章小结} で終わり、その答えを述べて次の質問を準備します。

  4. 判定ボックス:ボックスは、定義、背景依存関係、決定ルール、または障害境界をメインフローから分離する場合にのみ使用します。technical-slide のデフォルトは $T\ge60$ で12です。mixed と conceptual-talk にはボックスクォータはありません。単にカウントを増やすために、連続する推論をボックスに分割しないでください。

  5. 教育アトムの形状(テンプレートを型押しするのではなく、適応させてください):

    • 読者が理解する必要があることと、それがなぜ重要かを述べます;
    • メカニズムまたは推論を、理解するために必要な順序で説明します;
    • ソースの証拠を添付します:適切な数値、例、引用レベルの言い換え、数式、コード、表、または検証済みの図;
    • 解釈が変わる場合は、結果または境界を述べます。 ソースと読者が必要とするコンポーネントのみを使用します。少なくとも2つの記号を含む表示数式の後には、すぐに記号の説明リストを追加します。
  6. アウトラインのみのセクションは禁止。 講義の5分間のスパンが明確なメカニズム、数値、または設計上の選択を導入する場合、それは独自のサブセクションまたは証拠のある明確にラベル付けされた段落として表示される必要があります — 要約リストの箇条書きではありません。

  7. カバレッジ監査(コンパイル前、タイムライン): SRT を使用して3〜5分刻みでタイムラインをウォークします;対応する散文や図がないギャップをリストアップします;xelatex の前にギャップを埋めます。

  8. 教育アトムチェックリスト(トピックカバレッジ、技術講義では厳格): 納品前に、SRT + スライドから講義固有のアトムリスト(15〜40アトム)を抽出します。各アトムは、notes.tex 内のサブセクション、ラベル付き段落、または図+キャプションにマッピングされる必要があります。アトムの欠落 → 散文を拡張します;CJK だけで「合格」にしないでください。 LLM アーキテクチャ講義のアトム例:Pre/Post-Norm、LN vs RMSNorm、FLOPs≠runtime、SwiGLU、serial vs parallel block、RoPE、FFN ratio、head dim、width/depth、vocab size、dropout vs weight decay、z-loss、QK-Norm、Prefill vs Decode、MQA/GQA、sliding window / interleaved / hybrid attention。 チェックリストを teaching_atoms.tsv(atom\tstatus\tevidence)として永続化します。

  9. メカニズム密度(厳格 — L2 ゴールド比較 2026-07-12): CJK/fig/box ゲートだけでは十分ではありません。CS336 L2 初回 Grok パス:5463 CJK / 8 数式 / 0 コード(ゲート PASS、ゴールド不完全);クレーム駆動補完後:~6450 CJK / 31 数式 / 3 コード / 33 ページ(Codex に一致)。以下も要求します:

    • 表示数学:ソース数式アトムについて、少なくとも $\min(N_{\mathrm{formula\ atoms}},\ \max(10,\ \mathrm{round}(T/4)))$ ブロック(\[ ... \] または equation)を保存し、それぞれに即時の記号…

\…

[翻訳のために切り詰められました]

関連スキル