講義ノート作成(Lecture to Notes)
YouTube、Bilibili、または X/Twitter の講演ビデオを、完全でコンパイル可能な .tex ノートセットとレンダリングされた PDF に変換します。
依存関係
開始前に確認してください(which を使用)。不足しているツールがある場合は、ユーザーにインストールを促してください。
| ツール | 必須 | 目的 |
|---|---|---|
yt-dlp | 常に | 動画/字幕/メタデータのダウンロード(YouTube + Bilibili + X/Twitter 対応)。yt-dlp --version で確認:約90日以上古いビルドは、現在の Bilibili や YouTube ページで失敗します |
ffmpeg | 常に | フレーム抽出、音声抽出 |
xelatex | 常に | LaTeX コンパイル(TeX Live + CTeX for Chinese) |
magick | 常に | フレームモンタージュとコンタクトシート |
ffprobe | 常に | 再生時間とフレーム高(ffmpeg に同梱) |
pdftotext | 常に | verify_notes.py でのレンダリングページチェック(poppler) |
python3 | 常に | インストール済みヘルパースクリプトとローカル ASR サポート |
sherpa-onnx + X ASR モデル | 任意(zh/en ASR) | トークンタイムスタンプ付きの高速ローカル中国語/英語文字起こし |
| Whisper バックエンド | ASR フォールバック / 非 zh-en / CCなし | transcribe_whisper.py が mlx-whisper(macOS arm64)→ faster-whisper → openai-whisper を選択 |
rapidocr-onnxruntime | Bilibili / 焼き付け字幕全般 | ocr_hardsubs.py が字幕帯とオーバーレイ形状を読み取る |
Pillow + numpy | 常に | frame_filter.py オーバーレイとコンポジットパネルの切り抜き、話者スコア |
Python サイドを pip install rapidocr-onnxruntime Pillow numpy と、1つの文字起こしバックエンドでインストールしてください:Apple Silicon では pip install mlx-whisper、それ以外では pip install faster-whisper(または最も遅いフォールバックとして openai-whisper)。
/ABSOLUTE/PATH/TO/lecture-to-notes/assets/smart_crop.py はオプションの実験的機能です。
LaTeX パッケージの確認(スキップしないでください — which xelatex だけでは不十分です)
which xelatex が成功しても、必要な LaTeX パッケージがインストールされているとは限りません。最小限の TeX インストール(例:MacTeX Basic、TeX Live scheme-basic)では、バイナリは存在しますが、ctex、tcolorbox、およびその他のパッケージが欠落しています。これにより、長い中国語の行が \textwidth を超えたり(CJK 改行なし)、File '...' not found でコンパイルが中断されたりする、サイレント障害が発生します。
開始する前に必要なパッケージを確認してください:
MISSING=0
for pkg in ctex tcolorbox environ trimspaces listings hyperref booktabs float subcaption etoolbox; do
if ! kpsewhich "$pkg.sty" >/dev/null 2>&1; then
echo "❌ 不足している LaTeX パッケージ: $pkg"
MISSING=1
fi
done
if [ "$MISSING" -ne 0 ]; then
echo "不足しているパッケージをインストールしてください:"
echo " tlmgr install ctex tcolorbox environ trimspaces etoolbox"
echo "または完全な TeX ディストリビューションをインストール:"
echo " macOS: https://www.tug.org/mactex/ (約4GB、すべてを含む)"
echo " Linux: sudo apt install texlive-full"
fi
ctex がインストールできない場合(例:最小限のインストールでの l3kernel バージョン競合)、notes-template.tex には、システムフォントを使用した XeTeX の組み込み CJK 改行(\XeTeXlinebreaklocale "zh")を利用するフォールバックが含まれています — ctex や xeCJK は不要です。
クッキーと yt-dlp の鮮度
サポートされているすべてのプラットフォームは、認証されていないダウンロードを拒否する可能性があり、2つの失敗は異なって見えます:
| 症状 | プラットフォーム | 意味 |
|---|---|---|
Sign in to confirm you're not a bot | YouTube | ボット検出 |
プローブまたはダウンロード時の HTTP Error 412 | Bilibili | スクレイピング防止チェック |
WARNING: Your yt-dlp version (...) is older than 90 days | 任意 | 抽出器がサイトの現在のマークアップより古い |
まずバージョンを修正してください。古い抽出器は、クッキーで修正されるのと同じエラーを生成するためです:brew upgrade yt-dlp、pipx upgrade yt-dlp、または pip install -U yt-dlp を実行し、yt-dlp --version で確認します。Homebrew はセルフアップデータを無効にするため、yt-dlp -U は実際には何も変更せずに成功を報告します。
次にクッキーを提供します。video_source.py probe はそれらを直接受け取ります:
python3 "/ABSOLUTE/PATH/TO/lecture-to-notes/assets/video_source.py" probe \
--cookies-from-browser chrome "<URL>" > metadata.json
ブラウザプロファイルが利用できない場合(ヘッドレスホストなど)は、代わりに --cookies FILE を使用します。認証理由で失敗したプローブは、再試行するフラグを指定するようになりました。そのメッセージをデッドエンドではなく、次のアクションとして扱ってください。
ワークフローの残りの部分では、yt-dlp を直接呼び出します。すべてのコマンドを編集する代わりに、yt-dlp 設定ファイルを一度作成し、XDG_CONFIG_HOME をそのファイルに向けてください。これにより、ダウンロード、字幕取得、サムネイル取得のすべてがクッキーを取得します:
mkdir -p "$WORKDIR/.xdg/yt-dlp"
printf -- '--cookies-from-browser chrome\n' > "$WORKDIR/.xdg/yt-dlp/config"
# その後、この講義のワークディレクトリ内の以降のすべての yt-dlp 呼び出しの前に次のように記述:
XDG_CONFIG_HOME="$WORKDIR/.xdg" yt-dlp --no-playlist ... "<URL>"
ブラウザクッキーは、ログインアカウントの Bilibili 1080P+ も解放するため、同じ設定でフレーム品質が向上します。
目標
YouTube、Bilibili、または X/Twitter のビデオ URL からプロフェッショナルな中国語講義ノートを作成します。出力は以下を満たす必要があります:
- ビデオの実際の教育コンテンツを使用し、単なる字幕の文字起こしではないこと
- ビデオの元のカバー画像を表紙に配置すること
- コンタクトシートレビューで選択された、フルフレームの教材図を含めること;ビデオがカメラ映像とスライドを並べて配置する場合、各図は1つの測定されたパネルを保持し、スライドのテキストが読みやすくなるようにすること
- 能力のある初読者が、文字起こしを解読することなく、問題、メカニズム、証拠、結果、および境界を理解できるようにすること
- ソースフィットの情報密度を達成すること—すべての図、ボックス、数式、段落がそのスペースに値すること
\section{}/\subsection{}で構造的に整理されていること- 話者の結論とあなた自身の要約を組み合わせた統合セクションで終わること
\documentclassから\end{document}までの完全な.texファイルであること- PDF に正常にコンパイルされること
譲れない品質基準(Codex / プロダクションモード)
停止し、完了を主張しないでください。以下のすべての項目が真でない限り、スケルトンアウトライン、散文が薄い画像中心のPDF、または中間成果物の欠如は自動的に失敗とみなされます。
必須のワークディレクトリ成果物(「完了」と言う前にディスク上に存在する必要があります)
| ファイル | 必要な内容 |
|---|---|
metadata.json | video_source.py probe からの出力(または同等の完全なダンプ) |
audio.srt | 作成に使用された最終字幕トラック(手動 CC、クリーニング済み自動、ハードサブ OCR、X ASR、または Whisper) |
audio_corrected.srt | 最終トラックのコピー、またはローカル ASR を使用した場合は用語集/LLM 修正トラック |
hardsub_ocr.srt | ocr_hardsubs.py detect が焼き付け字幕を報告した場合の ocr_hardsubs.py extract の出力;それ以外の場合は存在しない |
bands.json | ocr_hardsubs.py detect --geometry または frame_filter.py bands からのオーバーレイ形状(ナビゲーションストリップ、字幕帯) |
layout.json | frame_filter.py layout による高密度サンプルからのパネルレイアウト;常に測定され、composite: false はシングルピクチャービデオを記録する |
cover.jpg | 表紙 |
video.mp4 | フレームのソース(ユーザーがダウンロードを禁止し、フレームを提供する場合にのみ省略可能) |
frames/ | 高密度サンプル、デフォルト 1 フレーム / 15秒 |
frame_scores.json | 高密度サンプルに対する frame_filter.py score;ホストが画像を表示できない場合に必須 |
figures/ | 意味のある名前(fig_01_topic.jpg、…)を持つ選択された図アセット、bands.json でオーバーレイが切り抜かれ、layout.json でコンポジットが1つのパネルにトリミングされている |
figure_manifest.tsv | ヘッダー figure\tframe\tstart\tend\ttopic\tpanel — 図画像ごとに1行;panel は、それが保持する layout.json パネル(main、left、…)または full を指定する |
figure_verification.txt | すべてのマニフェストタイムスタンプに対する verify_figures.py の完全な標準出力 |
lecture_profile.json | 読者とソースフィットのプロファイル;必須フィールドは以下に説明 |
teaching_atoms.tsv | ヘッダー atom\tstatus\tevidence — すべての教育アトムがノートにマッピングされている |
numerical_claims.tsv | extract_claims.py extract で生成され、extract_claims.py check --write で埋められる;講義に数値的主張が含まれない場合はヘッダーのみでも有効 |
notes.tex | 完全な中国語講義ノート |
notes.pdf | 2パス xelatex の出力 |
verify_notes.txt | verify_notes.py の完全な標準出力、OVERALL PASS で終わる |
ソースフィットプロファイルと読者契約(厳格)
字幕修正とコンタクトシートレビューの後、ノートのアウトラインを作成する前に lecture_profile.json を作成します:
{
"mode": "technical-slide",
"audience": "能力のある初読者",
"central_question": "読者は読了後に何を説明できるようになるべきか?",
"reader_outcome": "具体的な能力、判断、またはメンタルモデル",
"visual_teaching_atoms": 24,
"formula_teaching_atoms": 18
}
モードを正確に1つ選択してください:
technical-slide:スライド、板書、数式、コード、または図がほとんどの教育コンテンツを伝えます;conceptual-talk:トーク、インタビュー、またはディスカッションが、視覚的なメカニズムではなく、主張、例、推論を通じてほとんどのコンテンツを伝えます;mixed:両方のモードが相当な教育コンテンツを提供します。
visual_teaching_atoms と formula_teaching_atoms をドラフトからではなく、ソースから数えてください。視覚アトムとは、ポイントを教えるのに役立つ、ソース内の明確な視覚要素です。数式アトムとは、保存する価値のあるソースの方程式または導出です。より多くのアセットを正当化するためにこれらの数を水増ししたり、単にクォータをトリガーするために概念的なトークを技術的に分類したりしないでください。
すべてのモードにおいて、厳格なゲートは、ソース忠実性、完全な教育アトムカバレッジ、トレース可能な数値的主張、明確なソース帰属、および一貫性のある読者パスです。以下の数値密度ゲートは、ソースフィットの安全策です。それらは、発明された方程式、価値の低い話者の顔のスクリーンショット、反復的なボックス、または同義語のパディングを決して許可しません。
密度と構造のゲート(ソース適応型)
講義時間 $T$ 分(メタデータから)の場合:
ゲート vs ターゲット(混同しないでください): 以下の数値は厳格なゲートです(失敗=納品なし)。高品質の Codex クラスのノートは、多くの場合、CJK ゲートより約25~40%上に着地します。これはターゲットであり、2番目の厳格な下限ではありません。厳格な下限を測定されたゴールド値まで引き上げることは、より多くの教育アトムではなく、パディングを促進します。(CS336 L3 で検証済み:$T\approx 89$ → ゲート CJK 6246 / figs 25;ゴールド ~8035 CJK / 27 figs / 31 ページ。)
-
中国語文字数
notes.tex本文内(CJK 統合漢字のみ):technical-slide:少なくとも $\max(5000,\ \mathrm{round}(70\times T))$;mixed:少なくとも $\max(3500,\ \mathrm{round}(55\times T))$;conceptual-talk:少なくとも $\max(2500,\ \mathrm{round}(45\times T))$。 英語の専門用語、LaTeX コマンド、またはキャプションだけをカウントしないでください。これらは完全性の下限であり、同じアイデアを繰り返すための招待状ではありません。
-
図:理解を実質的に向上させる、すべての明確な視覚的教育アトムを含めます。技術的なターゲット $\max(20,\ \mathrm{round}(T/3.5))$ まで。4つの実際の視覚アトムしかない
conceptual-talkには、20枚の話者のフレームではなく、4つの検証済みの図を含める必要があります。30の異なるメカニズムを持つスライド中心の講義は、20で止めてはいけません。 -
セクション $T\ge 60$ の場合:
technical-slideでは少なくとも8、mixedでは6、conceptual-talkでは5を使用します。ただし、より少ない読者の質問が、明らかに明確な構造を生み出す場合はこの限りではありません。各主要セクションは1つの読者の質問に答え、\subsection{本章小结}で終わり、その答えを述べて次の質問を準備します。 -
判定ボックス:ボックスは、定義、背景依存関係、決定ルール、または障害境界をメインフローから分離する場合にのみ使用します。
technical-slideのデフォルトは $T\ge60$ で12です。mixedとconceptual-talkにはボックスクォータはありません。単にカウントを増やすために、連続する推論をボックスに分割しないでください。 -
教育アトムの形状(テンプレートを型押しするのではなく、適応させてください):
- 読者が理解する必要があることと、それがなぜ重要かを述べます;
- メカニズムまたは推論を、理解するために必要な順序で説明します;
- ソースの証拠を添付します:適切な数値、例、引用レベルの言い換え、数式、コード、表、または検証済みの図;
- 解釈が変わる場合は、結果または境界を述べます。 ソースと読者が必要とするコンポーネントのみを使用します。少なくとも2つの記号を含む表示数式の後には、すぐに記号の説明リストを追加します。
-
アウトラインのみのセクションは禁止。 講義の5分間のスパンが明確なメカニズム、数値、または設計上の選択を導入する場合、それは独自のサブセクションまたは証拠のある明確にラベル付けされた段落として表示される必要があります — 要約リストの箇条書きではありません。
-
カバレッジ監査(コンパイル前、タイムライン): SRT を使用して3〜5分刻みでタイムラインをウォークします;対応する散文や図がないギャップをリストアップします;
xelatexの前にギャップを埋めます。 -
教育アトムチェックリスト(トピックカバレッジ、技術講義では厳格): 納品前に、SRT + スライドから講義固有のアトムリスト(15〜40アトム)を抽出します。各アトムは、
notes.tex内のサブセクション、ラベル付き段落、または図+キャプションにマッピングされる必要があります。アトムの欠落 → 散文を拡張します;CJK だけで「合格」にしないでください。 LLM アーキテクチャ講義のアトム例:Pre/Post-Norm、LN vs RMSNorm、FLOPs≠runtime、SwiGLU、serial vs parallel block、RoPE、FFN ratio、head dim、width/depth、vocab size、dropout vs weight decay、z-loss、QK-Norm、Prefill vs Decode、MQA/GQA、sliding window / interleaved / hybrid attention。 チェックリストをteaching_atoms.tsv(atom\tstatus\tevidence)として永続化します。 -
メカニズム密度(厳格 — L2 ゴールド比較 2026-07-12): CJK/fig/box ゲートだけでは十分ではありません。CS336 L2 初回 Grok パス:5463 CJK / 8 数式 / 0 コード(ゲート PASS、ゴールド不完全);クレーム駆動補完後:~6450 CJK / 31 数式 / 3 コード / 33 ページ(Codex に一致)。以下も要求します:
- 表示数学:ソース数式アトムについて、少なくとも $\min(N_{\mathrm{formula\ atoms}},\ \max(10,\ \mathrm{round}(T/4)))$ ブロック(
\[ ... \]またはequation)を保存し、それぞれに即時の記号…
- 表示数学:ソース数式アトムについて、少なくとも $\min(N_{\mathrm{formula\ atoms}},\ \max(10,\ \mathrm{round}(T/4)))$ ブロック(
\…
[翻訳のために切り詰められました]