Communitygithub.com

Lunamos/paper2video

研究論文やプロジェクト(arXivリンク、論文タイトル、リポジトリ、PDF、プロジェクトページ、作業ディレクトリなど)から、Remotion を用いて 3Blue1Brown スタイルの洗練された解説・プロモーションビデオを作成します。スクリプト、ナレーション(オプションの TTS キー、無料または自己録音の代替手段)、実データのアニメーション、キャプション、音楽、バイリンガルカット、縦型動画、カバー画像、YouTube および Bilibili 向けのプラットフォームコピーを含みます。「論文動画」、「プロジェクト動画」、「研究プロモーション」、「解説動画」、「論文宣传片 / 论文讲解视频」といったリクエストや、自分の研究を動画で公開したい場合に使用します。

paper2video とは?

paper2video は、学術論文やプロジェクトを基に、3Blue1Brown スタイルの高品質な解説・プロモーションビデオを自動生成する AI エージェントスキルです。ユーザーは arXiv リンクや論文タイトルを提供するだけでよく、エージェントが自動的にソースコードやデータを収集し、Remotion フレームワークを使用して動画を構成します。主な機能として、スクリプト作成、ナレーション生成(ElevenLabs、edge-tts、GPT-SoVITS など対応)、実データに基づくアニメーション、バイリンガルキャプション(日本語・英語など)、YouTube と Bilibili 向けの両方のカット(16:9)と縦型動画(9:16)の生成、カバー画像やタイトル・説明文の作成が含まれます。このスキルは、自動化されたパイプライン(スクリプト、データ処理、ナレーション、レンダリング)を提供し、エージェントが独立して計画・実行しながら、ユーザーの介入を最小限に抑えます。また、複数のビデオを効率的に管理するためのワークスペース機能や、独立したファクトチェックプロセスも備えており、研究の正確性と信頼性を確保します。特に、学術的な内容を一般の視聴者にもわかりやすく、魅力的に伝えることを目指しており、研究者や開発者が自身の研究を広く紹介するのに最適です。

対応✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Lunamos/paper2video/tree/HEAD/skills/paper2video

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

paper2video は何をしますか?

文脈のない見知らぬ人が追える、作品に忠実で、共有しても恥ずかしくない見た目の動画を作る:画面上に早い段階で実データを表示し、1つのビートで1つのアイデアを伝え、装飾ではなく説明をするスムーズなモーション。

あなたはリーダーです:計画を立て、共有部品を構築し、適切なタイミングでサブエージェントに範囲を限定した作業を委任し、統合し、正確性を責任持ちます。ユーザーにチェックポイントを求められない限り、最初から最後まで自律的に作業します。ユーザーには質問ではなく結果(静止画、ドラフト、レンダリング)を見せます。賢明なデフォルトが存在する場合は常にそうです。

参考資料(該当する段階で読むこと):

  • reference/rigor.md — 主張台帳、データ処理、独立した事実確認
  • reference/voice.md — ナレーションバックエンド(ElevenLabs / 無料の edge-tts / セルフホスト GPT-SoVITS / ユーザー自身の録音 / なし)、QA、発音、オープンソース TTS のノウハウ
  • reference/visual-style.md — デザインシステム、モーションルール、データの正直さ、レビューループ
  • reference/platforms.md — YouTube + Bilibili の成果物:仕様、カバー、タイトル、説明、チャプター
  • reference/vertical.md — 9:16 の縦型カット:安全領域、文字サイズ、1ビートに1つの焦点、フック、同じ音声からの構築
  • reference/handoff.md — ユーザー自身の素材の使用、編集ソフトウェアへのエクスポート
  • reference/third-party.md — arXiv リンク/タイトルのみから開始する場合:ソース、コード、データの検索;LaTeX/図からの数値抽出;小さな CPU イラスト;論文がユーザーのものでない場合の忠実性
  • scripts/ — パイプライン(scripts/README.md 参照);template/ — Remotion スターター(template/README.md 参照)

0. 受け付け(簡潔に)

必要なもの:作品 — arXiv リンクまたは論文タイトルで十分(その後 reference/third-party.md に従ってソース、コード、データを自分で見つけます);リポジトリ、パス、プロジェクトページ、または読み取り可能なリモートマシンでも機能します。誰の作品か:ユーザー自身のもの(一人称可)または他人のもの(三人称、忠実、クレジット付き — reference/third-party.md)。言語とプラットフォーム(デフォルト:YouTube 向け英語カットと Bilibili 向け中国語カット、両方 16:9、さらに複数サイズのカバーと両方のタイトル/説明/チャプター)、およびナレーション(reference/voice.md 参照;デフォルト:env/.env にキーがあれば ElevenLabs、そうでなければ edge-tts、その旨を伝える)。デフォルト化できないことだけを尋ねます。また一度だけ尋ねます:一人称(「私たちの論文」)か三人称(「この論文」)か、および絶対に表示してはいけないもの(未発表のサイドプロジェクト、匿名投稿、プライベートデータ)。

すべてのリモート/共有リソースは、特に指示がない限り読み取り専用として扱います;大きなものをプルする前にファイルとサイズをリストします(約 500 MB を超える場合は上記のように尋ねます);キーを印刷したりコミットしたりしてはいけません。

1. ワークショップのセットアップ

  1. 新しいフォルダに Remotion プロジェクトを作成します(例:npx create-video@latest --blank、または最新の Remotion ブランクテンプレートをコピーします);ユーザーに手動で何もインストールさせないでください — Node の依存関係は自分でインストールし、ffmpeg、python3、uvを確認します(uvが不足している場合は公式スクリプトまたは pip でインストールします)。
  2. 公式の Remotion エージェントスキルがまだ利用可能でない場合(~/.agents/skills/remotion-* またはスキルにリストされている)、インストールします:npx -y skills add remotion-dev/skills(現在のコマンドは remotion.dev/docs/ai を参照)。Remotion API の詳細についてはそれらに従います。
  3. template/ をプロジェクトにコピーします(package.additions.json を package.json にマージし、npm install を実行します)、scripts/ を <project>/scripts/ にコピーし、notes/、data/(raw、git-ignored)、public/data/、out/(現在の成果物のみ、固定名:reference/platforms.md → Files)、review/(使い捨ての静止画とコンタクトシート)、およびプロジェクト CLAUDE.md を作成します。このファイルには目標、視聴者、言語、音声の選択、「表示してはいけないもの」リスト、真実の情報源、および到着したユーザーフィードバック(日付付き)を記録します。最新の状態に保ちます — これにより後のセッション(およびサブエージェント)の一貫性が保たれます。
  4. npx tsc --noEmit を実行し、テンプレートの静止画を1つレンダリングしてツールチェーンが機能することを確認します。
  5. 複数のビデオを作成しますか? ワークスペースを使用します:共有の package.json / node_modules(1回のインストールで約 400 MB、ビデオごとに1つではなく、すべての @remotion/* が同じバージョン)と共有の .env、さらにすべてのビデオに適用される標準ルールを記載したワークスペース CLAUDE.md(Claude Code は親の CLAUDE.md ファイルを読み取ります)を保持する1つのフォルダ。各ビデオは独自のフォルダ(src/、public/、scenes.json、notes/、data/、out/、review/、audio_cache/、scripts/、独自の CLAUDE.md)を持ち、node_modules と .env はワークスペースルートにリンクされます;scripts/new_video.sh <ShortName>(ワークスペースルートにコピー)は <NNN>_<ShortName> として1つを作成し、999 から番号を降順に割り当てるため、名前でソートするとビデオが最初に表示され、最新が上になります。共有バージョンを変更した後は、すべてのビデオでタイプチェックを実行し、最終ファイルとレンダリングされたフレームをいくつか比較します。

2. 一言も書く前に作品を理解する

まず資料を収集します(リンクまたはタイトルのみの場合は reference/third-party.md §§1–2)。論文(付録も含む)を最初から最後まで読み、README / プロジェクトページを読み、コードをざっと見て図が何から作られているかを調べます。核となる発見とそれがなぜ驚くべきか、作品を視聴したくなる理由(最も驚くべき観察、最も巧妙な実験、人を微笑ませる例)、著者の意図(各実験が答える質問、なぜそのように設定したか、何を試みたか)、ストーリーを支える2~4つの主張、およびそれらを実データで示すことができるビジュアル(図データのエクスポート、結果 JSON、記録されたメトリクス、デモ出力)を見つけます。プロットのデジタイズよりも、エクスポートされた図データまたは生の結果を優先します。notes/understanding.md を書きます:一文のストーリー、数値と設定を含む主張、候補となるビジュアル、および混乱しやすい点や誇張しやすい点。

3. ストーリー、スクリプト、主張

  • 最初に長さと焦点を決めます。 デフォルト:カットあたり 3~4分、最大 4:00 まで。ユーザーがそれ以上を求めない限り。ナレーションは約 450~600 英単語、または 1,100~1,300 中国語文字程度。動画は論文の読み上げではありません:映像全体が仕える1つの発見とそれを支える2~3の証拠を選び、その他は一文にするか説明に任せます。忠実とは何も歪めないことであり、すべてのセクションが登場することではありません。
  • 楽しさを、厳密さを第一に。 最も興味深い実験と例を証拠のビートとして選択し、それぞれを著者が設定した方法で示します — 質問、変更した点、何が起こったか — これにより視聴者は単なる数字ではなく、アイデアと著者の意図を理解します。ユーモアと驚きは実際の素材(印象的な例、予想外の結果、巧妙なコントロール)から生まれ、主張を誇張することからは決して生まれません;もし面白いセリフが論文を誇張することになるなら、それは削除します。
  • 4分間のフィルムの時間予算: フック 15~25 秒(論文の注目すべき結果が、実データとして、最初の 30 秒以内に画面に表示される)· プライマー 30~40 秒 · 証拠 フィルムの 40% 以上 · メカニズム/理論 20% 以下、表示できるもののみ · まとめ 15 秒以下。よく知られた古い論文の場合は、インパクトビート(まとめの前、20~30 秒以下):それが始めたこと、変えたこと、出典のある事実で語る — 年付きの後続研究、アイデアが現在使われている場所;出典と日付付きの引用数のみ;出典のない最上級表現は禁止。デフォルトでは制限シーンなし:論文自体が制限を中心的な部分として扱う場合のみ(20 秒以下);そうでなければ、各結果で述べる設定に範囲が含まれます。導出、追加実験、含意のリストは、実際のデータで 20~30 秒以内に表示できる場合のみシーンを取得します。
  • 支払う前にカットする: python3 scripts/vo.py build --lang <l> --dry-run を実行すると、読む速度から推定されたフィルムの長さが出力されます(音声の長さの約 5% 以内);スクリプトが収まるまでトリミングしてから、音声を生成します。
  • 構造(適応させ、強制しないでください):最も強力な実ビジュアルでフック(15 秒以下)→ 全画面タイトルカード(template/src/components/TitleCard.tsx:論文のタイトル、著者と所属機関、会議名または arXiv ID、その一言の主張、および他人の論文の場合は「非公式解説」;さらに、薄暗い背景要素として、論文 PDF の最初のページ — タイトル、著者、所属、要約;PDF がない場合のみウェブページの最初の画面 — タイトルと所属機関が読まれている間にフェードイン:node scripts/paper_shot.mjs <arXiv id | PDF | URL> → public/shots/paper.png、`TitleCard shot=

関連スキル