Communitygithub.com

Lunamos/paper2video

將研究論文或專案(僅需 arXiv 連結或論文標題;或儲存庫、PDF、專案頁面、工作目錄)轉化為精美、3Blue1Brown 風格的解說/宣傳影片,使用 Remotion 構建——包含腳本、旁白(可選 TTS 金鑰;免費或自行錄製的替代方案)、真實數據動畫、字幕、音樂、雙語剪輯、豎屏剪輯、封面以及 YouTube 和 Bilibili 的平台文案。當使用者要求論文影片、專案影片、研究宣傳片、解說影片,或想為其作品發布影片時使用。

paper2video 是什麼?

這是一個專為開發者、研究人員和 AI 代理設計的強大技能,旨在將研究論文(來自 arXiv、PDF、專案頁面等)自動轉化為高品質、風格化的解說影片。它基於 Remotion 框架,能夠生成帶有真實數據動畫、專業旁白(支援多種 TTS 後端,包括 ElevenLabs 和開源 edge-tts)、多語言字幕(預設為英文和中文)以及針對 YouTube 和 Bilibili 優化輸出的影片。該技能的核心是嚴格忠於原作:它要求先深入理解論文,提取核心發現和關鍵證據,並建立嚴格的索賠來源審計制度(`reference/rigor.md`),確保所有視覺化元素和敘述都不扭曲原始研究。它支援完全自主的工作流程,從資料收集、腳本撰寫、動畫構建到最終渲染,使用者只需提供一個連結或標題即可啟動。對於第三方論文,它會自動查找原始碼、數據和素材,並以客觀、致謝的方式呈現。此外,它還提供了詳盡的參考文件,涵蓋視覺風格、旁白技術、多平台交付規範和豎屏剪輯等,使其成為一個功能完備的研究宣傳影片製作平台。

相容平台✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/Lunamos/paper2video/tree/HEAD/skills/paper2video

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

paper2video 是做什麼的?

製作一部讓沒有背景知識的陌生人也能跟上、忠於原作、且品質足以分享的影片:真實數據及早呈現、每個節奏傳達一個想法、流暢的動畫旨在解釋而非裝飾。

您是主導者:您負責規劃、構建共享元件、在必要時將範圍明確的工作分派給子代理、進行整合,並對正確性負責。除非使用者要求檢查點,否則自主端到端工作;當存在合理的預設值時,向使用者展示結果(靜態畫面、草稿、渲染結果),而不是提出問題。

支援資料(在到達該階段時閱讀):

  • reference/rigor.md — 索賠分類帳、資料處理、獨立事實查核
  • reference/voice.md — 旁白後端(ElevenLabs / 免費 edge-tts / 自託管 GPT-SoVITS / 使用者自己的錄音 / 無)、品質保證、發音、開源 TTS 實用知識
  • reference/visual-style.md — 設計系統、運動規則、資料誠實性、審查循環
  • reference/platforms.md — YouTube + Bilibili 交付成果:規格、封面、標題、描述、章節
  • reference/vertical.md — 9:16 手機剪輯:安全區域、字型大小、每個節奏一個焦點、鉤子、從相同音訊構建
  • reference/handoff.md — 使用使用者自己的素材,以及為編輯軟體匯出
  • reference/third-party.md — 僅從 arXiv 連結/標題開始:尋找原始碼、程式碼和資料;從 LaTeX/圖表中提取數字;小型 CPU 插圖;當論文非使用者所有時保持忠實度
  • scripts/ — 管道(參見 scripts/README.md);template/ — Remotion 入門套件(參見 template/README.md)

0. 初始輸入(保持簡短)

您需要:作品 — 一個 arXiv 連結或論文標題就足夠(然後按照 reference/third-party.md 自行尋找原始碼、程式碼和資料);儲存庫、路徑、專案頁面或可讀取的遠端機器也可以。作品所屬:使用者自己的(允許第一人稱)或他人的(第三人稱、忠實、註明出處 — reference/third-party.md)。語言和平台(預設:一個英文剪輯用於 YouTube,一個中文剪輯用於 Bilibili,均為 16:9,加上幾種尺寸的封面以及兩者的標題/描述/章節),以及旁白(參見 reference/voice.md;預設:如果環境變數/.env 中有可用金鑰,則使用 ElevenLabs,否則使用 edge-tts,並告知使用者)。僅詢問您無法預設的項目。另外詢問一次:第一人稱("our paper")或第三人稱("this paper"),以及任何不得出現的內容(未發表的副專案、匿名投稿、私人資料)。

除非另有說明,否則將所有遠端/共享資源視為唯讀;在拉取任何大型資源(約 500 MB 以上時詢問)之前列出檔案和大小;切勿列印或提交金鑰。

1. 設定工作坊

  1. 在一個新資料夾中建立一個 Remotion 專案(例如 npx create-video@latest --blank,或複製最新的 Remotion 空白模板);不要讓使用者手動安裝任何東西 — 自行安裝 Node 依賴項,並檢查 ffmpeg、python3 和 uv(如果缺少,透過其官方腳本或 pip 安裝 uv)。
  2. 如果官方 Remotion 代理技能尚未可用(~/.agents/skills/remotion-* 或列在您的技能中),則安裝它們:npx -y skills add remotion-dev/skills(參見 remotion.dev/docs/ai 以取得最新指令)。遵循它們以獲取 Remotion API 詳細資訊。
  3. 將 template/ 複製到專案中(將 package.additions.json 合併到 package.json,執行 npm install),將 scripts/ 複製到 <project>/scripts/,建立 notes/、data/(原始,被 git 忽略)、public/data/、out/(僅目前交付成果,固定名稱:參見 reference/platforms.md → 檔案)、review/(可丟棄的靜態畫面和聯繫表),以及一個專案 CLAUDE.md,記錄:目標、觀眾、語言、語音選擇、「不得出現」清單、事實來源文件,以及任何使用者回饋(附日期)。保持更新 — 這是後續會話(和子代理)保持一致性的依據。
  4. 執行 npx tsc --noEmit 並渲染模板的一個靜態畫面,以證明工具鏈可以正常工作。
  5. 製作多部影片? 使用一個工作區:一個資料夾,包含共享的 package.json / node_modules(一次安裝,約 400 MB,而不是每部影片一個;所有 @remotion/* 在同一個版本)和一個共享的 .env,以及一個工作區 CLAUDE.md,其中包含每部影片的固定規則(Claude Code 會讀取父級 CLAUDE.md 檔案)。每部影片都有自己的資料夾(src/、public/、scenes.json、notes/、data/、out/、review/、audio_cache/、scripts/,以及它自己的 CLAUDE.md),其中 node_modules 和 .env 連結到工作區根目錄;scripts/new_video.sh <ShortName>(將其複製到工作區根目錄)建立一個名為 <NNN>_<ShortName> 的資料夾,從 999 往下編號,以便按名稱排序時影片排在最前面,最新的在上。更改共享版本後,對每部影片進行類型檢查,並將其一些渲染影格與最終檔案進行比較。

2. 在動筆之前先理解作品

首先收集素材(如果您只有連結或標題,請參見 reference/third-party.md §1–2)。從頭到尾閱讀論文(以及附錄)、README / 專案頁面,並瀏覽程式碼以了解圖表的構成。找出核心發現及其令人驚訝的原因、作品值得觀看的點(最令人驚訝的觀察、最巧妙的實驗、讓人會心一笑的例子)、作者的意圖(每個實驗回答的問題、他們為何如此設定、他們嘗試了什麼)、支撐故事的 2–4 個索賠,以及可以使用真實數據展示這些發現的視覺元素(圖表數據匯出、結果 JSON、記錄的指標、演示輸出)。偏好匯出的圖表數據或原始結果,而不是從圖中讀取數據。撰寫 notes/understanding.md:一句話概述、帶有數字和設定的索賠、候選視覺元素,以及任何令人困惑或容易誇大的內容。

3. 故事、腳本和索賠

  • 先確定長度和焦點。 預設:每個剪輯 3–4 分鐘,最多 4:00,除非使用者要求更多 — 約 450–600 個英文單詞或 1,100–1,300 個中文字元的旁白。影片不是論文的朗讀:選擇整個影片服務的一個發現和支撐它的 2–3 個證據,其他所有內容用一句話帶過或留到描述中。忠實意味著沒有任何扭曲,而不是每個章節都出現。
  • 讓它有趣,先確保嚴謹。 選擇最有趣的實驗和例子作為證據節拍,並以作者設定的方式展示每個節拍 — 問題、他們改變了什麼、發生了什麼 — 這樣觀眾不僅能理解數字,還能理解作者的意圖。幽默和驚喜來自真實素材(一個引人注目的例子、一個意想不到的結果、一個巧妙的對照),絕不來自誇大索賠;如果一個有趣的台詞會誇大論文,就刪掉它。
  • 4 分鐘影片的時間預算:鉤子 15–25 秒(論文的頭條結果在最初 30 秒內以真實數據形式出現在螢幕上)· 入門 30–40 秒 · 證據 ≥ 影片時間的 40% · 機制/理論 ≤ 20%,並且只能展示可以呈現的部分 · 結論 ≤ 15 秒。對於眾所周知的較舊論文,一個影響力節拍(≤ 20–30 秒,在結論之前):它啟動或改變了什麼,以有來源的事實講述 — 附帶年份的命名後續工作,現在使用該想法的地方;引用次數僅附帶來源和日期;沒有無來源的最高級形容詞。預設情況下沒有局限性場景:只有當論文本身將其局限性視為核心部分時(則 ≤ 20 秒);否則,範圍存在於您隨每個結果陳述的設定中。推導、額外實驗和影響列表只有在可以在 ≤ 20–30 秒內用真實數據展示時,才能獲得一個場景。
  • 在付費前剪輯:執行 python3 scripts/vo.py build --lang <l> --dry-run 會根據閱讀速度(在語音長度的約 5% 範圍內)列印估算的影片長度;修剪腳本直到符合要求,然後生成語音。
  • 結構(適應,不要強求):用最強的真實視覺元素鉤住觀眾(≤ ~15 秒)→ 一個全螢幕標題卡(template/src/components/TitleCard.tsx:論文標題、作者和機構、場地或 arXiv ID、其一句話索賠,以及他人的論文加上「非官方解說」;此外,作為變暗的背景元素,論文 PDF 的第一頁 — 標題、作者、所屬單位、摘要;如果沒有 PDF,則僅使用其網頁的第一螢幕 — 在朗讀標題和機構時淡入:執行 node scripts/paper_shot.mjs <arXiv id | PDF | URL> → public/shots/paper.png,TitleCard shot="shots/paper.png";在 16:9 下居中偏右,在 9:16 下位於標題下方;不在封面上)同時旁白說出論文名稱和作者的機構(不是作者姓名:TTS 會弄錯它們,而且猜測成另一種腳本的名稱通常是錯誤的 — 在螢幕上和文案中,完全按照論文或 arXiv 拼寫方式書寫名稱,絕不進行音譯) — 一個獨立的場景,最遲在 ~20 秒時出現在螢幕上 → 一個讓沒有背景知識的觀眾能跟上的入門(用簡單的語言和動畫解釋任務/物件是什麼)→ 問題,用數據展示 → 想法 → 為什麼有效(機制)→ 結果,每個都附帶其設定 → 結論,以論文的要點結束。沒有任何「連結在描述中」或「論文和程式碼見簡介」的台詞,無論是口頭還是螢幕上:觀眾知道連結在哪裡,而且這會讓影片以無關緊要的內容結束(描述和標題卡承載了標識符)。把好的視覺元素放在前面;不要把它們留到最後。
  • 為聽覺而寫:短句,每句一個數字,具體名詞,沒有「不是 X 而是 Y」的口頭禪,沒有虛假的問答,場景邊界之間語氣平穩(突然的「現在是精彩部分!」會很刺耳)。給公式和圖表一些靜默的節拍。
  • 將腳本放入 scenes.json(結構:template/scenes.example.json):每個場景和語言,包含 text(字幕)、tts(口說的內容:重新拼寫、稀疏的音訊標籤)、anchors(用於視覺節拍定時的單詞)、可選的 pauseAfterMs;每個場景可選一個 chapter。每種語言原生書寫,而不是逐字翻譯;在觀眾期望的地方,保持技術術語為英文。
  • 現在開始撰寫 notes/claims.md(reference/rigor.md):每個數字和事實性句子 → 其來源。撰寫 notes/storyboard.md:每個場景的視覺效果、錨點驅動的節拍、數據檔案、來源行。

4. 數據 → public/data/*.json

一個代理(您或一個子代理)負責將原始素材轉換為乾淨的 JSON,每個檔案帶有 source 欄位,並撰寫 notes/data_report.md,交叉檢查每個標題數字與論文,並列出差異和陷阱(指標變體、重新命名的術語、四捨五入)。場景僅讀取 public/data。

5. 先語音,後畫面

在製作動畫之前先構建旁白(reference/voice.md):執行 scripts/vo.py build --lang <l> 會生成每個場景的音訊和 public/data/vo.<l>.json,其中包含單詞時間和錨點影格。然後畫面根據錨點進行關鍵幀設定,因此兩種語言會自動保持同步。檢查報告:ASR 往返錯誤、奇怪的韻律、遺失的錨點;修正措辭/重新拼寫,僅重新生成受影響的場景(輸出按內容哈希緩存)。

6. 構建場景

  • 您首先構建主題、共享元件以及在場景間重複使用的任何內容(參見 reference/visual-style.md);然後場景可以分配給子代理並行處理,並具有明確的檔案所有權(每個代理一個場景集,沒有人編輯共享檔案 — 他們向您報告請求的更改)。給每個代理:CLAUDE.md、分鏡條目、scenes.json 行和錨點名稱、數據檔案、樣式規則、其每個場景的章節編號和標題(並行代理否則會獨立編號其章節標籤),以及在報告之前需要在每種語言中渲染和檢查靜態畫面的要求(scripts/review.py)。之後,重新執行 scripts/zh_font_subset.py 一次(新的中文字符在執行前會回退到系統字型),並在每次中文語音構建後執行 scripts/zh_breaks.py(兩個剪輯的字幕僅在單詞之間斷開中文)。
  • 標題卡的論文頁面:一旦論文確定後渲染一次(執行 node scripts/paper_shot.mjs <arXiv id> 將 PDF 下載到 data/ 並渲染第 1 頁;本地 PDF 或網頁文章的 URL 也可以;絕不能使用手動截圖),將其作為 shot 傳遞,將 beats.shot 關鍵幀設定到標題詞彙,並在 9:16 時將 beats.shotDim 關鍵幀設定到旁白轉向機構的時刻;檢查兩個剪輯的靜態畫面(文字在頁面上保持可讀,字幕清晰)。
  • 每個場景:標題、由錨點驅動的節拍(帶有備用方案)、數據畫面上的來源行、插圖上的 SCHEMATIC、兩種語言的螢幕上字串、內容避開字幕區域。
  • 審查:為整個影片的每種語言在基於錨點的影格處渲染靜態畫面,並將它們拼貼成聯繫表(scripts/review.py <Composition> <cut> [--scenes ...],所有影格一個套件),並檢查 — 重疊、裁剪、空白影格、難以辨認的文字、任何偏離訊息。然後審查節奏,將這些畫面作為觀眾獲取的故事來閱讀:標記任何超過約 20 秒而沒有新真實視覺元素的片段、任何三個或更多項目的列表被朗讀出來、任何未與螢幕上數據相關聯的公式或理論,以及任何未能推進那個發現的場景 — 壓縮或刪除它們。迭代。

7. 獨立事實查核

生成一個全新的、未參與構建的代理來檢查腳本和螢幕上的每個字串/數字與論文(提示在 reference/rigor.md 中)。預設情況下進行一次快速檢查就足夠:在腳本最終確定後(在付費語音之前,措辭修正最便宜的時候)檢查腳本和文案 — 數字、設定、誇大之詞。在審查聯絡表時,您自己根據 notes/claims.md 檢查螢幕;僅在關鍵影片或用戶要求時,添加第二次獨立檢查(螢幕、繪製的數據、封面)。修復 MUST-FIX 項目(包括語音旁白措辭,然後重新生成那些場景並重新調整音樂時間:對於生成的背景音樂使用 music.py --refit,對於庫存曲目再次使用相同的 --file … --keep-ending N)以及大多數 SHOULD-FIX 項目。

8. 音效、渲染

...

相關技能