paper2video 是做什麼的?
製作一部讓沒有背景知識的陌生人也能跟上、忠於原作、且品質足以分享的影片:真實數據及早呈現、每個節奏傳達一個想法、流暢的動畫旨在解釋而非裝飾。
您是主導者:您負責規劃、構建共享元件、在必要時將範圍明確的工作分派給子代理、進行整合,並對正確性負責。除非使用者要求檢查點,否則自主端到端工作;當存在合理的預設值時,向使用者展示結果(靜態畫面、草稿、渲染結果),而不是提出問題。
支援資料(在到達該階段時閱讀):
reference/rigor.md— 索賠分類帳、資料處理、獨立事實查核reference/voice.md— 旁白後端(ElevenLabs / 免費 edge-tts / 自託管 GPT-SoVITS / 使用者自己的錄音 / 無)、品質保證、發音、開源 TTS 實用知識reference/visual-style.md— 設計系統、運動規則、資料誠實性、審查循環reference/platforms.md— YouTube + Bilibili 交付成果:規格、封面、標題、描述、章節reference/vertical.md— 9:16 手機剪輯:安全區域、字型大小、每個節奏一個焦點、鉤子、從相同音訊構建reference/handoff.md— 使用使用者自己的素材,以及為編輯軟體匯出reference/third-party.md— 僅從 arXiv 連結/標題開始:尋找原始碼、程式碼和資料;從 LaTeX/圖表中提取數字;小型 CPU 插圖;當論文非使用者所有時保持忠實度scripts/— 管道(參見scripts/README.md);template/— Remotion 入門套件(參見template/README.md)
0. 初始輸入(保持簡短)
您需要:作品 — 一個 arXiv 連結或論文標題就足夠(然後按照 reference/third-party.md 自行尋找原始碼、程式碼和資料);儲存庫、路徑、專案頁面或可讀取的遠端機器也可以。作品所屬:使用者自己的(允許第一人稱)或他人的(第三人稱、忠實、註明出處 — reference/third-party.md)。語言和平台(預設:一個英文剪輯用於 YouTube,一個中文剪輯用於 Bilibili,均為 16:9,加上幾種尺寸的封面以及兩者的標題/描述/章節),以及旁白(參見 reference/voice.md;預設:如果環境變數/.env 中有可用金鑰,則使用 ElevenLabs,否則使用 edge-tts,並告知使用者)。僅詢問您無法預設的項目。另外詢問一次:第一人稱("our paper")或第三人稱("this paper"),以及任何不得出現的內容(未發表的副專案、匿名投稿、私人資料)。
除非另有說明,否則將所有遠端/共享資源視為唯讀;在拉取任何大型資源(約 500 MB 以上時詢問)之前列出檔案和大小;切勿列印或提交金鑰。
1. 設定工作坊
- 在一個新資料夾中建立一個 Remotion 專案(例如
npx create-video@latest --blank,或複製最新的 Remotion 空白模板);不要讓使用者手動安裝任何東西 — 自行安裝 Node 依賴項,並檢查ffmpeg、python3和uv(如果缺少,透過其官方腳本或 pip 安裝uv)。 - 如果官方 Remotion 代理技能尚未可用(
~/.agents/skills/remotion-*或列在您的技能中),則安裝它們:npx -y skills add remotion-dev/skills(參見 remotion.dev/docs/ai 以取得最新指令)。遵循它們以獲取 Remotion API 詳細資訊。 - 將
template/複製到專案中(將package.additions.json合併到package.json,執行npm install),將scripts/複製到<project>/scripts/,建立notes/、data/(原始,被 git 忽略)、public/data/、out/(僅目前交付成果,固定名稱:參見reference/platforms.md→ 檔案)、review/(可丟棄的靜態畫面和聯繫表),以及一個專案CLAUDE.md,記錄:目標、觀眾、語言、語音選擇、「不得出現」清單、事實來源文件,以及任何使用者回饋(附日期)。保持更新 — 這是後續會話(和子代理)保持一致性的依據。 - 執行
npx tsc --noEmit並渲染模板的一個靜態畫面,以證明工具鏈可以正常工作。 - 製作多部影片? 使用一個工作區:一個資料夾,包含共享的
package.json/node_modules(一次安裝,約 400 MB,而不是每部影片一個;所有@remotion/*在同一個版本)和一個共享的.env,以及一個工作區CLAUDE.md,其中包含每部影片的固定規則(Claude Code 會讀取父級CLAUDE.md檔案)。每部影片都有自己的資料夾(src/、public/、scenes.json、notes/、data/、out/、review/、audio_cache/、scripts/,以及它自己的CLAUDE.md),其中node_modules和.env連結到工作區根目錄;scripts/new_video.sh <ShortName>(將其複製到工作區根目錄)建立一個名為<NNN>_<ShortName>的資料夾,從 999 往下編號,以便按名稱排序時影片排在最前面,最新的在上。更改共享版本後,對每部影片進行類型檢查,並將其一些渲染影格與最終檔案進行比較。
2. 在動筆之前先理解作品
首先收集素材(如果您只有連結或標題,請參見 reference/third-party.md §1–2)。從頭到尾閱讀論文(以及附錄)、README / 專案頁面,並瀏覽程式碼以了解圖表的構成。找出核心發現及其令人驚訝的原因、作品值得觀看的點(最令人驚訝的觀察、最巧妙的實驗、讓人會心一笑的例子)、作者的意圖(每個實驗回答的問題、他們為何如此設定、他們嘗試了什麼)、支撐故事的 2–4 個索賠,以及可以使用真實數據展示這些發現的視覺元素(圖表數據匯出、結果 JSON、記錄的指標、演示輸出)。偏好匯出的圖表數據或原始結果,而不是從圖中讀取數據。撰寫 notes/understanding.md:一句話概述、帶有數字和設定的索賠、候選視覺元素,以及任何令人困惑或容易誇大的內容。
3. 故事、腳本和索賠
- 先確定長度和焦點。 預設:每個剪輯 3–4 分鐘,最多 4:00,除非使用者要求更多 — 約 450–600 個英文單詞或 1,100–1,300 個中文字元的旁白。影片不是論文的朗讀:選擇整個影片服務的一個發現和支撐它的 2–3 個證據,其他所有內容用一句話帶過或留到描述中。忠實意味著沒有任何扭曲,而不是每個章節都出現。
- 讓它有趣,先確保嚴謹。 選擇最有趣的實驗和例子作為證據節拍,並以作者設定的方式展示每個節拍 — 問題、他們改變了什麼、發生了什麼 — 這樣觀眾不僅能理解數字,還能理解作者的意圖。幽默和驚喜來自真實素材(一個引人注目的例子、一個意想不到的結果、一個巧妙的對照),絕不來自誇大索賠;如果一個有趣的台詞會誇大論文,就刪掉它。
- 4 分鐘影片的時間預算:鉤子 15–25 秒(論文的頭條結果在最初 30 秒內以真實數據形式出現在螢幕上)· 入門 30–40 秒 · 證據 ≥ 影片時間的 40% · 機制/理論 ≤ 20%,並且只能展示可以呈現的部分 · 結論 ≤ 15 秒。對於眾所周知的較舊論文,一個影響力節拍(≤ 20–30 秒,在結論之前):它啟動或改變了什麼,以有來源的事實講述 — 附帶年份的命名後續工作,現在使用該想法的地方;引用次數僅附帶來源和日期;沒有無來源的最高級形容詞。預設情況下沒有局限性場景:只有當論文本身將其局限性視為核心部分時(則 ≤ 20 秒);否則,範圍存在於您隨每個結果陳述的設定中。推導、額外實驗和影響列表只有在可以在 ≤ 20–30 秒內用真實數據展示時,才能獲得一個場景。
- 在付費前剪輯:執行
python3 scripts/vo.py build --lang <l> --dry-run會根據閱讀速度(在語音長度的約 5% 範圍內)列印估算的影片長度;修剪腳本直到符合要求,然後生成語音。 - 結構(適應,不要強求):用最強的真實視覺元素鉤住觀眾(≤ ~15 秒)→ 一個全螢幕標題卡(
template/src/components/TitleCard.tsx:論文標題、作者和機構、場地或 arXiv ID、其一句話索賠,以及他人的論文加上「非官方解說」;此外,作為變暗的背景元素,論文 PDF 的第一頁 — 標題、作者、所屬單位、摘要;如果沒有 PDF,則僅使用其網頁的第一螢幕 — 在朗讀標題和機構時淡入:執行node scripts/paper_shot.mjs <arXiv id | PDF | URL>→public/shots/paper.png,TitleCard shot="shots/paper.png";在 16:9 下居中偏右,在 9:16 下位於標題下方;不在封面上)同時旁白說出論文名稱和作者的機構(不是作者姓名:TTS 會弄錯它們,而且猜測成另一種腳本的名稱通常是錯誤的 — 在螢幕上和文案中,完全按照論文或 arXiv 拼寫方式書寫名稱,絕不進行音譯) — 一個獨立的場景,最遲在 ~20 秒時出現在螢幕上 → 一個讓沒有背景知識的觀眾能跟上的入門(用簡單的語言和動畫解釋任務/物件是什麼)→ 問題,用數據展示 → 想法 → 為什麼有效(機制)→ 結果,每個都附帶其設定 → 結論,以論文的要點結束。沒有任何「連結在描述中」或「論文和程式碼見簡介」的台詞,無論是口頭還是螢幕上:觀眾知道連結在哪裡,而且這會讓影片以無關緊要的內容結束(描述和標題卡承載了標識符)。把好的視覺元素放在前面;不要把它們留到最後。 - 為聽覺而寫:短句,每句一個數字,具體名詞,沒有「不是 X 而是 Y」的口頭禪,沒有虛假的問答,場景邊界之間語氣平穩(突然的「現在是精彩部分!」會很刺耳)。給公式和圖表一些靜默的節拍。
- 將腳本放入
scenes.json(結構:template/scenes.example.json):每個場景和語言,包含text(字幕)、tts(口說的內容:重新拼寫、稀疏的音訊標籤)、anchors(用於視覺節拍定時的單詞)、可選的pauseAfterMs;每個場景可選一個chapter。每種語言原生書寫,而不是逐字翻譯;在觀眾期望的地方,保持技術術語為英文。 - 現在開始撰寫
notes/claims.md(reference/rigor.md):每個數字和事實性句子 → 其來源。撰寫notes/storyboard.md:每個場景的視覺效果、錨點驅動的節拍、數據檔案、來源行。
4. 數據 → public/data/*.json
一個代理(您或一個子代理)負責將原始素材轉換為乾淨的 JSON,每個檔案帶有 source 欄位,並撰寫 notes/data_report.md,交叉檢查每個標題數字與論文,並列出差異和陷阱(指標變體、重新命名的術語、四捨五入)。場景僅讀取 public/data。
5. 先語音,後畫面
在製作動畫之前先構建旁白(reference/voice.md):執行 scripts/vo.py build --lang <l> 會生成每個場景的音訊和 public/data/vo.<l>.json,其中包含單詞時間和錨點影格。然後畫面根據錨點進行關鍵幀設定,因此兩種語言會自動保持同步。檢查報告:ASR 往返錯誤、奇怪的韻律、遺失的錨點;修正措辭/重新拼寫,僅重新生成受影響的場景(輸出按內容哈希緩存)。
6. 構建場景
- 您首先構建主題、共享元件以及在場景間重複使用的任何內容(參見
reference/visual-style.md);然後場景可以分配給子代理並行處理,並具有明確的檔案所有權(每個代理一個場景集,沒有人編輯共享檔案 — 他們向您報告請求的更改)。給每個代理:CLAUDE.md、分鏡條目、scenes.json行和錨點名稱、數據檔案、樣式規則、其每個場景的章節編號和標題(並行代理否則會獨立編號其章節標籤),以及在報告之前需要在每種語言中渲染和檢查靜態畫面的要求(scripts/review.py)。之後,重新執行scripts/zh_font_subset.py一次(新的中文字符在執行前會回退到系統字型),並在每次中文語音構建後執行scripts/zh_breaks.py(兩個剪輯的字幕僅在單詞之間斷開中文)。 - 標題卡的論文頁面:一旦論文確定後渲染一次(執行
node scripts/paper_shot.mjs <arXiv id>將 PDF 下載到data/並渲染第 1 頁;本地 PDF 或網頁文章的 URL 也可以;絕不能使用手動截圖),將其作為shot傳遞,將beats.shot關鍵幀設定到標題詞彙,並在 9:16 時將beats.shotDim關鍵幀設定到旁白轉向機構的時刻;檢查兩個剪輯的靜態畫面(文字在頁面上保持可讀,字幕清晰)。 - 每個場景:標題、由錨點驅動的節拍(帶有備用方案)、數據畫面上的來源行、插圖上的 SCHEMATIC、兩種語言的螢幕上字串、內容避開字幕區域。
- 審查:為整個影片的每種語言在基於錨點的影格處渲染靜態畫面,並將它們拼貼成聯繫表(
scripts/review.py <Composition> <cut> [--scenes ...],所有影格一個套件),並檢查 — 重疊、裁剪、空白影格、難以辨認的文字、任何偏離訊息。然後審查節奏,將這些畫面作為觀眾獲取的故事來閱讀:標記任何超過約 20 秒而沒有新真實視覺元素的片段、任何三個或更多項目的列表被朗讀出來、任何未與螢幕上數據相關聯的公式或理論,以及任何未能推進那個發現的場景 — 壓縮或刪除它們。迭代。
7. 獨立事實查核
生成一個全新的、未參與構建的代理來檢查腳本和螢幕上的每個字串/數字與論文(提示在 reference/rigor.md 中)。預設情況下進行一次快速檢查就足夠:在腳本最終確定後(在付費語音之前,措辭修正最便宜的時候)檢查腳本和文案 — 數字、設定、誇大之詞。在審查聯絡表時,您自己根據 notes/claims.md 檢查螢幕;僅在關鍵影片或用戶要求時,添加第二次獨立檢查(螢幕、繪製的數據、封面)。修復 MUST-FIX 項目(包括語音旁白措辭,然後重新生成那些場景並重新調整音樂時間:對於生成的背景音樂使用 music.py --refit,對於庫存曲目再次使用相同的 --file … --keep-ending N)以及大多數 SHOULD-FIX 項目。
8. 音效、渲染
...