Community研究與資料分析github.com

tigerless-labs/paper-radar

在指定日期範圍內,爬取 28 家大型科技公司與 AI 實驗室發表的 AI 論文,並附帶機構歸屬(主導、參與、實習生)。當使用者詢問「大型科技公司近期發表了什麼」、「<公司> 發表了哪些 AI 研究」、「執行 paper radar」,或想按公司/主題盤點近期 arXiv 成果時使用。亦可用於事實查核問題,例如「<公司> 是否發表過關於 <主題> 的論文」。

paper-radar 是什麼?

paper-radar 是一個無狀態的 AI 論文雷達技能,專為大型科技公司與 AI 實驗室的論文搜尋與歸屬分析而設計。它以 arXiv 為唯一資料來源,每次執行都會重新爬取指定時間窗口內的所有論文,確保結果的可重現性,不會儲存任何論文庫。該技能的主要目的是解決現有廠商發佈頁面無法按發布日期排序的問題——許多公司的發佈頁面是按年份或會議組織的,無法回答「過去兩週發表了什麼」這類問題。為了達到機構歸屬分析,它必須從論文的作者區塊中提取所屬機構資訊,因為 arXiv 的中繼資料不包含作者所屬機構。paper-radar 支援 pip 之外的純標準庫架構,可透過命令列參數指定天數、自訂日期範圍、類別(如 cs.AI、cs.CL)以及輸出檔案路徑。其處理流程包含取得論文清單、下載作者區塊、解析所屬機構、評分(主導/參與/實習生),並透過多種補充來源(如 Apple RSS、arXiv 團隊名稱)來補足爬取盲點。該技能也明確列出其限制,包括 HTML 全空(PDF-only)的論文約佔 12%、Apple 的錯失率約 78% 等,並提供詳細的排錯指南,以防搜尋結果為零的情況。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/tigerless-labs/paper-radar/tree/main/skills/paper-radar

Installed? Explore more 研究與資料分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

paper-radar — 大型科技公司 AI 論文雷達

無狀態:每次執行 = 一個時間窗口 = 一份報告。不維護論文庫。 arXiv 是唯一的事實來源,重新執行同一個時間窗口必然會產生相同的結果——因此沒有理由保留第二份副本。保留一份只會增加狀態,而狀態會默默地漂移,且脫離版本控制。代價是每次執行都要重新爬取整個時間窗口(3 天約 1 分鐘,14 天約 3 分鐘);你換來的是可重現性。

請先閱讀此處,否則你會得出錯誤結論

**arXiv 是唯一按發布日期整理的來源。**每家廠商自己的發佈頁面是按 發布年份 / 會議 整理的,這在結構上無法回答「過去兩週發表了什麼」——這是資料模型的差異,而非技術問題。已驗證:

  • Google Research:細節頁面僅有年份,且清單不是按時間順序排列;前 8 頁的 85 篇標題中,0 篇落在兩週窗口內,最新條目的 arXiv 發布日期已是三個月前
  • Amazon Science:按年份分組,沒有每篇論文的日期
  • Microsoft:/research/feed/ 是編輯策劃的部落格——同一窗口的覆蓋率約 8%
  • 13 個中國公司網站:所有網站日期命中數皆為 0——這些是實驗室登陸頁面,而非論文清單

你需要知道的另一個事實:arXiv 中繼資料不攜帶作者所屬機構。 <arxiv:affiliation> 填充率為 1%,Semantic Scholar 為 7%,而 OpenAlex 對預印本返回 0 筆 raw_affiliation_strings(已測量:3/3 為空,而同一端點對已發表的 Nature 論文返回 34/34)。業界標準流程是「出版商存入所屬機構字串 → ML 將其映射到 ROR」,而 arXiv 從未存入該字串。因此,所屬機構必須從論文本身的作者區塊中提取。

執行方法

腳本位於此技能目錄中,且不依賴其外部的任何東西——純標準庫,無 pip 套件。

R=<skill-dir>/scripts/paper_radar.py

python3 $R                 # 最近 3 天
python3 $R --days 14       # 最近 14 天
python3 $R --from 2026-07-20 --to 2026-08-04
python3 $R --cats cs.AI,cs.CL,cs.LG,cs.CV   # 擴展類別
python3 $R --no-scrape     # 僅官方來源 + 團隊名稱(數秒內完成——快速查詢公司)
python3 $R -o path.md      # 將報告寫入此路徑
python3 $R -o -            # 將報告寫入 stdout

時間:對於兩週的窗口(約 3000 篇論文),中繼資料約需 2 分鐘,作者區塊抓取約需 25 秒(6 個工作執行序)。3 天的窗口在一分鐘內完成。若要覆蓋更長的歷史,請擴大窗口並重新執行——沒有可供查詢的庫。

報告的去向——由你決定,腳本不會猜測

腳本不知道,也不應該知道呼叫端專案將其研究存放在何處。若未指定 -o,它會寫入目前工作目錄。

每次執行前決定目標路徑:

  • 使用者指定了路徑 → 使用該路徑
  • 這是有保存價值的研究 → 將其寫入該專案的研究目錄,並在檔名中包含時間窗口
  • 你只是要核實一個事實(「小米是否發表過關於自我演化 AI 的論文?」)→ 使用 -o - 並不留檔案。一個用完即丟的問題卻留下檔案,之後會偽裝成研究記錄

檔案

路徑(相對於此技能)角色
scripts/paper_radar.py管線:取得清單 → 取得作者區塊 → 解析所屬機構 → 撰寫報告
scripts/affiliation.py解析層:上標映射 + 三層比對
scripts/data/ror_anchors.json28 個實驗室的 ROR ID + 98 個官方名稱變體(包含中文)

唯一的輸出是一個 Markdown 檔案(路徑如上),帶有「總命中數 / 其中主導數量」的劃分。技能目錄本身不會產生任何檔案。

六個階段

0 清單         arXiv API:cat × submittedDate → 依 ID 去除重複
1 全文         arxiv.org/html/{id} + Range 前 90KB,在 ltx_authors 截斷 → ltx_abstract      [85%]
2 結構         從右向左掃描,找出最後一個位置以開始遞增的 1,2,3… 序列
               提取 (author, marks[]) · (mark, affiliation) · emails · role markers
3 實體         (a) 電子郵件網域  (b) ROR 名稱變體  (c) 實驗室別名表
4 評分         lead_orgs = 第一位作者的所屬機構(可能有多個);intern = 存在標記
5 補充資料     Apple RSS · MSR 嵌入 JSON · arXiv 團隊名稱
6 報告         依金鑰去除重複(一篇論文可能同時來自作者區塊和官方來源),
               寫入 Markdown,保留證據和 matched_on

五項紀律,每一項都曾因錯誤而付出代價

**1. 作者區塊必須嚴格在 ltx_abstract 處截斷。**多取一個字元,摘要就會滲入。已測量的後果:Oracle 73 篇(全部是「oracle access」),MiniMax 17 篇(minimax 演算法),DeepSeek 58 篇(僅是提及該模型的論文)。乾淨截斷後,中位數的作者區塊約為 201 個字元。

**2. 所屬機構清單必須從右向左尋找。**作者序列中的「姓名 + 上標數字」與所屬機構序列中的「數字 + 所屬機構」形狀完全相同,因此從左向右掃描會將 Yuchen Zhao 1 Bingxuan Li 解析為 1 → "Bingxuan Li"。

**3. 永遠不要因為「只匹配到一個公司,所以它主導」就退回。**這只能告訴你其他所屬機構不是你所追蹤的公司。已測量的錯誤歸屬:Filesystem-Based Memory 是 UIUC 主導,但被評為 Adobe 主導,因為 Adobe 是唯一匹配。

4. 公司署名不等於公司論文。報告中只有 * 代表主導。在兩週窗口內測量:Google 命中 10 篇論文,但僅主導 4 篇;Google DeepMind 7 篇命中,2 篇主導;Adobe 5 篇命中,0 篇主導。任何關於「N 篇大型科技公司論文」的主張都必須說明指的是哪一欄。

5. 在數字之前先說明盲點。

  • 12% 的投稿僅有 PDF,是看不見的——階段 1 的硬上限
  • Apple 錯失率約 78%(其作者經常省略所屬機構)→ 透過官方 RSS 饋送進行修補。此補充是必要的,而非可選的
  • 當第一位作者列出多個所屬機構時,無法對它們進行排名;兩者都會獲得 *
  • intern 是一個標記,而非判斷——實習生的論文是否「算數」是一個定義性問題,交由呼叫方決定

三層錯誤——不要混淆它們

層級問題失敗時該怎麼做
1 提取完全無法取得文字補充來源;今天的每一次遺漏都屬於此層
2 結構無法將作者映射到所屬機構降級為整個區塊掃描,精確度降低
3 實體這個字串屬於哪個公司unmatched 在表格中保留原始文字;ROR 僅在此處運作

**ROR 是一個字串到 ID 的查找表;你必須先有字串。**對兩篇小米論文進行測量:一篇完全沒有 HTML,另一篇的作者區塊包含 8 個人名,卻沒有一個所屬機構字詞。ROR 無法拯救任何一篇——只有補充來源可以。

每個補充來源存在的原因

來源角色證據
Apple RSS修正系統性遺漏,必要兩週窗口:爬取到 2 篇 vs. 官方 9 篇——錯失 78%
arXiv 團隊名稱涵蓋「公司名稱位於作者欄位而非所屬機構欄位」的情況Xiaomi MiMo Team / Kimi Team;增加了 2 篇論文,零冗餘
MSR 嵌入 JSON交叉驗證探針爬取到 25 篇 vs. 官方 7 篇——冗餘,保留作為執行內控制:如果官方來源有一篇作者區塊遺漏的論文,則階段 1 有問題

當某個公司顯示為零時——按此順序檢查

  1. 錯誤的窗口——arXiv 索引延遲 1–2 天,且週末不公告;先擴大窗口
  2. 錯誤的類別——預設為 cs.AI/cs.CL/cs.LG;機器人學是 cs.RO,視覺是 cs.CV,系統是 cs.SE
  3. 團隊名稱搜尋——all:"Xiaomi" / "Hunyuan" / "Kimi Team" 有效; all:"MiniMax" 無法使用(minimax 演算法產生 5800+ 筆命中)——請使用 au:"MiniMax"
  4. 官方管道——Apple RSS、Meta 的 ai.meta.com/results/?content_types[0]=publication(注意 /research/publications/ 對純 curl 返回 400)、NVIDIA research.nvidia.com/publications
  5. 僅當上述所有項目都為空時,你才能說「該公司在這個窗口內沒有發表任何文章」

路線圖

  • 新增 TeX 原始碼作為階段 1 的第二層——解壓縮 arxiv.org/e-print/{id} 並讀取 \author{}。已驗證:沒有 HTML 的論文通常確有 TeX,且上標完整。最便宜的可用覆蓋率提升
  • 執行內健康度自我檢查——將階段 1 的作者區塊命中率,以及「官方來源有但作者區塊沒有」的計數,直接放入報告標題。防止 arXiv 更改其標記語言時發生無聲故障(78% 的 Apple 遺漏是偶然發現的)。不要為此重新引入儲存的歷史命中率——執行內交叉驗證就足夠了

還有一件事

**論文數量是供應量,而非關注度。**已測量:在兩週窗口內的 231 篇大型科技公司論文中,0 篇在 Hacker News 上被討論,而同一窗口內每篇被 Hacker News 討論的論文都來自學術界或新創公司。判斷關注度需要另一個社會訊號。

相關技能