Community研究与数据分析github.com

grahama1970/arxiv

搜索 arXiv 论文并将知识提取到记忆中。使用 `search` 查找论文,使用 `learn` 提取知识。

arxiv 是什么?

这是一个专门针对 arXiv 论文的 AI 技能,允许用户通过命令行搜索、筛选和提取论文内容,并将结构化的知识片段存储到长期记忆中。其核心创新在于强制要求在执行任何操作前先生成动态上下文文件(`/tmp/arxiv_context.md`),该文件明确了当前协作目标、具体实现问题、相关性标准以及知识提取的焦点,从而避免搜索跑题或知识提取过于泛化。技能支持 HTML 优先的默认提取模式,利用 ar5iv.org 将 LaTeX 源码转换为语义化的 HTML,相比 PDF 提取速度更快、更可靠,并能保留 MathML 公式和图表标题。同时提供 `--accurate` 模式,适用于图表或复杂数据表格密集型论文,会调用 PDF 和 VLM 进行精确提取。工作流程遵循“上下文 → 搜索 → 筛选 → 决策 → 学习”的循环,确保用户始终参与论文选择,并在批量处理、并行提取等方面提供了灵活选项。该技能最适合在 Claude Code、Codex 等需要与 arXiv 进行知识密集型交互的 AI 代理环境中使用。

兼容平台✓Claude Code~Codex CLI~Cursor✓Antigravity
npx skills add https://github.com/grahama1970/agent-skills/tree/main/skills/arxiv

Installed? Explore more 研究与数据分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

停止。在调用任何端点之前,请通读本 SKILL.MD 文档。

arXiv 技能

搜索 arXiv 并将知识提取到记忆中。

命令

命令描述
search查找论文(返回摘要以供筛选)
learn将知识提取到记忆中
download默认下载论文 HTML;输出文件以论文标题命名

强制要求:动态上下文生成

不可协商: 在执行任何 arXiv 操作之前,代理必须生成一个捕获当前协作目标的动态上下文文件。

为什么这是必须的

没有动态上下文时:

  • 搜索会返回与主题无关的论文
  • 摘要筛选缺乏清晰的相关性标准
  • 提取的知识过于泛化(“论文关于 X 说了什么?”)

拥有动态上下文时:

  • 搜索精准针对特定实现需求
  • 摘要评估具备明确的接受/拒绝标准
  • 提取的知识具有可操作性(“如何将 X 实现为代码”)

工作流:先上下文,后论文发现

0. 上下文  → 从对话中生成动态上下文(必需)
1. 搜索    → 使用上下文查找相关论文
2. 筛选    → 根据上下文目标评估摘要
3. 决策    → 用户选择要提取的论文
4. 学习    → 在上下文指导下进行聚焦知识提取

步骤 0:生成动态上下文(必需)

在搜索之前,代理必须创建 /tmp/arxiv_context.md:

# 研究上下文:[你的具体目标]

## 我们正在构建什么
[描述具体功能/系统,例如:“Horus 代理的心智理论”]

## 当前状态
[已经存在什么,已经实现了什么,我们有什么]

## 我们需要从论文中获得什么
1. [具体问题 1,例如:“如何将信念置信度表示为数据结构”]
2. [具体问题 2,例如:“何时触发反事实反思”]
3. [具体问题 3,例如:“遇到矛盾时更新信念的算法”]

## 需要尝试的搜索词
- [词条 1]
- [词条 2]

## 摘要筛选的相关性标准
- 高:直接解决 [具体需求] 的论文
- 中:包含可以改造的相关技术的论文
- 低:关联性不大,除非没有更好的选择才考虑

## 知识提取焦点
- 提取:[什么类型的知识,例如:“算法、数据结构、更新规则”]
- 跳过:[忽略什么,例如:“评估指标、数据集描述、未来工作”]

## 输出格式偏好
表述为实现问题,而非摘要:
- 差:“论文关于 X 说了什么?”
- 好:“我们应该如何实现 X?代码模式是怎样的?”

步骤 1:在上下文指导下搜索

创建上下文后,用它来指导搜索:

# 在上下文目标指导下搜索
./run.sh search -q "心智理论 BDI 代理信念追踪" -n 10

步骤 2:根据上下文进行筛选

根据上下文的相关性标准评估每篇摘要:

## 找到的论文 - 根据上下文目标评估

### 1. **论文标题** (arXiv:XXXX.XXXXX)
> [摘要]

**根据上下文的评估:**
- 涉及目标 1(信念表示):是——描述了 BDI 字典结构
- 涉及目标 2(反事实反思):否
- **结论:高**——直接回答了我们的数据结构问题

### 2. **论文标题** (arXiv:XXXX.XXXXX)
> [摘要]

**根据上下文的评估:**
- 涉及目标 1:否
- 涉及目标 2:是——描述了反思触发条件
- **结论:高**——直接回答了我们的算法问题

---
我应该提取哪些论文?

步骤 3:使用上下文文件进行提取

将上下文文件传递给 learn 进行聚焦提取:

./run.sh learn 2501.15355 --scope persona-research --context-file /tmp/arxiv_context.md

在用户确认论文选择之前,不得继续处理。


search - 查找论文

./run.sh search -q "代理记忆" -n 5

返回带有完整摘要的论文,便于快速筛选。

选项描述
-q搜索查询(必需)
-n最大结果数(默认:10)
-c类别筛选(例如 cs.LG)
-m最近 N 个月的论文
--smartLLM 将自然语言查询翻译为搜索词

learn - 提取知识

./run.sh learn 2601.08058 --scope memory

完整流程:下载 → 分析 → 提取 → Q&A → 访谈 → 存储 → 验证链接。

选项描述
--scope记忆范围(必需)
--context相关性的领域焦点
--dry-run预览而不存储
--skip-interview自动接受建议
--accurate强制使用 PDF + VLM 提取
--mode访谈模式:auto、html、tui(默认:auto)

提取模式(HTML 优先)

新功能: learn 命令现在默认使用 HTML 优先提取:

  1. 从 ar5iv.org 下载 HTML(arxiv 论文转换为干净的 HTML)
  2. 运行快速分析检查(统计图表数量)
  3. 路由到适当的提取模式
arxiv learn <id>
       │
       ├── 快速模式(默认)──► ar5iv HTML ──► extractor HTML
       │   - 大多数研究论文       (100% 提取质量)
       │   - 文本密集型内容       (无 PDF 分栏问题)
       │
       └── 精确模式 ──► arxiv PDF ──► extractor PDF + VLM
           - 图表至关重要的论文
           - 包含精确值的复杂表格
           - 使用:--accurate 标志

为什么 HTML 优先?

方面HTML (ar5iv)PDF
提取质量100% 等价~87%(存在列检测问题)
速度快速(约 5 秒)较慢(约 30 秒 - 2 分钟)
图表标题包含需要 VLM
数学公式渲染MathML 保留文本近似
布局问题无两列检测问题

ar5iv.org 将 arxiv LaTeX 源代码转换为语义化的 HTML,包含 MathML 公式和良好的结构。这消除了 PDF 提取的问题。

何时使用 --accurate

内容类型推荐模式原因
大多数研究论文默认 (HTML)文本和标题已经足够
综述论文默认 (HTML)覆盖范围广,精确图表不重要
有重要图表的论文--accurate视觉内容本身就是重点
有复杂数据表格的论文--accurate当精确数字很重要时
# 默认:HTML 提取(快速、可靠)
./run.sh learn 2601.10025 --scope persona-research

# 对图表密集的论文强制使用精确模式
./run.sh learn 2501.15355 --scope tom-research --accurate

基于分析的路径选择

该技能会自动分析下载的 HTML,建议提取模式:

  • < 20 张图表 且 < 10 个表格:使用 HTML(快速模式)
  • > 20 张图表 或 > 10 个表格:建议使用精确模式(或使用 --accurate)

分析结果会在日志中显示:

Profile: 12 张图表, 4 个表格 → 使用 HTML 提取(快速模式)

推荐路径

# 1. 搜索 - 获取摘要
./run.sh search -q "代理记忆系统" -n 5

# 2. 停止 - 与用户讨论摘要,评估相关性

# 3. 学习 - 提取用户选择的论文(默认使用 HTML 提取)
./run.sh learn 2601.10702 --scope memory --context "代理系统"

示例

研究调研(HTML 提取 - 默认)

./run.sh learn 2601.10025 --scope persona-research --context "LLM 个性化"

含关键图表的论文(精确模式)

./run.sh learn 2501.15355 --scope tom-research --context "BDI 架构" --accurate

先进行试运行

# 预览将提取的内容
./run.sh learn 2601.10025 --scope test --dry-run

仅下载 HTML

# 下载 ar5iv HTML 供手动检查(默认;文件名基于标题)
./run.sh download -i 2501.15355

# 仅在需要时下载 PDF
./run.sh download -i 2501.15355 --format pdf

批量处理(并行)

# 并行处理多篇论文(默认:2 个并发)
./run.sh batch 2501.15355 2502.14171 2310.10701 --scope tom-research --context-file /tmp/context.md

# 提高并行度以加快处理
./run.sh batch 2501.15355 2502.14171 2310.10701 --scope research --parallel 3

# 试运行以预览
./run.sh batch 2501.15355 2502.14171 --scope test --dry-run
选项描述
--parallel N同时处理的最大论文数(默认:2)
--context-file用于聚焦提取的丰富上下文文件
--skip-interview自动接受(批量模式默认)
--dry-run预览而不存储

注意: 建议并行度为 2-3 篇论文。更高的值可能触发 API 速率限制。


常见错误

错误:未先创建上下文就直接搜索

./run.sh search -q "代理记忆" -n 10

正确:先生成 /tmp/arxiv_context.md,然后再搜索

# 1. 编写包含具体目标和相关性标准的上下文文件
# 2. 然后在上下文指导下搜索
./run.sh search -q "代理记忆 BDI 信念追踪" -n 10

错误:未经用户确认就提取论文

# 代理自动提取所有 10 个搜索结果
./run.sh learn 2501.15355 --scope research
./run.sh learn 2502.14171 --scope research

正确:展示摘要,让用户选择,然后再提取

./run.sh search -q "代理记忆" -n 10
# 停止 - 与用户讨论摘要,评估相关性
# 用户选择论文 2 和 5
./run.sh learn 2501.15355 --scope research --context-file /tmp/arxiv_context.md

错误:对文本密集的论文使用 --accurate

./run.sh learn 2601.10025 --scope research --accurate  # 在 PDF 提取上浪费时间

正确:默认使用 HTML 模式处理大多数论文,仅对图表密集的论文使用 --accurate

./run.sh learn 2601.10025 --scope research  # HTML 更快更可靠

依赖项

组件URL用途
ar5iv.orghttps://ar5iv.org将 arxiv 论文的 LaTeX 转换为 HTML
extractor 技能(同级技能)HTML/PDF 内容提取
qra 技能(同级技能)从文本生成问答对

QRA 训练故障恢复说明(2026-09-14)

在 qra-training 研究期间观察到:当 arXiv 元数据 API 在 HTML/PDF 下载步骤之前返回 429 或超时时,download --format html 失败了。CLI 现在将元数据查找视为直接论文 ID 的可选步骤。如果元数据获取失败,它会构建直接的回退 URL 并按顺序尝试:

  1. https://arxiv.org/html/<id-with-version>
  2. https://arxiv.org/html/<base-id>
  3. https://ar5iv.org/abs/<base-id>
  4. https://ar5iv.labs.arxiv.org/html/<base-id>

当这些内容 URL 之一成功时,元数据故障应出现在 warnings[] 中,而非 errors[]。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

grahama1970/acceptance-contract

Turn a client brief, zip bundle, directory, or single requirements file into a typed acceptance-contract bundle with extracted requirements, acceptance checks, open questions, an immutable-goal draft, and a create-report-backed decision report. Use when users say acceptance contract, brief to requirements, freeze the goal, create immutable goal, amend immutable goal, build a Battle requirements bundle, or extract requirements from this bundle.

grahama1970/agent-ecosystem

Canonical map and shared contracts for the agent-governance ecosystem: the pi.receipt_envelope.v1 boundary envelope, the component graph, and the rules for which component owns which schema. Use when wiring a skill or extension into the shared receipt world, when asking how shame, triage-error, tau, ask, project-watchdog, ops-herdr, ponytail, and Memory fit together, or when validating an envelope.

grahama1970/agentic-evals

Agentic evaluation of skills using multi-trial fixtures, deterministic command assertions, trajectory checks, safety constraints, and evidence-backed readiness scoring. Use when users ask for agentic evals, multi-trial skill evaluation, skill trajectory validation, or readiness scoring for a skill workflow.

grahama1970/agent-inbox

File-based inter-agent messaging with headless dispatch. Check inbox, send bugs/requests to other projects, automatically spawn headless agents to fix bugs, and track progress via task-monitor.

grahama1970/agents-registry

Generate and query the centralized agent identity registry. Scans .pi/agents/*/AGENTS.md, parses frontmatter, outputs agents-registry.json and optionally syncs to /memory for semantic search.

grahama1970/agent-status

Artifact-driven status surfaces for long-running project-agent work. Maintains status.json, events.jsonl, proof manifests, and a stale-aware STATUS.html so humans can tell where the agent is, what passed, what is still unproven, and what decision or action is next — without dashboard theater.

grahama1970/align

Round-based context alignment before execution. Use when the human, project agent, WebGPT, scillm, ask, dogpile, memory, or project-knowledge may each hold different facts about a task; especially before ambiguous design, infographic, product workflow, high-stakes implementation, plan-iterate, project-infographic, or multi-review work.

grahama1970/analytics

Flexible data science analytics for any dataset. Auto-discovers schema, recommends charts, exports to create-figure. Works with JSONL, JSON, CSV from any source.

grahama1970/analyze-chatterbox-emotions

Evaluate generated Chatterbox voice files as voice-quality artifacts: affect match, arousal/valence proxies, pause placement, intelligibility inputs, clipping, loudness, and discontinuity flags. Use when reviewing Chatterbox emotional tags, pauses, Turbo/base affect delivery, Persona Dream utterance renders, or whether generated speech matches an intended product-facing affect.

grahama1970/analyze-elf

Reverse-engineer features from ELF binaries. Extracts CLI commands, state machines, protocols, Zod schemas, and data models. Automatically generates a /create-walkthrough prosecution brief with Mermaid diagrams. Uses /treesitter for AST analysis of bundled JS/TS source.

grahama1970/animation-vocabulary

Reverse-lookup glossary that turns a vague description of a web animation or motion effect into its exact term ("the bouncy thing when a popover opens" → Pop in; "the iOS rubber-band scroll" → Rubber-banding). Use when the user asks "what's it called when…", or describes a motion effect without knowing its name and wants the right word to prompt an AI or designer with. For naming an effect, not designing or building one.

grahama1970/anonymize-data

Anonymize supported CSV, JSON, UTF-8 text, and SQLite files using an explicit policy through the oai-trial project. Use for anonymize data, pseudonymize exports, redact policy literals, or discover and explicitly approve fuzzy name aliases. The skill is a thin CLI/Docker interface, not another engine.

grahama1970/anvil

Heavy-duty "No-Vibes" debugging and hardening orchestrator. Use this for complex, stubborn bugs where `review-code` has failed, or for "Red Teaming" (hardening) a codebase. Runs multiple agents in parallel (Thunderdome) using git worktree isolation.

grahama1970/apple-design

Apple's approach to interface design and fluid, physical motion, translated for the web. Use when building or reviewing gesture-driven UI, spring animations, drag/swipe/sheet interactions, momentum and interruptible transitions, translucent materials and depth, typography (optical sizing, tracking, leading), reduced-motion, or the design foundations (feedback, spatial consistency, restraint) behind Apple-style interfaces.

grahama1970/argue

Multi-persona structured debate orchestrator. Personas research via /dogpile, consult colleagues via /ask, and argue toward nuanced synthesis on complex questions.

grahama1970/ask

Use when the user asks to query project memory, ask an oracle, use supported browser-backed reviewers, run Tau roundtable/single-handler workflows, ask Pi-native subagents from within Pi, run persona/deep-review workflows, generate image prompts, check OS/project health through composed skills, or run an ask DAG. This skill is the executable /ask runtime; do not replace it with an informal subagent, plain web search, or hand-written review; inside Pi, explicit Pi-native subagent targets are routed through the pi-subagents tool as an Ask target type.

grahama1970/assess

Step back and critically reassess project state. Use when asked to "assess", "step back", "fresh eyes", "check alignment", "sanity check", "health check", "prune documentation", or "evaluate what's working". Offers documentation pruning and doc-code alignment analysis. Offer to run after major changes (don't auto-run).

grahama1970/assistant

Shared GPT + classifier inference gateway for persona monitor tasks. Routes validation and classification through a 4-tier cascade: heuristic → classifier → local GPT → scillm.

grahama1970/assistant-lab

Self-improvement workbench for /assistant. All the tools needed to diagnose, train, evaluate, and promote models in a continuous loop. The "warm pond" where /assistant evolves its own inference stack.

grahama1970/batch-quality

Pre-flight validation and quality gates for batch LLM operations. ACTUALLY tests samples through LLM before burning tokens. Uses SPARTA contracts for DuckDB validation queries. Integrates with task-monitor for enforced quality gates.

相关技能