Community研究&データ分析github.com

grahama1970/arxiv

arXiv論文を検索し、その知識をメモリに抽出します。`search`コマンドで論文を見つけ、`learn`コマンドで知識を抽出します。

arxiv とは?

このスキルは、arXiv論文の検索と知識抽出を効率的に行うためのAIエージェント向けツールです。主な機能として、`search`コマンドで論文を検索し、`learn`コマンドで論文の内容をメモリに構造化して保存します。特に、**動的コンテキストの生成**が必須であり、これにより検索の関連性向上、アブストラクト評価の明確化、抽出知識の実装指向化を実現します。ワークフローは「コンテキスト生成 → 検索 → トリアージ → ユーザー選択 → 学習」の順で進行し、ユーザーの目的に沿った論文発見を支援します。抽出はデフォルトでar5iv.orgのHTML版を使用し、高速かつ高品質な抽出が可能です。図表が重要な論文には`--accurate`オプションでPDF+VLM抽出に切り替えられます。対応プラットフォームはClaude CodeやCodexなどのコマンドラインAIエージェントを想定しています。

対応✓Claude Code~Codex CLI~Cursor✓Antigravity
npx skills add https://github.com/grahama1970/agent-skills/tree/main/skills/arxiv

Installed? Explore more 研究&データ分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

ストップ。エンドポイントを呼び出す前に、このSKILL.MD全体を読んでください。

arXiv Skill

arXivを検索し、知識をメモリに抽出します。

コマンド

コマンド説明
search論文を検索(トリアージ用にアブストラクトを返します)
learn知識をメモリに抽出
downloadデフォルトで論文HTMLをダウンロード。出力ファイル名は論文タイトルから生成されます

必須: 動的コンテキストの生成

譲れない条件: いかなるarxiv操作の前に、エージェントは現在の協調目標を捉えた動的コンテキストファイルを生成しなければなりません。

これが必要な理由

動的コンテキストがない場合:

  • 検索結果が関連性の低い論文になる
  • アブストラクトトリアージに明確な関連性基準が欠ける
  • 抽出された知識が一般的になる(「論文はXについて何と言っているか?」)

動的コンテキストがある場合:

  • 検索が特定の実装ニーズに焦点化される
  • アブストラクト評価に明確な採否基準ができる
  • 抽出された知識が実用的になる(「Xをコードとして実装する方法」)

ワークフロー: コンテキストファースト論文発見

0. コンテキスト → 会話から動的コンテキストを生成(必須)
1. 検索       → コンテキストを使用して関連論文を見つける
2. トリアージ  → アブストラクトをコンテキスト目標に対して評価
3. 決定       → ユーザーが抽出する論文を選択
4. 学習       → コンテキストを使用して焦点を絞った知識チャンクを抽出

ステップ0: 動的コンテキストの生成(必須)

検索前に、エージェントは /tmp/arxiv_context.md を作成しなければなりません:

# 研究コンテキスト: [あなたの具体的な目標]

## 構築内容
[具体的な機能・システムの説明、例: 「Horusエージェントの心の理論」]

## 現在の状態
[すでに存在するもの、実装済みのもの、持っているもの]

## 論文から得たいもの
1. [具体的な質問1、例: 「信念の確信度をデータ構造として表現する方法」]
2. [具体的な質問2、例: 「反事実的振り返りをいつトリガーするか」]
3. [具体的な質問3、例: 「矛盾時に信念を更新するアルゴリズム」]

## 試す検索語
- [用語1]
- [用語2]

## アブストラクトトリアージの関連性基準
- 高: [特定のニーズ]に直接対応する論文
- 中: 適用できる可能性のある関連技法を含む論文
- 低: 関連性が低い。より良いものがなければスキップ

## 知識抽出の焦点
- 抽出: [抽出する知識の種類、例: 「アルゴリズム、データ構造、更新ルール」]
- スキップ: [無視するもの、例: 「評価指標、データセット説明、今後の課題」]

## 出力形式の好み
実装問題として表現し、要約ではない:
- 悪い例: 「論文はXについて何と言っているか?」
- 良い例: 「Xをどのように実装すべきか?どのコードパターンか?」

ステップ1: コンテキストを使用した検索

コンテキスト作成後、それに従って検索をガイド:

# コンテキスト目標に従った検索
./run.sh search -q "theory of mind BDI agent belief tracking" -n 10

ステップ2: コンテキストに対するトリアージ

各アブストラクトをコンテキストの関連性基準に対して評価:

## 見つかった論文 - コンテキスト目標に対する評価

### 1. **論文タイトル** (arXiv:XXXX.XXXXX)
> [アブストラクト]

**コンテキストに対する評価:**
- 目標1(信念表現)に対応: はい - BDI dict構造を記述
- 目標2(反事実的振り返り)に対応: いいえ
- **判定: 高** - データ構造の質問に直接回答

### 2. **論文タイトル** (arXiv:XXXX.XXXXX)
> [アブストラクト]

**コンテキストに対する評価:**
- 目標1に対応: いいえ
- 目標2に対応: はい - 振り返りトリガー条件を記述
- **判定: 高** - アルゴリズムの質問に直接回答

---
どの論文を抽出しますか?

ステップ3: コンテキストファイルを使用した抽出

コンテキストファイルを learn に渡し、焦点を絞った抽出:

./run.sh learn 2501.15355 --scope persona-research --context-file /tmp/arxiv_context.md

ユーザーによる論文選択の確認なしに進めてはいけません。


search - 論文検索

./run.sh search -q "agent memory" -n 5

迅速なトリアージのために、完全なアブストラクト付きで論文を返します。

オプション説明
-q検索クエリ(必須)
-n最大結果数(デフォルト: 10)
-cカテゴリフィルター(例: cs.LG)
-m過去Nヶ月以内の論文
--smartLLMが自然言語クエリを変換

learn - 知識抽出

./run.sh learn 2601.08058 --scope memory

完全なパイプライン: ダウンロード → プロファイリング → 抽出 → Q&A → インタビュー → 保存 → エッジ検証。

オプション説明
--scopeメモリスコープ(必須)
--context関連性のためのドメイン焦点
--dry-run保存せずにプレビュー
--skip-interview推奨を自動承認
--accuratePDF + VLM抽出を強制
--modeインタビューモード: auto、html、tui(デフォルト: auto)

抽出モード(HTMLファースト)

新機能: learn コマンドはデフォルトで HTMLファースト抽出 を使用:

  1. ar5iv.orgからHTMLをダウンロード(arxiv論文をクリーンなHTMLに変換)
  2. 簡単なプロファイルチェックを実行(図表の数をカウント)
  3. 適切な抽出モードにルーティング
arxiv learn <id>
       │
       ├── 高速モード(デフォルト) ──► ar5iv HTML ──► extractor HTML
       │   - ほとんどの研究論文        (100%抽出パリティ)
       │   - テキスト主体のコンテンツ  (PDFのカラム問題なし)
       │
       └── 正確モード ──► arxiv PDF ──► extractor PDF + VLM
           - 図が重要な論文
           - 正確な値を持つ複雑な表
           - 使用: --accurate フラグ

HTMLファーストの理由

側面HTML (ar5iv)PDF
抽出品質100%パリティ~87%(カラム検出の問題)
速度高速(約5秒)低速(約30秒~2分)
図のキャプション含まれるVLMが必要
数式レンダリングMathML保持テキスト近似
レイアウト問題なし2カラム検出問題

ar5iv.org はarxivのLaTeXソースをMathML数式と適切な構造を持つセマンティックHTMLに変換します。これによりPDF抽出の問題が解消されます。

--accurate を使用すべき場合

コンテンツタイプ推奨モード理由
ほとんどの研究論文デフォルト(HTML)テキスト+キャプションで十分
サーベイ論文デフォルト(HTML)広範なカバレッジ、正確な図は重要でない
重要な図を含む論文--accurate視覚コンテンツが本題の場合
複雑なデータ表を含む論文--accurate正確な数値が重要な場合
# デフォルト: HTML抽出(高速、信頼性高い)
./run.sh learn 2601.10025 --scope persona-research

# 図が多い論文には正確モードを強制
./run.sh learn 2501.15355 --scope tom-research --accurate

プロファイルベースのルーティング

スキルはダウンロードしたHTMLを自動的にプロファイリングし、抽出モードを提案:

  • 図 < 20 かつ 表 < 10: HTMLを使用(高速モード)
  • 図 > 20 または 表 > 10: 正確モードを提案(または --accurate を使用)

プロファイル出力はログに表示:

プロファイル: 12図、4表 → HTML抽出を使用(高速モード)

正常系フロー

# 1. 検索 - アブストラクトを取得
./run.sh search -q "agent memory systems" -n 5

# 2. ストップ - ユーザーとアブストラクトを議論、関連性を評価

# 3. 学習 - ユーザーが選択した論文を抽出(デフォルトでHTML抽出)
./run.sh learn 2601.10702 --scope memory --context "agent systems"

使用例

研究調査(HTML抽出 - デフォルト)

./run.sh learn 2601.10025 --scope persona-research --context "LLM personality"

重要な図を含む論文(正確モード)

./run.sh learn 2501.15355 --scope tom-research --context "BDI architecture" --accurate

ドライラン

# 抽出される内容をプレビュー
./run.sh learn 2601.10025 --scope test --dry-run

HTMLのみダウンロード

# 手動確認用にar5iv HTMLをダウンロード(デフォルト: タイトルベースのファイル名)
./run.sh download -i 2501.15355

# 必要な場合のみPDFをダウンロード
./run.sh download -i 2501.15355 --format pdf

バッチ処理(並列)

# 複数論文を並列処理(デフォルト: 2並行)
./run.sh batch 2501.15355 2502.14171 2310.10701 --scope tom-research --context-file /tmp/context.md

# 高速処理のために並列数を増加
./run.sh batch 2501.15355 2502.14171 2310.10701 --scope research --parallel 3

# ドライランでプレビュー
./run.sh batch 2501.15355 2502.14171 --scope test --dry-run
オプション説明
--parallel N同時に処理する最大論文数(デフォルト: 2)
--context-file焦点を絞った抽出のためのリッチコンテキストファイル
--skip-interview自動承認(バッチのデフォルト)
--dry-run保存せずにプレビュー

注意: 推奨される並列度は2~3論文です。それ以上高いとAPIレート制限に達する可能性があります。


よくある間違い

間違い: コンテキストを作成せずに検索

./run.sh search -q "agent memory" -n 10

正しい方法: /tmp/arxiv_context.md を生成してから検索

# 1. 具体的な目標と関連性基準を持つコンテキストファイルを作成
# 2. コンテキストに従って検索
./run.sh search -q "agent memory BDI belief tracking" -n 10

間違い: ユーザー確認なしで論文を抽出

# エージェントが検索結果10件をすべて自動抽出
./run.sh learn 2501.15355 --scope research
./run.sh learn 2502.14171 --scope research

正しい方法: アブストラクトを提示し、ユーザーに選択させてから抽出

./run.sh search -q "agent memory" -n 10
# ストップ - ユーザーとアブストラクトを議論、関連性を評価
# ユーザーが論文2と5を選択
./run.sh learn 2501.15355 --scope research --context-file /tmp/arxiv_context.md

間違い: テキスト主体の論文に --accurate を使用

./run.sh learn 2601.10025 --scope research --accurate  # PDF抽出で時間を浪費

正しい方法: ほとんどの論文はデフォルトHTMLモード、図が多いものだけ --accurate

./run.sh learn 2601.10025 --scope research  # HTMLの方が高速で信頼性が高い

依存関係

コンポーネントURL目的
ar5iv.orghttps://ar5iv.orgarXiv論文のLaTeXからHTMLへの変換
extractor skill(兄弟スキル)HTML/PDFコンテンツ抽出
qra skill(兄弟スキル)テキストからのQ&Aペア生成

QRAトレーニング障害復旧メモ(2026-09-14)

qra-training研究中に観測: HTML/PDFダウンロードステップの前にarXivメタデータAPIが429を返すかタイムアウトすると、download --format htmlが失敗しました。CLIは現在、メタデータルックアップを直接の論文IDに対してオプションとして扱います。メタデータが失敗した場合、直接フォールバックURLを構築し、次の順序で試行:

  1. https://arxiv.org/html/<id-with-version>
  2. https://arxiv.org/html/<base-id>
  3. https://ar5iv.org/abs/<base-id>
  4. https://ar5iv.labs.arxiv.org/html/<base-id>

これらのコンテンツURLのいずれかが成功した場合、メタデータの失敗は errors[] ではなく warnings[] に表示されるべきです。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

grahama1970/acceptance-contract

Turn a client brief, zip bundle, directory, or single requirements file into a typed acceptance-contract bundle with extracted requirements, acceptance checks, open questions, an immutable-goal draft, and a create-report-backed decision report. Use when users say acceptance contract, brief to requirements, freeze the goal, create immutable goal, amend immutable goal, build a Battle requirements bundle, or extract requirements from this bundle.

grahama1970/agent-ecosystem

Canonical map and shared contracts for the agent-governance ecosystem: the pi.receipt_envelope.v1 boundary envelope, the component graph, and the rules for which component owns which schema. Use when wiring a skill or extension into the shared receipt world, when asking how shame, triage-error, tau, ask, project-watchdog, ops-herdr, ponytail, and Memory fit together, or when validating an envelope.

grahama1970/agentic-evals

Agentic evaluation of skills using multi-trial fixtures, deterministic command assertions, trajectory checks, safety constraints, and evidence-backed readiness scoring. Use when users ask for agentic evals, multi-trial skill evaluation, skill trajectory validation, or readiness scoring for a skill workflow.

grahama1970/agent-inbox

File-based inter-agent messaging with headless dispatch. Check inbox, send bugs/requests to other projects, automatically spawn headless agents to fix bugs, and track progress via task-monitor.

grahama1970/agents-registry

Generate and query the centralized agent identity registry. Scans .pi/agents/*/AGENTS.md, parses frontmatter, outputs agents-registry.json and optionally syncs to /memory for semantic search.

grahama1970/agent-status

Artifact-driven status surfaces for long-running project-agent work. Maintains status.json, events.jsonl, proof manifests, and a stale-aware STATUS.html so humans can tell where the agent is, what passed, what is still unproven, and what decision or action is next — without dashboard theater.

grahama1970/align

Round-based context alignment before execution. Use when the human, project agent, WebGPT, scillm, ask, dogpile, memory, or project-knowledge may each hold different facts about a task; especially before ambiguous design, infographic, product workflow, high-stakes implementation, plan-iterate, project-infographic, or multi-review work.

grahama1970/analytics

Flexible data science analytics for any dataset. Auto-discovers schema, recommends charts, exports to create-figure. Works with JSONL, JSON, CSV from any source.

grahama1970/analyze-chatterbox-emotions

Evaluate generated Chatterbox voice files as voice-quality artifacts: affect match, arousal/valence proxies, pause placement, intelligibility inputs, clipping, loudness, and discontinuity flags. Use when reviewing Chatterbox emotional tags, pauses, Turbo/base affect delivery, Persona Dream utterance renders, or whether generated speech matches an intended product-facing affect.

grahama1970/analyze-elf

Reverse-engineer features from ELF binaries. Extracts CLI commands, state machines, protocols, Zod schemas, and data models. Automatically generates a /create-walkthrough prosecution brief with Mermaid diagrams. Uses /treesitter for AST analysis of bundled JS/TS source.

grahama1970/animation-vocabulary

Reverse-lookup glossary that turns a vague description of a web animation or motion effect into its exact term ("the bouncy thing when a popover opens" → Pop in; "the iOS rubber-band scroll" → Rubber-banding). Use when the user asks "what's it called when…", or describes a motion effect without knowing its name and wants the right word to prompt an AI or designer with. For naming an effect, not designing or building one.

grahama1970/anonymize-data

Anonymize supported CSV, JSON, UTF-8 text, and SQLite files using an explicit policy through the oai-trial project. Use for anonymize data, pseudonymize exports, redact policy literals, or discover and explicitly approve fuzzy name aliases. The skill is a thin CLI/Docker interface, not another engine.

grahama1970/anvil

Heavy-duty "No-Vibes" debugging and hardening orchestrator. Use this for complex, stubborn bugs where `review-code` has failed, or for "Red Teaming" (hardening) a codebase. Runs multiple agents in parallel (Thunderdome) using git worktree isolation.

grahama1970/apple-design

Apple's approach to interface design and fluid, physical motion, translated for the web. Use when building or reviewing gesture-driven UI, spring animations, drag/swipe/sheet interactions, momentum and interruptible transitions, translucent materials and depth, typography (optical sizing, tracking, leading), reduced-motion, or the design foundations (feedback, spatial consistency, restraint) behind Apple-style interfaces.

grahama1970/argue

Multi-persona structured debate orchestrator. Personas research via /dogpile, consult colleagues via /ask, and argue toward nuanced synthesis on complex questions.

grahama1970/ask

Use when the user asks to query project memory, ask an oracle, use supported browser-backed reviewers, run Tau roundtable/single-handler workflows, ask Pi-native subagents from within Pi, run persona/deep-review workflows, generate image prompts, check OS/project health through composed skills, or run an ask DAG. This skill is the executable /ask runtime; do not replace it with an informal subagent, plain web search, or hand-written review; inside Pi, explicit Pi-native subagent targets are routed through the pi-subagents tool as an Ask target type.

grahama1970/assess

Step back and critically reassess project state. Use when asked to "assess", "step back", "fresh eyes", "check alignment", "sanity check", "health check", "prune documentation", or "evaluate what's working". Offers documentation pruning and doc-code alignment analysis. Offer to run after major changes (don't auto-run).

grahama1970/assistant

Shared GPT + classifier inference gateway for persona monitor tasks. Routes validation and classification through a 4-tier cascade: heuristic → classifier → local GPT → scillm.

grahama1970/assistant-lab

Self-improvement workbench for /assistant. All the tools needed to diagnose, train, evaluate, and promote models in a continuous loop. The "warm pond" where /assistant evolves its own inference stack.

grahama1970/batch-quality

Pre-flight validation and quality gates for batch LLM operations. ACTUALLY tests samples through LLM before burning tokens. Uses SPARTA contracts for DuckDB validation queries. Integrates with task-monitor for enforced quality gates.

関連スキル