CommunityRecherche & Datenanalysegithub.com

grahama1970/arxiv

Durchsuche arXiv nach Papern und extrahiere Wissen ins Gedächtnis. Nutze `search`, um Paper zu finden, und `learn`, um Wissen zu extrahieren.

Was ist arxiv?

Diese Fähigkeit ermöglicht es KI-Agenten (insbesondere solchen, die mit Shell-Tools arbeiten), arXiv als Wissensquelle zu erschließen. Der Workflow beginnt zwingend mit der Generierung eines dynamischen Kontexts, der die spezifischen Forschungsziele des aktuellen Gesprächs festhält. Dieser Kontext wird dann verwendet, um gezielte Suchanfragen auf arXiv zu stellen, die gefundenen Abstracts gegen die Relevanzkriterien zu prüfen und schließlich ausgewählte Paper mit dem `learn`-Befehl in strukturiertes Wissen zu überführen. Die Fähigkeit unterstützt sowohl die schnelle HTML-basierte Extraktion über ar5iv (Standard für die meisten Paper) als auch eine genauere PDF-Extraktion mit visuellen Sprachmodellen (VLM) für figurenreiche Dokumente. Die generierten Wissenseinheiten werden mit Metadaten wie dem Forschungsbereich (`--scope`) und einem Kontext versehen, sodass sie später zielgerichtet abgerufen werden können. Die Fähigkeit ist plattformunabhängig und funktioniert mit jedem Agenten, der Shell-Befehle ausführen kann.

Funktioniert mit✓Claude Code~Codex CLI~Cursor✓Antigravity
npx skills add https://github.com/grahama1970/agent-skills/tree/main/skills/arxiv

Installed? Explore more Recherche & Datenanalyse skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

STOP. LIES DIESE GANZE SKILL.MD, BEVOR DU EINEN ENDPUNKT AUFRUFST.

arXiv-Fähigkeit

Durchsuche arXiv und extrahiere Wissen ins Gedächtnis.

Befehle

BefehlBeschreibung
searchFinde Paper (gibt Abstracts zur Auswahl zurück)
learnExtrahiere Wissen ins Gedächtnis
downloadLade Paper-HTML herunter (Standard); Ausgabedateien werden nach dem Papiertitel benannt

VERPFLICHTEND: Dynamische Kontexterzeugung

UNVERHANDELBAR: Vor JEDEM arXiv-Vorgang MUSS der Agent eine dynamische Kontextdatei erstellen, die die aktuellen Zusammenarbeitsziele erfasst.

Warum dies erforderlich ist

Ohne dynamischen Kontext:

  • Die Suche liefert nur am Rande verwandte Paper
  • Die Abstract-Auswahl entbehrt klarer Relevanzkriterien
  • Das extrahierte Wissen ist generisch („Was sagt das Paper über X?“)

Mit dynamischem Kontext:

  • Die Suche ist auf spezifische Implementierungsanforderungen ausgerichtet
  • Die Abstract-Bewertung hat klare Annahme-/Ablehnungskriterien
  • Das extrahierte Wissen ist umsetzbar („Wie implementiere ich X als Code?“)

Workflow: Kontext-zuerst-Paper-Entdeckung

0. KONTEXT  → Dynamischen Kontext aus dem Gespräch erstellen (ERFORDERLICH)
1. SUCHE    → Kontext verwenden, um relevante Paper zu finden
2. AUSWAHL   → Abstracts anhand der Kontextziele bewerten
3. ENTSCHEID → Benutzer wählt zu extrahierende Paper aus
4. LERNEN    → Mit Kontext extrahieren für fokussierte Wissenseinheiten

Schritt 0: Dynamischen Kontext erstellen (ERFORDERLICH)

Vor der Suche MUSS der Agent /tmp/arxiv_context.md mit folgendem Inhalt erstellen:

# Forschungskontext: [Dein spezifisches Ziel]

## Was wir bauen
[Beschreibe das spezifische Feature/System, z.B. „Theory of Mind für den Horus-Agenten"]

## Aktueller Stand
[Was bereits existiert, was implementiert ist, was wir haben]

## Was wir von den Papern brauchen
1. [Spezifische Frage 1, z.B. „Wie stellt man Überzeugungskonfidenz als Datenstruktur dar?"]
2. [Spezifische Frage 2, z.B. „Wann wird kontrafaktische Reflexion ausgelöst?"]
3. [Spezifische Frage 3, z.B. „Algorithmus zum Aktualisieren von Überzeugungen bei Widersprüchen"]

## Suchbegriffe zum Ausprobieren
- [Begriff 1]
- [Begriff 2]

## Relevanzkriterien für die Abstract-Auswahl
- HOCH: Paper, die sich direkt mit [spezifischem Bedarf] befassen
- MITTEL: Paper mit verwandten Techniken, die angepasst werden könnten
- NIEDRIG: Nur am Rande verwandt, überspringen, wenn nichts Besseres verfügbar

## Fokus der Wissensextraktion
- Extrahieren: [welche Art von Wissen, z.B. „Algorithmen, Datenstrukturen, Aktualisierungsregeln"]
- Überspringen: [was ignoriert werden soll, z.B. „Evaluationsmetriken, Datensatzbeschreibungen, zukünftige Arbeit"]

## Präferenz für das Ausgabeformat
Formuliere als Implementierungsprobleme, nicht als Zusammenfassungen:
- SCHLECHT: „Was sagt das Paper über X?"
- GUT: „Wie sollten wir X implementieren? Welches Code-Muster?"

Schritt 1: Mit Kontext suchen

Nachdem der Kontext erstellt wurde, verwende ihn, um die Suche zu leiten:

# Suche, geleitet von Kontextzielen
./run.sh search -q "theory of mind BDI agent belief tracking" -n 10

Schritt 2: Gegen Kontext auswählen

Bewerte jedes Abstract anhand der Relevanzkriterien des Kontexts:

## Gefundene Paper – Bewertung anhand der Kontextziele

### 1. **Papiertitel** (arXiv:XXXX.XXXXX)
> [Abstract]

**Gegen Kontext:**
- Behandelt Ziel 1 (Überzeugungsrepräsentation): JA – beschreibt BDI-Dict-Struktur
- Behandelt Ziel 2 (kontrafaktische Reflexion): NEIN
- **Urteil: HOCH** – beantwortet direkt unsere Frage zur Datenstruktur

### 2. **Papiertitel** (arXiv:XXXX.XXXXX)
> [Abstract]

**Gegen Kontext:**
- Behandelt Ziel 1: NEIN
- Behandelt Ziel 2: JA – beschreibt Reflexionsauslösebedingungen
- **Urteil: HOCH** – beantwortet direkt unsere Algorithmusfrage

---
Welche Paper soll ich extrahieren?

Schritt 3: Mit Kontextdatei extrahieren

Übergib die Kontextdatei an learn für fokussierte Extraktion:

./run.sh learn 2501.15355 --scope persona-research --context-file /tmp/arxiv_context.md

Fahre NICHT ohne Benutzerbestätigung der Papierauswahl fort.


search – Paper finden

./run.sh search -q "agent memory" -n 5

Gibt Paper mit vollständigen Abstracts zur schnellen Auswahl zurück.

OptionBeschreibung
-qSuchabfrage (erforderlich)
-nMaximale Ergebnisse (Standard: 10)
-cKategorie-Filter (z.B. cs.LG)
-mPaper aus den letzten N Monaten
--smartLLM übersetzt die natürlichsprachliche Abfrage

learn – Wissen extrahieren

./run.sh learn 2601.08058 --scope memory

Vollständige Pipeline: herunterladen → profilieren → extrahieren → Q&A → interviewen → speichern → Kanten verifizieren.

OptionBeschreibung
--scopeGedächtnisbereich (erforderlich)
--contextDomänenfokus für Relevanz
--dry-runVorschau ohne Speichern
--skip-interviewEmpfehlungen automatisch akzeptieren
--accuratePDF- + VLM-Extraktion erzwingen
--modeInterview-Modus: auto, html, tui (Standard: auto)

Extraktionsmodus (HTML-zuerst)

NEU: Der learn-Befehl verwendet jetzt standardmäßig die HTML-zuerst-Extraktion:

  1. Lädt HTML von ar5iv.org herunter (arXiv-Paper, in sauberes HTML konvertiert)
  2. Führt eine schnelle Profilprüfung durch (zählt Abbildungen/Tabellen)
  3. Leitet an den geeigneten Extraktionsmodus weiter
arxiv learn <id>
       │
       ├── schneller Modus (Standard) ──► ar5iv HTML ──► Extractor HTML
       │   - Die meisten Forschungspaper       (100% Extraktionsparität)
       │   - Textlastige Inhalte              (keine PDF-Spaltenprobleme)
       │
       └── genauer Modus ──► arxiv PDF ──► Extractor PDF + VLM
           - Paper, bei denen Abbildungen entscheidend sind
           - Komplexe Tabellen mit präzisen Werten
           - Verwendung: --accurate-Flag

Warum HTML-zuerst?

AspektHTML (ar5iv)PDF
Extraktionsqualität100% Parität~87% (Probleme mit Spaltenerkennung)
GeschwindigkeitSchnell (~5s)Langsamer (~30s-2min)
BildunterschriftenEnthaltenErfordert VLM
Mathematische DarstellungMathML erhaltenText-Näherung
Layout-ProblemeKeineProbleme mit 2-Spalten-Erkennung

ar5iv.org konvertiert arXiv-LaTeX-Quellcode in semantisches HTML mit MathML-Gleichungen und korrekter Struktur. Dies eliminiert PDF-Extraktionsprobleme.

Wann --accurate verwenden

InhaltstypEmpfohlener ModusWarum
Die meisten ForschungspaperStandard (HTML)Text + Bildunterschriften sind ausreichend
ÜbersichtsarbeitenStandard (HTML)Breite Abdeckung, genaue Abbildungen nicht kritisch
Paper mit kritischen Diagrammen--accurateWenn der visuelle Inhalt entscheidend ist
Paper mit komplexen Datentabellen--accurateWenn präzise Zahlen wichtig sind
# Standard: HTML-Extraktion (schnell, zuverlässig)
./run.sh learn 2601.10025 --scope persona-research

# Genauen Modus für figurenreiche Paper erzwingen
./run.sh learn 2501.15355 --scope tom-research --accurate

Profilbasierte Weiterleitung

Die Fähigkeit profiliert automatisch heruntergeladenes HTML, um den Extraktionsmodus vorzuschlagen:

  • < 20 Abbildungen UND < 10 Tabellen: Verwendet HTML (schneller Modus)
  • > 20 Abbildungen ODER > 10 Tabellen: Schlägt genauen Modus vor (oder --accurate verwenden)

Die Profilausgabe wird in Protokollen angezeigt:

Profil: 12 Abbildungen, 4 Tabellen → Verwendet HTML-Extraktion (schneller Modus)

Happy Path

# 1. Suchen – Abstracts erhalten
./run.sh search -q "agent memory systems" -n 5

# 2. STOP – Abstracts mit Benutzer besprechen, Relevanz bewerten

# 3. Lernen – Vom Benutzer ausgewählte Paper extrahieren (HTML-Extraktion standardmäßig)
./run.sh learn 2601.10702 --scope memory --context "agent systems"

Beispiele

Forschungsübersicht (HTML-Extraktion – Standard)

./run.sh learn 2601.10025 --scope persona-research --context "LLM personality"

Paper mit kritischen Abbildungen (genauer Modus)

./run.sh learn 2501.15355 --scope tom-research --context "BDI architecture" --accurate

Trockenlauf zuerst

# Vorschau, was extrahiert würde
./run.sh learn 2601.10025 --scope test --dry-run

Nur HTML herunterladen

# Lade ar5iv-HTML zur manuellen Inspektion herunter (Standard; Titel-basierter Dateiname)
./run.sh download -i 2501.15355

# Lade PDF nur bei Bedarf herunter
./run.sh download -i 2501.15355 --format pdf

Batch-Verarbeitung (Parallel)

# Mehrere Paper parallel verarbeiten (Standard: 2 gleichzeitig)
./run.sh batch 2501.15355 2502.14171 2310.10701 --scope tom-research --context-file /tmp/context.md

# Parallelität für schnellere Verarbeitung erhöhen
./run.sh batch 2501.15355 2502.14171 2310.10701 --scope research --parallel 3

# Trockenlauf zur Vorschau
./run.sh batch 2501.15355 2502.14171 --scope test --dry-run
OptionBeschreibung
--parallel NMaximale Anzahl gleichzeitig zu verarbeitender Paper (Standard: 2)
--context-fileUmfangreiche Kontextdatei für fokussierte Extraktion
--skip-interviewAutomatisch akzeptieren (Standard für Batch)
--dry-runVorschau ohne Speichern

Hinweis: Empfohlene Parallelität beträgt 2-3 Paper. Höhere Werte können API-Ratenlimits erreichen.


Häufige Fehler

FALSCH: Suchen, ohne vorher Kontext zu erstellen

./run.sh search -q "agent memory" -n 10

RICHTIG: Zuerst /tmp/arxiv_context.md erstellen, DANN suchen

# 1. Kontextdatei mit spezifischen Zielen und Relevanzkriterien schreiben
# 2. Dann durch Kontext geleitete Suche
./run.sh search -q "agent memory BDI belief tracking" -n 10

FALSCH: Paper ohne Benutzerbestätigung extrahieren

# Agent extrahiert automatisch alle 10 Suchergebnisse
./run.sh learn 2501.15355 --scope research
./run.sh learn 2502.14171 --scope research

RICHTIG: Abstracts präsentieren, Benutzer auswählen lassen, dann extrahieren

./run.sh search -q "agent memory" -n 10
# STOP – Abstracts mit Benutzer besprechen, Relevanz bewerten
# Benutzer wählt Paper 2 und 5 aus
./run.sh learn 2501.15355 --scope research --context-file /tmp/arxiv_context.md

FALSCH: --accurate für textlastige Paper verwenden

./run.sh learn 2601.10025 --scope research --accurate  # verschwendet Zeit mit PDF-Extraktion

RICHTIG: Standard-HTML-Modus für die meisten Paper, --accurate nur für figurenreiche

./run.sh learn 2601.10025 --scope research  # HTML ist schneller und zuverlässiger

Abhängigkeiten

KomponenteURLZweck
ar5iv.orghttps://ar5iv.orgLaTeX-zu-HTML-Konvertierung für arXiv-Paper
extractor-Fähigkeit(Geschwisterfähigkeit)HTML/PDF-Inhaltsextraktion
qra-Fähigkeit(Geschwisterfähigkeit)Q&A-Paar-Generierung aus Text

QRA-Training-Fehlerbehebungshinweis (2026-09-14)

Beobachtet während der qra-training-Forschung: download --format html schlug fehl, als die arXiv-Metadaten-API 429 zurückgab oder vor dem HTML/PDF-Download-Schritt eine Zeitüberschreitung auftrat. Die CLI behandelt die Metadatensuche nun als optional für direkte Paper-IDs. Falls die Metadaten fehlschlagen, erstellt sie direkte Fallback-URLs und versucht der Reihe nach:

  1. https://arxiv.org/html/<id-mit-version>
  2. https://arxiv.org/html/<basis-id>
  3. https://ar5iv.org/abs/<basis-id>
  4. https://ar5iv.labs.arxiv.org/html/<basis-id>

Ein Metadatenfehler sollte in warnings[] erscheinen, nicht in errors[], wenn eine dieser Inhalts-URLs erfolgreich ist.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

grahama1970/acceptance-contract

Turn a client brief, zip bundle, directory, or single requirements file into a typed acceptance-contract bundle with extracted requirements, acceptance checks, open questions, an immutable-goal draft, and a create-report-backed decision report. Use when users say acceptance contract, brief to requirements, freeze the goal, create immutable goal, amend immutable goal, build a Battle requirements bundle, or extract requirements from this bundle.

grahama1970/agent-ecosystem

Canonical map and shared contracts for the agent-governance ecosystem: the pi.receipt_envelope.v1 boundary envelope, the component graph, and the rules for which component owns which schema. Use when wiring a skill or extension into the shared receipt world, when asking how shame, triage-error, tau, ask, project-watchdog, ops-herdr, ponytail, and Memory fit together, or when validating an envelope.

grahama1970/agentic-evals

Agentic evaluation of skills using multi-trial fixtures, deterministic command assertions, trajectory checks, safety constraints, and evidence-backed readiness scoring. Use when users ask for agentic evals, multi-trial skill evaluation, skill trajectory validation, or readiness scoring for a skill workflow.

grahama1970/agent-inbox

File-based inter-agent messaging with headless dispatch. Check inbox, send bugs/requests to other projects, automatically spawn headless agents to fix bugs, and track progress via task-monitor.

grahama1970/agents-registry

Generate and query the centralized agent identity registry. Scans .pi/agents/*/AGENTS.md, parses frontmatter, outputs agents-registry.json and optionally syncs to /memory for semantic search.

grahama1970/agent-status

Artifact-driven status surfaces for long-running project-agent work. Maintains status.json, events.jsonl, proof manifests, and a stale-aware STATUS.html so humans can tell where the agent is, what passed, what is still unproven, and what decision or action is next — without dashboard theater.

grahama1970/align

Round-based context alignment before execution. Use when the human, project agent, WebGPT, scillm, ask, dogpile, memory, or project-knowledge may each hold different facts about a task; especially before ambiguous design, infographic, product workflow, high-stakes implementation, plan-iterate, project-infographic, or multi-review work.

grahama1970/analytics

Flexible data science analytics for any dataset. Auto-discovers schema, recommends charts, exports to create-figure. Works with JSONL, JSON, CSV from any source.

grahama1970/analyze-chatterbox-emotions

Evaluate generated Chatterbox voice files as voice-quality artifacts: affect match, arousal/valence proxies, pause placement, intelligibility inputs, clipping, loudness, and discontinuity flags. Use when reviewing Chatterbox emotional tags, pauses, Turbo/base affect delivery, Persona Dream utterance renders, or whether generated speech matches an intended product-facing affect.

grahama1970/analyze-elf

Reverse-engineer features from ELF binaries. Extracts CLI commands, state machines, protocols, Zod schemas, and data models. Automatically generates a /create-walkthrough prosecution brief with Mermaid diagrams. Uses /treesitter for AST analysis of bundled JS/TS source.

grahama1970/animation-vocabulary

Reverse-lookup glossary that turns a vague description of a web animation or motion effect into its exact term ("the bouncy thing when a popover opens" → Pop in; "the iOS rubber-band scroll" → Rubber-banding). Use when the user asks "what's it called when…", or describes a motion effect without knowing its name and wants the right word to prompt an AI or designer with. For naming an effect, not designing or building one.

grahama1970/anonymize-data

Anonymize supported CSV, JSON, UTF-8 text, and SQLite files using an explicit policy through the oai-trial project. Use for anonymize data, pseudonymize exports, redact policy literals, or discover and explicitly approve fuzzy name aliases. The skill is a thin CLI/Docker interface, not another engine.

grahama1970/anvil

Heavy-duty "No-Vibes" debugging and hardening orchestrator. Use this for complex, stubborn bugs where `review-code` has failed, or for "Red Teaming" (hardening) a codebase. Runs multiple agents in parallel (Thunderdome) using git worktree isolation.

grahama1970/apple-design

Apple's approach to interface design and fluid, physical motion, translated for the web. Use when building or reviewing gesture-driven UI, spring animations, drag/swipe/sheet interactions, momentum and interruptible transitions, translucent materials and depth, typography (optical sizing, tracking, leading), reduced-motion, or the design foundations (feedback, spatial consistency, restraint) behind Apple-style interfaces.

grahama1970/argue

Multi-persona structured debate orchestrator. Personas research via /dogpile, consult colleagues via /ask, and argue toward nuanced synthesis on complex questions.

grahama1970/ask

Use when the user asks to query project memory, ask an oracle, use supported browser-backed reviewers, run Tau roundtable/single-handler workflows, ask Pi-native subagents from within Pi, run persona/deep-review workflows, generate image prompts, check OS/project health through composed skills, or run an ask DAG. This skill is the executable /ask runtime; do not replace it with an informal subagent, plain web search, or hand-written review; inside Pi, explicit Pi-native subagent targets are routed through the pi-subagents tool as an Ask target type.

grahama1970/assess

Step back and critically reassess project state. Use when asked to "assess", "step back", "fresh eyes", "check alignment", "sanity check", "health check", "prune documentation", or "evaluate what's working". Offers documentation pruning and doc-code alignment analysis. Offer to run after major changes (don't auto-run).

grahama1970/assistant

Shared GPT + classifier inference gateway for persona monitor tasks. Routes validation and classification through a 4-tier cascade: heuristic → classifier → local GPT → scillm.

grahama1970/assistant-lab

Self-improvement workbench for /assistant. All the tools needed to diagnose, train, evaluate, and promote models in a continuous loop. The "warm pond" where /assistant evolves its own inference stack.

grahama1970/batch-quality

Pre-flight validation and quality gates for batch LLM operations. ACTUALLY tests samples through LLM before burning tokens. Uses SPARTA contracts for DuckDB validation queries. Integrates with task-monitor for enforced quality gates.

Verwandte Skills