paper-radar – KI-Papier-Radar der großen Tech-Unternehmen

Was macht paper-radar – KI-Papier-Radar der großen Tech-Unternehmen?

Zustandslos: Ein Lauf = ein Fenster = ein Bericht. Es wird keine Papierbibliothek geführt. arXiv ist die einzige Quelle der Wahrheit, und die erneute Ausführung desselben Fensters liefert zwangsläufig dasselbe Ergebnis – es gibt also keinen Grund, eine zweite Kopie aufzubewahren. Eine zu behalten fügt nur Zustand hinzu, der stillschweigend abweicht und außerhalb der Versionskontrolle lebt. Der Preis ist das erneute Scrapen des gesamten Fensters bei jedem Lauf (~1 Minute für 3 Tage, ~3 Minuten für 14 Tage); was Sie dafür bekommen, ist Reproduzierbarkeit.

Lesen Sie dies zuerst, sonst ziehen Sie falsche Schlüsse

arXiv ist die einzige Quelle, die nach dem Veröffentlichungsdatum organisiert ist. Die Publikationsseite jedes Anbieters ist nach Veröffentlichungsjahr / Ort organisiert, was strukturell nicht beantworten kann, „was in den letzten zwei Wochen erschienen ist“ – ein Unterschied im Datenmodell, kein technischer. Gemessen:

• Google Research: Detailseiten tragen nur ein Jahr, und die Auflistung ist nicht chronologisch; 85 Titel auf den ersten 8 Seiten ergaben 0 innerhalb eines Zwei-Wochen-Fensters, und der aktuellste Eintrag hatte ein arXiv-Postingdatum von vor drei Monaten
• Amazon Science: Gruppiert nach Jahr, kein Datum pro Paper
• Microsoft: /research/feed/ ist ein redaktionell kuratierter Blog – ~8 % Abdeckung des gleichen Fensters
• 13 chinesische Unternehmensseiten: 0 Datumstreffer auf allen – das sind Labor-Landingpages, keine Papierlisten

Die andere Tatsache, die Sie brauchen: arXiv-Metadaten enthalten keine Autorenzugehörigkeit. Die Füllrate von <arxiv:affiliation> beträgt 1 %, Semantic Scholar 7 %, und OpenAlex gibt 0 raw_affiliation_strings für Preprints zurück (gemessen: 3/3 leer, während derselbe Endpunkt 34/34 für veröffentlichte Nature-Artikel zurückgibt). Die branchenübliche Pipeline ist „Verleger hinterlegt eine Zugehörigkeitszeichenfolge → ML bildet sie auf ROR ab“, und arXiv hinterlegt diese Zeichenfolge nie. Die Zugehörigkeit muss daher aus dem Autorenblock des Papiers selbst extrahiert werden.

Ausführung

Die Skripte befinden sich in diesem Skill-Verzeichnis und hängen von nichts außerhalb davon ab – reine Stdlib, keine Pip-Pakete.

R=<skill-dir>/scripts/paper_radar.py

python3 $R                 # letzte 3 Tage
python3 $R --days 14       # letzte 14 Tage
python3 $R --from 2026-07-20 --to 2026-08-04
python3 $R --cats cs.AI,cs.CL,cs.LG,cs.CV   # Kategorien erweitern
python3 $R --no-scrape     # nur offizielle Quellen + Teamnamen (Sekunden – schnelle Firmenprüfung)
python3 $R -o pfad.md      # Bericht hier schreiben
python3 $R -o -            # Bericht in die Standardausgabe schreiben

Zeit: Für ein Zwei-Wochen-Fenster (~3000 Papers) dauern Metadaten ~2 min und das Abrufen der Autorenblöcke bei 6 Workern ~25 s. Ein 3-Tage-Fenster ist innerhalb einer Minute abgeschlossen. Um einen längeren Zeitraum abzudecken, erweitern Sie das Fenster und führen Sie es erneut aus – es gibt keine Bibliothek, die abgefragt werden kann.

Wohin der Bericht geht – Sie entscheiden, das Skript rät nicht

Das Skript weiß nicht und sollte nicht wissen, wo das aufrufende Projekt seine Forschung aufbewahrt. Ohne -o schreibt es in das aktuelle Arbeitsverzeichnis.

Entscheiden Sie vor jedem Lauf über das Ziel:

• Der Benutzer hat einen Pfad genannt → diesen verwenden
• Dies ist eine erhaltenswerte Forschung → in das Forschungsverzeichnis des Projekts schreiben, mit dem Fenster im Dateinamen
• Sie prüfen nur eine Tatsache („Hat Xiaomi zu selbstentwickelnder KI publiziert?“) → -o - verwenden und keine Datei hinterlassen. Eine beiläufige Frage, die eine Datei hinterlässt, wird sich später als Forschungsaufzeichnung tarnen

Dateien

Pfad (relativ zu diesem Skill)	Rolle
scripts/paper_radar.py	Pipeline: Auflistung abrufen → Autorenblöcke abrufen → Zugehörigkeit auflösen → Bericht schreiben
scripts/affiliation.py	Auflösungsebene: Superskript-Mapping + dreistufiger Abgleich
scripts/data/ror_anchors.json	28 Labore mit ROR-IDs + 98 offizielle Namensvarianten (einschließlich Chinesisch)

Die einzige Ausgabe ist eine Markdown-Datei (Pfad siehe oben) mit einer Aufschlüsselung „Gesamttreffer / davon Lead". Das Skill-Verzeichnis selbst erzeugt keine Dateien.

Sechs Schritte

0 Auflistung      arXiv API: cat × submittedDate → Deduplizierung nach ID
1 Volltext        arxiv.org/html/{id} + Range erste 90KB, Ausschneiden ltx_authors → ltx_abstract      [85%]
2 Struktur        Rechts-nach-links scannen nach der letzten Position, die eine aufsteigende 1,2,3…-Reihe beginnt
                   extrahieren (Autor, Markierungen[]) · (Markierung, Zugehörigkeit) · E-Mails · Rollenmarker
3 Entität         (a) E-Mail-Domain  (b) ROR-Namensvarianten  (c) Labor-Alias-Tabelle
4 Bewertung       lead_orgs = Zugehörigkeiten des Erstautors (können mehrere sein); intern = Marker vorhanden
5 Ergänzungen     Apple RSS · MSR eingebettetes JSON · arXiv-Teamnamen
6 Bericht         Deduplizierung nach Key (ein Paper kann sowohl aus dem Autorenblock als auch aus einer offiziellen
                   Quelle kommen), Markdown schreiben, Nachweise + matched_on aufbewahren

Fünf Disziplinen, jede mit Bugs bezahlt

1. Der Autorenblock muss strikt bei ltx_abstract abgeschnitten werden. Ein Zeichen mehr und die Zusammenfassung läuft ein. Gemessene Konsequenzen: Oracle 73 Papers (alles „oracle access"), MiniMax 17 (der Minimax-Algorithmus), DeepSeek 58 (Papers, die das Modell lediglich erwähnen). Sauber geschnitten, beträgt die mediane Autorenblocklänge ~201 Zeichen.

2. Die Zugehörigkeitsliste muss rechts-nach-links gefunden werden. „Name + hochgestellte Ziffer" im Autorenlauf und „Ziffer + Zugehörigkeit" im Zugehörigkeitslauf haben identische Form, daher parst ein Links-nach-rechts-Scan Yuchen Zhao 1 Bingxuan Li als 1 → „Bingxuan Li".

3. Niemals auf „nur ein Unternehmen stimmte überein, also führt es" zurückfallen. Das sagt nur, dass die anderen Zugehörigkeiten keine von Ihnen verfolgten Unternehmen sind. Gemessene Fehlzuordnung: Filesystem-Based Memory wurde von UIUC geleitet, aber als Adobe-geleitet bewertet, weil Adobe die einzige Übereinstimmung war.

4. Ein Unternehmens-Byline ist kein Unternehmenspaper. Nur * im Bericht bedeutet Lead. Gemessen über ein Zwei-Wochen-Fenster: Google traf 10 Papers, aber führte nur 4; Google DeepMind 7 Treffer, 2 geführt; Adobe 5 Treffer, 0 geführt. Jede Behauptung von „N Big-Tech-Papers" muss sagen, welche Spalte gemeint ist.

5. Geben Sie die blinden Flecken vor den Zahlen an.

• 12 % der Einreichungen sind PDF-only und unsichtbar – die harte Grenze von Schritt 1
• Apple-Fehlrate ~78 % (seine Autoren lassen die Zugehörigkeit häufig weg) → korrigiert durch den offiziellen RSS-Feed. Diese Ergänzung ist erforderlich, nicht optional
• Wenn der Erstautor mehrere Zugehörigkeiten angibt, können diese nicht eingestuft werden; beide erhalten *
• intern ist ein Marker, kein Urteil – ob ein Paper eines Praktikanten „zählt", ist eine Definitionsfrage, die zur Entscheidung an den Aufrufer zurückgegeben wird

Drei Fehlerebenen – nicht verwechseln

Ebene	Problem	Was tun, wenn es fehlschlägt
1 Extraktion	Der Text kann überhaupt nicht abgerufen werden	Ergänzungsquellen; jeder Fehler heute liegt auf dieser Ebene
2 Struktur	Autor kann nicht auf Zugehörigkeit abgebildet werden	Auf einen Scan des gesamten Blocks degradieren, bei reduzierter Genauigkeit
3 Entität	Welches Unternehmen diese Zeichenfolge ist	unmatched behält den Rohtext für die Tabelle; ROR operiert nur hier

ROR ist eine Zeichenfolge-zu-ID-Nachschlagetabelle; Sie brauchen zuerst die Zeichenfolge. Gemessen an zwei Xiaomi-Papers: Eines hatte überhaupt kein HTML, der Autorenblock des anderen enthielt 8 Personennamen und kein einziges Wort der Zugehörigkeit. ROR kann keines der beiden retten – nur ergänzende Quellen können das.

Warum jede ergänzende Quelle bleibt

Quelle	Rolle	Nachweise
Apple RSS	Korrigiert einen systematischen Fehler, erforderlich	Zwei-Wochen-Fenster: 2 gescrapte vs. 9 offizielle – 78 % Fehl
arXiv-Teamnamen	Deckt ab, „der Firmenname sitzt im Autorenslot, nicht im Zugehörigkeitsslot"	Xiaomi MiMo Team / Kimi Team; 2 Papers hinzugefügt, keine Redundanz
MSR eingebettetes JSON	Quervergleichssonde	25 gescrapte vs. 7 offizielle – redundant, als Kontrolle innerhalb des Laufs behalten: Wenn eine offizielle Quelle ein Paper hat, das der Autorenblock übersehen hat, ist Schritt 1 defekt

Wenn ein Unternehmen Null anzeigt – in dieser Reihenfolge prüfen

1. Falsches Fenster – arXiv indexiert 1–2 Tage verspätet und kündigt an Wochenenden nicht an; zuerst erweitern
2. Falsche Kategorien – die Voreinstellung ist cs.AI/cs.CL/cs.LG; Robotik ist cs.RO, Vision cs.CV, Systeme cs.SE
3. Teamnamensuche – all:"Xiaomi" / "Hunyuan" / "Kimi Team" funktionieren; all:"MiniMax" ist unbrauchbar (5800+ Treffer durch den Minimax-Algorithmus) – au:"MiniMax" verwenden
4. Offizielle Kanäle – Apple RSS, Metas ai.meta.com/results/?content_types[0]=publication (beachten Sie: /research/publications/ gibt 400 für plain curl zurück), NVIDIA research.nvidia.com/publications
5. Erst wenn alle oben genannten leer sind, dürfen Sie sagen: „Dieses Unternehmen hat in diesem Fenster nichts veröffentlicht"

Fahrplan

• TeX-Quelle als Schritt 1, Stufe 2 hinzufügen – arxiv.org/e-print/{id} entpacken und \author{} lesen. Verifiziert: Papers ohne HTML haben oft TeX, mit intakten hochgestellten Zeichen. Günstigste erreichbare Abdeckungssteigerung
• Integrierte Gesundheitsprüfung pro Lauf – die Trefferquote von Schritt 1 für Autorenblöcke und die Anzahl der „offizielle Quelle hat es, aber der Autorenblock nicht" direkt in die Berichtskopfzeile aufnehmen. Schützt vor einem stillen Bruch, wenn arXiv sein Markup ändert (der Apple-Fehler von 78 % wurde zufällig entdeckt). Führen Sie keine historischen Trefferquoten für diesen Zweck wieder ein – die interne Quervergleichsprüfung innerhalb des Laufs reicht aus

Noch etwas

Die Paper-Anzahl ist das Angebot, nicht die Aufmerksamkeit. Gemessen: Von 231 Big-Tech-Papers in einem Zwei-Wochen-Fenster wurden 0 auf Hacker News diskutiert, während jedes HN-diskutierte Paper im selben Fenster aus der Wissenschaft oder von einem Startup stammte. Die Beurteilung der Aufmerksamkeit erfordert ein separates soziales Signal.