Bibliometria

Bibliometria: Fallstricke, die zu falschen Zahlen führen

Diese Skill lehrt keine Bibliometrie. Sie lehrt die häufigsten spezifischen Fehler, die alle dasselbe Merkmal teilen: eine Zahl, die richtig aussieht und falsch ist. Keiner dieser Fehler fällt beim Lesen auf; alle fallen beim Messen auf.

Die Regel, die alles Übrige ordnet:

Behaupte niemals Abwesenheit, ohne gemessen zu haben, ob etwas vorhanden ist. Null ist eine starke Aussage, sie bedeutet „ich habe an der richtigen Stelle, auf die richtige Weise gesucht, und es gibt nichts“. Fast immer bedeutet sie etwas anderes.

---

1. Null hat sechs Ursachen. Nur eine ist Abwesenheit.

Und sie teilen sich in zwei Gruppen, die nicht auf die gleiche Weise überprüfbar sind.

Vier lassen sich durch Abfragen beseitigen

Jede hat einen konkreten Test. Sie kosten einen Aufruf, und das Ergebnis ist objektiv.

Ursache	Test	Beispiel
falsche Datenbank	Wiederholung in einer Datenbank mit anderer Abdeckung (OpenAlex, Crossref, DOAJ)	„maçonaria“: 0 in PubMed, 1.529 in OpenAlex
falsches Feld	Wiederholung des Terms in einem anderen indexierten Feld: [Author], [Journal], topics.id	"amilton iatecola"[tw] = 0; "iatecola amilton"[Author] = 11
Abfrage fehlgeschlagen	Auslesen der Fehlerbehandlung: gibt es einen Pfad, der in einem except eine 0 zurückgibt?	429 von OpenAlex wird zu Null
Arithmetik	Prüfen, ob alle Faktoren der Schnittmenge > 0 sind	Schnittmenge 0, weil eine Front bereits 0 war

Autorenname: PubMed indiziert NACHNAME VORNAME; Personen schreiben VORNAME NACHNAME. Testen Sie beide Reihenfolgen, bevor Sie schlussfolgern, dass der Autor nichts veröffentlicht hat.

Zwei lassen sich nicht beseitigen, sondern nur deklarieren

Es gibt keinen universellen Test für sie, und so zu tun, als gäbe es einen, ist schlimmer, als es zuzugeben.

• falsche Sprache: Der Beweis würde erfordern, in allen Sprachen zu suchen. Was deklariert wird: in welcher Sprache die Suche durchgeführt wurde und ob die kontrollierte Vokabelliste der Datenbank eine andere ist. (MeSH ist auf Englisch; ein portugiesischer Begriff fällt auf Volltext und verliert die indizierten Synonyme.)
• unvollständige Strategie: Der Beweis der Vollständigkeit würde die Kenntnis der vollständigen Strategie erfordern, die gerade das Unbekannte ist. Was deklariert wird: welche Strategie verwendet wurde, vollständig ausgeschrieben, damit ein anderer sie widerlegen kann.

Die Konsequenz betrifft die Stärke des erlaubten Satzes

Wenn die ersten vier beseitigt und die letzten beiden deklariert wurden, kann man schreiben:

„Es gibt keinen Eintrag in dieser Datenbank, mit dieser Strategie, in diesem Ausschnitt.“

Niemals:

„Es gibt keine Literatur zu diesem Thema.“

Der erste Satz ist haltbar und widerlegbar; jemand kann die Strategie ändern und das Gegenteil zeigen, so wie es sein soll. Der zweite Satz ist unhaltbar, weil er über alles aussagt, was nicht abgefragt wurde.

Hinweis zu OpenAlex

OpenAlex berechnet pro Anfrage (US$ 0,001) mit einem täglichen Budget, das um Mitternacht UTC auf Null gesetzt wird. Ist es erschöpft, gibt es 429 mit Insufficient budget (...) Resets at midnight UTC und einem Retry-After von Stunden. 429 hat dort also zwei Ursachen, die gegensätzliche Antworten erfordern: zu schnell (warten löst das Problem) und Tageskontingent erschöpft (löst das Problem nicht). Lesen Sie den Body, bevor Sie reagieren; eine intensive Sitzung verbraucht das Kontingent.

2. Oberflächliches Matching trifft die Mehrheit und verfehlt genug

Jedes String-Matching benötigt eine komplette Enthaltung, niemals ein gemeinsames Wort. Reale Fälle:

• MeSH gab Hypoglycemia, Neonatal, Simulating Foetopathia Diabetica für „diabetische Retinopathie“ zurück, legitimer Deskriptor, falsche Krankheit, gematcht durch „diabetic“.
• Wikipedia gab Escala de Equilíbrio de Berg als Übersetzung von „teleconsulta“ zurück, weil dieser Artikel Teleconsulta erwähnt. Die Front wurde zu "teleconsulta" OR "Berg Balance Scale": 2.456 Einträge einer Gleichgewichtsskala in einer Suche nach Fernberatung.
• Ein Artikel gelangte in eine Suche nach Stimme, weil er SHIMMER im Titel hatte, Akronym für einen Aktenindex, nicht der akustische Parameter.

Regel: Relevanz-Suche ≠ Konzeptidentität. Das erste Ergebnis einer unscharfen Suche ist keine Übersetzung, kein Synonym und nicht dieselbe Entität.

3. Zusammenführung von Varianten: Der Fehler ist das Zusammenführen, nicht das Getrenntlassen

Der Vorschlag, aufgrund von Ähnlichkeit zusammenzuführen, erzeugte in einem Test elf Vorschläge, fast alle falsch:

• Type 1 diabetes → Type 2 diabetes (unterschiedliche Krankheiten; die Ziffer war der gesamte Unterschied, und der Filter verwarf Token mit ≤2 Zeichen)
• Diabetes mellitus → Type 2 Diabetes Mellitus (Gattung wird zur Art)
• University of Baltimore → University of Maryland, Baltimore (zwei Einrichtungen)

Regeln: Eine Ziffer ist niemals ein kurzer Token; enthalten gilt für Autor und Institution, niemals für Konzepte (wo Substring Hierarchie ist); fordern Sie Gleichheit der unterscheidenden Wörter, keine Teilmenge. Ein Fehler nach unten kostet einen Klick; ein Fehler nach oben setzt eine falsche Zusammenführung mit dem Anschein von Korrektheit in die Karte. Die endgültige Entscheidung liegt immer beim Menschen.

4. Überprüfen Sie die Summe auf zwei Arten

Der Ingestor kürzte die Kennung auf 24 Zeichen, um einen Schlüssel zu erzeugen. DOIs desselben Verlags teilen sich ein Präfix, kollidierten, einer überschrieb den anderen, und die Ausgabe sagte „54 neue“, während das Korpus 49 umfasste. Fünf Artikel verschwanden lautlos.

Der Fehler bleibt unbemerkt, wenn nichts überprüft wird. Immer: vorher + neu == nachher und neu + bereits_vorhanden == gelesen. Wenn es nicht aufgeht, sagen Sie, dass es nicht aufgeht.

5. Skript-Obergrenze ≠ Feldgröße

In einem Skript für eine gezielte Suche mit per_page=25 + rows=20. Keine der 13 Abfragen überschritt 45 im Bericht, weil 45 die Obergrenze war. Die tatsächliche Abdeckung variiert um drei Größenordnungen: 0,2 % bei data literacy teacher education, 83 % bei DigCompEdu validation.

Das entwertet nicht die gezielte Suche, sie dient dazu, Schlüsselwerke zu finden. Aber die Zahl stützt keine Aussage über Größe oder Abdeckung. Wenn es einen Schnitt gibt, sagen Sie, wie viel außen vor blieb.

6. Deklarierter Umfang, immer

Metriken des „gesamten Korpus“ und der „Eingeschlossenen“ sind nicht vergleichbar. Ein Thema mit 53 gesammelten und 0 gescreenten antwortete „kein Eintrag mit DOI“, zahlenmäßig korrekt, im Sinne irreführend. Geben Sie den Umfang bei jeder Ausgabe an.

7. Volltext und Supplement: Der Weg hängt vom Artikeltyp ab

Bei der Suche nach den Oligosequenzen von Benke et al. (2025): Claude Science versuchte den OA-Dienst des PMC und das FTP, erhielt 404 auf allen drei Pfaden und hing fest. Das Supplement existierte; der Weg war falsch. 404 bedeutet hier falscher Weg, nicht Abwesenheit (es ist der „Abfrage fehlgeschlagen“-Fall aus Abschnitt 1).

Reihenfolge, die funktioniert:

1. PMCID: elink.fcgi?dbfrom=pubmed&db=pmc&id=<PMID>. Ohne PMCID gibt es keinen offenen Volltext im PMC; gehen Sie zum DOI und prüfen Sie, ob der Verlag offenen Zugang anbietet.
2. Volltext: efetch.fcgi?db=pmc&id=<PMCID-Nummer>&retmode=xml. Funktioniert für Open-Access-Artikel und für NIH-Autorenmanuskripte. Daraus stammen Methoden, Tabellen und Zahlen.
3. Liste der Supplemente: Im selben XML liefern die Tags <supplementary-material> mit xlink:href den Namen jeder Datei. Bevor Sie herunterladen, wissen Sie, was Sie suchen.
4. Artikeltyp: Wenn das XML <article-id pub-id-type="manuscript-id">NIHMS... enthält, handelt es sich um ein Autorenmanuskript, und der Weg aus Schritt 5 gilt nicht für das Supplement.
5. Supplement eines Open-Access-Verlagsartikels: Europe PMC, https://www.ebi.ac.uk/europepmc/webservices/rest/<PMCID>/supplementaryFiles, gibt ein Zip zurück (PMC12904924: Zip mit 4,5 MB).
6. Supplement eines NIHMS-Manuskripts: Europe PMC gibt eine leere Antwort zurück (297 Byte, PMC11700762), der OA-Dienst des PMC (/utils/oa/oa.fcgi) und das FTP geben 404, und der Link pmc.ncbi.nlm.nih.gov/articles/instance/<id>/bin/<datei> öffnet eine Seite „Preparing to download...“, die einen Browser erfordert. Das ist eine Roboterbarriere: nicht umgehen. Brechen Sie ab, sagen Sie, welche Datei benötigt wird, und bitten Sie den Benutzer, sie im Browser herunterzuladen und im Paketordner mit dem von Ihnen angegebenen Namen zu speichern.
7. Bevor Sie den Benutzer bitten, versuchen Sie es beim Verlag. Ein NIHMS-Manuskript hat auch eine Version beim Verlag. Bei Elsevier liefert Crossref die PII (alternative-id), und das Supplement befindet sich normalerweise im öffentlichen CDN https://ars.els-cdn.com/content/image/1-s2.0-<PII>-mmc1.pdf (ändern Sie die Erweiterung, falls 404 kommt). Benke 2025 (PII S0956566324010595) kam so am 13.10.2026: 200, PDF mit 1,5 MB, keine Barriere.

Was Sie niemals tun sollten: Sequenz, Katalognummer, Volumen oder Temperatur aus dem Gedächtnis rekonstruieren, weil das Supplement nicht geöffnet hat. Was nicht aus der Datei stammt, bleibt „zu definieren“, mit dem Namen der fehlenden Datei.

Bevor Sie auf Pfaden kreisen: Wenn zwei verschiedene Pfade 404 für dieselbe Datei zurückgegeben haben, stoppen Sie und überprüfen Sie den Artikeltyp (Schritt 4), anstatt den dritten Pfad zu versuchen.

---

Grenzen, die nicht umgangen werden können

• Portaria CAPES 275/2023, Art. 50 verbietet einen Roboter oder intelligenten Agenten, vertraglich geschützte Inhalte abzurufen oder herunterzuladen, und das Verbot erstreckt sich auf den autorisierten Benutzer. Scopus, Web of Science, Portal CAPES, Google Scholar: Erstellen Sie die Abfrage, öffnen Sie die Datenbank daneben, empfangen Sie den Export. Automatisieren Sie niemals die Schnittstelle.
• Niemals in zotero.sqlite schreiben. Nur Lesen mit mode=ro&immutable=1.
• Niemals eine Screening-Entscheidung überschreiben. Metadaten können neu erstellt werden; menschliches Urteil nicht.
• Niemals einen Identifikator zitieren, ohne ihn in der API zu überprüfen. Ein gefälschter DOI ist beim Lesen nicht von einem echten zu unterscheiden.

Vor der Auslieferung

1. Wurde jede Null durch eine der sechs Ursachen erklärt?
2. Geht jede Summe auf zwei Arten auf?
3. Sagt jeder Schnitt, wie viel außen vor blieb?
4. Ist jeder Umfang deklariert?
5. Wurde jede Zusammenführung von Varianten von einem Menschen entschieden?