Bibliometria: 잘못된 숫자를 만드는 함정
이 스킬은 계량서지학을 가르치지 않습니다. 가장 흔한 특정 오류를 가르칩니다. 이 오류들은 모두 동일한 특징을 갖습니다: 숫자는 맞아 보이지만 실제로는 틀린 경우입니다. 이러한 오류는 읽기에서는 나타나지 않으며, 측정 과정에서만 나타납니다.
다음은 나머지를 정리하는 규칙입니다:
존재를 측정하지 않고 부재를 주장하지 마십시오. 0은 강력한 주장입니다. '올바른 장소에서 올바른 방법으로 찾았지만 존재하지 않는다'는 의미입니다. 그러나 거의 항상 다른 의미를 갖습니다.
1. 0에는 여섯 가지 원인이 있습니다. 오직 하나만이 실제 부재입니다.
그리고 이 원인들은 동일한 방식으로 검증되지 않는 두 그룹으로 나뉩니다.
네 가지는 조회를 통해 제거할 수 있습니다.
각각 구체적인 테스트가 있습니다. 한 번의 호출 비용이 들며, 결과는 객관적입니다.
| 원인 | 테스트 | 예시 |
|---|---|---|
| 잘못된 데이터베이스 | 다른 범위의 데이터베이스(OpenAlex, Crossref, DOAJ)에서 반복 | '프리메이슨': PubMed에서 0건, OpenAlex에서 1,529건 |
| 잘못된 필드 | 다른 인덱스 필드에서 용어 반복: [Author], [Journal], topics.id | "amilton iatecola"[tw] = 0; "iatecola amilton"[Author] = 11 |
| 쿼리 실패 | 오류 처리 확인: except 블록에서 0을 반환하는 경로가 있는가? | OpenAlex의 429 오류가 0으로 변환 |
| 산술 오류 | 교집합의 모든 요소가 > 0인지 확인 | 한 쪽이 이미 0이어서 교집합이 0 |
저자 이름: PubMed는 성 이름 순서로 인덱싱합니다. 사람들은 이름 성 순서로 작성합니다. 저자가 논문을 게재하지 않았다고 결론 내리기 전에 두 순서를 모두 테스트하십시오.
두 가지는 제거할 수 없으며, 선언해야 합니다.
이에 대한 보편적인 테스트는 없으며, 있는 척하는 것은 인정하는 것보다 더 나쁩니다.
- 잘못된 언어: 증명하려면 모든 언어로 검색해야 합니다. 선언할 내용: 검색이 실행된 언어와 데이터베이스의 통제 어휘가 다른 언어인지 여부. (MeSH는 영어입니다. 포르투갈어 용어는 일반 텍스트로 강등되어 인덱싱된 동의어를 잃습니다.)
- 불완전한 전략: 완전성을 증명하려면 완전한 전략을 알아야 하는데, 그것이 바로 미지의 것입니다. 선언할 내용: 어떤 전략이 사용되었는지, 전문을 공개하여 다른 사람이 반박할 수 있도록 합니다.
결과는 허용되는 문장의 강도에 영향을 미칩니다.
처음 네 가지를 제거하고 마지막 두 가지를 선언하면 다음과 같이 쓸 수 있습니다:
"이 데이터베이스에서, 이 전략으로, 이 범위 내에서 기록이 없습니다."
절대 이렇게 쓰지 마십시오:
"이에 대한 문헌은 존재하지 않습니다."
첫 번째 문장은 지속 가능하며 반박 가능합니다. 누군가 전략을 변경하여 반대를 보여줄 수 있으며, 그래야 합니다. 두 번째 문장은 방어할 수 없습니다. 조회되지 않은 모든 것에 대해 주장하기 때문입니다.
OpenAlex에 대한 참고 사항
OpenAlex는 요청당 요금(US$ 0.001) 을 부과하며, UTC 자정에 초기화되는 일일 예산이 있습니다. 예산이 소진되면 Insufficient budget (...) Resets at midnight UTC 및 몇 시간의 Retry-After와 함께 429 오류를 반환합니다. 따라서 429에는 반대되는 대응이 필요한 두 가지 원인이 있습니다: 너무 빠른 요청(기다리면 해결됨)과 일일 할당량 소진(해결되지 않음). 대응하기 전에 본문을 읽으십시오. 집중적인 세션은 할당량을 소진시킵니다.
2. 피상적 매칭은 대부분 맞지만 충분히 틀립니다.
모든 문자열 매칭은 전체 포함을 요구하며, 공유 단어로는 안 됩니다. 실제 사례:
- MeSH가 "당뇨병성 망막병증"에 대해
Hypoglycemia, Neonatal, Simulating Foetopathia Diabetica를 반환했습니다. 이는 합법적인 설명자이지만 잘못된 질병이며, "당뇨병성"이라는 단어 때문에 매칭되었습니다. - Wikipedia가 "원격 진료"의 번역으로
Berg Balance Scale을 반환했습니다. 해당 문서가 원격 진료를 언급했기 때문입니다. 검색어는"teleconsulta" OR "Berg Balance Scale"이 되었고, 결과적으로 균형 평가 척도에 대한 2,456건의 기록이 원격 진료 검색에 포함되었습니다. - 한 논문이 제목에
SHIMMER를 포함하여 음성 검색에 포함되었습니다. 이는 음향 파라미터가 아닌 의료 기록 지수의 약어였습니다.
규칙: 관련성 검색 ≠ 개념 동일성. 퍼지 검색의 첫 번째 결과는 번역, 동의어 또는 동일한 개체가 아닙니다.
3. 변형 병합: 오류는 병합하는 것이지 분리해 두는 것이 아닙니다.
유사성을 기반으로 병합을 제안한 테스트에서 11개의 제안이 생성되었으며, 거의 모두 틀렸습니다:
Type 1 diabetes→Type 2 diabetes(다른 질병; 숫자가 전체 차이였으며, 필터가 ≤2자 토큰을 제외했습니다)Diabetes mellitus→Type 2 Diabetes Mellitus(상위 범주가 하위 범주가 됨)University of Baltimore→University of Maryland, Baltimore(두 개의 다른 기관)
규칙: 숫자는 절대 짧은 토큰이 아닙니다. '포함'은 저자와 기관에는 적용되지만 개념에는 적용되지 않습니다(하위 문자열이 계층 구조를 의미하는 경우). 동등성을 요구하십시오. 즉, 하위 집합이 아닌 식별 가능한 단어의 동일성을 요구하십시오. 적게 병합하는 실수는 한 번의 클릭으로 해결되지만, 많이 병합하는 실수는 마치 정확한 것처럼 보이는 거짓 병합을 지도에 추가합니다. 최종 결정은 항상 사람이 내립니다.
4. 두 가지 방법으로 합계를 확인하십시오.
데이터 수집 모듈이 키를 생성하기 위해 식별자를 24자로 자릅니다. 동일한 발행인의 DOI는 접두사를 공유하고 충돌하여 하나가 다른 하나를 덮어씁니다. 출력은 코퍼스가 49개인데 "54개 신규"라고 말합니다. 다섯 개의 논문이 조용히 사라졌습니다.
아무도 확인하지 않으면 오류가 통과합니다. 항상: 기존 + 신규 == 이후 그리고 신규 + 기존 == 읽음. 맞지 않으면 맞지 않는다고 말하십시오.
5. 스크립트 상한 ≠ 필드 크기
per_page=25 + rows=20인 대상 검색 스크립트에서 13개 쿼리 중 어느 것도 보고서에서 45개를 초과하지 않았습니다. 45가 상한이었기 때문입니다. 실제 커버리지는 세 자리수 차이로 다양합니다: data literacy teacher education에서 0.2%, DigCompEdu validation에서 83%.
이것이 대상 검색을 무효화하지는 않습니다. 대상 검색은 핵심 저작물을 찾기 위해 존재합니다. 그러나 이 숫자는 크기나 커버리지에 대한 주장을 뒷받침하지 않습니다. 컷오프가 있는 경우 얼마나 제외되었는지 말하십시오.
6. 항상 범위를 명시하십시오.
'전체 코퍼스'와 '포함된 항목'의 메트릭은 비교할 수 없습니다. 53개 수집, 0개 선별된 주제가 "DOI가 있는 레코드 없음"으로 응답했습니다. 이는 숫자로는 사실이지만 의미상으로는 오해의 소지가 있습니다. 모든 출력에 범위를 명시하십시오.
7. 전문 및 부록: 경로는 논문 유형에 따라 다릅니다.
Benke et al. (2025)의 올리고 서열을 검색할 때: Claude Science는 PMC의 OA 서비스와 FTP를 시도했지만 세 가지 경로 모두에서 404를 받고 계속 회전했습니다. 부록은 존재했습니다. 경로가 잘못된 것이었습니다. 여기서 404는 잘못된 경로이지 부재가 아닙니다(1절의 '쿼리 실패'에 해당).
작동하는 순서:
- PMCID:
elink.fcgi?dbfrom=pubmed&db=pmc&id=<PMID>. PMCID가 없으면 PMC에 개방형 전문이 없습니다. DOI로 이동하여 발행인이 개방형 액세스를 제공하는지 확인하십시오. - 전문:
efetch.fcgi?db=pmc&id=<PMCID 번호>&retmode=xml. 개방형 액세스 논문 및 NIH 저자 원고에 대해 작동합니다. 여기서 방법, 표, 숫자를 얻을 수 있습니다. - 부록 목록: 동일한 XML에서
xlink:href가 있는<supplementary-material>태그는 각 파일의 이름을 제공합니다. 다운로드하기 전에 무엇을 찾고 있는지 아십시오. - 논문 유형: XML에
<article-id pub-id-type="manuscript-id">NIHMS...가 있으면 저자 원고이며, 5단계의 경로가 부록에 적용되지 않습니다. - 발행인 개방형 액세스 논문의 부록: Europe PMC,
https://www.ebi.ac.uk/europepmc/webservices/rest/<PMCID>/supplementaryFiles는 zip 파일을 반환합니다(PMC12904924: 4.5 MB zip). - NIHMS 원고의 부록: Europe PMC는 빈 응답을 반환하거나(297 바이트, PMC11700762), PMC OA 서비스(
/utils/oa/oa.fcgi)와 FTP는 404를 반환하며,pmc.ncbi.nlm.nih.gov/articles/instance/<id>/bin/<파일>링크는 "다운로드 준비 중..." 페이지를 열지만 브라우저가 필요합니다. 이는 봇 차단입니다. 우회하지 마십시오. 중단하고, 필요한 파일을 말한 후 사용자에게 브라우저에서 다운로드하여 사용자가 지정한 이름으로 패키지 폴더에 저장하도록 요청하십시오. - 사용자에게 요청하기 전에 발행인을 시도하십시오. NIHMS 원고에도 발행인 버전이 있습니다. Elsevier의 경우 Crossref가 PII(
alternative-id)를 제공하며, 부록은 일반적으로 공개 CDNhttps://ars.els-cdn.com/content/image/1-s2.0-<PII>-mmc1.pdf에 있습니다(404가 나오면 확장자를 변경하십시오). Benke 2025(PII S0956566324010595)는 2026년 10월 13일에 이 경로를 통해 200, 1.5 MB PDF, 장벽 없이 제공되었습니다.
절대 하지 말아야 할 것: 부록이 열리지 않았다고 해서 시퀀스, 카탈로그 번호, 볼륨 또는 온도를 메모리에서 재구성하지 마십시오. 파일에서 가져오지 않은 것은 누락된 파일 이름과 함께 "미정"으로 남겨 둡니다.
경로에서 회전하기 전에: 동일한 파일에 대해 두 개의 다른 경로에서 404가 발생하면 세 번째를 시도하는 대신 중단하고 논문 유형(4단계)을 확인하십시오.
우회할 수 없는 제한 사항
- CAPES 포털 275/2023, 50조는 계약된 콘텐츠에 액세스하거나 다운로드하기 위해 로봇 또는 지능형 에이전트를 사용하는 것을 금지하며, 이 금지는 승인된 사용자에게도 적용됩니다. Scopus, Web of Science, CAPES 포털, Google Scholar: 검색어를 구성하고, 데이터베이스를 옆에서 열고, 내보내기를 받으십시오. 인터페이스를 절대 자동화하지 마십시오.
- 절대
zotero.sqlite에 쓰지 마십시오.mode=ro&immutable=1로만 읽으십시오. - 절대 스크리닝 결정을 덮어쓰지 마십시오. 메타데이터는 다시 만들 수 있지만, 인간의 판단은 그렇지 않습니다.
- 절대 API에서 확인하지 않고 식별자를 인용하지 마십시오. 조작된 DOI는 읽기로는 실제 DOI와 구별할 수 없습니다.
제출 전 확인 사항
- 모든 0이 여섯 가지 원인 중 하나로 설명되었습니까?
- 모든 합계가 두 가지 방법으로 확인되었습니까?
- 모든 컷오프가 얼마나 제외되었는지 명시하고 있습니까?
- 모든 범위가 명시되었습니까?
- 모든 변형 병합이 사람에 의해 결정되었습니까?