Methodik für den Zugriff auf Inhalte
Ethische und legale Ansätze für den Zugriff auf eingeschränkte Webinhalte für Journalismus und Forschung.
Zugriffshierarchie (von bevorzugt zu am wenigsten bevorzugt)
┌─────────────────────────────────────────────────────────────────┐
│ HIERARCHIE DER ENTSCHEIDUNGEN ZUM ZUGRIFF AUF INHALTE │
├─────────────────────────────────────────────────────────────────┤
│ │
│ 1. VOLLSTÄNDIG LEGAL (Immer zuerst versuchen) │
│ ├─ Bibliotheksdatenbanken (PressReader, ProQuest, JSTOR) │
│ ├─ Open-Access-Tools (Unpaywall, CORE, PubMed Central) │
│ ├─ Direkter Autorenkontakt │
│ └─ Fernleihe │
│ │
│ 2. LEGAL (Browser-Funktionen) │
│ ├─ Lesemodus (Safari, Firefox, Edge) │
│ ├─ Wayback-Machine-Archive │
│ └─ Google Scholar "Alle Versionen" │
│ │
│ 3. GRAUZONE (Mit Vorsicht verwenden) │
│ ├─ Archive.is für einzelne Artikel │
│ ├─ JavaScript deaktivieren (beeinträchtigt Funktionalität) │
│ └─ VPNs für geoblockte Inhalte │
│ │
│ 4. NICHT EMPFOHLEN │
│ ├─ Weitergabe von Anmeldedaten │
│ ├─ Systematisches Scraping │
│ └─ Kommerzielle Nutzung umgangener Inhalte │
│ │
└─────────────────────────────────────────────────────────────────┘
Open-Access-Tools für wissenschaftliche Arbeiten
Unpaywall-Browsererweiterung
Unpaywall findet kostenlose, legale Kopien von über 20 Millionen wissenschaftlichen Arbeiten.
import requests
def find_open_access(doi: str, email: str) -> dict:
"""Finden der Open-Access-Version einer Arbeit mit der Unpaywall-API.
Args:
doi: Digital Object Identifier (z. B. "10.1038/nature12373")
email: Ihre E-Mail zur API-Identifizierung
Returns:
Dict mit der besten Open-Access-URL, falls verfügbar
"""
url = f"https://api.unpaywall.org/v2/{doi}?email={email}"
response = requests.get(url, timeout=30)
if response.status_code != 200:
return {'error': f'Status {response.status_code}'}
data = response.json()
if data.get('is_oa'):
best_location = data.get('best_oa_location', {})
return {
'is_open_access': True,
'oa_url': best_location.get('url_for_pdf') or best_location.get('url'),
'oa_status': data.get('oa_status'),
'host_type': best_location.get('host_type'),
'version': best_location.get('version')
}
return {
'is_open_access': False,
'title': data.get('title'),
'journal': data.get('journal_name')
}
result = find_open_access("10.1038/nature12373", "[email protected]")
if result.get('is_open_access'):
print(f"Kostenloses PDF unter: {result['oa_url']}")
CORE-API (295 Millionen Arbeiten)
import requests
class CORESearch:
def __init__(self, api_key: str):
self.api_key = api_key
self.base_url = "https://api.core.ac.uk/v3"
def search(self, query: str, limit: int = 10) -> list:
"""Durchsucht die CORE-Datenbank nach Open-Access-Arbeiten."""
headers = {'Authorization': f'Bearer {self.api_key}'}
params = {
'q': query,
'limit': limit
}
response = requests.get(
f"{self.base_url}/search/works",
headers=headers,
params=params,
timeout=30
)
if response.status_code != 200:
return []
data = response.json()
results = []
for item in data.get('results', []):
results.append({
'title': item.get('title'),
'authors': [a.get('name') for a in item.get('authors', [])],
'year': item.get('yearPublished'),
'doi': item.get('doi'),
'download_url': item.get('downloadUrl'),
'abstract': item.get('abstract', '')[:500]
})
return results
def get_by_doi(self, doi: str) -> dict:
"""Ruft eine Arbeit anhand der DOI ab."""
headers = {'Authorization': f'Bearer {self.api_key}'}
response = requests.get(
f"{self.base_url}/works/{doi}",
headers=headers,
timeout=30
)
return response.json() if response.status_code == 200 else {}
Semantic-Scholar-API (214 Millionen Arbeiten)
import requests
def search_semantic_scholar(query: str, limit: int = 10) -> list:
"""Durchsucht Semantic Scholar nach Arbeiten mit Open-Access-Links."""
url = "https://api.semanticscholar.org/graph/v1/paper/search"
params = {
'query': query,
'limit': limit,
'fields': 'title,authors,year,abstract,openAccessPdf,citationCount'
}
response = requests.get(url, params=params, timeout=30)
if response.status_code != 200:
return []
results = []
for paper in response.json().get('data', []):
oa_pdf = paper.get('openAccessPdf', {})
results.append({
'title': paper.get('title'),
'authors': [a.get('name') for a in paper.get('authors', [])],
'year': paper.get('year'),
'citations': paper.get('citationCount', 0),
'open_access_url': oa_pdf.get('url') if oa_pdf else None,
'abstract': paper.get('abstract', '')[:500] if paper.get('abstract') else ''
})
return results
def get_paper_by_doi(doi: str) -> dict:
"""Ruft Details einer Arbeit anhand der DOI ab."""
url = f"https://api.semanticscholar.org/graph/v1/paper/DOI:{doi}"
params = {
'fields': 'title,authors,year,abstract,openAccessPdf,references,citations'
}
response = requests.get(url, params=params, timeout=30)
return response.json() if response.status_code == 200 else {}
Reader-Modus im Browser für weiche Paywalls
Aktivieren des Reader-Modus
javascript:(function(){
var article = document.querySelector('article') ||
document.querySelector('[role="main"]') ||
document.querySelector('.article-body') ||
document.querySelector('.post-content');
if (article) {
document.querySelectorAll('[class*="paywall"], [class*="subscribe"], [id*="paywall"]')
.forEach(el => el.remove());
document.querySelectorAll('*').forEach(el => {
var style = getComputedStyle(el);
if (style.position === 'fixed' && style.zIndex > 100) {
el.remove();
}
});
document.body.style.overflow = 'auto';
document.documentElement.style.overflow = 'auto';
console.log('Overlay entfernt. Inhalt ist jetzt möglicherweise sichtbar.');
}
})();
Reader-Modus nach Browser
| Browser | So aktivieren Sie | Wirksamkeit |
|---|
| Safari | Klicken Sie auf das Reader-Symbol in der URL-Leiste | Hoch für weiche Paywalls |
| Firefox | Klicken Sie auf das Reader-Ansicht-Symbol (oder F9) | Hoch |
| Edge | Klicken Sie auf das Symbol für den immersiven Reader | Am höchsten |
| Chrome | Erfordert Flag: chrome://flags/#enable-reader-mode | Mittel |
Zugriff auf Bibliotheksdatenbanken
Programmatische Prüfung des Bibliothekszugriffs
class LibraryAccess:
"""Zugriffsmuster für Bibliotheksdatenbanken."""
DATABASES = {
'pressreader': {
'base': 'https://www.pressreader.com',
'auth': 'library_card',
'content': '7000+ Zeitungen/Zeitschriften'
},
'proquest': {
'base': 'https://www.proquest.com',
'auth': 'institutional',
'content': 'Nachrichten, Dissertationen, Dokumente'
},
'jstor': {
'base': 'https://www.jstor.org',
'auth': 'institutional',
'content': 'Wissenschaftliche Zeitschriften, Bücher'
},
'nexis_uni': {
'base': 'https://www.nexisuni.com',
'auth': 'institutional',
'content': 'Recht, Nachrichten, Wirtschaft'
}
}
@staticmethod
def get_pressreader_access_methods():
"""Möglichkeiten, über Bibliotheken auf PressReader zuzugreifen."""
return {
'in_library': 'Stellen Sie eine Verbindung zum Bibliotheks-WLAN her und besuchen Sie pressreader.com',
'remote': 'Melden Sie sich mit Ihren Bibliotheksausweis-Daten an',
'app': 'Laden Sie die PressReader-App herunter und verknüpfen Sie Ihren Bibliotheksausweis',
'note': 'Der Zugriff dauert in der Regel 30-48 Stunden pro Sitzung'
}
def request_via_ill(paper_info: dict, library_email: str) -> str:
"""Generiert eine Fernleihanfrage.
ILL ist über die meisten Bibliotheken kostenlos und kann fast jede Arbeit beschaffen.
Bearbeitungszeit: in der Regel 3-7 Tage.
"""
request = f"""
FERNLEIHANFRAGE
Titel: {paper_info.get('title')}
Autor(en): {paper_info.get('authors')}
Zeitschrift: {paper_info.get('journal')}
Jahr: {paper_info.get('year')}
DOI: {paper_info.get('doi')}
Band/Ausgabe: {paper_info.get('volume')}/{paper_info.get('issue')}
Seiten: {paper_info.get('pages')}
Angefordert von: {library_email}
"""
return request.strip()
VPN-Nutzung für geoblockte Inhalte
Wann VPNs angemessen sind
## Legitime VPN-Anwendungsfälle für Journalisten/Forscher
### ANGEMESSEN:
- Zugriff auf regionsspezifische Nachrichtenquellen
- Recherche, wie Inhalte in anderen Ländern erscheinen
- Umgehung von staatlicher Zensur (in einigen Kontexten)
- Schutz der Quellenkommunikation
- Überprüfung von geotargetierten Inhalten
### UNANGEMESSEN:
- Umgehung legitimer Zugriffskontrollen
- Zugriff auf Inhalte, deren Anzeige Ihnen vertraglich untersagt ist
- Umgehung von Sperren oder Blockaden Ihres Kontos
VPN-Dienstevergleich
| Dienst | Am besten geeignet für | Datenschutz | Geschwindigkeit | Preis |
|---|
| ExpressVPN | Zensurumgehung | Ausgezeichnet | Schnell | $$$ |
| NordVPN | Allgemeine Nutzung | Ausgezeichnet | Schnell | $$ |
| Surfshark | Budget, unbegrenzte Geräte | Gut | Gut | $ |
| ProtonVPN | Datenschutzorientiert | Ausgezeichnet | Mittel | $$ |
| Tor Browser | Maximale Anonymität | Ausgezeichnet | Langsam | Kostenlos |
Überprüfung des Geo-Restriktionsstatus
import requests
def check_geo_access(url: str, regions: list = None) -> dict:
"""Überprüft, ob eine URL von verschiedenen Regionen aus zugänglich ist.
Hinweis: Dies erfordert VPN/Proxy-Dienste für tatsächliche Tests.
Diese Funktion zeigt das Konzept.
"""
regions = regions or ['US', 'UK', 'EU', 'JP', 'AU']
results = {}
try:
response = requests.get(url, timeout=10)
results['direct'] = {
'accessible': response.status_code == 200,
'status_code': response.status_code
}
except Exception as e:
results['direct'] = {'accessible': False, 'error': str(e)}
return results
Archivbasierter Zugriff
Verwendung von Archive.today für Paywall-Artikel
import requests
from urllib.parse import quote
def get_archived_article(url: str) -> str:
"""Versucht, einen Artikel von Archive.today abzurufen.
Archive.today erfasst oft den vollständigen Artikelinhalt,
da es JavaScript rendert und das Ergebnis speichert.
Der rechtliche Status variiert je nach Gerichtsbarkeit – nur für Forschungszwecke verwenden.
"""
search_url = f"https://archive.today/{quote(url, safe='')}"
try:
response = requests.get(search_url, timeout=30, allow_redirects=True)
if response.status_code == 200 and 'archive.today' in response.url:
return response.url
return None
except Exception:
return None
Wayback Machine für historischen Zugriff
def get_wayback_article(url: str) -> str:
"""Ruft einen Artikel von der Wayback Machine ab.
100% legal – das Internet Archive ist eine anerkannte Bibliothek.
Möglicherweise sind ältere Versionen von Artikeln verfügbar (vor Einführung der Paywall).
"""
api_url = f"http://archive.org/wayback/available?url={url}"
try:
response = requests.get(api_url, timeout=10)
data = response.json()
snapshot = data.get('archived_snapshots', {}).get('closest', {})
if snapshot.get('available'):
return snapshot['url']
return None
except Exception:
return None
Google-Scholar-Strategien
Kostenlose Versionen finden
def find_free_via_scholar(title: str) -> list:
"""Suchstrategien zum Finden kostenloser Versionen von Arbeiten.
Google Scholar verlinkt oft auf:
- Kopien auf den persönlichen Websites der Autoren
- Versionen in institutionellen Repositorien
- ResearchGate/Academia
"""
print(f"Suche nach kostenlosen Versionen von '{title}' via Google Scholar...")
print("Strategie: Durchsuchen der Suchergebnisse nach zugänglichen Links.")
print("Hinweis: Die Google Scholar-Suche erfordert typischerweise Web-Scraping oder die Verwendung spezialisierter Bibliotheken.")
return []
Ethischer Rahmen
Grundlegende ethische Richtlinien
1. BEVORZUGEN SIE IMMER LEGALE METHODEN
- Bibliothekszugriff
- Open-Access-Repositorien
- Direkter Kontakt zu Autoren
2. RESPEKTIEREN SIE DIE NUTZUNGSBEDINGUNGEN DER WEBSITE
- Auch Grauzonen-Methoden können gegen die AGB verstoßen
- Verstöße gegen die AGB sind nicht unbedingt illegal, können aber zu Zugangssperren führen
3. AUTOMATISIERUNG VERANTWORTUNGSBEWUSST EINSETZEN
- Ratenbegrenzung einhalten
- Identifizieren Sie Ihre API-Anfragen korrekt
- Keine Inhalte für die kommerzielle Weiterverbreitung scrapen
4. URHEBERRECHT BEACHTEN
- Zugriff bedeutet nicht das Recht zur Weiterverbreitung
- Zitieren Sie fair und angemessen
- Respektieren Sie Creative-Commons-Lizenzen
5. FÜR DIE RECHERCHE BESTIMMT
- Diese Tools sind für journalistische und akademische Forschung gedacht
- Nicht zur Umgehung von Zugangskontrollen für illegale Zwecke verwenden
Entscheidungsbaum
Benötigen Sie Zugriff auf eine Arbeit?
├─ Ja → Ist Ihre Institution zugangsberechtigt?
│ ├─ Ja → Bibliothekszugriff verwenden
│ └─ Nein → Ist es Open Access?
│ ├─ Ja → Unpaywall/CORE/Semantic Scholar verwenden
│ └─ Nein → Kontaktieren Sie den Autor oder nutzen Sie die Fernleihe
│
Benötigen Sie eine Paywall-Nachricht?
├─ Ja → Ist ein Reader-Modus verfügbar?
│ ├─ Ja → Reader-Modus verwenden
│ └─ Nein → Archive/Textise-Tools? (nur für Forschung)
│
Geoblockiert?
├─ Ist es ein legitimer Forschungsbedarf?
│ ├─ Ja → Verwenden Sie reputable VPNs
│ └─ Nein → Respektieren Sie die Beschränkung
Rechtliche Bedingungen in verschiedenen Gerichtsbarkeiten
| Gerichtsbarkeit | Reader-Modus | Archive.is | VPN (Geo-Umgehung) | Screen-Scraping |
|---|
| USA | Legal | Grauzone | Legal (Meinung) | Umstritten |
| EU | Legal | Grauzone | Legal (Datenschutz) | Eingeschränkt |
| UK | Legal | Grauzone | Legal | Eingeschränkt |
| China | Legal | Blockiert | Illegal (staatlich) | Grauzone |
| Indien | Legal | Legal | Legal | Legal |
API-Referenz
Verfügbare Open-Access-APIs
| API | Kosten | Abdeckung | Ratenbegrenzung | Authentifizierung |
|---|
| Unpaywall | Kostenlos | 20M+ | 100.000/Tag | E-Mail |
| CORE | Kostenlos | 295M+ | 5 Anfragen/Sek. | API-Schlüssel |
| Semantic Scholar | Kostenlos | 214M+ | 100 Anfragen/Sek. | Keine (für Basis) |
| CrossRef | Kostenlos | 150M+ | 50 Anfragen/Sek. | E-Mail |
| OpenAlex | Kostenlos | 250M+ | 100.000/Tag | Keine |
| PubMed Central | Kostenlos | 7M+ | 10 Anfragen/Sek. | Keine |
| DOAJ | Kostenlos | 20.000+ Zeitschriften | 100/Tag | Keine |
| BASE | Kostenlos | 300M+ | Variabel | Keine |
Python-Installation
pip install requests
Schnellstartanleitung
- Probieren Sie zuerst Browser-Tools aus – Reader-Modus (Edge/Safari/Firefox/Chrome (Flag))
- Suchen Sie Open Access – Verwenden Sie die Unpaywall-API, die CORE-API oder die Semantic-Scholar-API oben
- Bibliothekszugriff prüfen – Kontaktieren Sie Ihre lokale Bibliothek für Fernleih- (ILL) und Datenbankzugriff
- Als letzten Ausweg archivieren – Versuchen Sie die Wayback Machine (legal) oder Archive.today (rechtlich unsicher)
- Beim Autoren anfragen – E-Mail an den Autor mit der Bitte um eine Kopie (oft sehr effektiv)