Was macht Stellen-Scraper?
Entdeckt neue Stellenanzeigen, filtert sie anhand des Kandidatenprofils und meldet nur, was wirklich neu ist.
Konfiguration
Liest aus $JOB_SEARCH_HOME/integrations.yaml:
| Bedarf | Schlüssel |
|---|---|
Ortsangaben für --where | search_locations |
| Strukturiertes Board-CLI | tools.board_search_cli |
| Optionales LinkedIn-CLI | tools.linkedin_search_cli |
| Tracker-Datei für Deduplizierung | tracker_path |
- Kategorien, Rollenschlüsselwörter und Filter:
references/search-queries.md - Kandidatenfakten:
$JOB_SEARCH_HOME/profile.md
Wenn search_locations oder tools.board_search_cli leer ist, anhalten und den fehlenden Schlüssel benennen. Nicht auf eine fest codierte Stadt oder einen erfundenen CLI-Pfad zurückgreifen.
Aufruf
Ausgelöst durch „find new jobs", „scrape for jobs", „any new positions", /scrape.
Optionale Argumente:
- ein Fokusbereich —
/scrape platform broad— alle Prioritätskategorien ausführenremote— hart auf Remote und Hybrid filternlinkedin— die LinkedIn-Quelle aktivieren (siehe Schritt 2b; standardmäßig aus)
Schritt 0 – Zustand laden
- Lese
job_scraper/seen_jobs.json; falls nicht vorhanden, erstelle es als{"seen": {}} - Lese
tracker_pathfür bereits beworbene Unternehmen und Rollen - Lese
references/search-queries.mdfür Kategorien, Schlüsselwörter und Ortsebenen - Lese
$JOB_SEARCH_HOME/profile.md, um die Bewertung in Schritt 4 zu fundieren
Schritt 1 – Strukturierte Board-Suche (primär)
Für jede Prioritätskategorie das CLI einmal pro Rollentitel-Schlüsselwort ausführen. Standardmäßig die obersten 3 Kategorien; bei broad alle; bei einem Fokusbereich die benannte Kategorie.
python3 <board_search_cli> --keywords "<Rollen-Titel>" --where "<Ort>" --pages 2
# Remote-Durchlauf:
python3 <board_search_cli> --keywords "<Rollen-Titel>" --where "Ganz Australien" --remote --pages 2
# Nur aktuelle:
python3 <board_search_cli> --keywords "<Rollen-Titel>" --where "<Ort>" --days 14 --pages 2
Über Bash ausführen. Es gibt ein JSON-Array aus – direkt parsen. Die Schlüsselwortaufrufe in Batches ausführen; jeder ist schnell. Verwende search_locations der Reihe nach für --where.
Schritt 2 – Startup- und ATS-Boards (sekundär, optional)
Für Founding-Engineer- und Early-Stage-Rollen, die das Hauptboard unterrepräsentiert, einige Websuchen über Startup-Boards und ATS-Hosts durchführen. Nur abrufen, wenn die Anzeige stark passend wirkt. Die Websuche ist regionsabhängig, daher Berechtigung im Land des Kandidaten prüfen, bevor präsentiert wird – viele Ergebnisse sind nicht lokal.
Schritt 2b – LinkedIn (nur auf Wunsch)
Nur ausführen, wenn der Kandidat explizit zugestimmt hat. Die Automatisierung verstößt gegen die Plattformbedingungen, daher standardmäßig deaktiviert. Wenn aktiviert, darauf hinweisen, dass es auf eigenes Risiko geschieht, die Menge gering halten und die Ergebnisse in dieselbe Deduplizierung und Bewertung wie die primäre Quelle einfließen lassen.
Wenn tools.linkedin_search_cli leer ist, mitteilen, dass die Quelle nicht konfiguriert ist, anstatt zu raten.
Schritt 3 – Deduplizieren
Für jedes Ergebnis:
- Überspringen, wenn seine Board-ID oder URL oder der Schlüssel
Firma+Titelbereits inseen_jobs.jsonvorhanden ist - Überspringen, wenn
Firma+Rollebereits intracker_pathvorkommt
Schritt 4 – Kurzbewertung der Passung
Ein Signal, nicht die vollständige Evaluierung. Verwende den Teaser, Titel, Gehalt, Arbeitsmodell und die Stichpunkte aus der Suche:
- Hoch – trifft Kernkompetenzen, Standort oder Remote möglich, und Gehalt (falls angegeben) übersteigt die Mindestschwelle
- Mittel – angrenzende Rolle, oder Standort und Gehalt müssen geprüft werden
- Niedrig – erhebliche Qualifikationslücke, oder Vor-Ort außerhalb der konfigurierten Standorte ohne Remote
Vor dem Titel die Disziplin prüfen. Ein Senior-Titel ist kein Indikator für die Disziplin. Eine als „Lead Engineer" oder „Staff Engineer" ausgeschriebene Rolle kann eine Backend- oder Application-Engineering-Rolle sein, deren Kernanforderung praktische Arbeit auf Expertenniveau in einer Sprache wie Java, Spring Boot, .NET oder PHP ist. Wenn die Kernanforderung eine Disziplin oder Sprache außerhalb des dokumentierten Kandidatenprofils ist, als Niedrig bewerten, unabhängig davon, wie senior der Titel oder wie vertraut die Domäne ist. Der Kontext von Zahlungen, Banking oder plattformnahen Bereichen macht aus einer Backend-Rolle keine Plattform-Rolle.
Lese $JOB_SEARCH_HOME/targets.md für die auszuschließenden Stacks und die Kernkompetenzen in profile.md für tatsächlich nachgewiesene Fähigkeiten. Eine in der Anzeige aufgeführte Anforderung ist kein Beleg dafür, dass der Kandidat sie besitzt.
Den Standortfilter aus references/search-queries.md anwenden.
Schritt 5 – Speichern
Jeden gefundenen Job erfassen, einschließlich der übersprungenen:
{
"seen": {
"<Board-ID-oder-Firma-Titel-Schlüssel>": {
"title": "…", "company": "…", "location": "…", "url": "…",
"salary": "…", "work_arrangement": "…",
"first_seen": "YYYY-MM-DD", "fit": "high|medium|low",
"status": "new|skipped|evaluated"
}
}
}
Schritt 6 – Präsentieren
## Neue Job-Matches – YYYY-MM-DD
X neue Positionen gefunden (Y hoch, Z mittel, W niedrig).
| # | Passung | Titel | Firma | Ort | Arbeitsmodell | Gehalt | URL |
|---|---------|-------|-------|------|---------------|--------|-----|
| 1 | Hoch | … | … | … | Remote/Hybrid | … | [Link](…) |
Anschließend 2–3 Stichpunkte pro hoher Passung: warum es passt, zu prüfende Anforderungen, Warnsignale.
Abschließend fragen, ob eine detaillierte Evaluierung oder Bewerbung gewünscht wird. Eine vollständige Beschreibung wird benötigt, bevor der Workflow job-application-assistant ausgeführt werden kann – der Suchschritt gibt nur einen Teaser zurück, also zuerst die Details abrufen.
Schritt 7 – Tracker aktualisieren
Wenn der Kandidat sich bewerben möchte, eine Zeile zu tracker_path hinzufügen.
Regeln
- Nie Stellenanzeigen erfinden. Nur das präsentieren, was das CLI oder ein echter Abruf zurückgeliefert hat.
- Immer gegen beide Dateien (
seen_jobs.jsonundtracker_path) deduplizieren. - Die konfigurierten Ortsebenen respektieren. Vor-Ort-Rollen außerhalb dieser Ebenen überspringen, es sei denn, es wurde zugestimmt.
- Nur offene Rollen. Ergebnisse sind live, aber sichtbar veraltete überspringen.
- Vor der Evaluierung oder Bewerbung die vollständige Beschreibung abrufen.
- Disziplin über Titel. Nach Hauptsprache und Disziplin in den Anforderungen filtern, niemals nur nach dem Jobtitel. Ein Senior-Titel in einem Stack, den der Kandidat nicht besitzt, ist eine niedrige Passung.
- Effizienz. Zuerst nach Titel, Teaser und Gehalt filtern; nicht jeden Eintrag abrufen.
- LinkedIn niemals ohne explizite Zustimmung abfragen.