Entwickler-AJabbar/Fernjob-Marktintelligenz

Was macht Fernjob-Marktintelligenz?

Python-ETL-Pipeline + ein 2-seitiges Looker Studio Dashboard zur Verfolgung von 215 Remote-Stellenanzeigen in den USA, Großbritannien, Deutschland und den Niederlanden – Kategorien, gefragte Fähigkeiten, Gehälter nach Markt und Top-Einstellungsunternehmen.

Übersicht

Diese Fähigkeit bietet ein End-to-End-Tool zur Analyse des Remote-Jobmarktes. Sie kombiniert eine Python-ETL-Pipeline mit einem Looker Studio Dashboard, um Entwicklern und Analysten aktuelle Einblicke in die Remote-Stellenlandschaft zu ermöglichen.

Funktionen

• ETL-Pipeline: Extrahiert Daten aus Jobportalen, transformiert sie (Bereinigung, Kategorisierung) und lädt sie in eine Datenbank (z. B. PostgreSQL) oder in Google Sheets.
• Looker Studio Dashboard: Ein 2-seitiges interaktives Dashboard mit:
  • Seite 1 – Marktübersicht: Gesamtanzahl der Stellenanzeigen, Verteilung nach Kategorien, gefragte Fähigkeiten und Top-Unternehmen.
  • Seite 2 – Detailansicht: Gehaltsanalyse nach Markt (US, UK, DE, NL), Trendverläufe und Filtermöglichkeiten (z. B. nach Land, Kategorie, Fähigkeit).
• Datenquellen: Aggregiert Daten von Jobportalen wie LinkedIn, Indeed oder Glassdoor (über APIs oder Scraping).

Technische Details

• Sprachen: Python 3.8+
• Bibliotheken: pandas, numpy, requests, BeautifulSoup, sqlalchemy, google-cloud-bigquery
• Dashboard: Looker Studio (Google Data Studio)
• Datenbank: PostgreSQL oder Google BigQuery (optional)
• Länder: USA (US), Großbritannien (UK), Deutschland (DE), Niederlande (NL)

Installation

1. Klone das Repository:

   git clone https://github.com/developer-AJabbar/remote-job-market-intelligence.git
   cd remote-job-market-intelligence
   

2. Installiere die Abhängigkeiten:

   pip install -r requirements.txt
   

3. Konfiguriere die Umgebungsvariablen in einer .env-Datei:

   • DATABASE_URL (z. B. PostgreSQL-URL)
   • GOOGLE_SHEETS_ID (optional, für Export)
   • LOOKER_STUDIO_REPORT_ID (optional, für Dashboard-Update)

4. Führe die ETL-Pipeline aus:

   python pipeline.py
   

5. Öffne das Looker Studio Dashboard über die bereitgestellte URL oder importiere die Vorlage aus dem dashboard-Ordner.

Nutzung

1. Daten aktualisieren: Führe die Pipeline regelmäßig (z. B. per Cron-Job) aus, um die neuesten Daten zu erhalten.
2. Dashboard erkunden: Verwende das Looker Studio Dashboard, um Trends zu visualisieren und Berichte zu erstellen.
3. Analysen durchführen: Nutze die bereinigten Daten für eigene Analysen (z. B. mit Python oder SQL).

Beispiel-Dashboard

![Dashboard Screenshot](images/dashboard_screenshot.png)

Lizenz

MIT-Lizenz – siehe LICENSE.

Mitwirken

Beiträge sind willkommen! Erstelle einen Issue oder Pull Request im Repository.