CommunityRecherche & Datenanalysegithub.com

Unknown-333/building-ingestion-pipelines

Erstellen Sie Batch- und inkrementelle Daten-Ingestion-Pipelines (Extract-Load) – vollständige vs. inkrementelle Extraktion, Change Data Capture (CDC), Wasserzeichen und High-Water-Marks, API-Paginierung und Ratenbegrenzungen sowie die Wahl zwischen verwalteten EL-Tools (Fivetran, Airbyte) und benutzerdefiniertem Code.

Was ist building-ingestion-pipelines?

Diese Fähigkeit leitet dich durch den Aufbau robuster Daten-Ingestion-Pipelines (Extract-Load) für Data Warehouses oder Data Lakes. Sie behandelt die drei Hauptmethoden der Extraktion: vollständige Snapshots, inkrementelle Extraktion mittels High-Water-Mark und Change Data Capture (CDC) für hochvolumige OLTP-Systeme. Das Skill-Markdown erklärt, wie man zuverlässige Wasserzeichen (z. B. `updated_at`, LSN/binlog) auswählt, rohe Daten unveränderlich in einer Bronze-Schicht ablegt und den Ladevorgang idempotent gestaltet, um Duplikate bei Wiederholungen oder Überschneidungen zu vermeiden. Es behandelt auch API-Paginierung, Ratenbegrenzungen und die Entscheidung zwischen verwalteten EL-Tools (Fivetran/Airbyte) und benutzerdefinierten Lösungen. Die Fähigkeit unterstützt Plattformen wie Claude Code, Cursor und Codex und ist nützlich für Ingenieure, die Daten aus Datenbanken, APIs, Dateien oder SaaS-Quellen erfassen möchten, mit klaren Warnungen zu häufigen Fallstricken wie nicht aktualisierten `updated_at`-Feldern oder nicht-idempotenten Ladevorgängen.

Funktioniert mit~Claude Code~Codex CLI✓Cursor
npx skills add https://github.com/Unknown-333/awesome-data-engineering-skills/tree/main/skills/building-ingestion-pipelines

Installed? Explore more Recherche & Datenanalyse skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Original anzeigen→Alle Skills durchsuchen

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

OpenAIChatGPTClaudeClaudeGeminiGeminiGrokGrokPerplexityPerplexityDeepSeekDeepSeek

Dokumentation

Erstellen von Ingestion-Pipelines

Wann verwenden

  • Extrahieren aus Datenbanken, APIs, Dateien oder SaaS in ein Warehouse/Lake.
  • Entwerfen von inkrementeller Extraktion, Wasserzeichen oder CDC.
  • Handhabung von API-Paginierung, Ratenbegrenzungen und Wiederholungen.
  • Entscheidung zwischen verwalteten EL-Tools (Fivetran/Airbyte) und benutzerdefiniertem Code.
  • NICHT verwenden für die Transformation bereits geladener Daten (dbt/Spark-Fähigkeiten verwenden).

Arbeitsablauf

- [ ] Extraktionsmodus wählen: vollständiger Snapshot vs. inkrementell vs. CDC
- [ ] Zuverlässiges High-Water-Mark auswählen (updated_at, LSN/binlog, Sequenz)
- [ ] Rohdaten unveränderlich ablegen (anhängen), dann nachgelagert transformieren
- [ ] Ladevorgang idempotent gestalten (Upsert/Partitionsüberschreibung nach Schlüssel)
- [ ] Paginierung, Ratenbegrenzungen, Wiederholungen und verspätete Daten handhaben
  1. Modus wählen. Vollständiger Neuladevorgang (kleine/Dimensionstabellen), inkrementell über ein High-Water-Mark (die meisten Faktentabellen) oder CDC (hochvolumiges OLTP, wenn Löschungen und jede Änderung benötigt werden).
  2. Vertrauenswürdiges Wasserzeichen auswählen. updated_at funktioniert nur, wenn die Quelle es immer aktualisiert; andernfalls DB-Protokollpositionen (LSN/binlog/SCN) oder eine monotone Sequenz verwenden. Das letzte Wasserzeichen speichern und von dort fortsetzen.
  3. Rohdaten unveränderlich ablegen. Rohe Extrakte (Bronze) mit Lademetadaten anhängen; Transformationen nachgelagert durchführen, sodass ein erneutes Abspielen ohne erneuten Quelle-Zugriff möglich ist.
  4. Idempotenter Ladevorgang. Upsert nach natürlichem Schlüssel oder Überschreibung der Partition, sodass Wiederholungen und Überlappungen keine Duplikate erzeugen (siehe writing-idempotent-transformations).
  5. Robust gegenüber Paginierung, Ratenbegrenzungen und verspäteten Daten.

Muster

Inkrementelle Extraktion mit Überlappung für verspätete Daten:

-- Ein kleines Überlappungsfenster über das letzte Wasserzeichen hinaus ziehen, um verspätete Updates zu erfassen,
-- dann per Upsert nach Schlüssel, damit die Überlappung keine Duplikate erzeugt.
SELECT * FROM source.orders
WHERE updated_at >= :last_watermark - INTERVAL '3 days';

CDC — Datenbankprotokoll lesen (Debezium/nativ), um Einfügungen, Aktualisierungen und Löschungen zu erfassen (die wasserzeichenbasierte Extraktion nicht sieht). Änderungen mit MERGE anwenden, dabei die Commit-Position der Änderung für die Sortierung verwenden.

API-Paginierung + Ratenbegrenzungen — Cursor/Next-Page-Token folgen; bei 429/5xx zurückziehen und mit exponentiellem Backoff und Jitter wiederholen; Fortschritt zwischenspeichern, sodass ein Fehler in der Mitte fortsetzt.

Verwaltet vs. benutzerdefiniert — Fivetran/Airbyte für Standard-Connectoren verwenden (sie handhaben Schema-Drift, inkrementellen Zustand, Wiederholungen); benutzerdefinierten Code nur für ungewöhnliche Quellen oder bei strengen Kontroll-/Kostenanforderungen schreiben.

Häufige Fallstricke

  • updated_at-Wasserzeichen, wenn die Quelle es nicht zuverlässig setzt — Zeilen werden unbemerkt übersehen; validieren oder auf protokollbasiertes CDC umstellen.
  • Kein Überlappungsfenster — verspätete Updates gehen zwischen den Läufen verloren.
  • Wasserzeichenbasierte Extraktion, die Löschungen erwartet — kann sie nicht sehen; CDC oder regelmäßige vollständige Abgleiche verwenden.
  • Während der Extraktion transformieren — macht erneutes Abspielen unmöglich; zuerst roh ablegen.
  • Ratenbegrenzungen/Paginierungs-Grenzfälle ignorieren — teilweise Ziehungen, die vollständig erscheinen; Zwischenspeichern und Zählungen überprüfen.
  • Nicht-idempotenter Ladevorgang — Wiederholungen und Überlappungsfenster erzeugen Duplikate.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

Unknown-333/authoring-airflow-dags

Write production-grade Apache Airflow DAGs using the TaskFlow API — idempotent tasks, correct scheduling and catchup, retries/SLAs, connections/variables, and avoiding top-level code. Use when creating or reviewing Airflow DAGs, scheduling pipelines, wiring task dependencies, configuring retries/backfills, or fixing non-idempotent tasks.

Unknown-333/building-dagster-assets

Build Dagster pipelines using software-defined assets — asset dependencies, partitions, resources and IO managers, asset checks, and schedules/sensors. Use when creating Dagster assets or jobs, modeling data as assets, adding partitions or backfills, wiring resources/IO managers, or migrating from task-based orchestration to assets.

Unknown-333/building-dbt-models

Build well-structured dbt models — staging/intermediate/marts layers, ref() and source(), materializations, and incremental models with the right strategy. Use when creating or refactoring dbt models, choosing table vs view vs incremental, structuring a dbt project, or writing incremental logic.

Unknown-333/building-feature-pipelines

Build ML feature pipelines and feature stores — point-in-time-correct joins to avoid label leakage, offline/online parity, feature freshness and backfills, and materialization with tools like Feast. Use when engineering features for ML, preventing train/serve skew or data leakage, building a feature store, or backfilling historical features for training.

Unknown-333/building-iceberg-tables

Design and operate Apache Iceberg tables — partitioning and hidden partitioning, partition/schema evolution, snapshots and time travel, compaction and small-file cleanup, and MERGE/upsert for lakehouse tables on Spark, Flink, Trino, or Snowflake. Use when creating or maintaining Iceberg tables, choosing partitioning, evolving schema/partitions, or fixing small-file and metadata bloat.

Unknown-333/building-kafka-consumers

Build reliable Apache Kafka consumers and producers — consumer groups and partition assignment, offset commit strategy, at-least-once vs exactly-once, idempotent/transactional producers, rebalancing, and dead-letter handling. Use when writing Kafka consumers/producers, configuring offset commits or consumer groups, tuning throughput, or handling rebalances and poison messages.

Unknown-333/debugging-data-pipelines

Systematically root-cause data pipeline failures and data incidents — job errors, wrong or missing data, duplicates, and freshness misses — by tracing lineage upstream, isolating the failing stage, reconciling against source, and planning a safe fix and backfill. Use when a pipeline fails, numbers look wrong, data is missing or duplicated, a dashboard is stale, or a stakeholder reports a data discrepancy.

Unknown-333/designing-backfills-and-replays

Plan and run safe data backfills and replays — idempotent reprocessing of historical windows, partition-by-partition execution, isolating backfill compute from production, verifying results, and avoiding double-counting or changed history. Use when backfilling a new or fixed model, reprocessing after a bug, replaying events, or loading history for a new pipeline without corrupting existing data.

Unknown-333/designing-data-contracts

Define and enforce data contracts between producers and consumers — explicit schema, semantics, ownership, SLAs, and versioning — to prevent silent upstream changes from breaking downstream pipelines. Use when a producer schema change could break consumers, defining an interface between teams/services and the warehouse, or adding schema enforcement at ingestion.

Verwandte Skills

affaan-m/uspto-database

USPTO patent and trademark data workflow for official record lookup, PatentSearch queries, TSDR checks, assignment data, and reproducible IP research logs.

community

affaan-m/scholar-evaluation

Structured scholarly-work evaluation for papers, proposals, literature reviews, methods sections, evidence quality, citation support, and research-writing feedback.

community

affaan-m/literature-review

Systematic literature-review workflow for academic, biomedical, technical, and scientific topics, including search planning, source screening, synthesis, citation checks, and evidence logging.

community

affaan-m/everything-claude-code

The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.

community

forrestchang/andrej-karpathy-skills

Agent skill repository discovered by 10x-chat research.

community

langgenius/backend-code-review

Review backend code for quality, security, maintainability, and best practices based on established checklist rules. Use when the user requests a review, analysis, or improvement of backend files (e.g., `.py`) under the `api/` directory. Do NOT use for frontend files (e.g., `.tsx`, `.ts`, `.js`). Supports pending-change review, code snippets review, and file-focused review.

community
← More Recherche & Datenanalyse skills