SQLite-Zustand
Verwenden Sie diese Fähigkeit, wenn ein wiederkehrender Job sich merken muss, was er bereits getan hat – auf welche Elemente er bereits hingewiesen hat, den zuletzt verarbeiteten Cursor – damit er beim nächsten Tick nicht erneut benachrichtigt oder erneut scraped. Eine einzige SQLite-Datei aus der Standardbibliothek bietet dauerhaften, dateigesperrten Zustand ohne Server und ohne zusätzliche Abhängigkeit.
Wann aufrufen
- Der Benutzer sagt: „nicht dasselbe zweimal alarmieren“, „über Läufe hinweg deduplizieren“, „sich die letzte ID merken“, „an der letzten Stelle fortsetzen“.
- Der Code im Gespräch ist ein Cron-/geplantes Skript, das derzeit bei jedem Lauf alles erneut verarbeitet.
Wann NICHT aufrufen
- Der Zustand ist winzig und flüchtig innerhalb eines einzelnen Laufs – eine einfache Menge/ein Diktat reicht aus.
- Mehrere Maschinen müssen den Zustand gleichzeitig gemeinsam nutzen; verwenden Sie stattdessen eine echte Serverdatenbank anstelle einer einzelnen Datei.
Konkretes Beispiel
Benutzereingabe:
Mein Nachrichten-Scraper sendet jede Stunde dieselben Schlagzeilen erneut. Sorgen Sie dafür, dass er nur neue sendet.
Ausgabe:
from state import filter_new, mark_seen
db = "news.db"
fresh = filter_new(db, [a["url"] for a in articles]) # nur ungesehene URLs
for url in fresh:
send_alert(url)
mark_seen(db, *fresh) # merke sie für den nächsten Lauf
Anzuwendendes Muster
- Schlüsseln Sie jedes Element nach etwas Stabilem und Einzigartigem (URL, ID, Inhalts-Hash), nicht nach Array-Position.
- Verwenden Sie
filter_new, um zu entscheiden, worauf reagiert werden soll, und dannmark_seen, erst nachdem die Aktion erfolgreich war. - Speichern Sie den Fortschritt als benannten Cursor (
set_cursor/get_cursor), damit ein fortsetzbarer Scraper mitten im Strom neu starten kann. - Aktivieren Sie den WAL-Modus für dauerhafte Schreibvorgänge mit gleichzeitigen Lesern; halten Sie einen einzelnen Schreiber.
- Sichern oder versionieren Sie die eine
.db-Datei – sie ist das gesamte Gedächtnis des Jobs.
Referenz: assets/state.py.
Quelle
Destilliert aus der Produktionsnutzung in den Automatisierungsprojekten des Autors. v1.0.0. Siehe auch: [[pipeline-orchestrator]], [[cron-dispatch]], [[webhook-receiver]].
→ Bauen Sie den vollständig lauffähigen Bot mit Trawlkit.