Communitygithub.com

baronguyen001/ai-automation-skills

Geben Sie geplanten Skripten einen Speicher zwischen den Ausführungen – mit einer einzigen SQLite-Datei: eine „Gesehen“-Menge für die Deduplizierung, einen Schlüssel/Wert-Cursor zum Fortsetzen an der letzten Position und eine reihenfolgeerhaltende Filterung neuer Elemente. Verwenden Sie dies zur Deduplizierung über mehrere Läufe hinweg, um dasselbe Element nicht erneut zu alarmieren, die letzte ID zu merken, einen Scraper fortzusetzen oder den Zustand zwischen Cron-Ausführungen zu speichern.

Was ist ai-automation-skills?

Diese Fähigkeit ermöglicht es wiederkehrenden Jobs (z. B. Cron-Skripten), sich zu merken, was sie bereits verarbeitet haben, indem eine einzige SQLite-Datei als Zustandsspeicher verwendet wird. Dadurch werden Deduplizierung über mehrere Läufe hinweg, das Fortsetzen von Scrapern an der letzten Position und das Vermeiden doppelter Benachrichtigungen ermöglicht – ganz ohne Server oder zusätzliche Abhängigkeiten. Der Kern besteht aus den Hilfsfunktionen `filter_new`, `mark_seen`, `set_cursor` und `get_cursor`, die in `assets/state.py` implementiert sind und einen einfachen, dateibasierten Sperrmechanismus für dauerhaften Zustand bieten. Sie eignet sich ideal für Entwickler, die Automatisierungsskripte mit Claude Code, Cursor oder ähnlichen KI-Agenten erstellen, und wird ausdrücklich für Szenarien empfohlen, in denen ein Skript „sich erinnern“ muss, was es beim letzten Mal getan hat – nicht jedoch für die gemeinsame Nutzung des Zustands zwischen mehreren Maschinen oder für flüchtige Zustände innerhalb eines einzelnen Laufs.

Funktioniert mit~Claude Code~Codex CLI✓Cursor
npx skills add https://github.com/baronguyen001/ai-automation-skills/tree/HEAD/skills/sqlite-state

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

SQLite-Zustand

Verwenden Sie diese Fähigkeit, wenn ein wiederkehrender Job sich merken muss, was er bereits getan hat – auf welche Elemente er bereits hingewiesen hat, den zuletzt verarbeiteten Cursor – damit er beim nächsten Tick nicht erneut benachrichtigt oder erneut scraped. Eine einzige SQLite-Datei aus der Standardbibliothek bietet dauerhaften, dateigesperrten Zustand ohne Server und ohne zusätzliche Abhängigkeit.

Wann aufrufen

  • Der Benutzer sagt: „nicht dasselbe zweimal alarmieren“, „über Läufe hinweg deduplizieren“, „sich die letzte ID merken“, „an der letzten Stelle fortsetzen“.
  • Der Code im Gespräch ist ein Cron-/geplantes Skript, das derzeit bei jedem Lauf alles erneut verarbeitet.

Wann NICHT aufrufen

  • Der Zustand ist winzig und flüchtig innerhalb eines einzelnen Laufs – eine einfache Menge/ein Diktat reicht aus.
  • Mehrere Maschinen müssen den Zustand gleichzeitig gemeinsam nutzen; verwenden Sie stattdessen eine echte Serverdatenbank anstelle einer einzelnen Datei.

Konkretes Beispiel

Benutzereingabe:

Mein Nachrichten-Scraper sendet jede Stunde dieselben Schlagzeilen erneut. Sorgen Sie dafür, dass er nur neue sendet.

Ausgabe:

from state import filter_new, mark_seen

db = "news.db"
fresh = filter_new(db, [a["url"] for a in articles])   # nur ungesehene URLs
for url in fresh:
    send_alert(url)
mark_seen(db, *fresh)                                   # merke sie für den nächsten Lauf

Anzuwendendes Muster

  1. Schlüsseln Sie jedes Element nach etwas Stabilem und Einzigartigem (URL, ID, Inhalts-Hash), nicht nach Array-Position.
  2. Verwenden Sie filter_new, um zu entscheiden, worauf reagiert werden soll, und dann mark_seen, erst nachdem die Aktion erfolgreich war.
  3. Speichern Sie den Fortschritt als benannten Cursor (set_cursor/get_cursor), damit ein fortsetzbarer Scraper mitten im Strom neu starten kann.
  4. Aktivieren Sie den WAL-Modus für dauerhafte Schreibvorgänge mit gleichzeitigen Lesern; halten Sie einen einzelnen Schreiber.
  5. Sichern oder versionieren Sie die eine .db-Datei – sie ist das gesamte Gedächtnis des Jobs.

Referenz: assets/state.py.

Quelle

Destilliert aus der Produktionsnutzung in den Automatisierungsprojekten des Autors. v1.0.0. Siehe auch: [[pipeline-orchestrator]], [[cron-dispatch]], [[webhook-receiver]].

→ Bauen Sie den vollständig lauffähigen Bot mit Trawlkit.

Individual skills in this repo

This repo contains 9 individual skills — each has its own dedicated page.

baronguyen001/ai-automation-skills

Schedule any script to run on a recurring schedule on Windows (Task Scheduler) or Linux (cron) - register, list, and remove jobs from one command, with logging to a file and a guard against overlapping runs. Use for schedule a script, run nightly, set up a cron job, windows task scheduler, or run on a timer.

baronguyen001/ai-automation-skills

Turn a run's list of result dicts into a schema'd CSV and a Markdown table from one column spec - declare columns once, emit both, with stable ordering and safe escaping, stdlib only, no pandas. Use when the user asks to write results to CSV, export a report, make a markdown summary table, or save a run's output as a spreadsheet.

baronguyen001/ai-automation-skills

Strip HTML to clean plain text with the standard library only (no BeautifulSoup/lxml): drops script/style, turns block tags into line breaks, and collapses whitespace. Use when the user wants readable text from an HTML page/email, to clean scraped HTML before sending it to an LLM, or to build a text index from web content.

baronguyen001/ai-automation-skills

Persist records between scheduled runs as append-only JSON Lines (one object per line) with streaming reads and optional key-based dedup, stdlib only. Use when the user wants to log run results to JSONL, append events to a file, dedup records by id across runs, or keep a simple durable history without a database.

baronguyen001/ai-automation-skills

Extract text and simple table-like rows from a PDF for downstream AI without OCR binaries. Use when the user asks to read a PDF, turn a PDF into text, pull simple tables from statements/reports, or feed PDF content into an LLM pipeline.

baronguyen001/ai-automation-skills

Rotate a pool of HTTP/SOCKS proxies with round-robin selection, failure tracking, and a cooldown that benches dead proxies before retrying. BYO proxy list via env - none are shipped. Use for rotate proxies, spread requests across proxies, avoid IP bans, retry through a different proxy, or proxy health check.

baronguyen001/ai-automation-skills

Parse an RSS 2.0 or Atom feed into normalized item dicts (title, link, id, published, summary) with the standard library only - no feedparser. Use when the user asks to read an RSS/Atom feed, poll a blog/news feed, extract feed entries, or watch a site that publishes a feed.

baronguyen001/ai-automation-skills

Upload and download run artifacts from S3-compatible storage with BYO bucket and credentials from env. Use when the user asks to store scraper output, archive reports, publish artifacts to object storage, fetch a prior run file, or use MinIO/R2/Spaces/S3 without hardcoding credentials.

baronguyen001/ai-automation-skills

Draft a short-form TikTok/Reels/Shorts or long-form video script from a topic and creator persona file - hook variants, beat-structured body, CTA, b-roll cues, caption overlays, and [STORY]/[NUMBER] slots so the model never fabricates personal facts. Use for write a video script, tiktok script, youtube script, or /shortform-script.

Verwandte Skills