ar9av/data-ingest – Datenerfassung
Erfassen Sie beliebige Rohdaten, Konversationsprotokolle, Chatexporte oder unstrukturierte Dokumente im Obsidian-Wiki. Verwenden Sie diese Fähigkeit, wenn der Benutzer Daten verarbeiten möchte, die keine Standarddokumente oder Claude-Verläufe sind - wie ChatGPT-Exporte, Slack-Threads, Discord-Protokolle, Besprechungstranskripte, Tagebucheinträge, CSV-Daten, Browser-Lesezeichen, E-Mail-Archive oder beliebige Rohtextdumps. Auslöser sind "Erfasse diese Daten", "Verarbeite diese Protokolle", "Füge diesen Export zum Wiki hinzu", "Importiere meinen Chatverlauf von X". Dies ist die universelle Lösung für alle Textquellen, die nicht von den spezifischeren Erfassungsfähigkeiten abgedeckt werden.
Funktionsweise
- Formaterkennung: Die Fähigkeit analysiert den eingehenden Text, um das Format zu bestimmen (z.B. JSON, CSV, Rohdaten, Chatprotokolle).
- Datenaufbereitung: Strukturierte Daten (wie CSV oder JSON) werden in Obsidian-taugliche Markdown-Notizen umgewandelt. Unstrukturierte Rohdaten werden als Rohtext mit Metadaten erfasst.
- Speicherung: Die generierten Notizen werden im konfigurierten Obsidian-Wiki-Verzeichnis abgelegt, entweder als neue Dateien oder angehängt an vorhandene.
Unterstützte Formate
- ChatGPT-Exporte (JSON)
- Slack-Threads (exportiert als Text oder JSON)
- Discord-Protokolle (JSON oder Markdown)
- Besprechungstranskripte (Text, VTT, SRT)
- Tagebucheinträge (Rohdaten)
- CSV-Daten (strukturierte Tabellen)
- Browser-Lesezeichen (HTML-Export)
- E-Mail-Archive (MBOX, EML)
- Beliebige unstrukturierte Textdumps
Konfiguration
Stellen Sie sicher, dass der Obsidian-API-Pfad in Ihren Umgebungsvariablen konfiguriert ist:
export OBSIDIAN_VAULT_PATH=/pfad/zu/ihrem/vault
export OBSIDIAN_PLUGIN_API=http://localhost:27123
Optional können Sie den Ordnernamen für importierte Daten festlegen:
export DATA_INGEST_FOLDER_inbox
Beispiele
# Erfassen eines ChatGPT-Exports
python ingest.py --format chatgpt --file export.json
# Erfassen eines Slack-Threads
cat slack_thread.txt | python ingest.py --format slack --title "Projekt-Diskussion"
# Erfassen von CSV-Daten
python ingest.py --format csv --file daten-tabelle.csv --tags "Daten,Analyse"
Tipps
- Verwenden Sie die
--tags-Option, um Notizen automatisch zu kategorisieren. - Bei großen Dateien wird empfohlen, sie in kleinere Abschnitte zu unterteilen, um die Übersichtlichkeit zu wahren.
- Die Fähigkeit erkennt automatisch vorhandene Notizen und vermeidet Duplikate, wenn die
--skip-duplicates-Flagge gesetzt ist.