knowledge-source-ingest

Source Ingest Skill

Verwenden Sie dies für begrenzte Sammlungen wie Chatkanäle, Issue-Streams, Feeds oder Mailboxen, bei denen spätere Ausführungen vorherige Abdeckungen überschneiden können. Lesen Sie die gemeinsamen Konventionen, die Publikation und das Manifest-Protokoll. Leiten Sie Dokumente und Konversationen nach der Erfassung an knowledge-ingest weiter, das knowledge-entities zur Entitätsanreicherung verwendet. Leiten Sie Besprechungen an knowledge-meeting-ingest weiter. Dieser Skill besitzt die Quellidentität und -abdeckung; die Aufnahmeworkflows verwandeln den beibehaltenen Inhalt in nützliches vernetztes Wissen. Verwenden Sie für die Erstellung wiederkehrender Aufnahmejobs zuerst knowledge-automation.

Vertrag

• Lösen Sie vor dem Lesen von Inhalten einen stabilen Provider-/Quellschlüssel auf. Anzeigenamen sind Bezeichnungen, keine Identitäten.
• Pflegen Sie eine kanonische source-Seite mit source_role: canonical, provider und source_key. Verwenden Sie sie bei jedem Lauf erneut.
• Bewahren Sie für jede begrenzte Beobachtung das generierte Manifest als Anhang auf einer source-Seite mit source_role: snapshot, genauer Abdeckung, Beobachtungszeitpunkt, Manifest-Hash, Anzahl, Vollständigkeit, Wasserzeichen und Abhängigkeit von der kanonischen Quellseite auf.
• Manifeste enthalten stabile Element-IDs und Inhalts-Hashes, nicht den Quelltext. Bewahren Sie Original-/exportierte Inhalte separat als Nachweis auf, sofern autorisiert.
• Fragen Sie vor der Planung frühere Snapshot-Seiten für denselben Provider-/Quellschlüssel ab. Laden Sie deren Manifeste herunter, überprüfen Sie die Anhang-Hashes und übergeben Sie alle überlappenden Snapshots an die Planung. Verlassen Sie sich nicht auf das Konversationsgedächtnis.
• Verwenden Sie unveränderte Quellbytes und vorhandene Datensätze erneut. Setzen Sie die zuvor ausgelassene Anreicherung aus diesen beibehaltenen Quellen fort, wenn dies angefordert wird; ein unverändertes Manifest bedeutet nicht, dass die Entitätsanreicherung bereits stattgefunden hat. Nehmen Sie hinzugefügte Elemente auf. Gleichen Sie geänderte Elemente mit vorhandenen Seiten/Behauptungen ab. Behandeln Sie Löschungen als beobachteten Quellzustand, nicht als Erlaubnis, Knowledge zu löschen; korrigieren oder ziehen Sie zurück, nur wenn die Beweislage dies rechtfertigt.
• Ein vollständiger Snapshot kann Abwesenheit innerhalb seiner genauen Abdeckung feststellen. Teilweise oder unbekannte Snapshots können dies nicht; unaufgelöste fehlende IDs bleiben unaufgelöst.

Vorgehen

1. Überprüfen Sie knowledge_status und knowledge_ontology für den vorgesehenen Vault-Bereich und die source-Felder, durchsuchen Sie dann Knowledge nach der kanonischen Quelle und früheren Snapshots nach Provider-/Quellschlüssel. Wenn eine besitzerprivate Aufnahme unerwartet auf einen Konversationsbereich oder einen leeren Vault nach einem Neustart aufgelöst wird, stoppen Sie vor dem Schreiben und stellen Sie den beabsichtigten autorisierten Bereich wieder her; schließen Sie niemals, dass frühere Abdeckung aus dem falschen Bereich fehlt.
2. Erfassen Sie einen begrenzten Export mit einem autorisierten Leser. Führen Sie für Discrawl scripts/discrawl-normalize.mjs mit dem konfigurierten schreibgeschützten Archiv, der genauen Kanal-ID, falls bekannt, und den RFC3339-Grenzen [since,before) aus. Die normalisierte Nutzlast enthält stabile Autoren-IDs sowie vom Archiv beobachtete Anzeigefelder. Bewahren Sie das rohe JSONL auf und erstellen Sie ein separates zeilenstabiles lesbares Transkript, wenn eine menschliche Überprüfung oder Zeilenzitate erforderlich sind.
3. Generieren Sie ein deterministisches Manifest mit scripts/source-manifest.mjs snapshot. Hängen Sie es an, bevor Sie die Snapshot-Seite veröffentlichen; zeichnen Sie den zurückgegebenen SHA-256 auf.
4. Laden Sie alle überlappenden früheren Manifeste herunter und führen Sie scripts/source-manifest.mjs plan aus. Überprüfen Sie die abgedeckten/unabgedeckten Intervalle und die Listen hinzugefügter/geänderter/gelöschter/unveränderter/unaufgelöster Elemente.
5. Testen Sie 3–5 inhaltliche Elemente oder Diskussionen, nehmen Sie diese dann über knowledge-ingest (oder knowledge-meeting-ingest für Besprechungen) auf. Für Chat gruppieren Sie verwandte Nachrichten mit ihrem Antwortkontext; verwenden Sie knowledge-entities, um relevante Personen, Unternehmen, Projekte und Konzepte aus ihren Beiträgen anzureichern. Führen Sie unterstützte Entwicklungen in State, datierte Zeitlinien und kontextuelle Backlinks ein, nicht nur eine Kanaldigest. Verwenden Sie stabile externe IDs in Quellzitaten und den beibehaltenen Snapshot als Abhängigkeit. Verwenden Sie dessen Originale erneut, anstatt eine Kopie pro Diskussion hochzuladen.
6. Veröffentlichen oder aktualisieren Sie abgeleitete Datensätze, dann veröffentlichen Sie die Snapshot-Seite. Ein Snapshot ist nur complete, wenn die Erfassung und Manifest-Erstellung das deklarierte Intervall abgedeckt haben; die abgeleitete Extraktion kann weiterhin teilweise sein und muss als solche gemeldet werden.
7. Lesen Sie die kanonische Seite, die Snapshot-Seite, den Anhang, die abgeleiteten Datensätze und die quellenabhängigen Verbindungen zurück. Überprüfen Sie Hashes und die genaue Abdeckung.

Discrawl-Beispiel

node scripts/discrawl-normalize.mjs --config /approved/discrawl.yaml \
  --channel 1234567890 --since 2026-09-21T00:00:00-07:00 \
  --before 2026-09-28T00:00:00-07:00 --output messages.jsonl
node scripts/source-manifest.mjs snapshot --provider discord \
  --source-key discord:GUILD_ID:1234567890 \
  --coverage-start 2026-09-21T00:00:00-07:00 \
  --coverage-end 2026-09-28T00:00:00-07:00 \
  --input messages.jsonl --output manifest.jsonl.gz --summary snapshot.json
node scripts/source-manifest.mjs plan --current manifest.jsonl.gz \
  --previous prior-1.jsonl.gz --previous prior-2.jsonl.gz --output plan.json

Fügen Sie keine Anmeldeinformationen, Archivpfade oder rohe private Inhalte in Knowledge-Seitenprosa ein. Es wird kein Scheduler, Connector-Daemon oder plugin-eigener Aufnahmejob erstellt; der Skill und die Skripte unterstützen einen autorisierten, agentengeführten Workflow.