Community程式設計與開發github.com

知識來源擷取

增量式地將可列舉的外部來源擷取至知識庫,使用規範的來源識別碼、保留的快照清單、重疊感知的差異比較,以及對新增或刪除項目的調節處理。包含一個通用清單工具和一個唯讀的 Discrawl 適配器。

知識來源擷取 是什麼?

此技能定義了一個用於將可列舉外部來源增量擷取至知識庫的嚴謹工作流程。它確保來源身份一致,並透過規範的快照清單追蹤覆蓋範圍。此技能會處理重疊的資料範圍,比較過去的快照以識別新增、變更或刪除的項目,並相應地調節知識庫內容。它支援多種平台,並透過唯讀適配器提供了一個針對 Discrawl 的具體範例。該流程包括獲取有界匯出、產生清單、規劃增量式處理、透過專用的知識擷取技能攝取內容,以及發佈規範的快照頁面。此技能旨在用於聊天頻道、問題串流、摘要或郵件信箱等情境,後續執行可以安全地重疊先前的覆蓋範圍。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/clawdbot/clawdbot/tree/main/extensions/knowledge/skills/knowledge-source-ingest

Installed? Explore more 程式設計與開發 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

來源擷取技能

用於有界集合,例如聊天頻道、問題串流、摘要或郵件信箱,後續執行可以重疊先前的覆蓋範圍。請閱讀共享慣例、發佈指南和清單協定。獲取後,將文件和對話路由至 knowledge-ingest,該技能會使用 knowledge-entities 進行實體豐富化。將會議路由至 knowledge-meeting-ingest。此技能掌管來源身份和覆蓋範圍;攝取工作流程則將保留的內容轉化為有用的關聯知識。若要建立定期攝取任務,請先使用 knowledge-automation。

合約

  • 在讀取內容之前,先解析出穩定的提供者/來源金鑰。顯示名稱只是標籤,並非身份。
  • 維護一個規範的 source 頁面,其中包含 source_role: canonical、provider 和 source_key。每次執行都重複使用它。
  • 對於每次有界的觀察,將產生的清單作為附件保留在 source 頁面上,其屬性為 source_role: snapshot,並包含確切的覆蓋範圍、觀察時間、清單雜湊、計數、完整性、水位線以及對規範來源頁面的依賴。
  • 清單保留穩定的項目 ID 和內容雜湊,而非原始文字。在獲得授權的情況下,將原始/匯出內容分別保存為證據。
  • 在規劃之前,查詢相同提供者/來源金鑰的先前快照頁面。下載它們的清單,驗證附件雜湊,並將所有重疊的快照傳遞給規劃器。不要依賴對話記憶。
  • 重複使用未變更的來源位元組和現有記錄。根據要求,繼續對那些保留的來源進行先前遺漏的豐富化;一個未變更的清單並不表示實體豐富化已經發生。攝取新增的項目。針對現有頁面/聲明調節已變更的項目。將刪除視為觀察到的來源狀態,而非擦除知識庫的許可;僅在證據允許時才更正或撤回。
  • 完整的快照可以在其確切覆蓋範圍內建立「不存在」的結論。部分或未知的快照則無法做到;未解析的缺失 ID 仍保持未解析狀態。

流程

  1. 檢查 knowledge_status 和 knowledge_ontology 以了解目標保管庫範圍和 source 欄位,然後透過提供者/來源金鑰在知識庫中搜尋規範來源和先前的快照。如果所有者私有的攝取在重新啟動後意外解析為對話範圍或空保管庫,請在寫入前停止並恢復預期的授權範圍;切勿推斷先前覆蓋範圍在錯誤範圍內不存在。
  2. 使用經核准的讀取器取得有界匯出。對於 Discrawl,使用已配置的唯讀存檔、已知的頻道 ID 以及 [since,before) RFC3339 邊界來執行 scripts/discrawl-normalize.mjs。標準化後的負載包含穩定的作者 ID 以及存檔觀察到的顯示欄位。保留原始 JSONL,並在需要人工審閱或逐行引用時建立一個獨立的行穩定可讀轉錄本。
  3. 使用 scripts/source-manifest.mjs snapshot 產生確定性清單。在發佈快照頁面之前附加它;記錄回傳的 SHA-256。
  4. 下載所有重疊的先前列印並執行 scripts/source-manifest.mjs plan。檢查已涵蓋/未涵蓋的時間區間以及新增/變更/刪除/未變更/未解析的列表。
  5. 測試 3–5 個實質項目或討論,然後透過 knowledge-ingest(或會議則用 knowledge-meeting-ingest)攝取。對於聊天,將相關訊息與其回覆上下文分組;使用 knowledge-entities 從貢獻中豐富相關的人員、公司、專案和概念。將支援的發展帶入狀態、帶有時間軸和上下文反向連結的日期,而不僅僅是頻道摘要。在來源引用中使用穩定的外部 ID,並以保留的快照作為依賴項。重複使用其原始檔案,而不是為每個討論上傳一份副本。
  6. 發佈或更新衍生記錄,然後發佈快照頁面。僅當獲取和清單建立涵蓋了聲明的時間區間時,快照才算 complete;衍生提取可能仍然是部分的,並且必須如此報告。
  7. 回讀規範頁面、快照頁面、附件、衍生記錄以及依賴於來源的連接。驗證雜湊和確切覆蓋範圍。

Discrawl 範例

node scripts/discrawl-normalize.mjs --config /approved/discrawl.yaml \
  --channel 1234567890 --since 2026-09-21T00:00:00-07:00 \
  --before 2026-09-28T00:00:00-07:00 --output messages.jsonl
node scripts/source-manifest.mjs snapshot --provider discord \
  --source-key discord:GUILD_ID:1234567890 \
  --coverage-start 2026-09-21T00:00:00-07:00 \
  --coverage-end 2026-09-28T00:00:00-07:00 \
  --input messages.jsonl --output manifest.jsonl.gz --summary snapshot.json
node scripts/source-manifest.mjs plan --current manifest.jsonl.gz \
  --previous prior-1.jsonl.gz --previous prior-2.jsonl.gz --output plan.json

請勿在知識庫頁面文字中包含憑證、存檔路徑或原始私有內容。不會建立排程器、連接器守護行程或外掛程式擁有的攝取任務;此技能和指令碼支援一個經授權的代理程式執行工作流程。

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

1password

Set up and use 1Password CLI for sign-in, desktop integration, and reading or injecting secrets.

acp-router

Route plain-language requests for Claude Code, Cursor, Copilot, OpenClaw ACP, OpenCode, Gemini CLI, Grok Build, Qwen, Kiro, Kimi, iFlow, Factory Droid, Kilocode, or explicit ACP harness work into either OpenClaw ACP runtime sessions or direct acpx-driven sessions ("telephone game" flow). For coding-agent thread requests, read this skill first, then use only `sessions_spawn` for thread creation. Codex chat binding defaults to the native Codex app-server plugin unless ACP is explicit or background spawn needs ACP.

add-model-provider

Add and live-prove a model provider with non-interactive config one-liners, without exposing credentials.

agent-transcript

Requested GitHub PR/issue agent transcripts: redact, trim, preview, and insert safely.

apple-notes

Create, view, edit, delete, search, move, or export Apple Notes via the memo CLI on macOS.

apple-reminders

List, add, edit, complete, or delete Apple Reminders and reminder lists via remindctl.

auto-qa

Run OpenClaw-wide autonomous QA and live/stress campaigns across independent subsystem lanes, with verified fixes and a resumable evidence report.

autoreview

Structured code review through the shared OpenClaw agent-skills installation.

bear-notes

Create, search, and manage Bear notes via grizzly CLI.

blacksmith-testbox

Run Blacksmith Testbox for CI-parity checks, secrets, hosted services, migrations, or builds local cannot reproduce.

block-kit

Use proactively for structured or interactive Slack replies, and when asked to author or validate native Slack Block Kit JSON.

blogwatcher

Monitor blogs and RSS/Atom feeds for updates using the blogwatcher CLI.

blucli

BluOS CLI (blu) for discovery, playback, grouping, and volume.

bluebubbles

Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.

browser-automation

Use when controlling web pages with the OpenClaw browser tool, especially multi-step flows, login checks, tab management, or recovery from stale refs/timeouts.

camsnap

Capture frames or clips from RTSP/ONVIF cameras and local webcams, including USB pan/tilt/zoom control.

canvas

Present HTML on connected OpenClaw node canvases, navigate/eval/snapshot, and debug canvas host URLs.

channel-message-flows

Use when running QA Lab channel message flow evidence.

clawdtributor

Clawtributor PRs here, last week or another window: discover conversation refs, recheck GitHub, rank by impact.

clawhub

Search ClawHub for plugins by default, or skills when explicitly requested; install, verify, update, uninstall, publish, or sync skills.

相關技能