來源擷取技能
用於有界集合,例如聊天頻道、問題串流、摘要或郵件信箱,後續執行可以重疊先前的覆蓋範圍。請閱讀共享慣例、發佈指南和清單協定。獲取後,將文件和對話路由至 knowledge-ingest,該技能會使用 knowledge-entities 進行實體豐富化。將會議路由至 knowledge-meeting-ingest。此技能掌管來源身份和覆蓋範圍;攝取工作流程則將保留的內容轉化為有用的關聯知識。若要建立定期攝取任務,請先使用 knowledge-automation。
合約
- 在讀取內容之前,先解析出穩定的提供者/來源金鑰。顯示名稱只是標籤,並非身份。
- 維護一個規範的
source頁面,其中包含source_role: canonical、provider和source_key。每次執行都重複使用它。 - 對於每次有界的觀察,將產生的清單作為附件保留在
source頁面上,其屬性為source_role: snapshot,並包含確切的覆蓋範圍、觀察時間、清單雜湊、計數、完整性、水位線以及對規範來源頁面的依賴。 - 清單保留穩定的項目 ID 和內容雜湊,而非原始文字。在獲得授權的情況下,將原始/匯出內容分別保存為證據。
- 在規劃之前,查詢相同提供者/來源金鑰的先前快照頁面。下載它們的清單,驗證附件雜湊,並將所有重疊的快照傳遞給規劃器。不要依賴對話記憶。
- 重複使用未變更的來源位元組和現有記錄。根據要求,繼續對那些保留的來源進行先前遺漏的豐富化;一個未變更的清單並不表示實體豐富化已經發生。攝取新增的項目。針對現有頁面/聲明調節已變更的項目。將刪除視為觀察到的來源狀態,而非擦除知識庫的許可;僅在證據允許時才更正或撤回。
- 完整的快照可以在其確切覆蓋範圍內建立「不存在」的結論。部分或未知的快照則無法做到;未解析的缺失 ID 仍保持未解析狀態。
流程
- 檢查
knowledge_status和knowledge_ontology以了解目標保管庫範圍和source欄位,然後透過提供者/來源金鑰在知識庫中搜尋規範來源和先前的快照。如果所有者私有的攝取在重新啟動後意外解析為對話範圍或空保管庫,請在寫入前停止並恢復預期的授權範圍;切勿推斷先前覆蓋範圍在錯誤範圍內不存在。 - 使用經核准的讀取器取得有界匯出。對於 Discrawl,使用已配置的唯讀存檔、已知的頻道 ID 以及
[since,before)RFC3339 邊界來執行scripts/discrawl-normalize.mjs。標準化後的負載包含穩定的作者 ID 以及存檔觀察到的顯示欄位。保留原始 JSONL,並在需要人工審閱或逐行引用時建立一個獨立的行穩定可讀轉錄本。 - 使用
scripts/source-manifest.mjs snapshot產生確定性清單。在發佈快照頁面之前附加它;記錄回傳的 SHA-256。 - 下載所有重疊的先前列印並執行
scripts/source-manifest.mjs plan。檢查已涵蓋/未涵蓋的時間區間以及新增/變更/刪除/未變更/未解析的列表。 - 測試 3–5 個實質項目或討論,然後透過
knowledge-ingest(或會議則用knowledge-meeting-ingest)攝取。對於聊天,將相關訊息與其回覆上下文分組;使用knowledge-entities從貢獻中豐富相關的人員、公司、專案和概念。將支援的發展帶入狀態、帶有時間軸和上下文反向連結的日期,而不僅僅是頻道摘要。在來源引用中使用穩定的外部 ID,並以保留的快照作為依賴項。重複使用其原始檔案,而不是為每個討論上傳一份副本。 - 發佈或更新衍生記錄,然後發佈快照頁面。僅當獲取和清單建立涵蓋了聲明的時間區間時,快照才算
complete;衍生提取可能仍然是部分的,並且必須如此報告。 - 回讀規範頁面、快照頁面、附件、衍生記錄以及依賴於來源的連接。驗證雜湊和確切覆蓋範圍。
Discrawl 範例
node scripts/discrawl-normalize.mjs --config /approved/discrawl.yaml \
--channel 1234567890 --since 2026-09-21T00:00:00-07:00 \
--before 2026-09-28T00:00:00-07:00 --output messages.jsonl
node scripts/source-manifest.mjs snapshot --provider discord \
--source-key discord:GUILD_ID:1234567890 \
--coverage-start 2026-09-21T00:00:00-07:00 \
--coverage-end 2026-09-28T00:00:00-07:00 \
--input messages.jsonl --output manifest.jsonl.gz --summary snapshot.json
node scripts/source-manifest.mjs plan --current manifest.jsonl.gz \
--previous prior-1.jsonl.gz --previous prior-2.jsonl.gz --output plan.json
請勿在知識庫頁面文字中包含憑證、存檔路徑或原始私有內容。不會建立排程器、連接器守護行程或外掛程式擁有的攝取任務;此技能和指令碼支援一個經授權的代理程式執行工作流程。