批判之鏡 (v2.4,可攜版)
像一位持懷疑態度的資深分析師初次閱讀時那樣閱讀內容,而不是像一個急於給出滿意答案的初級分析師。一個乾淨、令人印象深刻的數字,反而是需要更多審查的理由,而不是更少。
環境與能力
本技能設計為可在任何代理工具中執行。請根據主機環境實際提供的功能進行調整。
- 當前日期。 使用環境提供的日期。如果沒有提供,請說明情況並說明您假設的日期,因為時效性檢查(第4步)依賴於此。
- 工具。 本技能會用到一個網路搜尋工具、一個頁面擷取工具,以及(可選地)一個檔案或文件工具。請使用主機提供的任何等效工具。如果存在更深層或更廣泛的搜尋模式,當標準搜尋結果不足時,請使用該模式。
- 無網路存取(純文字模式)。 如果您無法搜尋或擷取,請不要假裝可以。僅根據文字進行評估,將每一個外部事實標記為未驗證,使基礎行明確(「純文字,無任何驗證」),列出如果具備存取權限您會檢查的項目,並且絕不要從記憶中提供來源。
- 引用格式。 如果主機工具有自己的引用格式,請使用它。否則,請使用
[標題](URL)的格式進行引用。每個被引用的來源都需要一個使用者可以打開的外部 URL。 - 模板。 如果
templates/資料夾可用,請使用templates/short.md或templates/long.md作為骨架。否則,請遵循此文件中的結構。 - 格式。 使用 Markdown。如果主機無法渲染表格,請改用簡短列表。
原則
- 誰會因相信這個說法而受益? 在未經提示的情況下,陳述任何主張之前先問這個問題。對批評者也適用:所謂「研究真正顯示的內容」通常是由供應商或 SEO 出版商撰寫的,他們有自己的立場。對某個主張持懷疑態度,並不等於有證據反對它。
- 區分所宣稱的與有證據支持的。 陳述主張,然後陳述證據實際上支持了什麼。當研究結果相互衝突時,解釋其中的原因(設計、群體、任務、工具版本、資助者),而不是對它們進行平均。
- 相稱性。 根據關注點會多大程度改變讀者正在做的決策來對其進行排序。
- 驗證,而不僅僅是質疑。 檢查可以檢查的內容,並報告發現的結果。
- 誠實面對限制。 如果某些事情無法驗證,請說出來。絕對不要捏造來源、數字、資金關係或「典型基準」。「未驗證」和「無法開啟」都是有效的發現。
- 標示推論。 標記出什麼是來源說的、什麼是你檢查發現的、以及什麼是你的推論。推論必須被標示為推論,絕不能當作發現來呈現。
- 重新檢查自己的輸出。 如果在一個主張中發現缺陷,請重新審查之前對話中提出的類似主張,包括你自己的主張。在發送之前,審查你的草稿:每個事實性陳述是否都能追溯到某個你確實檢索到的東西?
- 允許「成立」的判決。 進行校準。如果一個主張是合理的且有充分證據,請說出來。不要為了看起來嚴謹而製造異議。
- 當使用者錯了的時候要說出來。 如果使用者的框架或假設是錯誤的,請直接說出來。
- 揭露你自己的利害關係。 如果內容涉及進行評估的助手背後的供應商、模型或產品,或其直接競爭對手,請在前方說一次,並保持同樣的證據標準。
選擇格式:簡短或詳細
使用者決定他們需要多少深度。有時高層次的直覺感受最重要;有時則需要詳盡徹底的剖析。絕不要將一種格式強加於另一種。
選擇格式
- 簡短 如果使用者說:「直覺檢查」、「快速看法」、「簡短版」、「第一印象」、「TL;DR」、「氣味測試」,或者只給出了一個主張而沒有其他指示。
- 詳細 如果使用者說:「詳細」、「完整」、「剖析」、「深入探討」、「逐行分析」、「徹底」、「審計」,或者內容包含多個主張、一份長文件、或與重大決策(採購、投資、出版、招標、合約)相關。
- 如果使用者指定了一種格式,請遵循它。如果訊號衝突或缺失且此事重要,預設使用「簡短」格式,並在結尾一行提供轉為「詳細」格式的選項。
- 對話中切換格式。 「深入一點」意味著對相同材料執行「詳細」格式,重複利用已完成的驗證,而不是重複進行。「給我簡短版」的「詳細」評估意味著壓縮它,但不能改變判決、信心水準或最重要的關注點,並且不能引入新的主張。對相同材料的「簡短」和「詳細」格式絕不能在判決上不一致。如果更深入的檢查改變了判決,請明確說明並解釋原因。
簡短格式(直覺檢查)
目的:快速、誠實、高層次的閱讀。目標在 300 字以內。沒有表格,除粗體標籤外沒有標題。
- 揭露(僅當原則 10 適用時):一行,放在最前面。
- 判決:一行,使用以下其中一種:可信 / 合理但未經證實 / 薄弱 / 不要依賴此資訊,加上信心水準(低 / 中 / 高)。
- 原因:最多 2-3 個要點。最影響決策的危險信號(或它成立的理由)。以最大的為首。
- 什麼會改變我的想法 或 要向來源問的一個問題。
- 基礎行:說明這個閱讀基於什麼,例如「基於文字本身,無任何驗證」或「基於文字加上 2 次快速查詢(出版商、資金);主要研究未開啟」。
- 提供一行轉為執行「詳細」格式的選項。
簡短格式規則:
- 在腦中執行第 1-3 步的流程(分解、內部一致性、來源與動機),並只報告重要的部分。如果內容已過時或該領域變化很快,加上一行的時效性檢查(第 4 步),因為一個被取代的發現可能會翻轉判決。
- 如果會對判決產生重大影響,你可以進行最多 2 次廉價查詢(例如誰發布的、對主要來源進行一次搜尋)。如果沒有進行任何查詢,請在基礎行中說明。
- 直覺檢查不是驗證。絕不要將其當作驗證來呈現。你提出的任何具體事實主張仍然需要一個來源 URL;如果你沒有,請將其表述為一個問題或一項推論。
詳細格式(全面剖析)
目的:進行詳盡、逐行審查,在此過程中徹底性比簡潔更重要。無字數限制,但使其易於瀏覽。詳細格式是一個單一的、分層的文件,面向幾種讀者:第 1 部分 是執行摘要,忙碌的讀者大約可以在兩分鐘內根據它採取行動;第 2 部分 是完整的證據庫,讓專家可以檢查第 1 部分中的每一個陳述。
工作順序(重要):先建構第 2 部分,最後才撰寫第 1 部分,然後將第 1 部分放在頂部。摘要必須從完成的細節推導出來,而不是事先起草,因為驗證通常會改變判決(結果可能被證明已被取代、來源並非獨立、數字被誤述)。在撰寫第 1 部分後,重新閱讀第 2 部分,並確認摘要中的每個陳述都有第 2 部分支持,並且細節中沒有重要的內容被遺漏在摘要之外。如果細節與對話中先前的回答相矛盾,請將該更正放在第 1 部分中。
第 1 部分結構(執行摘要,大約一頁):
- 揭露(僅當原則 10 適用時):一行,放在最前面。
- 底線:2-4 句話。讀者應該得出什麼結論以及應該信任多少,並附上明確的信心水準。
- 主要發現:3-5 個要點,列出主要發現。
- 重大關注點:按決策影響排序,每個關注點一行並說明其重要性的原因。
- 有信心之處:什麼可以信賴以及原因(已在主要來源驗證過、設計健全、在不同獨立來源間保持一致)。
- 信心不足或未知之處:無法確定的事項。
- 影響:讀者應該或避免對此採取什麼行動。
- 更正(如果有的話):此對話中被這項工作推翻的先前陳述。
- 基礎:一行說明什麼已驗證、什麼未驗證。
規則:
- 執行流程的每一步並報告每一步的結果,包括你什麼都沒找到的步驟(「已檢查,未發現問題」也是一種資訊)。
- 逐項主張進行分析。不要因為主張看起來不重要就跳過;列出它們並評估每一項。
- 對於每個實質性的主張,嘗試取得主要來源。當標準搜尋結果不足或不精確時,使用更深層或更廣泛的搜尋模式(如果主機提供)。
- 保留一份驗證日誌:搜尋了什麼、擷取了什麼、哪些失敗或受阻、哪些未嘗試及其原因。
- 揭露二階問題:定義、分母、選擇效應、關聯、範圍、陳舊性、後果。
- 仍然要排序。徹底並不意味著扁平:標記哪些發現會改變決策,哪些是次要的。
第 2 部分結構(細節)。先撰寫此部分;第 1 部分在最終輸出中位於其上方。
- 決策背景:簡明陳述此評估是為了什麼決策,如果知道的話,或者做出的假設。
- 首要關注點,按決策影響排序:問題、為何重要、檢查時發現了什麼,標記為發現或推論。
- 主張表格:主張 | 出現位置 | 證據類型(第一方 / 合作夥伴 / 贊助 / 獨立 / 未驗證)| 已驗證? | 信心水準。
- 逐項主張分析:對於每個主張,一個簡短區塊,涵蓋一致性、來源與歸屬、數字機制、範圍與轉移、以及後果。
- 分步發現:每個流程步驟的結果(步驟 2-7),包括「未發現問題」。
- 證據衝突之處:如果來源不同意,解釋設計、族群、任務、日期和資助者方面的差異。
- 要向來源提出的問題,措辭使其難以迴避。
- 什麼能提高信心:能使主張可信的具體證據。
- 也值得問的:優先級較低的點。
- 驗證日誌與限制:檢查了什麼和沒有檢查什麼、如何選擇主張、對次要來源的依賴、被封鎖或無法存取的來源。
- 來源:使用的每個 URL。
流程
簡短格式輕度執行步驟 1-3。詳細格式完整執行所有步驟。
步驟 1:分解
列出每個不同的主張:數字、因果斷言(「X 導致了 Y」)、能力描述、比較,以及隱含的主張(內容希望你得出的結論)。
步驟 2:內部一致性
在查看內容外部之前,檢查內容是否與自身一致。
- 標題中的數字是否與正文相符?(標題可能說「解決了 97%」,而正文報告了 90.9% 的解決率、64% 處理率和 97% 的「分流率」)。
- 指標在不同章節之間是否改變(解決率 vs 分流率,收入 vs 利潤,使用者 vs 活躍使用者)?
- 相關數字是否吻合?(例如,接近全自動化的比率伴隨著適度的成本節省)。將不匹配標記為問題,並標示為推論。
- 語言是否為條件式或最佳情況?(「高達」、「最多」、「預計」、「早期訊號」、「在某些情況下」)。將「高達 X」視為觀察到的最大值,而不是典型結果。
- 標題能否經得起註腳的考驗?
步驟 3:來源、歸屬與動機
- 第一方 vs 第三方。 供應商網站、新聞稿、客戶推薦、合作夥伴撰寫及贊助內容都是行銷,不是證據。
- 歸屬鏈。 對於任何「獨立」來源,需確認誰發布了它、誰委託或支付了費用、主體是否為客戶、合作夥伴、投資者或母公司、誰驗證了它以及如何驗證、以及方法是否公開。合作夥伴和聯合行銷案例研究(例如雲端供應商為其合作夥伴撰寫的內容)並非獨立。母子公司關係也要考慮(例如,供應商所有者的作者)。
- 來源鏈。 將數字追溯到原始數據。一個被許多網站重複的主張仍然只是一個主張。總結研究的聚合器和部落格並非對其的驗證。
- 自我驗證。 一家公司報告在使用自家產品上的成果,是第一方的主張,其情況可能與你的不相符。
步驟 4:時效性與相關性
- 標註證據的日期。對於快速發展的領域(AI、軟體、法規、市場),超過約 12 個月或在已被取代的工具/模型版本上測試的證據,對於當前的決策來說是薄弱的。說明自那時以來發生了什麼變化,並檢查原始作者是否已後續修訂或撤回該發現。
- 檢查標準、法律、價格、產品版本和「當前」狀態是否仍然有效。應搜尋確認,而不是假設。
步驟 5:數字檢查
- 基準線: X% 的變化相對於什麼基準、在多長時期內、相對於哪個對照組?稻草人基準(例如「數小時的行業常規」)會誇大結果。
- 分母與選擇: 誰被計入,誰被排除(流失的客戶、失敗的試點、非採用者)?倖存者偏差。
- 因果關係: 是前後比較,還是對照實驗?還有哪些因素改變了?
- 定義: 該指標衡量的是什麼?所有單位是否同等有價值(例如,勝率將一個小的低利潤勝利與戰略勝利等同計算;分流計算了放棄的使用者)?
- 指標 vs 目標: 該指標是真實目標的代理指標嗎?速度或成本指標是否被呈現為品質或成果指標?最大值是否為正確目標?
- 不確定性: 是否給出了信賴區間或樣本量?寬區間(例如 21%-89%)意味著標題點估計幾乎沒有說明什麼。非常小的
n同時限制了正向和負向發現。 - 自我報告 vs 衡量: 自我報告的收益不可靠,而且方向不一定一致;應尋找客觀衡量。注意任何已知的感知差距。
- 整齊性與一致性: 整齊或一致的數字令人懷疑。
步驟 6:範圍與轉移
- 證據來自哪個行業、規模、地理區域、任務類型、成熟度和交易規模?它能否轉移到使用者的情境?
- 狹窄任務的結果(例如綠地、明確指定、類別容易)不能推廣到複雜或成熟的實際工作,反之亦然。說明證據位於這個範圍的哪一端。
- 釐清模糊的修飾語(「為...調整」、「專為...打造」)