市調分析方法與驗證
工作原則
先讀取 來源與規則,確認書稿依據和規則適用範圍。涉及截止時間、頁數、權重、匿名、AI、提交方式時,聯網核驗目標屆次、組別和階段的正式文件;核驗失敗就標明待核實,不妨礙先做研究內容。不要將書稿示例寫成賽事硬性規則。
預設中文。先查看用戶已有材料與當前進度;只詢問會改變方案的缺失資訊,其餘說明假設後繼續。無原始資料時只提供方案、待填模板或明確標識的演示,不編造樣本、統計量、訪談、參考文獻或獲獎身分。按用戶任務深度交付;局部修改不強制重做全流程。
目標
依據書稿第3、5、6章,把每個方法綁定到研究問題、資料條件和可解釋輸出。先確定任務是描述、比較、解釋、分群、預測還是探索概念,再選模型。
資料進入分析的關口
- 確認分析單位、觀察期、樣本來源、機率/非機率設計、層/群/權重、重複測量、問卷版本、納排規則及資料字典。沒有完整框和已知抽取機制時,不稱簡單隨機抽樣。
- 原始資料唯讀保留;清理、分析與輸出分層。檢查欄位和題號、重編碼、反向計分、多選展開、跳題、重複、邏輯衝突及缺失機制。區分不適用、拒答、不知道和系統缺失。
- 異常以多項證據人工複核,不僅憑時長、同IP或連續同選項刪樣本。日誌記錄規則、依據、命中數、處理與版本;比較關鍵清理規則對結論的影響。
- 報告接觸、回收、排除與分析樣本流轉。各模型因缺失而有不同n時分別說明。不為顯著性反覆改分組、刪題或篩樣本。
方法決策表
| 任務/資料 | 可選方法 | 先核查 | 主要交付與限制 |
|---|---|---|---|
| 現狀與分佈 | 頻數、比例、均值/中位數、離散及區間 | 測量層次、偏態、分母、權重、樣本覆蓋 | 樣本畫像與邊界;不能僅憑樣本大推斷有代表性 |
| 分類變數關聯 | 交叉表、卡方或精確檢驗;複雜設計用相應修正 | 獨立性、稀疏格、重複觀測 | 分組比例、關聯量與區間,非因果 |
| 連續/有序指標差異 | t/Welch、變異數分析或適當秩檢驗;配對用配對方法 | 獨立或配對、分佈、異變異數、等級含義 | 差異幅度、效應量與區間;秩檢驗不籠統說成均值檢驗 |
| 多題項潛在維度 | EFA;有預設結構時CFA | 構念語義、題項相關、分佈、樣本與估計法 | 維度、載荷和測量證據;EFA/CFA同樣本不是獨立驗證 |
| 用戶分群 | 適合變數類型的聚類/混合模型 | 量綱、異常、冗餘變數、距離、權重與渠道 | 穩定群組、外部畫像、觸達規則;不把命名當固定人格 |
| 連續/二分類/有序/多類/計數結果 | 線性、Logistic、有序或多項、Poisson/負二項等 | 編碼參照、結果分佈、共線性、殘差或過度離散、層級依賴 | 係數/勝算比/機率或計數比及區間;條件關聯不等於因果 |
| 理論潛變數路徑 | SEM與間接效應估計 | 先過測量模型、識別、樣本、估計法、配適及競爭模型 | 路徑與間接效應區間;橫斷面中介不證明傳遞機制 |
| 時間序列 | 分解、適當時序模型、滾動預測 | 時間口徑、趨勢季節、自我相關、異常和結構變化 | 時間留出與簡單基線、預測區間;不能隨機打亂時序 |
| 新現象的概念探索 | 訪談內容/主題分析;符合設計時用紮根理論 | 招募、錄音轉寫、同意、編碼鏈和負例 | 原話→編碼→範疇→解釋,飽和有證據;無迭代理論抽樣不包裝為完整紮根 |
| 平台評論與開放題 | 人工內容分析、詞頻共現、主題/情感模型 | 來源覆蓋、去重、領域詞、標籤與人工驗證 | 代表文本、穩定性、驗證誤差;詞雲不能替代分析,評論頻次不等於總體率 |
| 預測與機器學習 | 與目標及樣本匹配的基線和預測模型 | 資料洩漏、類別不平衡、組別/時間劃分 | 獨立測試表現、校準/誤差和群體表現;特徵重要度不等於因果效應 |
重點判斷
抽樣:樣本量綜合目標精度、效應大小、亞組、模型複雜度、設計效應與無回答;公式假設寫清,機率樣本公式不能證明便利樣本精度。複雜設計分析需使用層、群和權重及相應變異數估計。加權報告未加權n、權重來源、分佈和假設,不能聲稱校準消除自選擇。
測量:先檢查反向題與概念覆蓋,再看信效度。α並非全問卷必做,也不證明單維性或效度;人口學題和形成性指標不機械合算α。EFA結合平行分析/碎石圖、語義與旋轉;CFA報告估計法及適當指標,不以單閾值通過替代判斷。測量不穩定時停止解釋SEM結構路徑,修訂設計或退回探索、描述與質性證據。
比較:同時報告方向、幅度、不確定性和實際意義。多組、多指標檢驗說明多重比較策略;「一組顯著另一組不顯著」不能證明組間效應不同,應直接做交互或差異檢驗。跨群體量表比較注意測量等值。
模型:先寫變數和設定依據,再估計與診斷,最後解釋;不透過不斷嘗試直到顯著選擇結果。Logistic勝算比不當風險比,標準化係數不當原始單位變化。穩健標準誤不修復遺漏變數。配適好和控制變數多均不證明因果;無可信識別時用「相關/預測/機制線索」。
預測:劃分訓練/驗證/測試,預處理與特徵選擇僅在訓練折配適;同一物件/門店的記錄按組隔離,時序按時間隔離。與樸素基線比較;分類結合精確率、召回、F1、混淆矩陣、區分與校準,按任務選取,不全列作裝飾。小樣本不為複雜度硬用機器學習。
質性和文本:說明程式碼本、編碼例與複核/分歧處理;自動分類抽取有代表性的人工核驗集,報告誤差與適用語境。多源資料統一對象、時間及概念再整合,不能把條數當人數或任意拼接個人記錄。
輸出與驗證
先交分析預案:問題|變數類型與編碼|樣本/設計|方法及選擇理由|假設診斷|結果形式|驗證與替代方案|不能回答什麼。如有真實資料和執行條件,再提供資料品質摘要、可複現語法或程式碼、核心表圖與解釋、穩健性和局限。
凍結資料、記錄軟體版本與隨機種子;程式碼和圖表對應同一版本。敏感性檢查由實際風險決定:缺失、權重、異常規則、設定、分群穩定性等,不機械堆檢驗。保留計劃/修正/探索分析區別及不顯著結果。無法執行的軟體輸出只可解釋其可見內容,不能聲稱已重現。
完成時回答:每個問題由什麼證據回答、前提是否滿足、結果在何種條件下變化、能支持何種行動;資料不足時給降級方案或補採要求。