Methoden und Validierung in der Marktforschung
Arbeitsprinzipien
Zunächst die Quellen und Regeln lesen, um die Buchgrundlage und den Geltungsbereich der Regeln zu bestätigen. Bei Fristen, Seitenzahlen, Gewichtungen, Anonymität, KI und Einreichungsmodalitäten die offiziellen Dokumente der betreffenden Wettbewerbsrunde, -gruppe und -phase online überprüfen; schlägt die Überprüfung fehl, als „zu prüfen“ kennzeichnen, ohne die inhaltliche Arbeit zu behindern. Buchbeispiele nicht als verbindliche Wettbewerbsregeln darstellen.
Standardmäßig Deutsch. Zunächst die vorhandenen Materialien und den aktuellen Fortschritt des Nutzers einsehen; nur fehlende Informationen erfragen, die den Plan verändern würden; im Übrigen mit Annahmen fortfahren. Liegen keine Rohdaten vor, nur Pläne, auszufüllende Vorlagen oder klar gekennzeichnete Demonstrationen liefern; keine Stichproben, Statistiken, Interviews, Referenzen oder Auszeichnungen erfinden. Lieferung entsprechend der Tiefe der Nutzeraufgabe; bei lokalen Änderungen nicht zwingend den gesamten Prozess wiederholen.
Ziel
Basierend auf den Kapiteln 3, 5 und 6 des Buchs jede Methode an die Forschungsfrage, die Datenbedingungen und die interpretierbaren Ergebnisse binden. Zunächst festlegen, ob die Aufgabe Beschreiben, Vergleichen, Erklären, Gruppieren, Vorhersagen oder Konzeptexploration ist, dann das Modell auswählen.
Daten-Einstieg in die Analyse
- Analyseebene, Beobachtungszeitraum, Stichprobenquelle, Wahrscheinlichkeits-/Nicht-Wahrscheinlichkeitsdesign, Schichten/Cluster/Gewichte, Wiederholungsmessungen, Fragebogenversion, Ein- und Ausschlusskriterien sowie Datenwörterbuch bestätigen. Ohne vollständigen Auswahlrahmen und bekannte Ziehungsmechanismen nicht als einfache Zufallsstichprobe bezeichnen.
- Rohdaten nur lesend speichern; Bereinigung, Analyse und Ausgabe trennen. Felder und Fragennummern, Umkodierungen, Reverse Scoring, Mehrfachantworten, Filterführung, Duplikate, logische Inkonsistenzen und Fehlende-Mechanismen prüfen. Unterscheiden zwischen nicht zutreffend, Verweigerung, weiß nicht und systemisch fehlend.
- Ausreißer mit mehreren Evidenzen manuell prüfen, nicht allein aufgrund von Bearbeitungszeit, gleicher IP oder durchgehend gleicher Antwortmuster löschen. Protokollführung: Regeln, Begründungen, Trefferzahlen, Behandlung und Version; Auswirkungen wichtiger Bereinigungsregeln auf die Schlussfolgerungen vergleichen.
- Kontakt-, Rücklauf-, Analyse- und Ausschluss-Stichprobenflüsse berichten. Wenn verschiedene Modelle aufgrund fehlender Werte unterschiedliche n aufweisen, separat angeben. Nicht durch wiederholtes Ändern von Gruppen, Löschen von Fragen oder Filtern von Stichproben Signifikanz erzwingen.
Methodenentscheidungstabelle
| Aufgabe/Daten | Mögliche Methoden | Vorabprüfung | Wichtigste Ergebnisse und Einschränkungen |
|---|---|---|---|
| Status und Verteilung | Häufigkeiten, Anteile, Mittelwert/Median, Streuung und Intervalle | Messniveau, Schiefe, Nenner, Gewicht, Stichprobenabdeckung | Stichprobenprofil und Grenzen; aus großer Stichprobe allein kann nicht auf Repräsentativität geschlossen werden |
| Zusammenhang kategorialer Variablen | Kreuztabellen, Chi-Quadrat oder exakte Tests; bei komplexen Designs entsprechende Korrekturen | Unabhängigkeit, dünn besetzte Zellen, wiederholte Beobachtungen | Gruppenanteile, Assoziationsmaße und Intervalle, keine Kausalität |
| Unterschiede bei stetigen/ordinalen Variablen | t/Welch, Varianzanalyse oder geeignete Rangtests; gepaarte Methoden bei verbundenen Stichproben | Unabhängig oder gepaart, Verteilung, Heteroskedastizität, Rangbedeutung | Effektgröße, Effektstärke und Intervalle; Rangtests nicht pauschal als Mittelwerttests bezeichnen |
| Latente Dimensionen bei mehreren Items | EFA; bei a priori Struktur CFA | Konstrukt-Semantik, Item-Zusammenhänge, Verteilung, Stichprobe und Schätzmethode | Dimensionen, Ladungen und Messnachweise; EFA/CFA mit derselben Stichprobe ist keine unabhängige Validierung |
| Nutzersegmentierung | Für den Variablentyp geeignete Cluster-/Mischmodelle | Skalierung, Ausreißer, redundante Variablen, Distanz, Gewichte und Kanäle | Stabile Gruppen, externes Profil, Anspielregeln; Benennung nicht als fixe Persönlichkeit interpretieren |
| Stetige/binäre/ordinale/multinomiale/zählende Zielgrößen | Lineare, Logistische, Ordinale oder Multinomiale, Poisson/Negativ-Binomial u. a. | Kodierungsreferenz, Zielverteilung, Multikollinearität, Residuen oder Überdispersion, hierarchische Abhängigkeit | Koeffizienten/Chancenverhältnisse/Wahrscheinlichkeiten bzw. Zählraten und Intervalle; bedingte Assoziation ≠ Kausalität |
| Theoretische latente Variablenpfade | SEM und indirekte Effektschätzung | Zuerst Messmodell, Identifikation, Stichprobe, Schätzmethode, Fit und konkurrierende Modelle | Pfad- und indirekte Effektintervalle; Querschnittsmediation beweist keinen Übertragungsmechanismus |
| Zeitreihen | Zerlegung, geeignete Zeitreihenmodelle, rollierende Prognosen | Zeitaggregation, Trend/Saisonalität, Autokorrelation, Ausreißer und Strukturbrüche | Zeitliche Auslassung und einfache Baseline, Prognoseintervalle; Zeitreihen nicht zufällig durchmischen |
| Konzeptexploration bei neuen Phänomenen | Interviewinhalts-/Themenanalyse; bei geeignetem Design Grounded Theory | Rekrutierung, Audio-Transkription, Einwilligung, Codierungskette und Negativfälle | Originalzitat → Code → Kategorie → Interpretation, Sättigung mit Nachweisen; ohne iterative theoretische Stichprobe nicht als vollständige Grounded Theory ausgeben |
| Plattformkommentare und offene Fragen | Manuelle Inhaltsanalyse, Wortfrequenzen/Kookkurrenzen, Themen-/Sentimentmodelle | Quellenabdeckung, Deduplizierung, Domänenwörter, Labels und manuelle Validierung | Repräsentative Textbeispiele, Stabilität, Validierungsfehler; Wortwolke ersetzt keine Analyse, Kommentarhäufigkeit ≠ Grundgesamtheitsrate |
| Vorhersage und maschinelles Lernen | Ziel- und stichprobenangepasste Baseline- und Vorhersagemodelle | Datenleck, Klassenungleichgewicht, Gruppen-/Zeitaufteilung | Leistung auf unabhängigem Test, Kalibrierung/Fehler und Gruppenleistung; Feature-Wichtigkeit ≠ Kausaleffekt |
Wichtige Entscheidungen
Stichprobe: Stichprobenumfang unter Berücksichtigung von Zielgenauigkeit, Effektgröße, Untergruppen, Modellkomplexität, Designeffekt und Nonresponse; Formelannahmen klar angeben, Formeln für Wahrscheinlichkeitsstichproben belegen nicht die Genauigkeit von Convenience-Stichproben. Bei komplexen Stichprobendesigns Schichten, Cluster und Gewichte sowie entsprechende Varianzschätzung verwenden. Bei gewichteten Ergebnissen ungewichtetes n, Gewichtungsquelle, Verteilung und Annahmen berichten; nicht behaupten, dass Kalibrierung Selbstselektion eliminiert.
Messung: Zunächst Umkehrfragen und Konzeptabdeckung prüfen, dann Reliabilität und Validität. α ist nicht für den gesamten Fragebogen obligatorisch und belegt weder Eindimensionalität noch Validität; demografische Items und formative Indikatoren nicht mechanisch zu α zusammenfassen. EFA mit Parallelanalyse/Scree-Plot, Semantik und Rotation; CFA mit Schätzmethode und geeigneten Indizes berichten, keinen einzelnen Schwellenwert als alleiniges Urteil verwenden. Bei instabilen Messungen SEM-Strukturpfade nicht weiter interpretieren, Design überarbeiten oder zu Exploration, Deskription und qualitativen Nachweisen zurückkehren.
Vergleiche: Gleichzeitig Richtung, Größe, Unsicherheit und praktische Bedeutung berichten. Bei mehreren Gruppen oder Mehrfachvergleichen Multiple-Testing-Strategie angeben; „eine Gruppe signifikant, andere nicht“ belegt keinen Gruppenunterschied im Effekt, stattdessen Interaktions- oder Differenztests durchführen. Bei gruppenübergreifenden Skalenvergleichen auf Messäquivalenz achten.
Modell: Zuerst Variablen und Modellierungsbegründung angeben, dann Schätzung und Diagnostik, schließlich Interpretation; nicht durch wiederholtes Testen bis zur Signifikanz auswählen. Logistische Chancenverhältnisse nicht als Risikoverhältnisse interpretieren, standardisierte Koeffizienten nicht als Änderung in ursprünglichen Einheiten. Robuste Standardfehler ersetzen keine ausgelassenen Variablen. Guter Modellfit und viele Kontrollvariablen belegen keine Kausalität; ohne glaubwürdige Identifikation „Zusammenhang/Vorhersage/Mechanismus-Hinweis“ verwenden.
Vorhersage: Trainings-/Validierungs-/Testaufteilung; Vorverarbeitung und Merkmalsauswahl nur auf dem Trainingsfold anpassen; Aufzeichnungen desselben Subjekts/Standorts getrennt halten, Zeitreihen zeitlich trennen. Mit naiver Baseline vergleichen; Klassifikation mit Precision, Recall, F1, Konfusionsmatrix, Diskrimination und Kalibrierung bewerten, je nach Aufgabe auswählen, nicht alle als Dekoration auflisten. Bei kleinen Stichproben nicht aus Komplexität maschinelles Lernen erzwingen.
Qualitative und Textanalyse: Codebuch, Codierbeispiele und Überprüfungs-/Abweichungsbehandlung dokumentieren; automatische Klassifikation auf repräsentativem manuell validiertem Set prüfen, Fehler und Anwendungskontext berichten. Mehrere Datenquellen hinsichtlich Objekt, Zeit und Konzept integrieren, nicht Anzahl von Codes als Anzahl von Personen ausgeben oder beliebig verknüpfen.
Ausgabe und Validierung
Zunächst Analyseplan vorlegen: Problem | Variablentyp und Kodierung | Stichprobe/Design | Methode mit Begründung | Annahmediagnose | Ergebnisform | Validierung und Alternativen | Was nicht beantwortet werden kann. Liegen echte Daten und Ausführungsbedingungen vor, zusätzlich Datenqualitätszusammenfassung, reproduzierbare Syntax oder Code, Kern-Tabellen und -Grafiken mit Interpretation, Robustheit und Einschränkungen bereitstellen.
Daten einfrieren, Softwareversion und Zufallsstartwert dokumentieren; Code und Grafiken beziehen sich auf dieselbe Version. Sensitivitätsprüfungen nach tatsächlichem Risiko richten: Fehlende Werte, Gewichtung, Ausreißerregeln, Einstellungen, Clusterstabilität usw., nicht mechanisch Testhaufen anhäufen. Unterschiede zwischen geplanten, korrigierten und explorativen Analysen sowie nicht signifikante Ergebnisse aufbewahren. Software-Output, der nicht ausgeführt werden kann, nur soweit interpretieren, wie er sichtbar ist; nicht behaupten, er sei reproduziert.
Zum Abschluss beantworten: Welche Antwort gibt es zu jeder Frage, sind die Voraussetzungen erfüllt, unter welchen Bedingungen ändern sich die Ergebnisse, welche Handlungen werden unterstützt; bei unzureichenden Daten Alternativvorschläge oder Nachforderung von Daten liefern.