Analyse statistique
Présentation
Effectuer des tests d'hypothèses (t-tests, ANOVA, chi-carré), régressions, corrélations et analyses bayésiennes avec une vérification systématique des hypothèses, des tailles d'effet et un rapport au style APA. L'objectif est une analyse qu'un évaluateur ne pourrait pas déchirer : le bon test, des hypothèses vérifiées, des tailles d'effet honnêtes et un rapport complet.
Quand utiliser cette compétence
Utilisez cette compétence lorsque :
- Vous effectuez des tests d'hypothèses statistiques (t-tests, ANOVA, chi-carré, non paramétriques)
- Vous réalisez des analyses de régression ou de corrélation
- Vous exécutez des analyses statistiques bayésiennes
- Vous vérifiez les hypothèses statistiques et les diagnostics
- Vous calculez des tailles d'effet et effectuez des analyses de puissance
- Vous rapportez des résultats statistiques au format APA
- Vous analysez des données expérimentales ou observationnelles pour la recherche
Installation
Utilisez uv pour installer les bibliothèques utilisées dans cette compétence. Épinglez les versions en production ; les installations non épinglées conviennent pour l'exploration.
# Bibliothèques fréquentistes de base (Python 3.10+ ; 3.12+ recommandé pour les dernières versions de SciPy/ArviZ)
uv pip install "pingouin>=0.6" "scipy>=1.11" "statsmodels>=0.14.6" pandas matplotlib seaborn
# Modélisation bayésienne (PyMC 5 + ArviZ)
uv pip install "pymc>=5.0" "arviz>=1.0"
Notes de compatibilité (vérifiées avec pingouin 0.6.1, statsmodels 0.14.6, arviz 1.2, 2026) :
- Pingouin 0.6.0 a renommé les colonnes de sortie pour supprimer les caractères spéciaux :
p_val,cohen_d,CI95,p_unc(auparavantp-val,cohen-d,CI95%,p-uncdans 0.5.x). Les exemples ci-dessous utilisent les noms actuels ; si vous êtes bloqué avec 0.5.x, utilisez les formes avec traits d'union. - statsmodels + SciPy : utilisez
statsmodels>=0.14.6avecscipy>=1.11pour éviter les erreurs d'import_lazywheresur SciPy 1.16+. - ArviZ 1.x :
az.summary()utilise désormais par défaut des intervalles 89 % (colonneseti89) et le paramètre de largeur estci_prob(pashdi_prob). Pour rapporter un intervalle de crédibilité conventionnel à 95 %, passezaz.summary(trace, ci_prob=0.95). - Les facteurs de Bayes unilatéraux ont disparu de Pingouin :
pg.ttest(..., alternative='greater')supprime silencieusement la colonneBF10, etpg.bayesfactor_ttestlève une exception avec des alternatives unilatérales. Pour les tests bayésiens unilatéraux, utilisez PyMC directement (calculez la probabilité postérieure de l'hypothèse directionnelle) ou le package BayesFactor de JASP/R.
Pour les API spécifiques aux modèles (OLS, GLM, ARIMA), voir la compétence statsmodels. Pour les workflows PyMC, voir la compétence pymc.
Workflow d'analyse
Toute analyse solide suit le même arc. Sauter des étapes, c'est risquer que les analyses soient rétractées, alors travaillez-les dans l'ordre et dites ce que vous avez fait à chaque étape.
- Cadrez la question avant de toucher aux données. Énoncez l'hypothèse, les variables de résultat et prédictives, et le plan (indépendant vs. apparié, nombre de groupes). Engagez-vous maintenant sur un test planifié — choisir le test après avoir jeté un œil aux résultats, c'est du p-hacking, même si fait innocemment.
- Inspectez les données. Par groupe : n, moyenne, SD, médiane, valeurs manquantes. Tracez les données brutes (histogrammes ou boîtes à moustaches) avant tout test. Des tailles de groupe inégales, des données manquantes, des effets plafond/plancher et des valeurs aberrantes changent tous le test approprié — signalez-les à l'utilisateur plutôt que de les contourner silencieusement.
- Sélectionnez le test à l'aide de la référence rapide ci-dessous, ou de
references/test_selection_guide.mdpour les plans dépassant les bases (comptages, temps jusqu'à événement, fiabilité, factoriels). - Vérifiez les hypothèses avec
scripts/assumption_checks.py. Si une hypothèse échoue, passez au test de correction (tableau ci-dessous) et rapportez à la fois le plan et le changement. - Exécutez le test et calculez toujours la taille d'effet en parallèle — une valeur p indique qu'un effet existe ; la taille d'effet indique si quelqu'un devrait s'en soucier.
- Rapportez en utilisant les modèles APA ci-dessous, incluant les descriptives, les statistiques exactes, les tailles d'effet avec IC, et les vérifications d'hypothèses effectuées.
Si l'utilisateur n'a besoin que d'une étape (par exemple, « combien de participants sont nécessaires ? »), allez directement à cette section — mais confirmez quand même les hypothèses de plan sur lesquelles le calcul repose.
Guide de sélection des tests
Référence rapide : Choisir le bon test
Utilisez references/test_selection_guide.md pour des conseils complets (comptages, survie, fiabilité, plans factoriels). Référence rapide :
Comparer deux groupes :
- Indépendant, continu, normal → Test t indépendant
- Indépendant, continu, non normal → Test U de Mann-Whitney
- Apparié, continu, normal → Test t apparié
- Apparié, continu, non normal → Test des rangs signés de Wilcoxon
- Résultat binaire → Chi-carré ou test exact de Fisher
Comparer 3+ groupes :
- Indépendant, continu, normal → ANOVA univariée
- Indépendant, continu, non normal → Test de Kruskal-Wallis
- Apparié, continu, normal → ANOVA à mesures répétées
- Apparié, continu, non normal → Test de Friedman
Relations :
- Deux variables continues → Corrélation de Pearson (normale) ou de Spearman (non normale)
- Résultat continu avec prédicteur(s) → Régression linéaire
- Résultat binaire avec prédicteur(s) → Régression logistique
Alternatives bayésiennes :
Tous les tests ont des versions bayésiennes fournissant des énoncés de probabilité directs sur les hypothèses, des facteurs de Bayes quantifiant les preuves, et la possibilité de soutenir l'hypothèse nulle. Voir references/bayesian_statistics.md.
Vérification des hypothèses
Vérifiez toujours les hypothèses avant d'interpréter les résultats des tests, et rapportez les vérifications — les évaluateurs les recherchent.
Utilisez le module scripts/assumption_checks.py fourni. Exécutez Python depuis le répertoire de la compétence (skills/statistical-analysis/) ou ajoutez scripts/ à sys.path :
from assumption_checks import comprehensive_assumption_check
# Valeurs aberrantes + normalité (par groupe) + homogénéité de la variance, avec graphiques
results = comprehensive_assumption_check(
data=df,
value_col='score',
group_col='group', # Facultatif : pour les comparaisons de groupes
alpha=0.05
)
Pour des vérifications ciblées, importez des fonctions individuelles :
from assumption_checks import (
check_normality, # Shapiro-Wilk + Q-Q plot + histogramme
check_normality_per_group,
check_homogeneity_of_variance, # Test de Levene + boîtes à moustaches
check_linearity, # nuage de points + graphique des résidus pour régression simple
check_regression_diagnostics, # Diagnostics OLS complets (voir Régression ci-dessous)
detect_outliers # Méthodes IQR ou z-score
)
result = check_normality(data=df['score'], name='Score du test', alpha=0.05, plot=True)
print(result['interpretation'])
print(result['recommendation'])
Que faire lorsque les hypothèses sont violées
Normalité violée :
- Violation légère + n > 30 par groupe → Procéder avec le test paramétrique (robuste)
- Violation modérée → Utiliser l'alternative non paramétrique
- Violation sévère → Transformer les données ou utiliser un test non paramétrique
Homogénéité des variances violée :
- Pour un test t → Utiliser le test t de Welch (
pg.ttestl'applique automatiquement aveccorrection='auto') - Pour une ANOVA → Utiliser l'ANOVA de Welch (
pg.welch_anova) ou Brown-Forsythe - Pour une régression → Utiliser des erreurs types robustes ou des moindres carrés pondérés
Linéarité violée (régression) :
- Ajouter des termes polynomiaux, transformer les variables, ou utiliser des modèles non linéaires / GAM
Les tests formels deviennent trop sensibles à mesure que n grandit : pour n ≥ 100, accordez plus de poids au Q-Q plot qu'à la valeur p de Shapiro-Wilk. Voir references/assumptions_and_diagnostics.md pour des conseils complets.
Exécution des tests statistiques
Bibliothèques principales :
- pingouin : tests conviviaux qui renvoient les tailles d'effet par défaut — à privilégier pour les tests standard
- scipy.stats : tests statistiques de base
- statsmodels : régression, diagnostics, analyse de puissance
- pymc + arviz : modélisation bayésienne et diagnostics
Test t avec rapport complet
import pingouin as pg
# correction='auto' applique la correction de Welch lorsque les variances sont inégales
result = pg.ttest(group_a, group_b, correction='auto')
# Noms de colonnes Pingouin >= 0.6
t_stat = result['T'].values[0]
df = result['dof'].values[0]
p_value = result['p_val'].values[0]
cohens_d = result['cohen_d'].values[0]
ci_lower, ci_upper = result['CI95'].values[0] # IC pour la différence des moyennes
print(f"t({df:.0f}) = {t_stat:.2f}, p = {p_value:.3f}, d = {cohens_d:.2f}")
ANOVA avec tests post-hoc
import pingouin as pg
aov = pg.anova(dv='score', between='group', data=df, detailed=True)
print(aov)
# Taille d'effet : éta-carré partiel
eta_p2 = aov['np2'].values[0]
# Si significatif, effectuer des tests post-hoc (Tukey HSD contrôle l'erreur familiale)
if aov['p_unc'].values[0] < 0.05:
posthoc = pg.pairwise_tukey(dv='score', between='group', data=df)
print(posthoc) # inclut le g de Hedges par paire
Régression linéaire avec diagnostics
import statsmodels.api as sm
from assumption_checks import check_regression_diagnostics
X = sm.add_constant(X_predictors) # Ajouter l'intercept
model = sm.OLS(y, X).fit()
print(model.summary())
# Graphique des résidus à 4 panneaux + Shapiro-Wilk, Breusch-Pagan, Durbin-Watson, VIF
diag = check_regression_diagnostics(model)
print(diag['interpretation'])
print(diag['vif'])
# Si l'hétéroscédasticité a été signalée, rapporter les erreurs types robustes à la place
robust = model.get_robustcov_results('HC3')
Test t bayésien
import pymc as pm
import arviz as az
import numpy as np
with pm.Model() as model:
# Priors
mu1 = pm.Normal('mu_group1', mu=0, sigma=10)
mu2 = pm.Normal('mu_group2', mu=0, sigma=10)
sigma = pm.HalfNormal('sigma', sigma=10)
# Vraisemblance
y1 = pm.Normal('y1', mu=mu1, sigma=sigma, observed=group_a)
y2 = pm.Normal('y2', mu=mu2, sigma=sigma, observed=group_b)
# Quantité dérivée
diff = pm.Deterministic('difference', mu1 - mu2)
trace = pm.sample(2000, tune=1000)
# ArviZ 1.x utilise par défaut des intervalles à 89 % ; demandez explicitement 95 % pour le rapport
print(az.summary(trace, var_names=['difference'], ci_prob=0.95))
# Énoncé de probabilité direct (c'est ce que deviennent les questions unilatérales)
prob_greater = np.mean(trace.posterior['difference'].values > 0)
print(f"P(mu1 > mu2 | données) = {prob_greater:.3f}")
# ArviZ 1.x a supprimé az.plot_posterior ; utilisez plot_dist (sur 0.x, plot_posterior fonctionne encore)
az.plot_dist(trace, var_names=['difference'], ci_prob=0.95)
Échelonnez les priors par rapport aux données (par exemple, sigma=10 convient pour des résultats avec SD proche de 10 ; utilisez la SD observée comme guide) et indiquez les priors dans le rapport.
Tailles d'effet
Les tailles d'effet quantifient l'ampleur ; les valeurs p indiquent seulement l'existence. Rapportez-en une pour chaque test. Voir references/effect_sizes_and_power.md pour le guide complet.
Référence rapide : Tailles d'effet courantes
| Test | Taille d'effet | Petite | Moyenne | Grande |
|---|---|---|---|---|
| Test t | d de Cohen | 0,20 | 0,50 | 0,80 |
| ANOVA | η²_p | 0,01 | 0,06 | 0,14 |
| Corrélation | r | 0,10 | 0,30 | 0,50 |
| Régression | R² | 0,02 | 0,13 | 0,26 |
| Chi-carré | V de Cramér | 0,07 | 0,21 | 0,35 |
Les repères sont des conventions, pas des lois — un effet « petit » peut être énormément important (effets secondaires de médicaments) et un effet « grand » peut être trivial. Interprétez dans le contexte.
Calcul des tailles d'effet
Pingouin renvoie les tailles d'effet avec ses tests (cohen_d de pg.ttest, np2 de pg.anova, hedges de pg.pairwise_tukey ; r de pg.corr est déjà une taille d'effet).
Intervalles de confiance pour les tailles d'effet
Rapportez un IC pour la taille d'effet afin de montrer sa précision. Utilisez pg.compute_esci (note : pg.compute_effsize_from_t renvoie uniquement l'estimation ponctuelle — elle ne renvoie pas un IC) :
import pingouin as pg
d = pg.compute_effsize(group_a, group_b, eftype='cohen')
ci_lower, ci_upper = pg.compute_esci(stat=d, nx=len(group_a), ny=len(group_b),
eftype='cohen', confidence=0.95)
print(f"d = {d:.2f}, IC 95 % [{ci_lower:.2f}, {ci_upper:.2f}]")
Analyse de puissance
Analyse de puissance a priori (Planification d'étude)
Déterminez la taille d'échantillon requise avant la collecte des données :
from statsmodels.stats.power import tt_ind_solve_power, FTestAnovaPower
# Test t : Quel n par groupe est nécessaire pour détecter d = 0,5 ?
n_required = tt_ind_solve_power(
effect_size=0.5,
alpha=0.05,
power=0.80,
ratio=1.0,
alternative='two-sided'
)
print(f"n requis par groupe : {n_required:.0f}")
# ANOVA univariée : Quel n est nécessaire pour détecter f de Cohen = 0,25 ?
# Remarques : le paramètre est k_groups ; effect_size est le f de Cohen (f = sqrt(eta2/(1-eta2))) ;
# et solve_power renvoie la TAILLE D'ÉCHANTILLON TOTALE, pas n par groupe.
import math
anova_power = FTestAnovaPower()
n_total = anova_power.solve_power(
effect_size=0.25,
k_groups=3,
alpha=0.05,
power=0.80
)
print(f"N total requis : {math.ceil(n_total)} ({math.ceil(n_total / 3)} par groupe)")
Analyse de sensibilité (Post-étude)
Déterminez quelle taille d'effet l'étude pourrait détecter :
# Avec n = 50 par groupe, quel effet pourrait-on détecter à 80 % de puissance ?
detectable_d = tt_ind_solve_power(
effect_size=None, # Résoudre pour cela
nobs1=50,
alpha=0.05,
power=0.80,
ratio=1.0,
alternative='two-sided'
)
print(f"L'étude pourrait détecter d >= {detectable_d:.2f}")
Remarque : La « puissance observée » post-hoc (calculer la puissance à partir de l'effet observé) est circulaire et trompeuse — c'est une fonction déterministe de la valeur p. Si une étude est terminée et quelqu'un demande la puissance, effectuez plutôt une analyse de sensibilité.
Voir references/effect_sizes_and_power.md pour des conseils détaillés.
Rapporter les résultats
Suivez references/reporting_standards.md pour le style APA. Chaque rapport doit contenir :
- Statistiques descriptives : M, SD, n pour tous les groupes/variables
- Statistiques de test : Nom du test, statistique, ddl, valeur p exacte (
p = .034, pasp < .05; utilisezp < .001seulement en dessous de .001) - Tailles d'effet : Avec intervalles de confiance
- Vérifications des hypothèses : Quels tests ont été effectués, résultats et actions entreprises
- Toutes les analyses planifiées : Y compris les résultats non significatifs — les omettre est de l'écrémage
Exemples de modèles de rapport
Test t indépendant
Le groupe A (n = 48, M = 75,2, SD = 8,5) a obtenu un score significativement plus élevé que le groupe B (n = 52, M = 68,3, SD = 9,2), t(98) = 3,42, p = .001, d de Cohen = 0,79, IC 95 % [0,38, 1,19].
ANOVA univariée
Une ANOVA univariée a révélé un effet significatif du groupe sur les scores, F(2, 147) = 5,67, p = .004, η²_p = 0,07, IC 90 % [0,02, 0,15]. Les tests post-hoc de Tukey ont montré que le groupe A (M = 82,4, SD = 9,1) différait significativement du groupe C (M = 75,1, SD = 8,8), g de Hedges = 0,82, p = .002, mais pas du groupe B (M = 79,3, SD = 8,5), g de Hedges = 0,35, p = .210.
Corrélation
Une corrélation de Pearson a montré une relation positive significative entre les années d'expérience et les scores de performance, r(98) = 0,45, p < .001, IC 95 % [0,28, 0,59].
Test U de Mann-Whitney (non paramétrique)
Un test U de Mann-Whitney a indiqué que les scores de satisfaction des clients étaient plus élevés pour le site A (Mdn = 4,5) que pour le site B (Mdn = 3,2), U = 342, p = .008, r de corrélation biseriale = 0,48.
Références et ressources complémentaires
| Ressource | Emplacement | Objectif |
|---|---|---|
| Guide de sélection des tests | references/test_selection_guide.md | Aide à la sélection des tests (comptages, survie, plans factoriels) |
| Hypothèses et diagnostics | references/assumptions_and_diagnostics.md | Traitement approfondi des violations d'hypothèses |
| Tailles d'effet et puissance | references/effect_sizes_and_power.md | Calculs, interprétation et analyse de puissance |
| Normes de rapport | references/reporting_standards.md | Mise en forme APA, listes de contrôle et exemples |
| Analyse bayésienne | references/bayesian_statistics.md | Contexte bayésien, facteurs de Bayes, choix de priors |
| Scripts de vérification des hypothèses | scripts/assumption_checks.py | Fonctions automatisées de vérification des hypothèses |
L'organisation des fichiers attendue est la suivante :
skills/statistical-analysis/
├── SKILL.md
├── scripts/
│ └── assumption_checks.py
└── references/
├── test_selection_guide.md
├── assumptions_and_diagnostics.md
├── effect_sizes_and_power.md
├── reporting_standards.md
└── bayesian_statistics.md