« Satisfaction des hommes 75 %, des femmes 80 % — les femmes sont plus satisfaites » entre dans le rapport, et un relecteur senior demande : « Cette différence est-elle vraiment significative ? » Tout le monde y passe à un moment. Lire les chiffres dans un tableau d'agrégation et juger si la différence est pertinente sont deux travaux distincts. Le premier, n'importe qui peut le faire ; le second est un métier à part que peu de chercheurs de terrain exécutent proprement.
Cet article parcourt pourquoi l'agrégation et le test de significativité doivent être traités comme des étapes séparées, quand utiliser l'agrégation GT (à une variable) ou un tableau croisé, les cinq patterns de tableau croisé qui apparaissent en pratique, le flux du test du chi-deux, pourquoi les p-valeurs seules ne suffisent pas (et ce que les tailles d'effet apportent), et les pièges éditoriaux que nous vérifions toujours. En quatrième volet de la série sur la qualité des questions (rédaction → pilote → nettoyage), il couvre l'arc « concevoir → vérifier → préparer → analyser ».
1. Pourquoi agrégation et test sont des étapes distinctes
« On dirait une différence » vs « il y a une différence »
Repérer « Hommes 75 % / Femmes 80 % » dans un croisé et conclure « il y a une différence » est prématuré. Avec un petit échantillon, ces 5 points entrent dans le bruit d'échantillonnage ; avec un grand, c'est fiablement significatif. Mêmes chiffres, conclusions opposées selon N.
Agresti (2018) Statistical Methods for the Social Sciences le pose comme fondement de l'analyse d'enquêtes en sciences sociales : toujours vérifier d'abord si la différence observée tient dans l'erreur d'échantillonnage. Lire le tableau sans cette vérification équivaut statistiquement à déclarer un résultat aléatoire.
Diviser le travail
| Étape | Ce qu'elle fait | Sortie |
|---|---|---|
| Agrégation | Organiser les chiffres (GT, croisé) | Tableaux, graphiques |
| Test de significativité | Juger si la différence est aléatoire | p-valeur, taille d'effet |
| Interprétation | Traduire les résultats statistiques en décisions | Rapport, recommandations |
Conclure depuis l'agrégation seule, c'est comme diagnostiquer un coup de chaleur sans thermomètre parce que « ça paraît chaud aujourd'hui ». L'étape de test est obligatoire.
2. GT vs tableau croisé
Agrégation GT (à une variable, Grand Total)
La plus basique — pour chaque question, combien de répondants ont choisi chaque option.
- Objectif : capturer les tendances générales
- Quand : sections « vue d'ensemble » des rapports, vérification de distribution par question
- Limite : ne montre pas les différences entre segments
Tableau croisé
Croise deux questions (ou attributs) pour montrer des patterns au niveau du segment.
- Objectif : comparer entre attributs ou groupes
- Quand : « genre × satisfaction », « tranche d'âge × intention d'achat », etc.
- Limite : maximum 2 axes (3+ devient difficile à interpréter sans outils externes)
Comment choisir
| Question à laquelle vous répondez | Agrégation recommandée |
|---|---|
| « Quel est le résultat global ? » | GT |
| « Y a-t-il des différences entre segments ? » | Croisé |
| « Quel est le résultat sur ce sous-ensemble ? » | GT filtré |
| « Effets combinés de plusieurs attributs ? » | Croisé à trois entrées ou multivarié (externe) |
3. Cinq patterns de tableau croisé à connaître
Le travail pratique de croisé se répartit en environ cinq patterns.
Pattern 1 : Comparaison démographique
« Genre × satisfaction », « âge × intention d'achat » — segmentation par attributs démographiques. Le pattern le plus fréquent de loin.
Pattern 2 : Comparaison temporelle
Comparer la même question entre des points temporels (2025 vs 2026). Le pain quotidien des études de suivi.
Pattern 3 : Comparaison de groupes (expérience vs contrôle)
Tests A/B ou comparaisons avant/après regardant « condition × résultat ». Comment l'impact marketing se mesure.
Pattern 4 : Croisé à trois entrées
« Genre × âge × satisfaction » — trois axes. Les cellules deviennent vite minces ; recommandé seulement à partir de N=300.
Pattern 5 : GT filtré (conditionnel)
GT après filtrage (« seulement les répondants ayant acheté le produit X », « seulement les utilisateurs avec 6+ mois d'ancienneté »). Souvent une alternative plus propre aux croisés.
Ligne % vs colonne %
Les croisés offrent deux vues en pourcentage :
- Ligne % — chaque ligne somme à 100 % (par ex. distribution de la satisfaction au sein des « hommes »)
- Colonne % — chaque colonne somme à 100 % (par ex. répartition par genre parmi les « très satisfaits »)
Choisissez celle qui correspond à votre question. Le même tableau peut renverser votre conclusion si vous le lisez à l'envers.
4. Le flux du test du chi-deux
Le test standard pour « ces différences entre segments sont-elles aléatoires ou significatives » dans un croisé est le test du chi-deux d'indépendance.
Les bases
- Hypothèse nulle (H0) : les deux variables sont indépendantes (pas de relation)
- Hypothèse alternative (H1) : les deux variables sont liées (il y a une relation)
- Décision : rejeter H0 quand la p-valeur tombe sous le seuil de significativité préétabli (typiquement 0,05)
Flux de terrain
- Construire le croisé (par ex. genre × satisfaction)
- Lancer un test du chi-deux dans R / Python / SPSS / Excel
- Vérifier la p-valeur et la taille d'effet (V de Cramér)
- Confirmer qu'aucune cellule n'a un effectif attendu inférieur à 5
La contrainte d'effectif attendu
Le chi-deux suppose que chaque cellule a un effectif attendu de 5 ou plus. Quand trop de cellules tombent en dessous :
- Passer au test exact de Fisher (mieux pour les tableaux clairsemés)
- Regrouper les cellules (« 20s/30s », « 40s/50s », « 60+ » au lieu de bandes fines)
- Augmenter l'échantillon
Field (2018) Discovering Statistics note que la fiabilité du test se dégrade de façon mesurable lorsque plus de 20 % des cellules ont des effectifs attendus inférieurs à 5.
5. Significativité vs taille d'effet — pourquoi p < 0,05 seul ne suffit pas
N grand rend les différences minuscules « significatives »
Le piège majeur du chi-deux. Avec de grands échantillons, des différences sans intérêt pratique sortent statistiquement significatives.
Exemple : à N=10 000, « hommes 50 % / femmes 51 % d'intention d'achat » peut sortir à p < 0,001. Cette différence d'un point est-elle actionable pour une décision business ? Presque jamais.
Le communiqué ASA sur les p-valeurs
Wasserstein & Lazar (2016) The ASA Statement on p-Values: Context, Process, and Purpose — la position officielle de l'American Statistical Association selon laquelle les p-valeurs seules ne devraient pas guider les conclusions. L'interprétation requiert :
- Taille d'effet
- Intervalles de confiance
- Significativité substantielle
Les trois ensemble, aux côtés de la p-valeur.
Ce que dit la taille d'effet
Une mesure statistique de « à quel point la différence est grande ». Communes pour les croisés :
- V de Cramér — force d'association globale dans un tableau de contingence (0–1 ; 0,1 faible, 0,3 moyen, 0,5 fort)
- d de Cohen — différence standardisée de moyennes entre deux groupes (variables continues ; 0,2 petit, 0,5 moyen, 0,8 grand)
- Rapport de cotes / rapport de risques — effet entre groupes dans des tableaux 2×2
Sullivan & Feinn (2012) Using Effect Size — or Why the P Value Is Not Enough recommande de toujours rapporter la p-valeur et la taille d'effet ensemble dans les articles et rapports.
Une matrice pratique de décision
| p-valeur | Taille d'effet | Interprétation |
|---|---|---|
| p < 0,05 | Grande | Différence pertinente — agir |
| p < 0,05 | Petite | Statistiquement significative mais faible en substance — interpréter avec prudence |
| p ≥ 0,05 | Grande | Possiblement sous-puissante — augmenter N ou argumenter depuis la taille d'effet |
| p ≥ 0,05 | Petite | Pas de vraie différence — rapporter comme nulle |
6. Vue éditoriale — cinq pièges que nous surveillons toujours
De la littérature et de la pratique, les cinq points sur lesquels nous insisterions.
1. Sur-interpréter les cellules à faible N. Une fois qu'une cellule de croisé tombe sous n≈30, les pourcentages tanguent. Avant d'écrire « 90 % des femmes en 20s sont satisfaites », toujours vérifier le n de la cellule. À N=10, un répondant déplace le % de 10 points — la crédibilité interprétative est essentiellement nulle.
2. Le piège des comparaisons multiples. « Lancer un tas de croisés, ne rapporter que les significatifs » est structurellement du p-hacking. 5 tests aléatoires donneront fiablement 1 avec p < 0,05 par hasard. Augmentez le nombre de comparaisons et les faux positifs s'échelonnent avec. Préenregistrez les hypothèses à tester avant d'ouvrir les données.
3. Conclure depuis p < 0,05 seul. Le piège le plus fréquent sur le terrain. Toujours coupler la p-valeur avec une taille d'effet. Un rapport qui dit juste « p < 0,05, différence significative » a fait la moitié du travail statistique. Sullivan & Feinn (2012) vaut la peine d'être circulé aux dirigeants pour que la conversation se déplace vers « à quel point la différence est grande ».
4. Confondre corrélation et causalité. « Les utilisateurs du service ont une satisfaction plus élevée » dans un croisé ne justifie pas « utiliser le service augmente la satisfaction ». Les croisés montrent de la corrélation, pas de la causalité. Les affirmations causales nécessitent des designs expérimentaux (tests A/B, quasi-expériences).
5. Cherry-picking de l'axe de croisement. L'axe choisi reconfigure « ce que les données montrent ». Écrivez un plan d'analyse à l'avance et bloquez les axes. Chasser les axes « intéressants » après coup biaise les conclusions vers ce qui vous convient narrativement.
7. Opérations d'agrégation dans l'outil de sondage Kicue
Kicue embarque les fondations d'agrégation en standard.
GT et croisé
L'agrégation GT montre des résumés à une variable pour chaque question sur un seul écran, avec des tableaux conscients du type de question (SA / MA / matrice / échelle).
La tabulation croisée génère des croisés à 2 axes en temps réel. Toggle ligne % / colonne % en un clic, donc vous lisez le tableau du bon côté pour votre question.
Paramètres d'URL comme axes de croisement
Les paramètres d'URL — referrer, ID de campagne, ID client — sont utilisables comme axes de croisement. Des analyses comme « satisfaction email vs SNS » fonctionnent sans implémentation supplémentaire.
Export de données brutes pour test de significativité
Les calculs de chi-deux et de taille d'effet ne tournent pas dans Kicue. Le pattern standard est d'utiliser l'export de données brutes (CSV / Excel) pour pousser les données vers R / Python / SPSS et lancer chisq.test() et cramersV() là-bas.
Combiner avec le filtrage de fraude
Activez « Exclure les réponses flaggées » dans la vue d'analyse, avec la gestion des flags confirmant vos cas de fraude — vous obtenez nettoyage → agrégation → test comme un seul flux dans l'outil.
Choisir le bon outil — Les limites du plan gratuit, le support du branchement, les capacités IA et l'export CSV varient beaucoup entre outils. Consultez notre comparatif des outils de sondage gratuits pour trouver le bon pour cette approche.
Résumé
Checklist d'agrégation et de test de significativité :
- Agrégation et test sont des étapes distinctes — ne jamais conclure depuis le tableau seul.
- GT (global) vs croisé (segments) — adaptez l'agrégation à la question.
- Cinq patterns de croisé — démographique, temporel, groupe, trois entrées, filtré.
- Chi-deux pour tester les différences. Surveillez la contrainte d'effectif attendu ≥5.
- Ne concluez pas depuis p seul — rapportez toujours la taille d'effet (V de Cramér, d de Cohen). Voir ASA Statement (2016).
- Cinq pièges — sur-lecture de N faible, comparaisons multiples, rapport p-only, confusion corrélation/causalité, cherry-picking d'axes.
- Kicue couvre GT et croisé nativement ; les tests de significativité passent par R / Python après l'export.
L'agrégation organise les chiffres ; le test demande s'ils signifient quelque chose. Faites tourner les deux, et seulement alors les résultats d'enquête deviennent matière à décision. La série en quatre parties sur la qualité des questions (rédaction → pilote → nettoyage → agrégation/analyse) se ferme ici.
Références
Académiques et méthodologiques
- Agresti, A. (2018). Statistical Methods for the Social Sciences (5e éd.). Pearson.
- Field, A. (2018). Discovering Statistics Using IBM SPSS Statistics (5e éd.). SAGE.
- Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2e éd.). Routledge.
- Wasserstein, R. L., & Lazar, N. A. (2016). Le communiqué ASA sur les p-valeurs : contexte, processus, objectif. The American Statistician, 70(2), 129–133.
- Sullivan, G. M., & Feinn, R. (2012). Utiliser la taille d'effet — ou pourquoi la p-valeur ne suffit pas. Journal of Graduate Medical Education, 4(3), 279–282.
Organismes de standards et centres méthodologiques
- AAPOR (American Association for Public Opinion Research): Standard Definitions.
- Pew Research Center: Our Survey Methodology in Detail.
Guides du secteur (à titre d'observation)
- Qualtrics: Cross Tabulation Analysis Guide.
- SurveyMonkey: How to Use Statistical Significance in Surveys.
Vous voulez emmener l'agrégation jusqu'au test de significativité dans un seul flux ? Essayez Kicue — un outil de sondage en ligne gratuit. GT et croisé, analyse par segment via paramètres d'URL et export de données brutes sont livrés en standard — Kicue gère l'agrégation, R / Python gèrent les tests.