Guide des méthodes d'échantillonnage d'enquête — aléatoire, stratifié, par grappes

« Joli score, on peut sortir ça en comité de direction ! » — et au moment exact où vous entendez cette phrase en salle de réunion, une petite voix vous souffle : « Mais attends, on a envoyé ça uniquement à notre newsletter, donc la satisfaction est forcément un peu gonflée... » Tout chargé d'études a déjà vécu ce moment. Vous pouvez bien collecter 1 000 réponses, si la façon de sélectionner les répondants est défaillante, vous n'avez mesuré que « l'humeur d'un segment particulier », et la décision business part de travers — une erreur d'échantillonnage est bien plus pernicieuse qu'une erreur de calcul de score, parce qu'on ne la rattrape pas après coup.

Cet article traite de ce qui vient avant le calcul de la taille d'échantillon : comment choisir qui répond. Nous organisons le sujet en 4 méthodes probabilistes (aléatoire, systématique, stratifié, grappes) et 4 méthodes non probabilistes (de convenance, par quotas, boule de neige, volontariat). Plutôt qu'une classification de manuel, le centre de gravité est mis sur « sur quoi on peut faire des concessions sur le terrain, et sur quoi on ne doit jamais en faire ».

1. Pourquoi « qui interroger » prime parfois sur « combien interroger »

Le calcul de la taille d'échantillon repose sur une mathématique qui présuppose un échantillonnage probabiliste. Les intervalles de confiance et les tests de significativité n'ont de sens que si chaque individu de la population est sélectionné avec une probabilité égale (ou connue).

Or, dans les enquêtes en ligne contemporaines, cette hypothèse est rarement vérifiée.

• Bannière sur votre site corporate → biais des visiteurs du site
• Envoi à la newsletter → biais des clients existants
• Diffusion d'URL sur les réseaux sociaux → biais des utilisateurs de ces plateformes
• Sollicitation d'un panel → biais des inscrits au panel

Ce sont toutes des variantes d'« échantillonnage de convenance », et collecter 1 000 réponses ne suffit pas à valider les présupposés de la statistique inférentielle. On voit régulièrement des rapports affichant « N=1 000, marge d'erreur ±3 % » qui en réalité décrivent une « marge d'erreur ±3 % sur un segment particulier ».

Nous traitons en détail le « combien interroger » dans Comment calculer la taille d'un échantillon d'enquête et Comment déterminer la taille d'échantillon d'une enquête. Cet article systématise l'étape antérieure : « comment sélectionner, en amont ».

2. Probabiliste vs non probabiliste — la ligne au-delà de laquelle écrire « IC ±3 % » est légitime

Les méthodes d'échantillonnage se répartissent en deux grandes familles.

• Échantillonnage probabiliste (Probability Sampling) : chaque individu de la population est sélectionné avec une probabilité connue. Les présupposés de la statistique inférentielle (intervalles de confiance, tests de significativité) sont satisfaits.
• Échantillonnage non probabiliste (Non-probability Sampling) : la probabilité de sélection de chaque individu est inconnue. On ne peut pas écrire rigoureusement « IC ±3 % ».

La distinction qui pèse le plus sur le terrain, c'est la décision « est-ce que j'écris un intervalle de confiance dans le rapport, oui ou non ? ». Écrire « N=1 000, IC ±3,1 % » sur des données obtenues en diffusant une URL sur les réseaux sociaux est, en toute rigueur, hors-jeu. Pourquoi ? Parce qu'on ignore avec quelle probabilité chaque individu a été sélectionné. Si vous voulez tout de même publier, mentionnez « enquête exploratoire » ou « valeur indicative issue d'un échantillon de convenance » — c'est ce petit effort qui distingue un bon chargé d'études.

3. Les 4 méthodes d'échantillonnage probabiliste

Quatre variantes typiques se dégagent. Voici la classification standard de la littérature académique.

Comparaison de précision

Sur le plan théorique, l'erreur standard décroît dans l'ordre suivant : stratifié ≥ SRS = systématique ≥ grappes. L'échantillonnage par grappes offre la meilleure efficacité-coût, mais l'homogénéité intra-grappe entraîne une perte de précision : c'est l'« effet de design » (Design Effect).

Guides de sélection pratiques :

• Liste de population disponible + analyses par sous-groupes prévues → stratifié (standard de facto)
• Liste de population disponible + on veut faire simple → SRS ou systématique
• Population géographiquement dispersée, coûts de visite/synchronisation élevés → par grappes

4. Les 4 méthodes d'échantillonnage non probabiliste — la majorité des enquêtes web sont ici

La majorité des enquêtes en ligne relève en réalité de l'échantillonnage non probabiliste. Si vous voyez un rapport affirmant « nous faisons du SRS », il y a quasiment toujours une méthode par quotas qui tourne en coulisse. La raison est simple : personne ne dispose d'une liste exhaustive et précise de l'ensemble de la population nationale.

• Échantillonnage de convenance (Convenience Sampling) : on prend les personnes les plus faciles à atteindre (panel interne, abonnés réseaux sociaux, passants). Coût minimal, représentativité de la population la plus faible.
• Méthode des quotas (Quota Sampling) : on fixe des objectifs chiffrés (« 50/50 hommes/femmes, 4 tranches d'âge équilibrées ») et on collecte jusqu'à remplir chaque case. Standard de facto en études marketing. Même les enquêtes panel qui affirment « avoir fait du SRS » sont en réalité, puisque l'inscription au panel est volontaire, factuellement des quotas.
• Échantillonnage boule de neige (Snowball Sampling) : on demande à chaque répondant d'en présenter un autre. Utilisé pour des cibles difficiles d'accès (patients d'une pathologie spécifique, professions très spécialisées, communautés particulières).
• Réponse volontaire (Self-selection / Volunteer) : on publie une URL ouverte, seuls les volontaires répondent. Sondages web ouverts, consultations publiques. Le plus biaisé de tous.

Le texte fondateur qui systématise les biais des enquêtes web est Bethlehem (2010). Selection Bias in Web Surveys. Les quatre types de biais qu'il distingue (couverture, non-réponse, sélection, mesure) restent la référence aujourd'hui.

Les « règles minimales de l'art » pour un échantillon non probabiliste

Lorsque vous publiez en interne ou en externe des résultats issus d'un échantillon non probabiliste, indiquez impérativement le canal de diffusion, le taux de réponse et les limites de généralisation — c'est la base de la crédibilité du métier. Concrètement :

• Préciser le dénominateur : « 5 000 envois à la newsletter → 487 réponses, taux de réponse 9,7 % »
• Préciser le périmètre d'application : « ces résultats reflètent les clients existants de notre entreprise, pas le marché global »
• Si la représentativité d'un segment pose problème, sortir le tableau correspondant du corps du rapport et le placer en annexe

Sans ces précautions, le jour où quelqu'un vous objecte « chez nous on observe le contraire », vous n'avez plus rien à répondre.

5. Le côté « un peu gênant à dire » des panels en ligne

Dans la pratique, en France comme à l'étranger, ce qui domine, ce sont les panels en ligne (les répondants enregistrés que possèdent les sociétés d'études). En apparence, on peut dire « nous avons envoyé l'enquête à 1 000 personnes tirées au hasard », mais en regardant la structure de près, il y a une double auto-sélection :

1. Le fait de s'inscrire au panel est une auto-sélection (biais vers les profils motivés par les récompenses)
2. Le fait de répondre à une invitation est une auto-sélection (biais vers les personnes disposant de temps)

Ce « tirage aléatoire » est donc, en rigueur, postérieur à deux étapes de sélection — ce n'est pas un échantillonnage probabiliste. S'il continue d'être utilisé massivement, c'est parce qu'aucune autre option n'est réaliste en termes de coût et de délai — pour être honnête.

Les « 3 éléments de transparence » à exiger lors du choix d'un panel

Pour sélectionner une société de panel parmi plusieurs, l'indicateur clé n'est pas la taille nominale.

• Taux d'activité : « 1 million d'inscrits » compte moins que « X panélistes ayant répondu à au moins une enquête dans les 3 derniers mois »
• Taux de multi-inscription : la part des personnes inscrites simultanément sur plusieurs panels. Les « pros du panel » distordent les résultats à l'extrême.
• Fréquence de réponse moyenne : les « professionnels du panel » qui répondent à plus de 10 enquêtes par mois développent des schémas de réponse atypiques liés à leur maîtrise du format.

Une société qui refuse de communiquer ces chiffres en les qualifiant de « secrets commerciaux » est, possiblement, opaque sur sa qualité.

Choix réaliste selon l'usage

• Enquêtes B2C grand public : grands panels (BVA, Ipsos, Kantar, OpinionWay, etc.) en quotas + stratification
• Enquêtes B2B sur des professions : panels sectoriels spécialisés, ou recrutement direct via ciblage LinkedIn
• Cibles spéciales (santé, éducation, pathologies) : panel spécialisé + boule de neige en complément. Les effectifs disponibles étant faibles, accepter dès le départ les limites du non probabiliste.

6. Réponse à : « Si on ajoute un peu d'échantillon, on va obtenir une différence significative, non ? »

Une question revient en boucle sur le terrain : « Le N est trop petit, si on ajoute un peu d'échantillon, on va obtenir une significativité, non ? ». À moitié vrai, à moitié piège. Le piège, c'est l'erreur non d'échantillonnage.

• Erreur d'échantillonnage (Sampling Error) : erreur aléatoire due au fait que l'échantillon est extrait d'une population. Inversement proportionnelle à la racine carrée de la taille d'échantillon → diminue quand N augmente.
• Erreur non d'échantillonnage (Non-sampling Error) : défauts de conception des questions, biais de non-réponse, styles de réponse, erreurs de saisie. Ne diminue pas quand N augmente.

Le cadre intégrant ces deux erreurs s'appelle « Total Survey Error ». L'ouvrage de référence est Groves et al. (2009) Survey Methodology.

Jugement de terrain : si avec N=300 vous n'obtenez pas de différence significative, ne soupçonnez pas en premier « N trop petit », mais « question mal formulée », « cible mal sélectionnée », « non-réponse biaisée dans une direction » — l'une de ces trois causes. N'envisagez d'ajouter de l'échantillon qu'après avoir éliminé ces trois pistes. Ajouter de l'échantillon coûte, alors que reformuler une question est gratuit et l'effet est souvent supérieur à un ajout de N.

Pour la suite, Guide complet du nettoyage des données d'enquête traite la détection des biais de non-réponse et des réponses non sérieuses.

7. Le point de vue de la rédaction — « ce qu'il ne faut pas faire », concrètement

À partir des cas observés dans le secteur et de notre expérience projet, 5 points à graver dans le marbre.

1. Ne pas écrire « IC ±3 % » sur un recrutement via votre propre site

Mettre une bannière sur votre site corporate, collecter 1 000 réponses, et écrire « marge d'erreur ±3,1 % » dans le rapport — on en voit régulièrement, mais c'est, en rigueur, inexact. Dès qu'il y a un biais de visiteurs du site, ce n'est plus un échantillonnage probabiliste, donc l'intervalle de confiance est une valeur théorique qui ne s'applique pas à la population. Si vous publiez, mentionnez « valeur indicative basée sur les visiteurs du site » — c'est l'honnêteté minimale.

2. Ne pas découper en 14 cellules « 7 tranches d'âge × 2 sexes » d'emblée

Certains, voulant faire du stratifié, partent direct sur « 7 tranches d'âge × 2 sexes = 14 cellules ». Mais dès que N < 20 par cellule, le test du chi² ne passe plus (effectifs théoriques < 5 dans certaines cellules). La règle de prudence : commencer avec 3 à 5 strates et subdiviser uniquement si nécessaire.

3. Pour le choix du panel, regarder le « taux d'activité », pas le « nombre nominal d'inscrits »

« Un panel d'1 million » compte moins que « 300 000 actifs ayant répondu à au moins une enquête dans les 3 derniers mois » pour la qualité de l'étude. Ne vous laissez pas berner par les chiffres en tête des plaquettes commerciales — la règle d'or est de demander le taux d'activité, le taux de multi-inscription et la distribution des fréquences de réponse.

4. Même en non probabiliste, le « repondération a posteriori » sauve un peu la mise

Pondérer les résultats d'un échantillon de convenance pour qu'ils correspondent à la distribution de la population sur le sexe, l'âge, la région (Post-stratification) améliore la précision inférentielle par rapport aux données brutes. On n'atteint pas le niveau d'un vrai probabiliste, mais c'est « infiniment mieux que de ne rien faire ». Le package survey de R ou la fonction de pondération de SPSS permettent de l'implémenter en quelques dizaines de minutes.

5. Mettre « méthode de sélection des répondants / canal de diffusion / taux de réponse » dès l'en-tête du rapport

Un rapport qui mentionne seulement « N=500 » ne donne aucun élément d'appréciation au lecteur. Mettre dans les 3 premières lignes : « Cible : ◯◯ / Canal : △△ / Taux de réponse : ◯◯ % » réduit drastiquement les incidents du type « on n'avait pas remarqué le biais des données ». Ce n'est pas une question de conception, c'est une question de documentation opérationnelle.

8. Mise en œuvre de l'échantillonnage avec l'outil d'enquête Kicue

Les fonctionnalités et patterns d'utilisation de Kicue pour faire vivre les conceptions d'échantillonnage de ce guide :

• Génération d'URL de diffusion : URL unique, ou génération de plusieurs URL pour mesurer l'effet par source (diffuser une URL différente pour newsletter / réseaux sociaux / panel interne, et comparer par canal à l'export CSV)
• Questions de filtrage (screening) : exclure dès le début les répondants hors-cible et n'orienter que la cible vers l'enquête principale (utilisable comme substitut ou complément à la stratification)
• Plafond de réponses : combinaison de quotas par sexe et tranche d'âge avec les questions de filtrage (mise en œuvre de la méthode des quotas)
• Export CSV : récupération unifiée des informations de source de diffusion, des réponses au screening et au questionnaire principal, permettant une analyse stratifiée a posteriori dans un outil externe

Périmètre que Kicue ne couvre pas

⚠️ Kicue n'inclut pas en lui-même de fonctionnalité d'échantillonnage probabiliste, de gestion de panel ou de repondération a posteriori. Concrètement, ce qui dépasse Kicue et exige des outils externes :

• Approvisionnement en échantillon auprès d'une société de panel : contracter avec un grand panel (BVA, Ipsos, Kantar, Cint, etc.) pour obtenir l'échantillon, puis diffuser via Kicue
• Automatisation de l'échantillonnage stratifié : stratifier la liste de population puis distribuer des URL individuelles relève d'un traitement externe (stratifier la liste avec R/Python, puis créer une liste de distribution e-mail dans Kicue)
• Repondération a posteriori (Post-stratification) : après l'export CSV, à exécuter avec le package survey de R ou la fonction de pondération SPSS
• Calcul de l'erreur d'échantillonnage et de l'effet de design : à effectuer côté outil d'analyse statistique

En articles complémentaires, lire Comment calculer la taille d'un échantillon d'enquête, Comment déterminer la taille d'échantillon d'une enquête, Conception et exploitation des questions de filtrage et Agrégation d'enquête et test de significativité pour voir les points de jonction entre conception d'échantillonnage, conception quantitative et conception du screening.

Références

• Kish, L. (1965). Survey Sampling. Wiley.
• Cochran, W. G. (1977). Sampling Techniques (3rd ed.). Wiley.
• Lohr, S. L. (2010). Sampling: Design and Analysis (2nd ed.). Brooks/Cole Cengage Learning.
• Bethlehem, J. (2010). Selection Bias in Web Surveys. International Statistical Review, 78(2), 161-188.
• Couper, M. P. (2000). Web Surveys: A Review of Issues and Approaches. Public Opinion Quarterly, 64(4), 464-494.
• Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey Methodology (2nd ed.). Wiley.
• Baker, R., Brick, J. M., Bates, N. A., Battaglia, M., Couper, M. P., Dever, J. A., Gile, K. J., & Tourangeau, R. (2013). Summary Report of the AAPOR Task Force on Non-probability Sampling. Journal of Survey Statistics and Methodology, 1(2), 90-143.

Si vous souhaitez exploiter des enquêtes avec une conception d'échantillonnage appropriée, essayez l'outil d'enquête gratuit Kicue. Distribution multi-URL pour la comparaison par canal, questions de filtrage et plafonds de réponses pour la mise en œuvre de la méthode par quotas, et exports CSV incluant les informations de canal — vous pouvez exécuter le cœur des opérations d'échantillonnage en un seul compte (l'approvisionnement en panels, l'échantillonnage stratifié automatisé, la pondération post-stratification et le calcul de l'effet de design nécessitent des contrats avec des sociétés de panels et des outils statistiques externes comme R / SPSS / Python).