Tout ce qu'il faut savoir sur les sondages

Que ce soit pour les élections, pour les sujets de société voire même les sujets divers, les sondages sont utilisés tout le temps, partout, pour tout. Et malgré les critiques de plus en plus nombreuses, les sondages continuent d'occuper l'espace médiatique. Alors sont-ils vraiment fiables ou sont-ils truqués? Peut-on se fier à leurs résultats? Et, au fond, comment fonctionne un sondage?

À chaque élection ils reviennent, toujours plus nombreux, toujours plus discutés, toujours plus critiqués, ils sont partout à la télé, dans les journaux, sur les réseaux sociaux... Il s’agit bien évidemment des sondages. Cette année on en est particulièrement abreuvé avec près d’une dizaine qui paraissent chaque semaine, et il est presque certains que cette année encore ils seront critiqués car la plupart ne donneront pas les tendances exactes, on fera alors de grands débats sur le sujet « faut-il arrêter les sondages ? » et il est encore plus certain qu’ils réapparaitront encore plus nombreux à la prochaine élection.

C’est donc l’occasion pour nous de revenir sur ce sujet, de comprendre ce que sont les sondages, comment ils sont effectués et de savoir si l’on peut vraiment s’y fier ou pas.

Pour commencer par le commencement, un sondage c’est un outil et une méthode statistique permettant de quantifier l’opinion de la population sur un sujet ou une thématique. En France cet outil s’est popularisé à partir de 1965 quand l’institut IFOP a prouvé sa crédibilité en signalant la chute de popularité du Général De Gaulle alors particulièrement confiant durant la campagne pour l'élection présidentielle.

Le but d’un sondage est de refléter au maximum l’opinion d’une population, mais comme il est impossible ou en tous cas très couteux de questionner l’ensemble de la population, ce qu’on appelle un recensement, les sondeurs vont questionner un échantillon de personnes à partir duquel ils vont pouvoir déduire l’opinion générale. Afin d’arriver à ce résultat, il faut que ce petit groupe de personnes ait une opinion un maximum représentative de l’opinion générale. Pour ce faire il existe deux méthodes principales de sondages : la méthode probabiliste qui consiste à sélectionner au hasard les personnes qui seront sondées, et la méthode des quotas qui elle consiste à avoir un échantillon le plus représentatif sociologiquement de la population, c’est-à-dire de respecter le pourcentage des âges, des sexes, des catégories socio-professionnelles et de la répartition géographique. Par exemple, si l’on sait qu’il y a environ 52% de femmes en France, on va faire en sorte qu’il y ait la même proportion de femmes dans l’échantillon choisi.

En règle générale, il est convenu que la méthode probabiliste sélectionnant donc les sondés au hasard est plus fiable que la méthode des quotas. Car si cette dernière a fait ses preuves, elle n’en demeure pas moins assez complexe à réaliser. L’idée est que l’échantillon soit le plus représentatif de la population, mais tout en utilisant le moins de critère possible pour ne pas complexifier inutilement l’échantillon et donc le fausser. Pour cette raison, les sondeurs vont se concentrer sur les facteurs influençant le plus l’opinion d’une personne à savoir son niveau de revenu, d’études et sa profession, son âge, son sexe et la zone géographique qu’il habite. Cependant certaines catégories de la population sont difficiles à atteindre. On sait par exemple que les sans-abris et les personnes isolées comme les sans-emplois répondent très peu aux enquêtes d’opinion. C’est pourquoi une fois que les données sont recueillies les sondeurs vont effectuer ce qu’on appelle un redressement pour adapter les résultats en fonction des catégories sous représentées ou parfois surreprésentées.

Un argument que l’on entend souvent contre les sondages est relatif à la taille de l’échantillon. La plupart des sondages vont interroger un échantillon de 1000 à 2000 personnes environ et ce chiffre peut être vu comme particulièrement petit par rapport à une population française de 66 millions de personnes. Mais en réalité la taille de l’échantillon la plus convenue est d’environ 1.000 personnes qui est vu comme un bon compromis entre fiabilité et coût, car bien évidemment plus on va interroger de personne, plus le sondage vous coûtera cher à réaliser. Et la taille de l’échantillon importe peu temps qu’il est suffisamment représentatif de la population, à partir de 1.000 sondés vous commencez à avoir assez de personnes pour assurer une bonne représentativité. Ainsi ce chiffre est vu comme un bon compromis que ce soit pour la France comme pour un pays de 600.000 habitants comme le Luxembourg.

Bien évidemment, plus vous allez sonder de personnes, plus votre marge d’erreur sera faible. La marge d’erreur c’est l’écart probable entre les résultats du sondage et ceux que l’on obtiendrait si l’on refaisait le même sondage. C’est là un facteur clef à regarder à chaque fois que l’on consulte une enquête d’opinion car il peut changer toute l’interprétation des résultats.

Souvent afficher en début de publication, il est présenté sous cette forme de tableau. Ici par exemple il s’agit d’un sondage de Harris Interactive qui montre que pour les 2.000 personnes qu’ils ont interviewées, la marge d’erreur varie entre 1 et 2,3% en fonction des résultats. Ainsi si l’on prend un candidat crédité de 5% comme Christiane Taubira, la marge d’erreur est d’un point de pourcent, donc en réalité Taubira se situe entre 4 et 6% d’intentions de vote. Pour Emmanuel Macron qui est donné aux alentours de 24%, son résultat se situerait plus ou moins entre 22 et 26%.

Cette marge d’erreur relativise assez la lecture des résultats. Alors que ces derniers les commentaires politiques tournent souvent au tour de la course à droite entre Le Pen, Pécresse et Zemmour, où chaque point gagné et perdu est vu comme une chute ou une montée, la lecture par la marge d’erreur nous apprend simplement qu’ils se situent tous plus ou moins dans la même tranche de résultats.

Ainsi quand vous entendrez que tel ou tel candidat a perdu ou gagné un point dans les sondages, vous pouvez simplement en déduire que rien n’a vraiment bougé. Si par contre ce candidat gagne 1 point chaque semaine, là les résultats décrivent une dynamique réelle.

Cette marge d’erreur est d’autant plus importante à prendre en compte quand les instituts vont faire des sondages dans les sondages. Par exemple si l’institut Elabe a fait un sondage avec un échantillon de 1.000 personnes portant sur le nucléaire. Dans le détail de cette enquête on peut voir que 52% des sympathisants du PS pensent que l’énergie nucléaire a de l’avenir. La marge d’erreur normalement pour 1.000 personnes sondées est de 3,1 points de pourcent, sauf qu’ici il s’agit d’une partie seulement de l’échantillon qui est sympathisants du PS, on peut même stipuler qu’il ne s’agit que de 100 personnes, donc dans ce cas, la marge d’erreur est en réalité de 10 points de pourcent ce qui veut dire que ce ne sont pas 52% des sympathisants PS qui ont cette opinion, mais entre 42 et 62%. Cette partie du sondage n’a donc en réalité aucune valeur. Mais bon, ils ne vont pas se priver de la publier tout en marquant en bas de page qu’il faut les « interpréter avec prudence » synonyme de jeter à la poubelle.

Autre élément qui va influencer le sondage est la façon de récolter l’opinion on en distingue trois avec tout d’abord la plus fiable qui est l’entretien face à face. Cette méthode consiste simplement à ce que l’enquêteur pose en personne les questions aux sondés et sa fiabilité vient du fait que l’enquêteur a davantage les moyens pour expliquer chaque question, la détailler et faire en sorte que les personnes interrogées comprennent le mieux la situation.

Le point faible de cette méthode est que si vous envoyez votre enquêteur uniquement dans la rue au bas de l’institut de sondage, les opinions qu’il va recueillir ne seront pas suffisamment représentatives de la population. L’idéal est d’avoir plusieurs enquêteurs répartis dans des zones assez différentes les unes des autres. C’est cette méthode qui est utilisée pour établir les sondages de sorties des urnes le jour d’une élection qui sont aujourd’hui encore les sondages les plus fiables, d’autant plus que les personnes interrogées sont choisies au hasard.

La deuxième façon d’interroger les gens est celle de l’entretien téléphonique plus fiable que la troisième méthode qui est celle du sondage internet possédant ne nombreux biais. Le sondé décidant seul derrière son écran aura tendance à adopter une opinion plus tranchée qu’il n’a réellement et aura aussi plus de chances de se lasser des questions et donc d’y répondre trop rapidement. De plus il y a toujours une grande fracture numérique en Europe, avec pour exemple en France 14% de la population qui ne possède pas de connexion internet et 22% ne possédant pas d’ordinateur à domicile, sans compter tous ceux qui ne possède la technologie mais ne sont pas à l’aise avec. Et enfin les personnes répondant à ces sondages sur internet ont tendance à être plus politisés ou plus impliqué dans la vie publique que la moyenne de la population, ce qui fait qu’automatiquement, l’échantillon du sondage ne sera pas le plus représentatif possible.

De plus les questions elles aussi doivent respecter certaines règles pour ne pas fausser les résultats. Elles ne doivent pas comprendre de terme trop compliqué dont le sens échapperait à certaines personnes, mais les termes trop simples sont à éviter également dans le risque qu’ils puissent être ambigus.

Il faut également éviter les négations dans une phrase qui peuvent porter à confusion. Si l’on propose une phrase telle que « Pour vous la peine de mort n’est pas une bonne peine à appliquer ? », vous pouvez être certain que beaucoup de sondés vont hésiter et répondre oui à cette question pour qui la peine de mort est une bonne peine alors que pour les sondeurs la réponse sera considérée comme « oui, ce n’est pas une bonne peine ».

De plus il faut éviter de proposer les réponses oui et non aux sondés car les études montrent que qu’importe la question, les gens auront toujours plus tendance à répondre par l’affirmative à une question que par la négative, ainsi il vaut mieux proposer des choix de réponse comme d’accord ou en désaccord ou une échelle d’accord allant de 0 à 5 ou 10.

Autre information à savoir, c’est que les instituts de sondages communiquent entre eux. Si une augmentation par exemple se constate sur un parti politique, disons d’extrême droite, le directeur de sondage se rendant compte de ce nouveau phénomène va contacter son collègue pour savoir s’ils sont sur le même constat dans ce terrain. Cette façon de faire explique que les instituts de sondages définissent des fourchettes de résultats entre eux. Et c’est pour cette raison que la France a mis en place une commission des sondages, dirigée par des universitaires et des juristes du conseil d’État français et qui sont chargés de vérifier la méthodologie et la fiabilité des résultats.

Tous ces grands principes sont loin d’être toujours respectés. Et c’est donc au lecteur du sondage à faire très attentions à tous les points que nous venons de mentionner pour être certain que l’enquête qu’ils lisent soit fiable et sinon relativiser sur le résultat qu’elle donne.

Mais il faut l’admettre, la plupart du temps, les plus gros problèmes des sondages ne sont pas les sondages en eux-mêmes mais les interprétations qui en sont faite par les commentateurs et journalistes. Il faut bien comprendre que commander un sondage, même s’ils sont devenus plus abordable avec le temps et les nouvelles technologies, coûte particulièrement cher allant de 5.000 à 10 ou 20.000 euros en fonction de nombre de question, de l’échantillon ou d’autres facteurs. Il faut donc le rentabiliser soit en le surexploitant par de nombreux articles de journaux ou en en faisant des éditions spéciales qui n’ont pas forcément lieu d’être, soit en en faisant une analyse au pire frauduleuse, au mieux pute-à-clic et racoleuse pour le vendre un maximum.

Un des meilleurs cas d’école est celui de Libération qui durant la campagne présidentielle de 2012 publia cette une signalant que 30% des Français n’excluraient pas de voter pour Marine Le Pen. Pourtant quand on regarde l’enquête, les résultats sont tout autre. 68% disent qu’ils ne voteraient certainement pas pour Le Pen, 12% probablement pas, 10% disent qu’ils voteraient probablement pour elle et 8% en sont certains. Normalement, n’importe qui qui publierait ce sondage ferait l’analyse que 18% des Français sont prêt à voter pour Marine Le Pen, mais ici Libération joua sur les mots pour y inclure les 12% de « Non, probablement pas ». Le rédacteur en chef de l’époque Nicolas Demorand, aujourd’hui présentateur à France Inter se justifia étrangement de ces 30% de Français qui n’excluraient pas de voter Le Pen. (voir vidéo)

Le problème ici de Libération est évidemment qu’ils analysent leur sondage avec un biais normatif particulièrement fort. Or on sait bien que ça ne fonctionne pas comme ça. Le but de ce sondage est normalement de calculer le potentiel électoral de Le Pen pour la présidentielle de 2012, que l’on peut simplement calculer par l’addition des réponses positives donnant 18%, son résultat à l’élection sera d’ailleurs assez proche avec 17,9%. Mais dans l’imaginaire, toute personne qui ne refuserait pas catégoriquement, quoi qu’il se passe, de voter Le Pen est un potentiel lepéniste. Remarquons qu’à ce niveau de mauvaise foi, on n’aurait pas été plus étonné s’ils y avaient ajouté les 2% qui ne se prononcent pas.

Parfois les sondages en général ont mauvaise réputation car ils pâtissent pour d’autres. Par exemple durant l’élection présidentielle de 2017 les sondages ont été particulièrement critiqués alors qu’en général ils avaient assez bien cerné les tendances dans les intentions de votes. Leur seule erreur fut de publier des enquêtes d’opinion sur les primaires au sein du Parti socialiste et des Républicains pour lesquels ils n’avaient pas vu venir la victoire de Benoît Hamon et de François Fillon. La raison de cet échec est très simple, les sondeurs ne connaissent pas la population qui compte voter à ces élections. Pour une élection de base comme la présidentielle, il suffit aux sondeurs de prendre un échantillon représentatif de la population française inscrite sur les listes électorales pour avoir une idée des intentions de vote, mais pour des élections primaires c’est bien plus difficile car on a en réalité aucune idée de qui ira voter chez les LR ou au PS. On a donc aucune idée de la population et il est donc impossible d’établir un échantillon fiable. En 2021 durant la primaire fermée toujours chez les LR, les instituts ont retenu de leurs erreurs pour la plupart et n’ont pas diffuser de sondages, à l’exception près d’IFOP et d’IPSOS qui s’y risquèrent quand même et sans surprise se trompèrent lamentablement. La raison de cet échec est toujours la même, pour réaliser une enquête sur élection primaire à laquelle on ignore qui seront précisément les votants ni comment les trouver, ces instituts ont décider de sonder soit les sympathisants de droite regroupant donc des électeurs bien au-delà des simples Républicains, soit de sonder un échantillon représentatif de l’ensemble des Français toutes tendances politiques confondues. Rien d’étonnant donc à ce que les données qui sortent de ces pseudo-sondages soient aussi éloignés des véritables résultats de l’élection.

Alors à la grande question faut-il se méfier des sondages, la réponse est bien évidemment oui car il faut adopter un regard critique sur toutes les informations quelles qu’elles soient. Mais ce n’est pas pour autant qu’il faut les rejeter en bloc. Toute enquête peut être utile, intéressante et refléter une part de l’opinion publique, mais pour cela il faut en toutes circonstances vérifier la fiabilité, analyser la méthodologie et se méfier des interprétations qui en sont faites, sans oublier également et on ne le répètera jamais assez que les sondages ne sont pas des prédictions mais comme on le dit, des photographies de l’opinion à un instant T et certaines photographies sont plus nettes que d’autres.

BIBLIOGRAPHIE

« Les sondages d'opinion », Courrier hebdomadaire du CRISP, vol. 829, no. 4, 1979, pp. 1-24.

IPSOS, « Sondage d’intentions de vote pour l’élection présidentielle de 2022 », Enquête réalisée pour France Info & Le Parisien, Sopra Steria, septembre 2021.

https://www.ipsos.com/sites/default/files/ct/news/documents/2021-09/Enquete%20Ipsos_IV2022%2Bprimaires.pdf

IFOP, « Les Français et les candidats Les Républicains à l’élection présidentielle de 2022 », Enquête réalisée pour le Journal du Dimanche, octobre 2021.

https://www.ifop.com/wp-content/uploads/2021/11/118566-Rapport.pdf