23/11/2006
Représentativité des études par Internet
Question récurrente ces derniers temps – certainement liée à la montée en puissance d’Internet sur le marché des études quantitatives : celle de la représentativité des terrains par Internet.
Mauvaise question, car elle présuppose dans l’esprit de ceux qui la posent l’existence de benchmarks – de terrains pleinement représentatifs ou réputés tels – auxquels se comparer. Et c’est bien là que le bât blesse.
Si la question était : la population des internautes est-elle représentative de la population française, la réponse serait simple : non !
Mais l’inquiétude qui perce ici est d’une tout autre nature : en utilisant Internet, mes résultats seront-ils tout aussi fiables qu’en face à face ou par téléphone ?
Je passerai ici sur les retraités, encore trop faiblement connectées – 21% de la population française, 5% des internautes – et sur certaines cibles rares qui nécessiteraient une analyse plus fine pour me limiter à la préoccupation la plus courante.
Je passerai également sur les biais liés une éventuelle corrélation entre accès à Internet et objet étudié : ainsi la possession et l’utilisation d’un baladeur mp3 n’est certainement pas la même selon que l’on peut aisément ou non télécharger de la musique en ligne.
Ceci bien précisé, je poserais avant tout la question de la fiabilité des terrains… en face à face ou par téléphone !
Selon une étude publiée par l’Autorité de régulation des communications électroniques et des postes en 2005, 16% des Français n’utilisaient déjà plus que leur téléphone mobile et 9% avaient adopté les communications en VoIP.* Et la tendance au mono équipement mobile apparaît extrêmement forte : nous n’étions que 12% à nous passer de fixe en 2003.
La même étude précisait que 4% des personnes interrogées utilisaient la téléphonie uniquement via l’ordinateur à l’aide de logiciels spécifiques type Skype. 4%, ce n’est certes pas énorme, mais c’est encore une nouvelle source de distorsion à maîtriser.
Quant au face à face – qui régresse très fortement – il n’apparaît pas non plus exempt de critiques.
Dans la rue, les enquêteurs privilégient les artères passantes ; mais si de nombreux banlieusards transitent rue de Rivoli ou Gare Saint Lazare, plus nombreux encore sont ceux qui n’y mettent jamais les pieds. La vrai question n’est pas de savoir si les habitants de la petite couronne seront suffisamment représentés dans notre échantillon, mais plutôt si ceux qui ne se rendent presque jamais au centre de la capitale agissent ou pensent comme ceux qui y vont quotidiennement.
Seconde approche, à domicile : entre les digicodes de certains quartiers, et les cités où personne n’ose réellement pénétrer, il est clair de certaines zones – parfois très riches, d’autres extrêmement pauvres – ne sont jamais visitées. A la campagne, les frais kilométriques engendrés limitent pareillement bien des ardeurs.
Il n’est pas question pour moi de dénigrer un mode de recueil face à un autre – ou pire, de dénigrer tous les modes de recueil ! Je souhaitais simplement souligner que chaque mode de recueil présente des biais, et que ce n’est pas parce que certains sont anciens – banalisés – qu’il faut les négliger.
Inversement, Internet ne constitue certainement pas la panacée ; mais c’est désormais un outil parvenu à maturité, qu’il convient d’intégrer dans notre pratique courante avec le même discernement que les autres modes de recueil. Ni plus, ni moins.
L’autre question couramment posée est celle de la motivation des répondants : consommateurs ou chasseurs de primes ? Car contrairement au téléphone ou en face à face, les internautes sondés – notamment par access panels – reçoivent « un petit quelque chose » : argent ou miles, chèques cadeaux, participation à une tombola.
Pour moi, le vrai problème est plus celui du recrutement des interviewés que cette pratique de cadeaux… si elle demeure dans la limite du raisonnable, bien évidemment.
Car parfois je reçois des mails en provenance de l’autre bout du monde me proposant monts et merveilles dans un français très approximatif pour répondre à leurs enquêtes… et il ne s’agit pas de spams, car la signature est bien celle de société ayant pignon sur rue de l’autre côté de l’océan !
Pour revenir à question de la motivation des répondants à répondre, elle se pose quel que soit le mode de recueil également : qu’est-ce qui motive une ménagère pressée à accorder une demi heure de son temps à répondre aux questions d’un parfait inconnu ?
Il existe certainement de profondes différences entre répondants et non répondants absolus – ces individus qui refusent systématiquement de répondre à la moindre enquête ; le problème, c’est qu’on ne saura jamais rien de ces non répondants absolus… puisqu’on ne pourra jamais obtenir d’eux la moindre information.
Combien de gens accélère le pas dans la rue, avant même que les enquêteurs ne les abordent. Combien d’autres raccrochent dès que l’automate d’appel leur propose de répondre à une enquête : on considère qu’en moyenne 5 à 7 appels sont nécessaires pour un utile ! Mais ces 4 à 6 autres, quelles auraient été leurs réponses ?
Pour moi, la représentativité des terrains par Internet ne se pose pas… parce que ce n’est pas la bonne question. La vraie question est celle de la maîtrise des outils d’études par ceux qui les mettent en œuvre… et donc de leur parfaite connaissance et contrôle des multiples biais.
* Résultats sur : http://www.zdnet.fr
15:25 Publié dans Etudes Marketing | Lien permanent | Commentaires (4) | 
Facebook | | 
Commentaires
Cher François,
Je viens de lire ton article avec grand intérêt, et trois réflexions me viennent à l'esprit:
A. J'adhère entièrement à l'idée que l'on ne se pose pas les bonnes questions en termes de représentativité, et qu'Internet, tout comme le téléphone et le face à face, comporte des biais que nous devons comprendre et anticiper. Mais tu as surtout raison de souligner un point vital: la source de recrutement des access panels online qui est souvent éludé de nos jours en raison d'une demande très forte de terrains online par rapport à l'offre. Beaucoup d'entreprises ont pris le parti de se construire des bases de consommateurs issues du marketing direct et les utilisent à des fins d'études, ce qui pose d'énormes problèmes de scoring et de biais comportementaux. Pourtant, lorsque l'on évoque ce sujet, personne ne semble d'y intéresser vraiment...
B. La communication et l'éducation du client final dans ces domaines me semble une clé du développement ainsi que de la maturation du marché des études Internet. A ce titre, je suis étonné de constater que certains mettent en avant des taux de retour de plus de 50% (critère d'efficacité) sans se pencher sur la nature des réponses (critère qualité).
C. Le Web 2.0 offre des potentialités d'innovation incomparables en matière d'études, c'est un fait. Et certains annoncent déjà un changement de "paradigme"... cela me rend dubitatif. Certes Internet offre de nouveaux horizons, mais gardons à l'esprit que ce mode de recueil doit s'intégrer dans des logiques multi-mode (développement de synergies entre CATI et CAWI) et garder les bases fondamentales d'études si nous voulons les développer en toute intelligence et éviter des confrontations stériles avec les traditionnalistes ;-)
Amicalement,
Bruce Hoang
Écrit par : Bruce Hoang | 27/11/2006
Bonjour François. Je partage totalement ton point de vue : la qualité des études en ligne dépend surtout du professionnalisme de ses utilisateurs !
Je voudrais compléter ta note par ce qui me semble être des points forts des études en ligne, autres que le coût et les délais, et qui participeront à leur donner une place prépondérante :
. Le répondant, s’il est membre d’un access panel, est dans une disposition d’esprit particulièrement favorable à une interview de qualité : il a donné son accord préalable pour être interrogé, et il choisit lui même le moment où il répond, soit une démarche non intrusive plus adaptée au consommateur d’aujourd’hui,
. Le recueil en auto-administré présente également des atouts. Ainsi, comme beaucoup de confrères, nous avons à Repères transposé en ligne un certain nombre de tests de produits que nous menions en face à face : après un screening en ligne, l’interviewé reçoit les produits à son domicile par la poste et enfin répond de nouveau en ligne. A l’analyse des résultats, nous avons eu le plaisir d’observer une diminution de l’effet de « halo » : en l’absence d’enquêteur, le répondant à moins tendance à forcer la cohérence de ses réponses, ainsi il pourra mettre en évidence les déficits d’un produit qu’il apprécie globalement et inversement reconnaître certaines qualités à un produit globalement déceptif. La pertinence du diagnostic et des recommandations qui en découlent est bien sûr renforcée.
. Enfin le recueil en ligne s’avère un formidable laboratoire pour créer de nouvelles méthodes d’études et délivrer une information jusqu’alors lors inaccessible. Je n’ai pas accès à l’ensemble des innovations en ce sens, mais je peux évoquer des techniques dont nous avons vérifié la pertinence, par exemple l’utilisation sur des échantillons importants de techniques projectives autrefois réservées à des approches qualitatives sur échantillons réduits, ou encore le test à domicile d’innovations rupturistes avec un recueil de l’information au jour le jour via un Blog communautaire. Dans le domaine B to B, que je connais moins, on imagine bien l‘intérêt de mobiliser et faire interagir très rapidement des réseaux d’experts répartis sur l’ensemble de la planète.
Bref, notre secteur d’activité va profondément être impacté par les nouvelles possibilités apportées par les études en ligne ... Et pour répondre à Bruce, dont je viens de découvrir le commentaire, je souscris de mon côté à l'idée d'un futur changement de paradigme : il me semble assez peu réaliste d'imaginer que l'Internet bouleverse un à un tous les secteurs, sauf le notre ...
Écrit par : François Abiven | 27/11/2006
François,
Je partage ton analyse sur la qualité de la représentativité de la cible internet vs les modes classiques.
Je rajouterai que la notion de représentativité est souvent avancée in abstracto, alors que cette notion n'a de sens qu'au regard d'un objectif DEFINI de construction de cible pertinente. Celui-ci découle lui-même d'un OBJECTIF D'ETUDE marketing.
Impossible de parler de représentativité dans le vide.
Si on veut représenter les internautes d'un pays, c'est cette population-là qui doit être prise comme univers - et c'est parfois même une sous-partie qui est retenue comme référence (les jeunes de ... à ...; etc.)
La mise en oeuvre est faite à l'aide des moyens disponibles et est évaluée par rapport à cet objectif de cible pertinente, sachant que la perfection n'est pas de ce monde. Le plus important est de faire des choix conscients éclairés.
On devrait ainsi éviter quelques confusions dans les esprits.
Amicalement,
Dominique Esmieu
Écrit par : Dominique Esmieu - Consultant Afrique Moyen Orient | 27/11/2006
Il existe d'autres moyens de recruter des internautes que par un access panel. Un bon moyen consiste à utiliser les adresses emails de ses clients, on y gagne en fiabilité.
Écrit par : CAWI | 27/11/2006
Les commentaires sont fermés.