Après avoir vu une multitude d’étapes pour construire son questionnaire (notes consultables ici), il est temps de finaliser celui-ci.

Je vous rassurer, il ne vous reste plus qu’une dernière chose à faire : le pré-tester.
Il s’agit d’administrer le questionnaire à 10-20 personnes appartenant à la cible définitive pour vérifier plusieurs choses :

• Si celui-ci « passe » bien : pas d’incompréhension, pas de question sans réponse, pas de question sur laquelle un individu ne peut pas se prononcer (oubli de la modalité « NSP » par exemple), etc.
• Il est également temps de s’assurer de la durée du questionnaire. En effet, si vous sous-traitez votre questionnaire à une boîte de terrain (comme Update, cf. ici), elle vous parlera la plupart du temps en durée de questionnaire et pas forcément en nombre de questions.
  Respecter la durée convenue dans le devis est donc une priorité (pour respecter le budget… mais aussi pour ne pas se retrouver avec des individus qui abandonnent le questionnaire car jugé trop long).

Dans les faits, les pré-tests sur 10-20 personnes de la cible sont rares… car ils coûtent très chers ! Les instituts se servent alors de leur expérience pour garantir le bon déroulement du questionnaire. Il arrive aussi que celui-ci soit testé sur des collègues ne connaissant pas l’étude. Si cette pratique n’est pas exactement idéale, elle est préférable au lancement d’un questionnaire jamais pré-tester.

Nous avons déjà passé en revue de nombreuses étapes dans la construction du questionnaire.
Pour rappel, nous avons vu :

• Le processus d’élaboration synthétisé en un schéma.
• La dynamique du questionnaire.
• Le format des questions (ouvertes / fermées).
• La natures des questions (nominales / ordinales / métriques), qu’il faut connaître afin de savoir quels tris à plats il sera possible d’effectuer.
• Les biais dans les questions.

Aujourd’hui je vous livre un outil tiré de l’excellent livre « Études de marché » de Giannelloni & Vernette pour vérifier que vous avez bien inclus les questions souhaitées et utiles dans votre questionnaire : la check-list du rédacteur.

Giannelloni et Vernette ont ainsi défini 4 questions à se poser sur chacune de nos questions du questionnaires. Les voici rapidement résumées (je vous incite à acheter le livre pour plus de détails, il est très bien fait) :

• La question que je viens d’écrire est-elle nécessaire ? La question doit fournir une information utile pour répondre à la problématique de l’étude. On doit, à l’inverse, pouvoir se demander si on peut répondre à la problématique en enlevant la question… Si la réponse est oui, on devrait l’enlever. Malheureusement, dans la pratique, les clients ont tendance à rajouter des questions peu voire pas utiles pour la problématique sans que l’on puisse s’y opposer…

• Pour l’information recherchée, une seule question suffit-elle ? Souvent, une seule question ne suffit pas à répondre totalement à un besoin d’information soulevé par la problématique. Il faut alors mieux diviser le sujet en plusieurs sous-questions, chacun répondant à un élément différent (tous les éléments étant complémentaires pour satisfaire notre recherche d’info). Dans la pratique, multiplier les questions sur une dimension d’information permet, en plus, de nuancer les résultats et d’identifier les réussites et les optimisations éventuelles.

• La personne interrogée pourra-t-elle fournir l’information ? Trois raisons peuvent expliquer que le répondants ne puisse répondre à nos questions :
  • Incompréhension de la question.
  • Ignorance de la réponse.
  • Oubli de la réponse.

  Ici, je vous renvoie également aux biais dans les questions pour plus de détails.

• La personne interrogée voudra-t-elle fournir l’information ? Encore une fois, trois raisons peuvent expliquer que le répondants ne veuille répondre à nos questions :
  • Sujets socialement sensibles.
  • Sujets trop privés.
  • Questions demandant un trop gros effort de recherche.

  Ici aussi, pensez aux biais dans les questions !

Avec cet outil très opérationnel, Giannelloni & Vernette nous aide à écrire un questionnaire plus direct et plus utile. Je vous conseille donc d’utiliser la check-list du rédacteur dès que possible !

Nous avons déjà parlé du format des questions (question ouverte, question fermée), attardons nous maintenant sur un sujet capital : la nature des questions.

Beaucoup l’ignorent mais les questions n’ont pas toutes la même nature. Ce point est particulièrement important car, de la nature de la question dépendra les traitements statistiques qu’on pourra réaliser. Il est donc particulièrement important de savoir quelles sont les différentes natures des questions afin de prévoir au mieux ses tris et savoir ainsi exactement ce que l’on pourra obtenir.

Il existe 3 natures de questions différentes. La nature d’une question dépend des relations qu’ont les modalités de réponse à cette question entre elles (si ce n’est pas clair, continuez l’article, des exemples facilitent la compréhension).

• Les questions nominales. Les plus simples, elles ont des possibilités statistiques limitées.
• Les questions ordinales. Introduction de la notion d’ordre, un peu plus de possibilité statistiques.
• Les questions métriques (ces questions regroupent deux sous-natures de questions, dont nous ne parlerons pas : les questions d’intervalles et les questions de proportion ou ratio). Ont à la fois l’ordre et la distance, les variables les plus puissantes au niveau statistique.

Reprenons ces variables en détail :

1. Les questions nominales

Ce sont les variables les plus « simples » possibles, elles ne servent qu’à vérifier l’appartenance du répondant à une catégorie ou à une autre. Concrètement, ce sont les questions pour lesquels les modalités de réponses n’ont pas de lien entre elles, une modalité n’est pas meilleure que les autres.
Par exemple, la question « sexe ? » a pour réponses « homme » ou « femme », mais on peut dire que l’une des réponses vaut mieux que l’autre. C’est la même chose pour la question « Quelle est votre profession ? » ou même toutes les questions à choix multiples comme « Parmi la liste de loisirs ci-dessous, lesquels préférez-vous ? ».
Le point commun entre toutes ces questions est qu’elles sont nominales : on ne peut pas dire qu’une modalité de réponse est meilleure qu’une autre, il n’y a aucune relation d’ordre entre elles.
On le verra plus tard, mais les tests statistiques sont limités sur ces questions (pourcentages… éventuellement mode).
Petit conseil : pour « vérifier » qu’une question est nominale, repensez à l’exemple de la CSP ou du Sexe et posez-vous la question : a-t-on la même logique ici ?

1. Les questions ordinales

Ici, on introduit la notion d’ordre (comme le laisse largement deviner le nom même de ces questions). Concrètement, les modalités ont un ordre, sans que cela implique qu’elle aient toute une distance équivalente entre elle. Cette notion de distance n’est peut-être pas très claire spontanément, mais voici un exemple pour comprendre :
Par exemple, la question « Pouvez-vous classez les trois marques ‘A’, ‘B’ et ‘C’ de celle que vous préférez à celle que vous aimez le moins ? » est une question ordinale. Les répondants pourront ainsi dire que B est supérieur à C qui est supérieur à A mais en aucun cas on ne pourra savoir si la marque préférée est très largement devant dans l’esprit des individus ou si au contraire, le classement est très serré. On n’a donc pas cette notion de distance entre les modalités de réponse.
On le verra plus tard, les tests statistiques sur ces questions sont un peu plus puissants que sur les questions nominales mais encore assez limités (pourcentages, mode, médiane, fractiles).
Petit conseil : pour « vérifier » qu’une question est ordinale, essayez de savoir si vous pouvez dire que la distance entre deux modalités (‘A’ et ‘B’ par exemple) est deux fois plus grande qu’entre d’autres modalités (‘B’ et ‘C’ par exemple). Si vous pouvez parler d’ordre sans parler de distance, vous avez une question ordinale sous les yeux. Si vous pouvez parler d’ordre et de distance, vous avez une question métrique.

1. Les questions métriques

Les questions métriques ont à la fois la notion d’ordre et de distance entre les modalités de réponse.
Par exemple, toutes les questions comme « quel est votre âge ? », « Pourriez-vous donner une note de satisfaction entre 0 et 10 à ‘produit A’; 0 étant la moins bonne note, 10 étant la meilleure et les notes intermédiaires vous permettant de nuancer votre jugement ? » sont des variables numériques. Elles appellent une réponse qui va à la fois permettre un classement ordonné et un classement dans lequel on saura quelles sont les distances entre les réponses des gens (par exemple, le répondant attribuant une note de 9/10 donne bien 4 points de plus qu’un répondant attribuant une note de 5/10).
On le verra plus tard, les tests statistiques sur ces questions sont les plus puissants (pourcentages, mode, médiane, fractiles, moyenne, écart-type).
Petit conseil : pour « vérifier » qu’une question est ordinale, essayez de savoir si vous pouvez dire que la distance entre deux modalités (‘A’ et ‘B’ par exemple) est deux fois plus grande qu’entre d’autres modalités (‘B’ et ‘C’ par exemple). Si vous pouvez parler d’ordre sans parler de distance, vous avez une question ordinale sous les yeux. Si vous pouvez parler d’ordre et de distance, vous avez une question d’intervalle ou de ratio.

En résumé, conservez à l’esprit que la nature des questions est capitale pour votre plan de traitement (tris à plat et tris croisés !). Une question ne se verra pas « traitée » de la même façon et on aura toujours plus de possibilités avec une variable ordinale qu’avec une variable nominale et encore plus de possibilité avec une variable métrique qu’avec une variable ordinale.

Variables métriques > variables ordinales > variables nominales.