De la page blanche à la valeur de référence : comment je structure une enquête de base qui oriente vraiment votre évaluation finale

Chaque enquête de base que j'aide des équipes à concevoir commence par la même conversation. L'équipe programme est enthousiaste, les délais sont serrés, et quelqu'un a déjà rédigé un questionnaire de 60 questions récupéré sur un projet précédent. Mon premier travail consiste à ralentir légèrement la cadence, juste assez pour poser la seule question qui devrait précéder toutes les autres : quelle décision cette valeur de référence devra-t-elle éclairer à l'évaluation finale ?

Si vous ne pouvez pas répondre clairement à cela, vous n'êtes pas encore prêts à rédiger une seule question. Ce n'est pas une critique, c'est simplement la réalité honnête de la façon dont la plupart des enquêtes de base dérapent. Elles sont conçues à l'envers : les questions d'abord, le cadre analytique en dernier. Puis, deux ans plus tard, au moment de la comparaison, les équipes découvrent qu'elles ont mesuré les mauvaises choses, utilisé le mauvais échantillon, ou posé des questions si différentes de l'outil d'évaluation finale que toute comparaison devient impossible.

Voici comment je structure une enquête de base pour éviter précisément cela.

Commencer par les indicateurs, pas par les questions

L'enquête de base n'est pas un exercice de recherche autonome. C'est la première moitié d'une mesure appairée. Cela signifie qu'avant d'ouvrir un questionnaire vierge, vous devez avoir en main votre cadre logique ou votre cadre de résultats, en particulier les indicateurs contre lesquels vous vous êtes engagés à rendre compte.

Pour chaque indicateur, posez-vous la question : quelle est la définition précise, l'unité de mesure, la désagrégation requise et la source de données spécifiée ? Une enquête de base qui ne reflète pas ces spécifications produira des chiffres que vous ne pourrez pas comparer à l'évaluation finale. Comme le précise le guide Baseline Basics de la FICR, l'objectif global d'une valeur de référence est d'obtenir des données fiables et utiles avant le démarrage du projet, pouvant ensuite servir au suivi et à l'évaluation [FICR, 2013].

💡 Conseil : Avant de rédiger la moindre question, construisez un tableau de correspondance simple : une ligne par indicateur, avec des colonnes pour la définition de l'indicateur, la ou les questions qui le mesurent, l'échelle de réponse et les variables de désagrégation (âge, sexe, localisation, etc.). Ce tableau devient le plan directeur de votre instrument.

Cette étape permet aussi de détecter tôt un écueil fréquent : les indicateurs définis au niveau des effets (par exemple, « pourcentage de ménages ayant une consommation alimentaire adéquate ») nécessitent souvent plusieurs sous-questions et une méthode de calcul composite, comme le Score de Consommation Alimentaire (SCA). Si vous ne le savez pas dès le départ, vous rédigerez une question vague et vous vous demanderez pourquoi les chiffres ne correspondent à aucun point de référence lors de l'évaluation finale.

Choisir son schéma d'échantillonnage avec intention

L'échantillonnage est là où se prennent les décisions les plus déterminantes, et là où je vois le plus de raccourcis. La question centrale est la suivante : avez-vous besoin d'un plan de panel (suivre les mêmes individus à la valeur de référence et à l'évaluation finale) ou d'un plan en coupes transversales répétées (tirer des échantillons indépendants et frais à chaque étape) ?

Stats4SD, dans son outil de décision d'échantillonnage développé pour le HCR, guide les équipes précisément dans ce choix [Stats4SD, 2018]. Les deux approches sont légitimes, mais elles répondent à des questions différentes. Le panel suit l'évolution individuelle dans le temps, plus puissant pour l'attribution, mais plus difficile à mettre en œuvre (l'attrition est un risque réel). Les coupes transversales répétées permettent de savoir si les conditions au niveau de la population ont évolué, sans nécessiter de retrouver les mêmes répondants.

Votre choix dépend de ce que mesurent vos indicateurs et de la mobilité de votre population. Pour un programme communautaire stable qui suit les revenus des ménages, un panel peut convenir. Pour une réponse aux déplacements forcés, où les bénéficiaires se déplacent fréquemment, une coupe transversale répétée est généralement plus réaliste.

⚠️ Attention : Si vous optez pour un plan de panel, documentez votre stratégie de suivi dès la valeur de référence, pas à l'évaluation finale. Collectez des identifiants uniques, des numéros de téléphone et des contacts communautaires pour chaque répondant. Essayer de reconstituer ces informations plus tard est laborieux et généralement incomplet.

Les directives de la Division de statistique des Nations Unies pour les enquêtes auprès des ménages rappellent clairement que l'échantillonnage probabiliste à chaque étape constitue la norme méthodologique pour des résultats défendables [UNSD, 2005]. Les échantillons de commodité ou raisonnés peuvent être inévitables dans certains contextes humanitaires, mais si vous y avez recours, soyez honnêtes sur les limites que cela impose à la généralisabilité au moment du rapport final.

📝 Note : La taille de votre échantillon doit être calculée en fonction de l'effet minimum détectable attendu du programme, et non par simple commodité logistique. Si votre programme est censé faire évoluer un indicateur clé de 10 points de pourcentage, calculez la taille d'échantillon nécessaire pour détecter ce changement avec une puissance statistique suffisante. Les valeurs de référence sous-dimensionnées aboutissent souvent à des comparaisons finales où l'on ne peut pas distinguer si le programme a fonctionné ou si l'échantillon était simplement trop petit.

Concevoir l'instrument pour la comparabilité, pas seulement pour la couverture

Une fois votre tableau de correspondance des indicateurs finalisé et votre schéma d'échantillonnage arrêté, vous pouvez rédiger les questions. Quelques principes que j'applique systématiquement :

1. Utilisez la même formulation à la valeur de référence et à l'évaluation finale. Même de légères variations de phrasing modifient la façon dont les répondants interprètent et répondent à une question. Fixez la formulation lors de la valeur de référence et considérez-la comme intangible.
2. Utilisez des échelles validées lorsqu'elles existent. Pour la sécurité alimentaire, utilisez le SDAM (Score de Diversité Alimentaire des Ménages) ou le SCA. Pour l'eau, l'assainissement et l'hygiène, utilisez les échelles standard du JMP. Les échelles validées améliorent la comparabilité non seulement dans le temps, mais aussi par rapport à d'autres programmes et points de référence.
3. Conservez des échelles de réponse identiques. Une échelle de Likert à 5 points lors de la valeur de référence ne peut pas être comparée à une échelle à 4 points à l'évaluation finale. Documentez vos échelles avec précision.
4. Incluez toutes les variables de désagrégation comme questions autonomes. Âge, sexe, localisation, statut de déplacement, tout ce que vos indicateurs exigent, doivent figurer comme questions explicites, et non être déduits du cadre d'échantillonnage.

Les bonnes pratiques de l'American Association for Public Opinion Research (AAPOR) confirment que la qualité d'une enquête dépend largement de l'attention portée à la prévention et à la gestion des problèmes de conception [AAPOR]. Ce n'est pas la taille ou la notoriété de votre enquête qui la rend crédible, c'est la rigueur des décisions qui la sous-tendent.

💡 Conseil : Avant de finaliser l'instrument, réalisez une « analyse finale fictive » sur papier. Esquissez les tableaux et graphiques que vous produiriez à l'évaluation finale. Si vous ne pouvez pas les produire à partir des données que vous prévoyez de collecter lors de la valeur de référence, révisez l'instrument maintenant, pas dans deux ans.

Piloter, et piloter sérieusement

Un pilote ne sert pas uniquement à corriger les fautes de frappe. Il s'agit de vérifier que les répondants comprennent vos questions comme vous l'entendez, que la logique de saut fonctionne correctement, que la durée de l'entretien est raisonnable, et que les enquêteurs interprètent les questions de façon cohérente.

Les recommandations de QuestionPro sur les enquêtes de base soulignent le pilotage comme une bonne pratique clé, précisément parce qu'il prévient la collecte de données systématiquement biaisées ou incohérentes qui compromettraient toute la comparaison de base à finale [QuestionPro]. J'ajouterais : débriefez vos enquêteurs après le pilote. Demandez-leur quelles questions ont provoqué de la confusion ou de longues hésitations. Cette conversation fait remonter des problèmes qu'une analyse minutieuse des données de pilote peut manquer.

Documenter tout avant le départ sur le terrain

Cet aspect est souvent sous-estimé. À la fin d'une enquête de base, vous devriez disposer d'une note méthodologique documentant :

• Le cadre d'échantillonnage, la méthode d'échantillonnage et la justification de la taille d'échantillon
• La façon dont les remplacements ont été gérés si les répondants sélectionnés étaient indisponibles
• La version exacte de l'instrument utilisé (versionnée et datée)
• Les écarts par rapport à la conception initiale et leurs raisons
• Les étapes de nettoyage des données et d'assurance qualité appliquées

Pourquoi cela est-il si important ? Parce que la personne qui rédigera le rapport d'évaluation finale dans deux ans n'est peut-être pas celle qui a conçu la valeur de référence. La note méthodologique est le lien entre ces deux moments.

📝 Note : Conservez votre jeu de données de base, votre dictionnaire de données et votre note méthodologique ensemble dans le même dossier de projet, et sauvegardez-les. J'ai vu des programmes perdre intégralement leurs données de base à cause de changements de personnel et de migrations de serveurs. Vous ne pouvez pas mener une comparaison finale significative sans le jeu de données de base original, le rapport de synthèse ne suffit pas.

Le piège que je rencontre le plus souvent

Les équipes traitent la valeur de référence comme une formalité de projet, quelque chose à cocher avant le démarrage de la mise en œuvre. Elles la bâclent, collectent ce qui est disponible, et passent à autre chose. Puis, à mi-parcours ou à l'évaluation finale, elles réalisent que la valeur de référence ne répond pas vraiment à la question : par rapport à quoi ?

Une enquête de base n'est pas un instantané du monde pour sa propre valeur. C'est un engagement pré-enregistré envers une approche de mesure. L'évaluation finale en est le miroir. Lorsque ces deux moments sont conçus ensemble, avec les mêmes indicateurs, la même formulation des questions, une logique d'échantillonnage compatible et une méthodologie documentée, vous obtenez une comparaison réellement défendable devant un bailleur, un commanditaire ou une équipe programme cherchant à comprendre ce qui a fonctionné.

C'est la valeur de référence qui mérite son budget.

Si vous travaillez actuellement sur une enquête de base et souhaitez de l'aide pour traduire ce cadre en instrument concret ou en plan d'échantillonnage, c'est exactement le type de travail que je fais. Venez travailler avec moi sur vera.ignex.io et construisons-le ensemble.

Follow Vera for more on MEL & project management: LinkedIn · Instagram · Facebook · X