L'information dont vous avez besoin
Une enquête peut-elle vous fournir l'information dont vous avez besoin?
Définissez clairement le type d'information que vous souhaitez tirer des résultats de l'enquête. Cherchez-vous des renseignements factuels? Les comportements et les opinions d'une population donnée présentent-ils un intérêt pour vous? Avez-vous besoin d'une combinaison des deux?
L'usage que vous prévoyez faire des résultats de l'enquête devrait vous aider à déterminer les renseignements que vous cherchez à en tirer : élaboration de politiques, recherche-développement, publicité, autres fins? Cette réflexion vous aidera également à déterminer le type de questions qui figureront dans votre questionnaire d'enquête.
Pour obtenir les résultats d'enquête les plus probants, définissez vos besoins d'information de façon à ce qu'ils soient mesurables ou observables.
Évitez de dépenser pour des renseignements existants. Une fois que vous savez de quelle information vous avez besoin et comment l'utiliser, explorez d'autres sources de données au cas où ces renseignements seraient déjà disponibles ailleurs, en totalité ou en partie.
De quel type d'enquête avez-vous besoin?
Les enquêtes ne sont pas toutes pareilles. Le type d'enquête que vous choisissez dépend d'une combinaison de la quantité, du type, de l'exactitude et de l'étendue des renseignements requis. Voici quelques éléments à considérer :
La quantité d'information dont vous avez besoin :
- de courtes réponses à un petit nombre de questions simples
- de longues réponses ainsi qu'un contenu détaillé
- des réponses complexes à des sujets complexes
Le type d'information dont vous avez besoin :
- les opinions et les comportements du public
- des faits au sujet d'événements sociaux ou économiques
Le niveau d'exactitude dont vous avez besoin :
- une approximation rapide, mais raisonnable
- des estimations très précises
L'étendue des réponses dont vous avez besoin :
- des estimations d'enquête pour l'ensemble de la population pour un seul niveau de regroupement, comme le pays, la province ou la municipalité
- des renseignements détaillés répartis par catégorie, comme le lieu ou le groupe d'âge
- de l'information au sujet d'un secteur en particulier, comme le commerce de détail, l'agriculture ou une autre population distincte
Tous les éléments indiqués ci dessus peuvent vous aider à déterminer le type d'enquête dont vous avez besoin et l'organisme d'enquête le plus à même de l'offrir.
Qui peut fournir les services d'enquête?
Il n'existe pas de fournisseur unique s'avérant le meilleur choix pour tous les types possibles d'enquêtes. Avant de communiquer avec un fournisseur d'enquête, sachez de quel genre de renseignements vous avez besoin et quelle est la qualité que vous cherchez. De plus, soyez au courant des services que le fournisseur peut offrir.
- Si vos besoins en matière de données sont simples, ou si vous cherchez des renseignements sur l'opinion publique, un fournisseur pouvant offrir les renseignements de base à faible coût peut se révéler une bonne solution.
- Si vous avez besoin de renseignements socioéconomiques détaillés et précis et d'une analyse approfondie, les services d'une grande entreprise ou d'un bureau de statistique national ou provincial pourraient mieux convenir.
- Certains organismes mènent des enquêtes omnibus selon des cycles de collecte réguliers auxquels un client peut ajouter un petit nombre de questions à un coût relativement faible.
- Si vous souhaitez obtenir dans un bref délai le pouls non officiel d'une partie de la population sur un sujet d'actualité, il existe des organismes qui peuvent agir rapidement. Certains le font au moyen de groupes de répondants permanents, et dans ce cas, soyez : ces groupes présentent souvent des faiblesses qui les rendent inappropriés pour obtenir des données détaillées.
Déterminez si le fournisseur d'enquête possède l'ensemble de compétences ainsi que l'infrastructure et l'expérience nécessaires pour fournir les résultats et la qualité que vous cherchez. Le fournisseur d'enquête devrait être en mesure d'assurer toutes les étapes de l'enquête depuis la planification et la conception jusqu'à la collecte et à l'analyse des données à un prix acceptable.
Déterminez dans quelle mesure le fournisseur d'enquête vous aidera à analyser les résultats, à les interpréter et à les utiliser ainsi qu'à préparer la documentation relative à l'enquête. Une fois l'enquête terminée, le fournisseur devrait vous offrir une assistance satisfaisante pour que vous puissiez utiliser les résultats de l'enquête selon vos besoins.
Dans quelle mesure devriez-vous participer? Déterminez le degré de participation directe de votre équipe aux différentes étapes du processus d'enquête. En outre, vous pourriez décider de mener vous-même l'enquête et de demander conseil seulement pour certaines étapes du processus.
La collecte de données et le questionnaire
Comment les données seront-elles recueillies?
La façon dont les données seront recueillies est importante parce que la méthode a un effet sur le taux de réponse de même que sur la qualité des réponses.
Voici les méthodes de collecte les plus courantes :
- Les intervieweurs posent les questions de l'enquête dans le cadre d'une interview téléphonique ou en personne (sur place).
- Les répondants remplissent eux-mêmes le questionnaire envoyé par la poste, par courriel ou en ligne, sans l'aide d'un intervieweur.
On peut utiliser l'une ou plusieurs de ces méthodes pour réaliser une enquête. Par exemple, un questionnaire papier envoyé par la poste peut faire l'objet d'un suivi téléphonique si les réponses ne sont pas reçues dans un certain délai.
Chacune de ces méthodes compte différents avantages et inconvénients. Une utilisation inappropriée peut entraîner des erreurs non intentionnelles qui risquent de compromettre la fiabilité des résultats de l'enquête si des mesures en vue de diminuer de telles erreurs ne sont pas prises.
Les intervieweurs recevront-ils une formation complète pour mener cette enquête en particulier?
Les intervieweurs faisant partie du personnel d'un fournisseur d'enquête représentent le pilier essentiel de la collecte de données. L'interaction entre l'intervieweur et le répondant constitue un élément crucial du succès de votre enquête.
Si vos questions ne sont pas claires pour les intervieweurs, il y a de fortes chances que ce soit également le cas pour les répondants, et les intervieweurs auront de la difficulté à aider les répondants à comprendre les questions qui leur sont posées. Assurez-vous que tous comprennent bien la signification des questions.
Assurez-vous que l'organisme emploie des intervieweurs expérimentés et bien formés.
- Veillez à ce que les intervieweurs reçoivent des manuels de formation et assurez-vous que ces manuels couvrent toutes les procédures d'interview.
- Demandez depuis combien de temps les intervieweurs mènent des enquêtes pour l'organisme.
- Renseignez-vous sur les types d'enquêtes pour lesquelles les intervieweurs ont l'habitude de recueillir des données.
- Assurez-vous que l'on offre une bonne introduction à l'enquête : celle-ci constitue un élément important de l'approche initiale de l'intervieweur.
Le fournisseur d'enquête adoptera t il une série de pratiques exemplaires pour assurer le plus haut taux de réponse possible?
Il importe de porter une attention particulière aux points suivants :
- Une enquête bien conçue et bien planifiée devrait inclure les procédures de suivi auprès des personnes n'ayant pas répondu à la première tentative.
- Si les intervieweurs recueillent les renseignements de l'enquête, ils devraient faire plus d'un essai pour communiquer avec les répondants qui n'étaient pas disponibles lors du premier essai.
- Les rappels devraient être effectués à des jours de la semaine différents et à des heures différentes.
- La période de collecte devrait être assez longue pour assurer un taux de réponse optimal.
- Le fournisseur d'enquête devrait utiliser les méthodes normalisées de l'industrie pour calculer les taux de réponse.
L'information sera t-elle traitée de manière confidentielle?
Déterminez quelles mesures le fournisseur d'enquête prendra pour respecter la confidentialité du répondant. Ces mesures peuvent comprendre un serment de discrétion de la part de l'intervieweur, de la documentation sur l'utilisation des renseignements personnels, une infrastructure pour garantir qu'il n'y aura pas d'échange involontaire des renseignements ou une combinaison de ces mesures et d'autres mesures de protection des renseignements.
Quels sont les éléments à surveiller dans votre questionnaire?
Demandez toujours un exemplaire du questionnaire d'enquête et prenez le temps d'examiner la formulation exacte de toutes les questions qui seront posées.
La formulation devrait être juste et impartiale. Décelez dans les questions des éléments suggestifs ou biaisés et assurez-vous que le questionnaire présente un ensemble équilibré de choix de réponses. Le niveau de lisibilité est également important. La plupart des gens devraient être en mesure de comprendre facilement la formulation des questions.
Portez une attention particulière à l'ordre des questions pour vous assurer qu'il ne fausse pas les résultats par inadvertance. De tels éléments, en apparence mineurs, peuvent nuire considérablement à la qualité des résultats de votre enquête.
Utilisez des mots courts et simples et des phrases directes pour que les questions soient comprises de manière uniforme par la plupart des gens. Cela permettra également une traduction plus juste dans une langue officielle et, s'il y a lieu, dans des langues de minorités.
Faites le questionnaire le plus court possible pour répondre à vos besoins d'information. Conservez les questions « essentielles ». Enlevez les questions superflues qui pourraient s'éloigner de l'objet de votre enquête.
Mettez à l'essai le questionnaire de façon rigoureuse dans toutes les versions linguistiques. Soyez prêt à modifier le questionnaire pour régler des problèmes découverts pendant la mise à l'essai.
L'interprétation des résultats de l'enquête
Que sont les intervalles de confiance et les marges d'erreur?
Ce sont des indicateurs de précision des résultats d'une enquête. Le niveau de confiance devrait toujours figurer dans la déclaration de la marge d'erreur. Le niveau de confiance déclaré est souvent 19 fois sur 20 (niveau de confiance de 95 %) ou 9 fois sur 10 (niveau de confiance de 90 %). Pour un résultat d'échantillonnage donné, plus le niveau de confiance est élevé, plus la marge d'erreur sera grande. Souvenez-vous, toutefois, que le niveau de confiance et la marge d'erreur ne font qu'indiquer les erreurs d'échantillonnage.
Exemple : Une enquête publiée récemment par les consultants XYZ révèle que 73 % des Canadiens regardent régulièrement les parties de hockey sur glace à la télévision, mais que seulement 2 % regardent le hockey sur gazon.
Dans le cadre de l'enquête, on a interviewé un échantillon représentatif de 1 200 adultes canadiens, et la marge d'erreur est de plus ou moins 3 points de pourcentage, 19 fois sur 20, c.-à-d., 95 % du temps.
Cela signifie que 73 % constitue notre meilleure estimation du pourcentage de téléspectateurs de hockey sur glace dans l'ensemble de la population et que l'on s'attend à ce que la valeur réelle se situe dans un intervalle de 3 % autour de ce nombre; en d'autres termes, entre 70 % et 76 %, à un niveau de confiance de 95 %.
À proprement parler, nous pouvons déduire qu'il y a 95 chances sur 100 que la procédure d'échantillonnage ayant généré les données produise un intervalle qui comprend la valeur réelle.
Qu'est ce qu'un coefficient de variation?
Un coefficient de variation (CV) est simplement l’erreur-type exprimée en tant que pourcentage de l'estimation à laquelle il se rapporte. Dans l'exemple XYZ, avec l'estimation de 73 % et une erreur-type de 1,5 %, le CV est 100*1,5/73, ou environ 2 % du niveau d'estimation de téléspectateurs de hockey sur glace.
Le CV est utile dans l'interprétation des niveaux relatifs de précision, en particulier lorsque sont comparées des quantités variant grandement.
Exemple : Dans une province, il peut y avoir une estimation de 50 000 chômeurs avec une erreur-type de 1 300 personnes. Parallèlement, le taux de chômage estimé pour cette province se situe à 8 % avec une erreur-type de 0,2 %. Il est difficile de comparer directement des erreurs-types de ces chiffres. Toutefois, le CV du nombre estimé de chômeurs est de 2,6 %, tandis que le CV du taux de chômage estimé se situe à 2,5 % (il n'est pas nécessaire qu'ils soient égaux.) Cela montre que les deux estimations affichent essentiellement le même niveau de précision.
Quel est le taux de réponse à l'enquête?
Les taux de réponse sont importants pour de nombreuses raisons :
- Les non-répondants peuvent avoir un effet différent de celui des répondants sur les résultats de l'enquête. Déterminez quelles techniques ont été utilisées en vue d'optimiser le taux de réponse.
- Un faible taux de réponse peut être plus dommageable à la qualité des données qu'une petite taille d'échantillon, contribuant davantage à l'erreur d'enquête totale.
- Un taux de réponse élevé de façon inattendue peut constituer une indication d'autres problèmes, comme cela peut être le cas de l'échantillonnage par quotas.
Exemple : Si les résultats de l'enquête sont fondés sur un taux de réponse de 100 % apparemment, obtenu en interviewant les 1 000 personnes volontaires pour y répondre, alors les résultats devraient être interprétés avec prudence. Avec de tels échantillonnages par quotas, nous n'avons aucune information sur le nombre total de personnes à qui l'on a demandé de répondre à l'enquête pour obtenir ces 1 000 interviews. Nous n'avons non plus aucun renseignement sur l'étendue des différences entre les répondants et les personnes n'ayant pas répondu.
Les statistiques peuvent-elles être utilisées à mauvais escient?
Oui. C'est pourquoi vous devriez exiger et utiliser des statistiques qui sont produites avec la rigueur professionnelle et scientifique appropriée à leur utilisation. Vous devriez vous interroger sur ce que représente une statistique, la façon dont elle a été calculée et ses forces et ses limitations. Certains disent que « certains renseignements statistiques sont mieux que rien du tout ». Cette affirmation est vraie dans la mesure où l'utilisateur est conscient des limites des statistiques et du risque de les utiliser dans son contexte particulier.
Voici quelques exemples où les statistiques doivent être interprétées ou utilisées avec prudence :
Représentation d'une moyenne
Au moment de déclarer les salaires d'une entreprise, la personne A affirme que le salaire moyen est de plus de 60 000 $, la personne B affirme que le travailleur moyen gagne 28 00 $ et la personne C affirme que « la plupart » des employés reçoivent seulement 26 000 $. Certains de ces énoncés, ou tous, peuvent être vrais en même temps. Comment s'y retrouver? D'abord, chaque personne essaie de ne transmettre qu'un seul nombre pour représenter les salaires. En fait, la personne A déclare la moyenne, soit la somme de tous les salaires divisés par le nombre d'employés rémunérés, y compris celui du PDG qui a un salaire de 900 000 $. La personne B déclare la médiane, c'est-à-dire que la moitié des employés touchent un salaire de moins de 28 000 $ et l'autre moitié, un salaire plus élevé. Finalement, la personne C déclare le mode, soit le salaire le plus fréquent ou habituel dans l'entreprise. La moyenne, le mode et la médiane sont des concepts statistiques bien définis; la moyenne au sens courant du terme ne l'est pas.
Exagération de la précision
Dans un sondage rapide, 57,14 % préféraient X et 42,86 % préféraient Y. En fait, cela pourrait vouloir dire que 4 des 7 personnes interviewées préféraient X à Y. Si seulement une personne de plus avait préféré Y à X, les résultats auraient été complètement inversés. La taille de l'échantillon est beaucoup trop petite pour appuyer le niveau de précision exprimé par les proportions.
Recherche de la réponse souhaitée
« Sept dentistes sur dix préfèrent le dentifrice X. » Combien de fois la compagnie de dentifrice X a t-elle demandé à des groupes de 10 dentistes leurs préférences avant d'enfin trouver un groupe dont sept étaient en faveur?
Augmentation et diminution
Le revenu de M. A a diminué de 40 % en 2010 par rapport à 2009, mais il a augmenté de 50 % en 2011, ce qui signifie qu'il se trouve en meilleure position que jamais. En est il ainsi? Une diminution de 40 % d'un salaire de 100 000 $ lui donne un salaire de 60 000 $. Une augmentation ultérieure de 50 % porte son salaire à 90 000 $; il y a donc un manque à gagner de 10 %.
Les échantillons d'enquête
À partir de quelle population (région ou groupe) effectuera-t-on la sélection de l'échantillon?
La population d'intérêt pour l'enquête, ou population cible, doit être soigneusement établie. L'information, appelée « base de sondage » par les organismes statistiques et « liste d'appel » par les organismes de recherche sur l'opinion publique, utilisée pour définir les membres de la population cible, devrait être à jour et bien documentée. Si la base de sondage ne couvre pas avec exactitude la population cible souhaitée, les résultats de l'enquête pourraient être fortement biaisés. Si l'enquête vise un groupe particulier de la population ou une région géographique particulière, les résultats ne devraient pas être interprétés comme représentant la population extérieure à ce groupe ou à cette région. Un groupe particulier pourrait être constitué d'hommes, de femmes, d'Autochtones, d'enseignants, de partisans d'un parti politique, etc. Une région particulière pourrait être une province, une région, une ville, etc.
Comment choisira-t-on les répondants pour l'interview?
Pour éviter les biais d'échantillonnage, on devra poser certaines questions importantes sur la façon dont on choisira les répondants de l'enquête. La documentation relative à l'enquête devrait indiquer si l'on choisit l'échantillon selon une méthode d'échantillonnage probabiliste ou non probabiliste.
Si la méthode utilisée est celle de l'échantillonnage probabiliste, il est important de prendre en considération les points ci-dessous.
- Les répondants seront choisis de façon objective, c'est à-dire de façon aléatoire.
- Tous les membres de la population cible auront une chance connue d'être choisis pour l'enquête.
Il est également important de se renseigner sur la structure générale du plan d'échantillonnage, comme la stratification, la formation des grappes, le plan à plusieurs degrés ou à plusieurs phases, selon le cas.
Si la méthode utilisée est celle de l'échantillonnage non probabiliste, la façon de choisir les répondants devrait aussi être expliquée.
- La sélection des personnes à interviewer sera t-elle confiée à un intervieweur, comme c'est le cas dans l'échantillonnage par quotas?
- Les répondants se choisiront-ils eux-mêmes d'une certaine façon, par exemple en appelant à un sondage téléphonique, en répondant à un questionnaire dans un livre ou un magazine, ou en se joignant à un groupe permanent?
Veuillez noter que pour certaines enquêtes, on utilise une combinaison d'échantillonnage probabiliste et non probabiliste; par exemple, en ajoutant une contrainte d'échantillonnage par quotas à un plan d'échantillonnage probabiliste au départ.
L'échantillonnage tiré d'une population sera t il représentatif de cette population?
Afin de vous assurer que l'échantillon choisi pour votre enquête représente la population, vous devriez vérifier si les caractéristiques principales de l'échantillon choisi sont semblables à celles de la population. Il importe également de vérifier si les caractéristiques des répondants réels de l'enquête sont semblables aux caractéristiques de l'échantillon choisi. Les principales caractéristiques d'une population peuvent inclure l'âge, le sexe, la scolarité, l'état matrimonial ou tout autre renseignement servant à établir un profil pour aider à répondre aux questions importantes au sujet de l'enquête.
Les erreurs relatives à l'enquête
Quelles erreurs risquent d'avoir un effet sur les résultats de l'enquête?
Des erreurs peuvent survenir à n'importe quelle étape durant la collecte et le traitement des données de l'enquête — qu'il s'agisse d'un recensement ou d'une enquête par sondage. Il existe deux principales sources d'erreurs relatives à l'enquête : les erreurs d'échantillonnage (les erreurs associées directement avec le plan d'échantillonnage et les méthodes d'estimation utilisées) et les erreurs non dues à l'échantillonnage (terme générique utilisé pour couvrir toutes les autres erreurs). Les erreurs non dues à l'échantillonnage se répartissent d'habitude ainsi :
- Les erreurs de couverture sont principalement liées à la base de sondage, comme les unités manquantes, l'inclusion d'unités ne faisant pas partie de la population cible et les chevauchements.
- Les erreurs de réponse surviennent en raison de problèmes liés à la façon dont les questions ont été formulées, l'ordre dans lequel les questions ont été posées ou les erreurs de déclaration des répondants (également appelées erreurs de mesure, si les erreurs possibles de l'intervieweur sont comprises dans cette catégorie).
- Les erreurs de non-réponse sont attribuables au fait que les répondants n'ont pas fourni l'information ou qu'ils ont fourni des renseignements incorrects. La non-réponse augmente également la possibilité que les estimations de l'enquête soient biaisées. Cela réduit également la taille réelle de l'échantillon, augmentant ainsi l'erreur d'échantillonnage observée. Toutefois, le risque de biais dans le cas de taux de non-réponse élevés est généralement plus dangereux que ne l'est la diminution de la taille de l'échantillon comme telle.
- Les erreurs de saisie des données sont attribuables à des problèmes de codage ou de saisie des données.
- Les erreurs de vérification et d'imputation peuvent survenir lorsque l'on tente de trouver et de corriger toutes les autres erreurs non dues à l'échantillonnage.
Tous ces éléments peuvent contribuer à l'un ou l'autre des types d'erreurs relatives à l'enquête ou aux deux. C'est ce que nous appelons le biais, ou erreur systématique, et la variance, ou erreur aléatoire.
Une erreur d'échantillonnage ne désigne pas une faute commise lors de la réalisation de l'enquête. Elle indique plutôt le degré d'incertitude au sujet de la véritable valeur en fonction de l'information obtenue selon le nombre de personnes ayant répondu à l'enquête.
Il est relativement simple pour des fournisseurs d'enquêtes avertis et expérimentés de contrôler les erreurs d'échantillonnage au moyen de méthodes appropriées d'échantillonnage et d'estimer leurs effets en utilisant des renseignements provenant du plan d'échantillonnage et de l'échantillon obtenu. Toute affirmation relative aux erreurs d'échantillonnage telles que la variance, l'erreur type, la marge d'erreur d'échantillonnage ou le coefficient de variation, peut être formulée seulement si les données d'enquête proviennent d'un échantillon probabiliste.
Les erreurs non dues à l'échantillonnage, en particulier les biais potentiels, sont les plus difficiles à déceler, à contrôler et à mesurer et nécessitent une planification, une formation et une mise à l'essai minutieuses.
De quelle façon l'exactitude des résultats de l'enquête sera t-elle mesurée et publiée?
L'effet combiné du biais et de la variance représente l'erreur d'enquête totale qui, si disponible, constitue la meilleure mesure de l'exactitude globale des résultats de l'enquête. Pour la plupart des enquêtes, toutefois, seule une estimation d'erreur d'échantillonnage est disponible. On appelle généralement « marge d'erreur » la mesure présentée le plus couramment : elle devrait plutôt s'appeler marge d'erreur d'échantillonnage parce qu'elle ne comprend pas les renseignements portant sur les erreurs non dues à l'échantillonnage. Il en va de même pour les intervalles de confiance puisqu'ils sont calculés directement à partir de la marge d'erreur d'échantillonnage.
Pour cette raison, les intervalles de confiance et les marges d'erreur d'échantillonnage à eux seuls ne suffisent pas pour juger de la qualité des résultats d'enquête. Si la qualité des estimations statistiques est pour vous un facteur important pour l'utilisation des résultats d'enquête, vous devriez chercher un fournisseur d'enquête capable de calculer et de faire rapport sur tous les aspects de fiabilité de l'enquête.
Qu'est ce qui influe sur la marge d'erreur d'échantillonnage?
Plusieurs facteurs influent sur la marge d'erreur d'échantillonnage :
- L'homogénéité de la population : plus les personnes sont différentes entre elles par rapport aux variables mesurées, plus la taille d'échantillon doit être grande.
- La prévalence des variables mesurées : plus une caractéristique est rare dans une population, plus elle est difficile à mesurer avec exactitude.
- L'efficacité du plan d'échantillonnage utilisé.
- La taille de l'échantillon, fondée sur un plan d'échantillonnage qui donnera les estimations les plus justes possible en fonction d'un coût déterminé.
- Le taux de réponse, qui détermine la taille de l'échantillon obtenue.
Quelle devait être la taille de l'échantillon?
La taille de l'échantillon a une incidence directe sur la marge d'erreur d'échantillonnage déclarée avec les résultats de l'enquête.
La marge d'erreur d'échantillonnage fournit une estimation légitime d'erreur due à l'échantillonnage seulement si une méthode d'échantillonnage probabiliste a été utilisée pour choisir l'échantillon. En règle générale, plus le nombre de personnes interviewées est élevé, plus l'erreur d'échantillonnage devient petite.
Nota : Ne vous fiez pas seulement à une marge d'erreur d'échantillonnage relativement faible pour faire confiance aux résultats de l'enquête. Il s'agit là d'une seule source d'erreur possible dans une enquête.
Est-ce que la marge d'erreur d'échantillonnage sera la même pour toutes les estimations de l'enquête?
La marge d'erreur d'échantillonnage dépend de la taille de l'échantillon des personnes interrogées. Ainsi, les estimations sur les sous-groupes de la population observée, pour lesquels la taille de l'échantillon est plus petite par définition, auront une marge d'erreur d'échantillonnage plus grande que l'estimation globale pour l'ensemble de la population observée.
La marge d'erreur d'échantillonnage dépend également du comportement de la variable qui est mesurée. Ainsi, selon un même plan d'échantillonnage et une même taille d'échantillon, la marge d'erreur d'échantillonnage peut être plus importante pour une variable que pour une autre simplement parce que sa valeur est plus largement dispersée dans la population observée.
Lorsqu'on obtient une faible marge d'erreur, cela signifie t-il nécessairement que les résultats de l'enquête sont fiables?
Si l'estimation de l'enquête est relativement petite, une marge d'erreur d'échantillonnage de seulement quelques points de pourcentage signifie alors que l'estimation de l'enquête devrait être interprétée avec prudence. Il importe de fonder votre interprétation sur la façon dont les renseignements seront utilisés et les conséquences qui pourraient découler d'une mauvaise décision prise en fonction de ce résultat.
Quel est le taux de réponse habituel pour une enquête?
Les taux de réponse varient considérablement en fonction d'un certain nombre de facteurs. Pratiquement toutes les enquêtes font l'objet d'un certain nombre de non-réponses, et les effets des non-répondants sur les résultats de l'enquête peuvent être différents de ceux des répondants. Un faible taux de réponse augmente l'effet potentiel de biais et peut être beaucoup plus dommageable qu'un petit échantillon dont le taux de réponse est élevé.
Des expériences antérieures et le choix de la méthode de collecte de données devraient fournir une estimation du taux de réponse probable. Voici certaines techniques pouvant aider à optimiser le taux de réponse :
Envoyer un avis préalable : Une lettre envoyée à l'avance expliquant le contexte de l'enquête et incitant les gens à y participer.
Rédiger une introduction efficace : Cette méthode peut renforcer la crédibilité et améliorer la perception des répondants par rapport à l'enquête. Dans votre introduction, il est important d'inclure les éléments suivants :
- le nom de l'organisme menant l'enquête
- la garantie de confidentialité pour tous les répondants
- la durée réelle de l'interview
- des explications sur la manière dont on utilisera l'enquête et les avantages de celle-ci
Veiller à ce que les intervieweurs reçoivent une bonne formation : il est essentiel de bien préparer vos intervieweurs avant qu'ils rencontrent les répondants. Avant de les envoyer sur le terrain, veillez à ce qu'ils maîtrisent bien les compétences suivantes :
- expliquer ce qu'est la « sélection aléatoire » (une question souvent posée)
- adopter une attitude professionnelle
- lire les questions avec exactitude
- approfondir et clarifier les réponses
Si l'on utilise l'échantillonnage par quotas et que les répondants constituent, par exemple, les 1 000 premières personnes prêtes à répondre, alors les résultats de l'enquête devraient être interprétés avec prudence. Dans un tel cas, nous n'avons aucun renseignement sur le nombre total de personnes à qui l'on a demandé de répondre à l'enquête pour obtenir ces 1 000 interviews. Nous n'avons non plus aucun renseignement sur l'étendue des différences entre les répondants et les personnes n'ayant pas répondu.
L'utilité des résultats de l'enquête
Si l'organisme menant l'enquête suit les procédures appropriées, les résultats de l'enquête refléteront-ils réellement les caractéristiques, les comportements ou les opinions d'une population?
Normalement, oui. Toutefois, souvenez-vous que selon les lois du hasard, les résultats de l'enquête peuvent, à l'occasion, différer des caractéristiques, des comportements ou des opinions réelles de la population simplement en raison de la variation aléatoire dans l'échantillon choisi ou d'une erreur d'échantillonnage.
Utilisera t-on des sources d'information externes pour améliorer ou valider les résultats de l'enquête?
Les comparaisons à des sources externes d'information, comme d'autres enquêtes ou des données administratives, peuvent servir à corriger les biais ou simplement à vérifier si les résultats de l'enquête sont plausibles. L'enquête n'existe pas isolément.
Par exemple, bon nombre d'enquêtes portant sur les populations humaines permettent d'étalonner leurs résultats aux totaux ou à la répartition des données du recensement ou à d'autres sources de données généralement reconnues.
Peut on se fier aux résultats de l'enquête?
Une certaine dose de scepticisme à l'égard des résultats d'une enquête est souhaitable. Si les méthodes et les résultats d'une enquête peuvent résister à un examen approfondi, une enquête menée de manière appropriée peut être la meilleure façon objective de rassembler de l'information sur une population.
Quels extrants (produits livrables) pouvez-vous vous attendre à recevoir de votre fournisseur d'enquête?
Vous pouvez vous attendre, à tout le moins, à recevoir un rapport décrivant le but de l'enquête et les principales conclusions. Le rapport devrait également comprendre une brève description des méthodes utilisées et un ensemble complet d'estimations sous forme de tableaux.
Il se peut que vous deviez négocier avec le fournisseur pour que celui-ci présente les résultats en personne à votre organisme.
En outre, il vous faudra peut-être vous entendre avec le fournisseur pour qu'il vous prépare des analyses plus approfondies ou qu'il vous conseille sur les méthodes d'analyse à utiliser pour les données. Bien entendu, cela dépend de votre entente à l'effet de recevoir ou non le fichier de données complet.