Audit de Collecte et Services régionaux

Contexte

Statistique Canada a été créé afin de veiller à ce que les Canadiens aient accès à une source fiable de statistiques canadiennes pour répondre à leurs besoins les plus prioritaires. L'accès à des renseignements statistiques fiables est essentiel dans une société démocratique, en vue d'appuyer la prise de décisions fondée sur des données probantes par les secteurs public et privé, ainsi que pour alimenter les débats de fond sur les questions de politique publique. En vertu de la Loi sur la statistique, Statistique Canada doit « recueillir, compiler, analyser, dépouiller et publier des renseignements statistiques sur les activités et les conditions commerciales, industrielles, financières, sociales, économiques et générales de la population et sur l'état de celle-ci », ce qui exige de lui qu'il recueille des données auprès d'une gamme variée d'entreprises et de ménages canadiens.

À Statistique Canada, la Direction de la collecte et des services régionaux (DCSR) est responsable de la majorité des activités de collecte des données. Son mandat consiste à :

• fournir des services de collecte de données aux programmes statistiques de Statistique Canada (enquêtes auprès des ménages, enquêtes auprès des entreprises et collecte du recensement);
• fournir la structure de gestion pour l'employeur distinct – les Opérations des enquêtes statistiques (OES) – qui est constituée des intervieweurs de Statistique Canada;
• promouvoir la disponibilité et l'utilisation efficace des produits et des services de Statistique Canada, par l'entremise des programmes des Services consultatifs et des Communications dans les régions.

Au sein de la Direction générale, la Division de la planification et de la gestion de la collecte (DPGC) est responsable de la planification coordonnée des capacités de collecte, ainsi que de celles de l'infrastructure de collecte. Le DPGC agit aussi comme point d'accès pour la plupart des partenaires d'enquête qui ont besoin d'un soutien pour la collecte. La DPGC assure l'interface entre les divisions spécialisées et les régions et conçoit des activités de collecte en réponse aux spécifications des clients, fournit des estimations de coûts, acquiert les services requis auprès des divisions qui les fournissent à l'intérieur du secteur, en vue de l'exécution de l'enquête, contrôle les progrès de l'enquête et en rend compte, et procède à des analyses rétrospectives des projets terminés.

Au total, trois régions gèrent des opérations de collecte des données d'enquête : la région de l'Est, qui a des bureaux à Halifax, Montréal et Sherbrooke; la région du Centre, avec des bureaux à Ottawa, Toronto et Sturgeon Falls; et la région de l'Ouest et des Territoires du Nord, avec des bureaux à Edmonton, Regina, Calgary, Winnipeg et Vancouver. Dans ces régions, on compte environ 2 000 intervieweurs et fonctionnaires qui fournissent des services et qui mènent des enquêtes.

La DCSR a entrepris un projet pilote de renouvellement, en janvier 2014, dont la mise en œuvre complète est prévue pour le 1er avril 2014. En vertu de ce projet, les rôles et responsabilités des bureaux régionaux et de la DPGC changeront. La DPGC transférera la gestion des enquêtes aux régions, et les secteurs spécialisés communiqueront directement avec elles. La DPGC continuera d'effectuer la planification et de préparer les documents de formation pour les enquêtes, tandis que les bureaux régionaux seront pleinement responsables de la résolution des problèmes de collecte.

Objectifs de l'audit

Les objectifs de l'audit étaient de fournir au statisticien en chef (SC) et au Comité ministériel de vérification (CMV) l'assurance que :

• Statistique Canada a des mécanismes de gouvernance appropriés pour appuyer la planification et l'affectation des ressources de Collecte et Services régionaux.
• des mécanismes appropriés d'assurance de la qualité ont été établis et sont appliqués de façon uniforme, afin que la Direction de la collecte et des services régionaux recueille des données de qualité et se conforme aux Lignes directrices concernant la qualité de Statistique Canada.

Portée

La portée de cet audit comprenait un examen de la pertinence et de l'efficacité des contrôles de qualité en place pour la collecte des données assurée par la Direction de la collecte et des services régionaux. Parmi les domaines particuliers qui ont été examinés figurent les contrôles d'assurance de la qualité actuellement en place dans les environnements de collecte d'interviews téléphoniques assistées par ordinateur (ITAO) et d'interviews sur place assistées par ordinateur (IPAO), afin d'assurer la conformité avec les Lignes directrices concernant la qualité de Statistique Canada.

Dans le cadre de l'audit, on a aussi examiné l'efficacité et la pertinence de la gouvernance et de la planification de la capacité pour la Direction de la collecte et des services régionaux. Au cours de l'audit, l'équipe d'audit a examiné la Division de la planification et de la gestion de la collecte au bureau central, ainsi que les bureaux régionaux d'Edmonton, de Sherbrooke et de Sturgeon Falls. L'audit a couvert la période de janvier 2013 à janvier 2014. Il n'a pas inclus d'éléments d'infrastructure liés à Services partagés Canada, qui feront l'objet d'une mission distincte.

Approche et méthodologie

L'audit a pris la forme d'un examen exhaustif et d'une analyse de la documentation pertinente, ainsi que d'entrevues avec des gestionnaires et du personnel clés de la DCSR au bureau central et dans les bureaux régionaux. Le travail sur le terrain comprenait un examen, une évaluation et un essai des processus et des procédures en place pour veiller à ce que Statistique Canada fournisse des données statistiques de qualité.

Cet audit comprenait des entrevues avec du personnel dans toutes les régions, les divisions spécialisées, ainsi que des entrevues avec le personnel de la DCSR travaillant au bureau central. L'examen des documents a inclus les rapports d'enquête et la documentation de chacune des régions et du bureau central. Un échantillon aléatoire d'intervieweurs a été tiré à chacun des emplacements visités. L'essai comprenait un échantillonnage aléatoire de fichiers d'intervieweurs de chacun des trois emplacements visités et l'examen des rapports du Système de rétroaction du contrôle de la qualité (SRCQ) pour les mois particuliers compris dans la période examinée, ainsi qu'une validation, afin de s'assurer que la formation appropriée était donnée aux intervieweurs avant les activités de collecte. L'audit a aussi consisté à vérifier les procédures en place pour s'assurer que les employés des OES connaissaient et acceptaient les codes d'éthique et de conduite s'appliquant à eux. En outre, étant donné que le bureau régional d'Edmonton a été le seul bureau visité responsable d'intervieweurs d'IPAO, un échantillon de fichiers d'intervieweurs d'IPAO a été examiné.

Cet audit a été mené conformément aux Normes relatives à la vérification interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors (IIA).

Pouvoirs

Cet audit a été mené en vertu des pouvoirs prévus dans le Plan de vérification et d'évaluation fondé sur les risques de Statistique Canada pour 2013-2014 à 2017-2018.

Gouvernance

Un cadre de gouvernance robuste est essentiel pour s'assurer que la Direction de la collecte et des services régionaux (DCSR) fournit des services de collecte de données de qualité aux programmes statistiques de Statistique Canada. Les pouvoirs, responsabilités et obligations de reddition de comptes devraient être clairement définis et compris à tous les niveaux, afin d'appuyer la gestion efficace de la collecte et de la capacité, et une approche bien établie de gestion des risques devrait être en place.

Les responsabilités et les obligations de reddition de comptes pour le personnel de la DPGC et des BR sont définies et communiquées

Les responsabilités et les obligations de reddition de comptes de la Division de la planification et de la gestion de la collecte (DPGC) et des bureaux régionaux (BR) ont été clairement définies dans l'Entente de service concernant la collecte et les opérations (ESCO), une entente formelle qui a été établie pour définir les rôles, responsabilités et obligations de reddition de comptes des intervenants clés du processus d'enquête.

L'ESCO décrit le projet, dresse une liste détaillée des activités de collecte et d'exploitation, souligne les secteurs responsables de chaque activité et fournit des échéanciers. Elle comprend en outre des détails sur les produits livrables et sur la façon dont ils seront mesurés et contrôlés, y compris les rapports de gestion de l'information qui seront utilisés. L'ESCO comprend des détails sur les processus de gouvernance et de communication qui seront mis en œuvre pour gérer les activités de collecte et de fonctionnement. Toutes les nouvelles enquêtes doivent avoir une ESCO remplie et signée, mais comme cette entente est nouvelle et qu'elle est mise en œuvre par étapes, la plupart des enquêtes permanentes n'ont pas d'ESCO approuvée en place.

Les rôles et responsabilités du personnel régional de la collecte sont énoncés dans le Manuel des employés des OES. Celui-ci fait état des principales tâches, attentes et responsabilités pour les intervieweurs sur le terrain et au bureau central et pour les intervieweurs principaux.

Des mandats clairement définis ont été élaborés pour les comités de supervision de la collecte

Des organismes de supervision efficaces sont importants pour s'assurer que l'orientation, les plans et les mesures de la direction sont appropriés et responsables. Afin que les organismes de supervision puissent être efficaces, ils devraient recevoir des renseignements à jour et précis pour mieux remplir leur fonction de supervision.

L'audit a fait ressortir que trois comités de supervision ont été établis pour la collecte des enquêtes, notamment :

• Comité de planification de la collecte (CPC);
• Comité directeur de la collecte des données sociales (CDCDS); et
• Comité directeur de la collecte des données d'enquêtes-entreprises et d'enquêtes agricoles (CDCEEEA).

Le mandat du Comité de planification de la collecte consiste principalement à passer en revue et à recommander des stratégies pour la collecte, les relations avec les répondants et l'efficacité opérationnelle liées aux coûts, à la qualité et à l'actualité des données. Le comité est aussi responsable de passer en revue les demandes et les priorités des services de collecte, afin de recommander des ajustements de la capacité. Le CPC tient des réunions mensuelles et est présidé par deux directeurs généraux. Les membres comprennent des directeurs et des directeurs adjoints de la DCSR, ainsi que des divisions intervenantes clés de l'infrastructure statistique, de l'informatique et des divisions spécialisées. Ce comité relève du Conseil exécutif de gestion de Statistique Canada.

L'audit a permis de déterminer que le comité remplit ses objectifs en ce qui a trait aux stratégies de collecte, aux relations avec les répondants, à la qualité, à l'actualité et aux examens des demandes de capacité. Un examen des comptes rendus des réunions du comité et des entrevues avec des membres clés du CPC ont révélé que divers problèmes liés au mandat sont abordés, et que des mesures de suivi sont affectées à des responsables au besoin, afin de garantir qu'elles sont réellement prises. En outre, des représentants de groupes de travail sont invités aux réunions du CPC, afin de faire des présentations éclairées concernant la situation d'initiatives ou de recherches.

Le Comité directeur de la collecte des données sociales (CDCDS) et le Comité directeur de la collecte des données d'enquêtes-entreprises et d'enquêtes agricoles (CDCEEEA) ont des mandats clairement définis. Les deux comités assurent la supervision de la collecte des enquêtes auprès des ménages, des entreprises et sur l'agriculture et doivent rendre compte au CPC des problèmes de collecte des enquêtes auprès des entreprises et des ménages, des initiatives du comité ou des décisions. Les membres du CDCDS et du CDCEEEA comprennent des directeurs ou leurs remplaçants et proviennent de divisions spécialisées et de divisions d'infrastructure statistique, ainsi que des représentants de la DCSR. L'audit a permis de passer en revue les comptes rendus des réunions des comités au cours du dernier exercice, et on a constaté que le CDCDS et le CDCEEEA répondent aux obligations comprises dans leurs mandats.

Planification efficace de la capacité

Les Lignes directrices concernant la qualité de Statistique Canada soulignent que la planification de la capacité est une étape importante du processus d'enquête, et qu'une planification efficace de la capacité devrait servir d'outil pour aider à assurer la qualité des activités de collecte.

L'audit a permis de déterminer que la planification de la capacité à la DPGC est officialisée et correspond à la planification de la collecte des données dans les régions. Des entrevues et un examen des documents ont révélé que des règles opérationnelles sont en place et que des hypothèses de planification sont documentées. Les besoins actuels et futurs de recherche sont évalués sur une base régulière, et les renseignements fournis par le bureau central sont suffisants pour que les bureaux régionaux puissent entreprendre leurs activités de planification. Dans les régions, la situation du marché du travail est contrôlée, afin de veiller à ce que les bureaux aient une capacité de dotation appropriée pour mener à bien les activités de collecte.

Les activités de gestion des risques de la DCSR et des bureaux régionaux doivent être élaborées davantage

Une approche bien élaborée en matière de gestion des risques devrait comprendre la détermination et l'évaluation des risques, l'élaboration de plans d'atténuation pour réduire la probabilité des risques et le contrôle permanent de la situation, afin de s'assurer que les stratégies de gestion des risques fonctionnent comme prévu.

À Statistique Canada, la gestion intégrée des risques se fait au niveau du programme, de la division ou de la direction. Chaque année, les secteurs déterminent les risques qui pourraient avoir des répercussions sur la capacité de Statistique Canada d'atteindre ses objectifs, ainsi que la probabilité possible, l'incidence et les stratégies d'atténuation.

L'audit a permis de noter que la gestion des risques est établie au niveau de la Direction de la collecte et des services régionaux. Huit risques clés auxquels fait face la Direction, et qui pourraient empêcher l'atteinte des objectifs, ont été notés. De façon générale, ces risques peuvent être organisés en risques liés aux relations avec les répondants, risques pour les ressources humaines, priorités concurrentes, interdépendances et gérance de l'information. Des stratégies d'atténuation de haut niveau ont été déterminées, mais ne font pas état des activités de gestion des risques particulières à exécuter et ne comportent pas d'obligations de reddition de comptes ou d'échéanciers pour la mise en œuvre.

Recommandations :

Le statisticien en chef adjoint, Secteur du recensement, des opérations et des communications, devrait s'assurer que :

• des activités d'atténuation des risques particulières sont établies, des obligations de reddition de comptes sont affectées et des échéances pour la mise en œuvre sont documentées.

Réponse de la direction :

La direction souscrit aux recommandations formulées.

• Le directeur général, DCSR, modifiera le profil de risque exhaustif au niveau de la Direction, afin de fournir des détails additionnels, y compris des activités particulières d'atténuation des risques, des obligations de reddition de comptes désignées et des échéances particulières.
  
  Produits livrables et échéancier : Le profil de risque révisé de la DCSR sera terminé au plus tard en mars 2015.

Objectif 2 : Des mécanismes appropriés d'assurance de la qualité ont été établis et sont appliqués de façon uniforme, afin que la Direction de la collecte et des services régionaux recueille des données de qualité et se conforme aux Lignes directrices concernant la qualité de Statistique Canada.

Gestion de la collecte d'enquête

Les Lignes directrices concernant la qualité de Statistique Canada soulignent que la collecte des données et les opérations de saisie ont des répercussions sur l'exactitude des données. Compte tenu de cela, il devrait y avoir un équilibre entre les outils de mesure de la qualité et du rendement utilisés pour gérer la collecte des données, afin d'aider à assurer l'exactitude de l'information. Les Lignes directrices soulignent plusieurs rapports qui peuvent être utilisés comme mesures de la qualité et mentionnent en outre que ces mesures contribuent à appuyer les décisions relatives à la nécessité de modifier le processus de collecte ou de remanier les outils de collecte.

Les bureaux régionaux et la DPGC ont des approches de gestion de la collecte d'enquête non uniformes

La gestion de la collecte d'enquête comprend le suivi et le contrôle des activités de collecte. On doit s'assurer que les plans de production des enquêtes sont mis en œuvre et que les corrections ou rajustements nécessaires sont apportés et communiqués aux intervenants spécialisés et autres intervenants compétents. Le personnel des bureaux régionaux gère les activités de collecte au niveau régional et les agents de projet de la DPGC gèrent la collecte, contrôlent le progrès global des enquêtes et en rendent compte.

Les rapports relatifs aux activités globales de collecte sont préparés dans les régions par les gestionnaires de la collecte des données (GCD), les gestionnaires de district et les gestionnaires de programme régional (GPR). À l'intérieur de la DPGC, les agents de projet sont responsables de la préparation des rapports à l'appui de la gestion des enquêtes. L'audit a aussi permis de déterminer que, pour certaines des enquêtes examinées, les divisions spécialisées préparent et utilisent les rapports de collecte. Ces rapports analysent les taux de réponse, les codes de résultat et d'autres paradonnées, afin d'appuyer la gestion de la collecte d'enquête.

Les GCD et les GPR des bureaux régionaux préparent et passent en revue un certain nombre de rapports produits par un système qui visent à contrôler le rendement des enquêtes et la productivité des intervieweurs. Ces rapports comprennent des codes de résultat et des rapports d'étape quotidiens, le temps par unité et des rapports sur les coûts et les demandes. L'audit a permis de trouver des incohérences dans l'utilisation et dans la fréquence d'examen de ces rapports. Par exemple, certains GCD ont mentionné passer en revue une partie ou la totalité de ces rapports et, dans certains cas, les GCD ne passaient en revue aucun de ces rapports. La variation dans les approches de gestion des enquêtes à l'intérieur des régions augmente le risque de divergences dans les rapports créés par les régions pour la DPGC et d'autres partenaires, ce qui pourrait avoir des répercussions sur la capacité de la DPGC de prendre des décisions efficaces.

Par ailleurs, les rapports utilisés par la DPGC aux fins de la gestion de la collecte varient selon l'agent de projet. L'audit a permis de déterminer que certains agents de projet de la DPGC se fient uniquement aux rapports sur le taux de réponse quotidiens pour contrôler leurs enquêtes. D'autres ont indiqué qu'ils passaient en revue toute une gamme de rapports, par exemple, des rapports sur les résultats des conversions et les efforts de dépistage. Aucune documentation de procédure existante ne fait état des rapports qui devraient être passés en revue par les agents de projet de la DPGC pour une gestion efficace de la collecte.

Les entrevues avec les représentants de divisions spécialisées ont permis de noter que les différences dans les approches de gestion de la collecte affectent l'utilité de l'information qu'ils reçoivent concernant la situation et la qualité des activités de collecte d'enquête, ce qui donne lieu à des problèmes de qualité qui pourraient passer inaperçus.

On ne tire pas suffisamment parti des outils d'assurance de la qualité pour la gestion des activités de collecte

Les Lignes directrices concernant la qualité de Statistique Canada font état de plusieurs rapports qui peuvent être utilisés comme outils de gestion de la collecte d'enquête par la DPGC et les bureaux régionaux. Ces rapports comprennent les taux d'erreur de traitement, les taux de suivi, les taux de non-réponse selon la raison, les taux de réponse et les taux d'erreur de saisie/codage.

La direction a noté que, pour de nombreuses enquêtes, les taux de réponse sont en baisse. L'audit a permis de déterminer que, par suite de cette baisse, des efforts importants sont consacrés à obtenir des taux de réponse appropriés pour les enquêtes, ces taux étant des indicateurs du rendement et de la qualité des données. Parallèlement, des taux de réponse appropriés ne garantissent pas à eux seuls la qualité des données. Les Lignes directrices concernant la qualité de Statistique Canada soulignent qu'un cadre efficace de gestion de la collecte devrait aussi inclure des outils conçus de façon particulière pour contrôler la qualité.

L'équipe d'audit a examiné les rapports préparés par la DPGC et les régions. À l'intérieur de chacune des trois régions examinées, l'accent était mis principalement sur les rapports d'enquête qui sont préparés et passés en revue pour faire en sorte que les cibles de taux de réponse sont respectées et que les intervieweurs respectent leurs objectifs de productivité. Parmi les rapports particuliers utilisés figurent les suivants : codes de résultat, temps par unité et coûts par rapport aux demandes. Même si ces rapports font partie d'un ensemble global d'indicateurs d'assurance de la qualité, ils sont utilisés comme outils de gestion du rendement et ne sont pas suffisamment exploités dans la gestion de la qualité des données.

À l'intérieur de la DPGC, l'audit n'a pas trouvé d'indication que des rapports particuliers sur la qualité des données recueillies sont créés ou que la qualité fait l'objet d'un contrôle. Les rapports conçus pour examiner la qualité globale de la collecte permettraient de déterminer de façon précoce les enjeux ayant des répercussions sur la qualité des données recueillies et de les atténuer.

Le Système de rétroaction du contrôle de la qualité (SRCQ) sert à contrôler les intervieweurs individuels, mais comporte aussi des capacités qui permettent aux utilisateurs de créer des rapports, lesquels favorisent à leur tour l'analyse de la qualité de la collecte des données, grâce à la création et à l'analyse de rapports selon le type d'erreur, les erreurs selon l'enquête, les tendances dans le rendement des intervieweurs, etc. L'audit a souligné que ce type d'analyse ne se fait pas à la DPGC, ni dans les régions, mais aiderait les intervieweurs à comprendre les exigences des enquêtes et pourrait être utilisé comme un outil pour contrôler le rendement des intervieweurs au chapitre de la collecte.

Afin de résoudre les faiblesses au chapitre de la gestion des enquêtes et des rapports sur la qualité, l'audit a remarqué qu'une division spécialisée a demandé des rapports additionnels de la DPGC, afin de procéder à sa propre analyse de paradonnées, en vue de déterminer les problèmes de qualité. Grâce à cette analyse, on a pu fournir de la rétroaction à la DPGC sur les domaines nécessitant une recherche plus poussée. Cet exercice s'est révélé utile et, dans un cas, a entraîné la détermination de lacunes graves dans les interviews.

Un processus efficace de rétroaction et de mesures de suivi progressives a été établi

La communication des problèmes entre le bureau régional et la DPGC se fait sur une base quotidienne. De façon plus particulière, l'audit a permis de constater que les problèmes propres aux enquêtes ayant des répercussions possibles sur les activités de collecte font l'objet de rapports et de mesures de suivi progressives dans les régions et à la DPGC, afin que des mesures soient prises. Ces problèmes comprennent notamment la capacité et les budgets, des problèmes de main-d'œuvre et d'environnement, des problèmes techniques et des demandes d'informations propres à une enquête.
L'audit a permis de déterminer que la DPGC et les bureaux régionaux ont établi un processus efficace de rétroaction et de mesures de suivi progressives pour les problèmes. La communication se fait sur une base quotidienne, et l'application des mesures de suivi progressives se fait au niveau approprié.

Recommandations :

Le statisticien en chef adjoint, Secteur du recensement, des opérations et des communications, devrait s'assurer que :

• l'on établit et communique une approche de gestion de la collecte comprenant la détermination des rapports à produire, afin d'assurer l'uniformité des services de collecte fournis aux partenaires;
• des indicateurs de qualité, comme ceux énoncés dans les Lignes directrices concernant la qualité de Statistique Canada, sont inclus dans les exigences de rapports obligatoires et des données du SRCQ sont analysées régulièrement, afin de déterminer les faiblesses au chapitre de la formation et d'autres problèmes liés aux enquêtes.

Réponse de la direction :

La direction souscrit aux recommandations formulées.

• Le directeur, Division de la planification et de la recherche en matière de collecte, élaborera un ensemble d'indicateurs et de rapports de qualité qui pourront servir à déterminer les problèmes pendant ou après les activités de collecte, ainsi qu'à maintenir ou améliorer la qualité de la collecte des données. L'élaboration de ces indicateurs se fera en collaboration avec le Comité directeur de la collecte des données sociales et le Comité directeur de la collecte des données d'enquêtes-entreprises et d'enquêtes agricoles. Si la Direction n'est pas en mesure d'absorber les coûts liés à l'élaboration, à la mise en œuvre et au maintien d'indicateurs de qualité élargis, une proposition opérationnelle sera soumise par l'entremise du processus de planification à long terme de Statistique Canada.
  
  Produits livrables et échéancier : L'élaboration du cadre de données de collecte sera terminée au plus tard en décembre 2014.

Formation et contrôle de soutien de la qualité

Formation et outils

Les Lignes directrices concernant la qualité de Statistique Canada soulignent que les manuels et la formation des intervieweurs doivent être préparés et planifiés avec soin, étant donné qu'ils constituent la meilleure façon de garantir la qualité des données (p. ex., taux de réponse élevé et réponses exactes), la compréhension des concepts des enquêtes et des sujets spécialisés, et des réponses appropriées aux questions par les répondants.

De la formation et des outils efficaces de base et propres aux enquêtes pour les intervieweurs sont en place; toutefois, la formation relative au Registre des entreprises devrait être améliorée, afin de s'assurer que les intervieweurs comprennent les exigences

Dans le cadre de l'audit, on a examiné la formation de base donnée à tous les intervieweurs au moment de leur recrutement. Cette formation souligne efficacement le mandat et les objectifs de Statistique Canada, les rôles et responsabilités des intervieweurs et des intervieweurs principaux et l'importance de la collecte des données. Elle décrit en outre les activités de collecte et le contrôle de la qualité.

De la formation propre à une enquête doit être donnée aux intervieweurs affectés à cette enquête. Afin que les intervieweurs comprennent les méthodes et les concepts d'enquête, ainsi que l'application de l'enquête, et qu'ils aient la possibilité d'effectuer des interviews fictives, de la formation doit avoir lieu avant qu'ils commencent à travailler aux enquêtes. L'audit a examiné deux enquêtes auprès des entreprises et trois enquêtes sociales et a déterminé que les documents de formation font état des procédures, applications et concepts particuliers. Conformément aux Lignes directrices concernant la qualité de Statistique Canada, la formation d'enquête comprenait aussi plusieurs approches en matière de formation, y compris l'étude à la maison, la formation en salle de classe et les interviews fictives. L'essai effectué dans le cadre de l'audit a confirmé que les intervieweurs reçoivent de la formation de base et de la formation propre aux enquêtes et que cela se fait avant qu'ils commencent leurs activités de collecte.

Le Registre des entreprises est la base de sondage des enquêtes auprès des entreprises et des enquêtes agricoles. Avant 2011, tous les changements à la base de sondage étaient effectués par le personnel de la Division du registre des entreprises et étaient sujets à une validation par les secteurs spécialisés. À partir de 2012, la responsabilité de mise à jour directe du registre a été transférée aux intervieweurs des régions. Les intervieweurs de toutes les régions visitées ont souligné que la formation relative au Registre des entreprises actuellement fournie ne les prépare pas efficacement à effectuer avec confiance les changements nécessaires au registre. Des entrevues avec des secteurs spécialisés ont confirmé cela, en soulignant que des changements incorrects ont été apportés à la base de sondage par des intervieweurs dans les régions, ce qui a donné lieu à des changements erronés à la base de sondage. Dans le cadre de l'audit, on a examiné les documents de formation relatifs au Registre des entreprises et on a noté qu'ils reposaient sur une connaissance de l'organisation et de la classification des industries que le personnel des régions n'a peut-être pas. Sans formation efficace des intervieweurs, il y a un risque que des changements non valables soient apportés au Registre des entreprises, passent inaperçus et aient des répercussions sur la qualité des enquêtes auprès des entreprises et des enquêtes agricoles.

Contrôle

Les Lignes directrices concernant la qualité de Statistique Canada soulignent qu'« il est important d'évaluer les compétences des intervieweurs, afin de s'assurer qu'ils respectent une liste de critères préétablie », et que ce procédé « permettra de cerner les forces et les faiblesses de l'intervieweur, du point de vue de ses compétences, de lui faire part de commentaires et d'axer sa formation sur ses points faibles ».

Le SRCQ est conçu pour rendre compte des résultats des opérations de contrôle de la qualité, tant pour les interviews téléphoniques assistées par ordinateur (ITAO) que pour les interviews sur place assistées par ordinateur (IPAO), ainsi que pour fournir des estimations de la qualité et des rapports de rétroaction aux intervieweurs et aux gestionnaires. Le système produit aussi des plans d'échantillonnage des intervieweurs requis pour l'administration efficace des procédures de contrôle de la qualité et la surveillance. Chaque intervieweur d'ITAO et d'IPAO est affecté à un plan de contrôle selon son rendement passé. Les plans des intervieweurs et le nombre requis de séances de contrôle mensuelles pour les intervieweurs d'ITAO et d'IPAO dans chaque plan sont classés de la façon suivante dans le SRCQ :

Pendant une séance de contrôle donnée, la qualité du travail des intervieweurs est évaluée par rapport à un ensemble prédéterminé de critères. Si un intervieweur fait une erreur ou utilise de mauvaises pratiques d'interview pour une question en particulier, les renseignements sont consignés dans le SRCQ.

Les intervieweurs d'ITAO travaillent à partir de bureaux régionaux partout au pays et, au moyen d'une application d'enquête informatique, appellent les répondants pour procéder à l'interview. Le contrôle est effectué par les intervieweurs principaux qui écoutent, observent et évaluent l'interaction directe entre l'intervieweur et le répondant, tout en utilisant un outil d'écoute téléphonique et en observant une image simultanée de l'écran d'ordinateur de l'intervieweur. Les répondants sont informés que l'appel peut être écouté par un superviseur.

Les intervieweurs d'IPAO travaillent sur le terrain et se rendent aux résidences des répondants pour procéder aux interviews. Les réponses d'enquête sont saisies par l'intervieweur dans une application d'enquête informatique. Le contrôle est effectué au moyen d'un examen de segments d'interview enregistrés sur support numérique. Chaque question enregistrée est sauvegardée dans un fichier audio distinct et transmise quotidiennement aux bureaux régionaux, où les activités de contrôle ont lieu. L'intervieweur demande aux répondants s'ils consentent à être enregistrés et leur donne la possibilité de refuser. Si le consentement n'est pas donné, l'enregistrement est interrompu.

L'équipe d'audit a observé huit séances de contrôle et a confirmé que les activités de contrôle sont effectuées selon le processus du SRCQ. Dans le cadre de l'audit, on a noté que les contrôleurs écoutent activement les intervieweurs, afin de s'assurer que les données sont codées de la bonne façon, que les intervieweurs posent les questions comprises dans le questionnaire et que la conduite des intervieweurs est professionnelle. Les erreurs et les commentaires découlant de chaque séance de contrôle sont par la suite entrés dans le système et, pour les séances de contrôle d'ITAO, de la rétroaction est fournie immédiatement après chaque séance.

Le contrôle des intervieweurs d'ITAO devrait être amélioré pour optimiser la qualité

Dans le cadre de l'audit, on a évalué les activités de contrôle de chaque emplacement visité, afin de déterminer si un contrôle était assuré, s'il était pertinent et si de la rétroaction était donnée aux intervieweurs. Parmi les 53 fichiers d'intervieweurs d'ITAO vérifiés dans les régions, seulement trois intervieweurs étaient contrôlés aussi fréquemment que requis selon leurs plans de contrôle. Les entrevues avec les gestionnaires régionaux ont fait ressortir que les intervieweurs principaux ont des responsabilités au quotidien, outre les activités de contrôle, et que les objectifs de contrôle sont encore considérés comme lourds, en dépit des réductions récentes dans les cibles de contrôle requises. Les gestionnaires régionaux ont aussi indiqué que les plans relatifs aux intervieweurs qui ont besoin de plus de contrôle en raison de problèmes de qualité déterminés ne sont pas passés en revue, d'assurer leur mise en œuvre comme prévu.

Dans le cadre de l'audit, on a noté que la rétroaction des séances de contrôle est fournie aux intervieweurs d'ITAO au moment opportun. Toutefois, les régions n'utilisent pas le SRCQ pour déterminer les tendances au chapitre du rendement des intervieweurs, ce système étant considéré comme un outil d'encadrement uniquement et non pas comme un outil de gestion du rendement. Les gestionnaires des régions ont souligné que le contrôle du SRCQ devrait mettre l'accent sur le respect des objectifs de contrôle établis par le bureau central et ont expliqué que, étant donné que de la rétroaction est fournie aux intervieweurs après chaque séance de contrôle, la qualité est assurée. Sans analyse des résultats du contrôle, il se peut que l'on ne puisse pas déterminer les besoins de formation particulière ou les problèmes d'enquête particuliers, ni y donner suite.

Le contrôle des IPAO n'est pas uniforme d'une région à l'autre

Il existe plusieurs méthodes pour contrôler les interviews par IPAO, afin d'assurer la qualité des données recueillies par les intervieweurs, y compris le contrôle au moyen du SRCQ, le contrôle de validation et le contrôle d'observation. Parmi les 15 enquêtes par IPAO actuellement en cours, le SRCQ est utilisé pour contrôler les intervieweurs d'IPAO pour deux enquêtes seulement, l'Enquête sur la santé dans les collectivités canadiennes (ESCC) et l'Enquête sur les dépenses des ménages (EDM). Par conséquent, seuls les intervieweurs d'IPAO qui travaillent à ces deux enquêtes peuvent être contrôlés au moyen du SRCQ.

Dans le cadre de l'audit, on a examiné le rapport sur le taux de consentement du SRCQ pour l'EDM, qui est produit par la DPGC et qui comporte des détails, pour chaque intervieweur d'IPAO, sur les taux de consentement en ce qui a trait à l'enregistrement des interviews. Le rapport montre qu'en moyenne, 29 % des répondants des IPAO refusent de donner leur consentement. Toutefois, dans le cadre de l'audit, on a noté une variation importante d'un intervieweur à l'autre. Par exemple, l'examen du rapport de consentement a révélé que 24 % des intervieweurs d'IPAO avaient des taux de refus de plus de 50 %. Par conséquent, l'échantillon disponible pour le contrôle est souvent petit. Le GCD responsable des intervieweurs d'IPAO dans la région d'Edmonton a noté que ces rapports étaient fournis à titre d'information seulement et qu'aucune mesure n'est prise pour déterminer pourquoi les taux de consentement varient. Pendant les entrevues, il a été noté qu'il y a plusieurs cas d'intervieweurs qui incitent les répondants à refuser que l'interview soit enregistrée.

Les intervieweurs d'IPAO ne sont pas contrôlés aussi fréquemment que requis selon leur plan. La raison indiquée était la petitesse de l'échantillon disponible pour le contrôle et l'option pour les répondants de refuser d'être enregistrés. Par ailleurs, les contrôleurs des IPAO ont indiqué qu'il est difficile de fournir rapidement de la rétroaction aux intervieweurs d'IPAO. Étant donné que ces intervieweurs travaillent sur le terrain, le contrôleur doit appeler et laisser un message demandant à l'intervieweur de rappeler. De nombreux intervieweurs d'IPAO sont réticents à rappeler et évitent de recevoir de la rétroaction parce que cela est perçu de façon négative. Sans mécanismes de rétroaction efficaces pour les intervieweurs d'IPAO, il est peu probable que les risques pour la qualité des données recueillies découlant de compétences d'interview inefficaces fassent l'objet d'un suivi approprié.

Le contrôle de validation consiste à téléphoner aux répondants pour vérifier si un employé de Statistique Canada s'est rendu à leur résidence et a procédé à une interview. Les données clés sont confirmées et le répondant est questionné concernant l'impression professionnelle générale de l'intervieweur. Dans le cadre de l'audit, on a vérifié et confirmé que le contrôle de validation a lieu au bureau régional d'Edmonton; il s'agissait du seul parmi les trois emplacements visités qui était responsable d'intervieweurs d'IPAO.

Le contrôle d'observation se produit lorsqu'un intervieweur principal accompagne un intervieweur d'IPAO sur le terrain et observe les activités de collecte. Le manuel destiné aux employés des Opérations des enquêtes statistiques (OES) chargés des IPAO souligne que le contrôle d'observation doit être effectué au moins une fois tous les deux ans. Dans les régions de l'Est et de l'Ouest, l'audit a confirmé que le contrôle d'observation a lieu. Dans la région du Centre, les employés ont noté que le contrôle d'observation a été suspendu et n'est pas effectué depuis 2010.

Recommandations :

Le statisticien en chef adjoint, Secteur du recensement, des opérations et des communications, et le statisticien en chef adjoint, Secteur des études analytiques, de la méthodologie et de l'infrastructure statistique, devraient s'assurer que :

• la formation relative au Registre des entreprises est adaptée au personnel des OES, afin d'assurer le maintien d'une base de sondage de qualité.

Réponse de la direction :

La direction souscrit à la recommandation formulée.

• Le directeur de la Division de la planification et de la recherche en matière de collecte, de concert avec le directeur de la Division du registre des entreprises, s'assurera que la formation relative au Registre des entreprises pour les intervieweurs est adaptée pour répondre aux besoins des utilisateurs.
  
  Produits livrables et échéancier :
  • Nouveau cours rationalisé fondé sur les besoins déterminés par suite de consultations avec la DGSR. Terminé en décembre 2013.
  • Première itération d'un nouveau cours donné au niveau national. Terminé en mars 2014.
  • Nouveaux documents de formation mis à la disposition des OES/de la DCSR. Terminé en mai 2014.
  • Pour assurer la formation appropriée de tous les intervieweurs et intervieweurs principaux, la DCSR et les régions utilisent une liste en Excel des employés formés ou à former relativement au RE. Il s'agira d'une activité permanente.

Recommandations :

Le statisticien en chef adjoint, Secteur du recensement, des opérations et des communications, devrait s'assurer que :

• les objectifs du plan de contrôle des intervieweurs d'ITAO et d'IPAO sont respectés et les résultats du contrôle sont examinés au niveau de l'intervieweur et de l'enquête, afin d'assurer la qualité des activités;
• pour les activités d'IPAO, la rétroaction du contrôle du SRCQ soit fournie aux intervieweurs rapidement, les intervieweurs et les répondants étant sensibilisés à l'importance du contrôle comme outil d'assurance de la qualité pour réduire les refus de contrôle, et les exigences du contrôle d'observation étant précisées.

Réponse de la direction :

La direction souscrit à la recommandation formulée.

• Pour les ITAO, les directeurs adjoints/Opérations collaboreront avec la Division de la planification et de la recherche en matière de collecte, afin de mettre à jour les objectifs de contrôle et élaboreront un plan pour s'assurer que ces objectifs sont respectés et suivis. Des mécanismes de rétroaction pour les intervieweurs seront examinés dans le cadre du plan.
  
  Produits livrables et échéancier : Objectifs et plan de contrôle des ITAO mis à jour pour l'évaluation du programme, au plus tard en mars 2015.
• Pour les IPAO, les directeurs régionaux collaboreront avec la Division de la planification et de la recherche en matière de collecte pour élaborer un programme de contrôle révisé et en établir le coût, programme similaire au programme des ITAO, et élaboreront un plan de mise en œuvre. Au besoin, une proposition de PLT peut être élaborée pour financer le contrôle des IPAO. Ce plan énoncera les exigences de temps pour la rétroaction et précisera les exigences de contrôle pour les intervieweurs d'IPAO.
  
  Produits livrables et échéancier : La proposition de programme de contrôle des IPAO et le plan de mise en œuvre seront élaborés au plus tard en mars 2015.