Audit de l'Enquête sur la population active

Rapport d'audit

Juin 2019
Numéro de projet : 80590-109

• Résumé
• Conformité avec les normes professionnelles
• Introduction
  • Contexte
  • Objectif de l'audit
  • Objectif de l'évaluation
  • Portée
  • Approche et méthodologie
  • Autorité
• Constatations de l'audit, recommandations et réponse de la direction
  • Contrôles de la qualité
  • Consultation des utilisateurs et des intervenants
• Constatations de l'évaluation, recommandations et réponse de la direction
  • Pertinence des données de l'EPA
  • Efficacité — Qualité
  • Efficacité — Accès
  • Confiance
  • Autres constatations
• Annexes
  • Annexe A Critères d'audit
  • Annexe B Méthode d'évaluation
  • Annexe C Activités de validation
  • Annexe D Sigles

Résumé

L'Enquête sur la population active (EPA) est une enquête mensuelle réalisée auprès des ménages par Statistique Canada. Il s'agit d'un indicateur économique clé et de l'un des 12 programmes essentiels au mandat de l'organisme (c.-à-d. ceux nécessaires pour mener à bien le mandat de Statistique Canada prévu par la loi ou ceux essentiels au fonctionnement du gouvernement). Il s'agit aussi de la seule source d'estimations mensuelles de l'emploi total au Canada. En plus des indicateurs normalisés du marché du travail, comme le taux de chômage, le taux d'emploi et le taux d'activité, l'EPA fournit des renseignements sur les caractéristiques particulières de la population en âge de travailler, y compris l'âge, le sexe, l'état matrimonial, le niveau de scolarité et les caractéristiques familiales.

La préparation de l'EPA est un projet d'envergure. Pendant une période de 10 jours, tous les mois, les intervieweurs de Statistique Canada communiquent avec un échantillon aléatoire de 56 000 ménages. Les interviews sont réalisées par téléphone, par des intervieweurs se trouvant dans des bureaux régionaux, ou dans le cadre de visites sur place effectuées par des intervieweurs sur le terrain. Une fois les données d'enquête recueillies, elles sont traitées et publiées dans Le Quotidien, 10 jours après que la collecte des données soit complétée.

La Section de l'Enquête sur la population active, de la Division de la statistique du travail (DST), est chargée de superviser la production de l'EPA tous les mois. En janvier 2019, l'organisme a mis en place un nouveau système informatique pour vérifier, coder et traiter les données de l'EPA. Ce système, portant le nom d'Environnement pour le traitement des enquêtes sociales (ETES), est un système généralisé de traitement des données d'enquête qui est utilisé pour un certain nombre d'autres enquêtes de Statistique Canada. Il remplace le système de traitement du bureau central (STBC), qui était en place depuis plus de 25 ans.

Pourquoi est-ce important?

L'EPA est une enquête essentielle qui fait actuellement l'objet d'un remaniement important. Les efforts permanents déployés pour maintenir la qualité et gérer le risque d'erreur continuent d'être une priorité au cours de cette transition, surtout en raison de l'importance et de la visibilité de l'enquête ainsi que de l'information qu'elle produit.

Principales constatations de l'audit

Le Programme de l'EPA respecte les lignes directrices en matière d'assurance de la qualité fondées sur le domaine spécialisé et le processus. Cependant, une stratégie de validation formelle n'a pas été élaborée. Des rapports de validation officiels ne sont pas rédigés pour chaque cycle de production.

Les risques relatifs à l'implantation de l'ETES ont été bien gérés. La direction a été proactive pour informer les utilisateurs du remplacement du système, et a fait preuve de transparence lorsqu'elle a expliqué les différences entre les deux systèmes.

À part quelques exceptions minimes, les recommandations tirées de l'Examen de la diffusion de l'Enquête sur la population active de juillet 2014, réalisé par la direction, ont été appliquées lors de la mise en œuvre du nouveau système de traitement (l'ETES).

La hausse des taux de non-réponse dans le cadre de l'EPA est bien gérée. Tous les intervenants clés cherchent activement à trouver une solution à ce problème. Les taux de réponse et leurs répercussions sur la qualité font l'objet d'une surveillance active au cours de la période de collecte et sont analysés en profondeur lorsque la collecte est terminée. Toutefois, il reste du travail à faire pour mieux comprendre le degré de biais attribuable à la non-réponse ainsi que son incidence sur la qualité des produits de l'EPA.

La direction de l'EPA consulte les utilisateurs et intervenants clés concernant les produits de l'EPA par l'intermédiaire de différents moyens formels ou informels. En 2018, ces consultations comprenaient un vaste groupe d'intervenants internes et externes, dont des utilisateurs venant des gouvernements fédéral, provinciaux et territoriaux, des municipalités, des organismes non gouvernementaux et des entreprises du secteur privé. La direction tient compte de la rétroaction des utilisateurs et des intervenants et l'applique le cas échéant.

Principales constatations de l'évaluation

Les données de l'EPA sont des indicateurs économiques clés qui fournissent de l'information essentielle sur le marché du travail à l'échelle nationale, provinciale ou locale. Les données de l'enquête ont été utilisées à de nombreuses fins, notamment la surveillance, la production de rapports, les prévisions ainsi que l'élaboration de politiques. L'EPA fournissait, de manière générale, l'information dont les répondants avaient besoin. Cependant, la taille de son échantillon limitait son utilité. Pour atténuer certaines de ces limites, les répondants utilisaient des sources de données complémentaires, comme le Recensement de la population et l'Enquête sur l'emploi, la rémunération et les heures de travail.

Selon les répondants, l'EPA reflétait de manière exacte le marché du travail aux échelons national et provincial. La taille limitée de l'échantillon est toutefois entrée en ligne de compte, plus particulièrement pour les niveaux plus détaillés d'analyse, comme par exemple à des niveaux de géographies inférieurs ou des sous-groupes de population. Enfin, l'actualité et l'uniformité de la diffusion des données de l'EPA étaient considérées comme des forces.

Selon un examen de plusieurs dimensions (utilisation, satisfaction des besoins, exactitude, degré d'actualité), les répondants affichaient un niveau élevé de confiance envers l'EPA, surtout en ce qui concerne les résultats plus agrégés, comme aux échelons nationaux et provinciaux.

Les tableaux de données tirés du site Web de Statistique Canada et les totalisations personnalisées ont été les principaux mécanismes utilisés pour accéder aux données de l'EPA. Les répondants ont également consulté Le Quotidien, en tant que source secondaire, pour obtenir un aperçu des résultats nationaux et provinciaux.

Enfin, les répondants ont souligné l'engagement accru des intervenants de Statistique Canada, et ont mentionné l'avoir bien accueilli. Ils aimeraient que les résultats des consultations soient mieux communiqués, tout comme les points nécessitant un suivi et les prochaines étapes.

Conclusion générale

La direction a mis en place un cadre adéquat de contrôle de la qualité pour s'assurer de l'exactitude et de la pertinence des produits de l'EPA. Les activités d'assurance de la qualité fondées sur le domaine spécialisé et le processus sont réalisées, comme l'exigent les Lignes directrices sur la validation des produits statistiques. Cependant, il est nécessaire d'établir une stratégie de validation formelle et de produire des rapports de validation officiels pour mieux soutenir la direction de la DST quand vient le temps d'évaluer, chaque mois, la qualité des données. En outre, il reste du travail à faire pour mieux comprendre le biais attribuable à la non-réponse dans le contexte de l'EPA ainsi que son incidence sur la qualité de l'enquête si les taux de non-réponse devaient changer.

Dans l'ensemble, les utilisateurs sont satisfaits de l'EPA. Il s'agit d'une source de données fiable, considérée comme étant d'actualité. Elle sert à de nombreuses fins, dont la surveillance, la production de rapports et les prévisions. Cependant, il existe des occasions de combler les lacunes statistiques au niveau infraprovincial. En outre, les résultats des activités de consultation pourraient être mieux communiqués aux utilisateurs et aux participants aux consultations.

Conformité avec les normes professionnelles

L'audit a été réalisé conformément aux Procédures obligatoires régissant l'audit interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors.

L'application de procédures d'audit suffisantes et appropriées et la collecte des éléments de preuve appuient l'exactitude des constatations et des conclusions du présent rapport, et donnent une assurance de niveau audit. Les constatations et les conclusions sont fondées sur une comparaison des conditions, telles qu'elles existaient à l'époque, au regard de critères d'audit préétablis. Les constatations et les conclusions s'appliquent à l'entité examinée et pour la portée et la période de référence de l'audit.

Steven McRoberts
Dirigeant principal de la vérification et de l'évaluation

Introduction

Contexte

L'Enquête sur la population active (EPA) est une enquête mensuelle réalisée auprès des ménages par Statistique Canada. Il s'agit d'un indicateur économique clé et de l'un des 12 programmes essentiels au mandat de l'organisme (c.-à-d. ceux nécessaires pour mener à bien le mandat de Statistique Canada prévu par la loi ou ceux essentiels au fonctionnement du gouvernement). Depuis sa création en 1945, l'EPA a pour objectif de répartir la population en âge de travailler en trois catégories relatives au marché du travail qui s'excluent mutuellement, à savoir celles des personnes occupées, des chômeurs et des personnes inactives, ainsi que de fournir des données descriptives et explicatives sur chacun de ces groupes.

D'abord une enquête trimestrielle, l'EPA est devenue une enquête mensuelle en 1952. En 1960, le Comité interministériel de la statistique du chômage a recommandé que l'on désigne l'EPA comme source officielle de la mesure du chômage au Canada. De cette consécration est né le besoin d'une gamme plus grande de statistiques sur le marché du travail, notamment de données régionales plus détaillées. Au fil des ans, la portée de l'enquête s'est considérablement élargie, l'enquête ayant fait l'objet d'un remaniement important en 1976, et encore en 1997. L'EPA produit un tableau complet et détaillé du marché du travail canadien.

L'EPA est aussi de la seule source d'estimations mensuelles de l'emploi total au Canada. En plus des indicateurs normalisés du marché du travail, comme le taux de chômage, le taux d'emploi et le taux d'activité, l'EPA fournit des renseignements sur les caractéristiques particulières de la population en âge de travailler, y compris l'âge, le sexe, l'état matrimonial, le niveau de scolarité et les caractéristiques familiales.

Aperçu du processus de l'EPA

La Section de l'Enquête sur la population active, de la Division de la statistique du travail (DST), est chargée de superviser la production de l'EPA tous les mois.

La collecte des données dans le cadre de l'EPA est réalisée pendant 10 jours, tous les mois, après la semaine de référence de l'EPA. Habituellement, la semaine de référence est la semaine au cours de laquelle le 15e jour du mois se trouve. Pendant les collectes, les intervieweurs de Statistique Canada communiquent avec un échantillon aléatoire de 56 000 ménages pour recueillir des données sur la population active. Les interviews sont réalisées par téléphone, par des intervieweurs se trouvant dans des bureaux régionaux. Les interviews sont réalisées soient de façon téléphonique assistée par ordinateur (ITAO), ou au moyen de visites sur place, par des intervieweurs sur le terrain. L'échantillon de ménages est constitué de six panels de logements. On communique avec chacun des panels pendant six mois ou cycles consécutifs de l'enquête. Tous les mois, le panel le plus ancien est retiré et un nouveau panel s'ajoute. Ainsi, deux cycles consécutifs de l'enquête auront cinq panels en commun. La non-réponse dans le cadre de l'EPA représentait, en moyenne, environ 12 % des ménages admissibles en 2018. Suivant la tendance mondiale, ce taux a augmenté au fil du temps (s'établissant à environ 11 % en 2017 et à 10 % en 2016).

Une fois les données d'enquête obtenues, elles sont traitées avant d'être diffusées. Le traitement comprend la vérification et l'imputation des données, l'application manuelle des codes des industries et des professions, l'obtention de certaines variables au moyen du jumelage des éléments du questionnaire, la pondération des données pour permettre la totalisation des estimations à des niveaux d'agrégation national, provincial et infraprovincial, et l'application de différents ajustements aux données (comme la désaisonnalisation, l'ajustement pour tenir compte de l'effet lié à la semaine de référence et l'ajustement pour tenir compte des effets des congés sur les heures travaillées).

Les résultats de l'EPA sont ensuite publiés dans Le Quotidien, 10 jours après l'achèvement de la collecte des données.

Révisions et remaniements

Périodiquement, l'EPA fait l'objet de révisions et de remaniements. Tous les cinq ans, les estimations démographiques sont révisées ou pondérées à nouveau en fonction des chiffres de population du recensement les plus récents. Tous les 10 ans, l'EPA fait l'objet d'un remaniement de son échantillon, pour tenir compte des changements liés aux caractéristiques de la population et des limites géographiques nouvellement définies. Environ tous les 20 ans, on procède à un remaniement du questionnaire, de la collecte des données ainsi que des systèmes de traitement et de diffusion.

La dernière révision des estimations démographiques et le dernier remaniement de l'échantillon ont eu lieu en janvier 2015. Également en 2015, un projet a été mis en branle pour passer à un nouveau système informatique pour vérifier, coder et traiter les données de l'EPA. Ce système, portant le nom d'Environnement pour le traitement des enquêtes sociales (ETES), est un système généralisé de traitement des données d'enquête qui est utilisé pour un certain nombre d'autres enquêtes de Statistique Canada. Il remplace le système de traitement du bureau central (STBC), qui était en place depuis plus de 25 ans. Ce nouveau système de traitement a été implanté en janvier 2019.

Objectif de l'audit

L'audit avait pour objectif de fournir au statisticien en chef et au Comité ministériel de vérification l'assurance raisonnable que la direction a mis en place un cadre adéquat de contrôle de la qualité pour s'assurer de l'exactitude et de la pertinence des produits de l'EPA.

Objectif de l'évaluation

L'audit comprenait aussi un volet d'évaluation. Ce volet avait pour objectif de fournir au statisticien en chef et au Comité de la mesure du rendement et de l'évaluation de Statistique Canada un aperçu de la pertinence et du rendement (exactitude) de l'enquête du point de vue des utilisateurs.

Portée

La portée de l'audit comprenait un examen des structures de gouvernance, des activités de gestion des risques et des contrôles de la qualité pour la gestion des activités de l'EPA. Les domaines particuliers qui ont été examinés portaient sur :

• les processus d'assurance de la qualité pour valider les produits de l'EPA;
• les processus pour gérer les risques associés à l'implantation du nouveau système de traitement de l'EPA;
• un suivi concernant la mise en œuvre des recommandations tirées de l'Examen de la diffusion de l'Enquête sur la population active de juillet 2014, réalisé par la direction, en ce qui concerne le nouveau système de traitement de l'EPA;
• les processus pour surveiller et gérer le taux de réponse à la baisse de l'enquête;
• les processus pour solliciter la rétroaction des utilisateurs et des autres intervenants, et pour utiliser cette rétroaction au moment de la planification du programme.

La période examinée s'étendait du 1er avril 2017 au 31 décembre 2018.

Approche et méthodologie

Cet audit a été réalisé conformément aux Procédures obligatoires régissant l'audit interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors.

Le volet de l'évaluation de l'audit a été réalisé conformément à la Politique sur les résultats et aux Normes d'évaluation connexes.

Le travail sur le terrain comprenait un examen des processus, activités et outils applicables de l'EPA, pour veiller au respect des Lignes directrices concernant la qualité de Statistique Canada.

Autorité

L'examen a été mené en vertu des pouvoirs prévus dans le Plan intégré d'audit et d'évaluation fondé sur les risques de 2018-2019 à 2022-2023, qui a été approuvé par Statistique Canada.

Constatations de l'audit, recommandations et réponse de la direction

Contrôles de la qualité

Une stratégie de validation formelle de l'EPA n'a pas été créée

La validation est l'activité qui consiste à évaluer la qualité des données statistiques de sortie, du point de vue de leur exactitude, de leur cohérence et de leur vraisemblance globale. C'est à cette étape que les statisticiens valident la qualité des données de sortie produites, conformément à un cadre général de la qualité et aux attentes des statisticiens, en fonction de leurs connaissances cumulatives des conditions actuelles et du domaine statistique particulier. La validation vise à remettre en question les estimations plutôt qu'à les rationaliser. Elle sert aussi à confirmer les corrélations et les rapports importants, globalement et au sein de domaines plus petits. Il est donc important que les résultats inhabituels ou les fluctuations par rapport aux résultats précédents soient compris et que les estimations atypiques déclenchent un examen plus détaillé.

La Directive sur la validation des produits statistiques de l'organisme prévoit les dispositions nécessaires pour veiller à ce que la validation des données soit documentée et réalisée de manière uniforme en ce qui concerne tous les produits statistiques de l'organisme. Elle exige que l'ensemble des programmes essentiels au mandat suivent toutes les étapes de validation décrites dans les Lignes directrices sur la validation des produits statistiques (appelées « Lignes directrices sur la validation » ci-après) de Statistique Canada, sauf si l'on peut donner la raison pour laquelle une étape n'a pu être menée à bien. À titre de programme essentiel au mandat, l'EPA doit être conforme aux Lignes directrices sur la validation.

Selon ces lignes directrices, « les directeurs doivent s'assurer que chaque programme de leur division comporte une stratégie de validation qui respecte les exigences de la Directive sur la validation des produits statistiques ». La stratégie doit comprendre les activités de validation prévues qui doivent être menées ainsi que des détails sur ce qui sera fait (p. ex. les fichiers à comparer, les partenaires externes qui participeront). Dans la plupart des cas, la stratégie de validation demeurera stable au fil du temps et elle devra être mise à jour uniquement lorsque des changements sont apportés aux mesures de validation utilisées. On s'attend à ce que les directeurs de programme examinent la stratégie de validation de chaque programme au moins tous les trois ans, afin de veiller à ce que les activités de validation réalisées suffisent à atténuer les risques affectant la qualité des données.

L'audit a conclu que la direction n'a pas documenté de stratégie de validation exhaustive et cohérente, même si différents processus sont en place pour veiller à ce que des activités de validation soient réalisées tous les mois (voir ci-dessous). L'équipe de production et l'équipe d'analyse maintiennent chacune leur propre liste de contrôle des principales activités opérationnelles et de validation. Cependant, ces listes de contrôles ne comprennent pas de liste exhaustive de toutes les activités de validation réalisées chaque mois, et elles ne fournissent pas de renseignements détaillés sur la manière dont les activités de validation doivent être réalisées. En outre, les activités de validation réalisées par la Méthodologie et la Démographie ne sont pas comprises. Dans de tels cas, les équipes qui réalisent les activités de validation ont confirmé, par courriel à l'équipe de production, les résultats des activités de validation réalisées. Aucun dépôt de toutes les activités de validation n'a été créé pour aider la direction lorsqu'elle évalue le caractère adéquat de ces activités. En raison des nombreuses fonctions liées aux activités de validation, une stratégie de validation documentée appuierait mieux la direction de la DST lorsqu'elle doit évaluer le caractère adéquat des activités de validation réalisées.

Comme l'exigent les Lignes directrices sur la validation, le Programme de l'EPA fait l'objet d'activités d'assurance de la qualité fondées sur le domaine spécialisé et le processus.

Les Lignes directrices sur la validation définissent les étapes de validation précises que tous les programmes essentiels au mandat doivent suivre, sauf si l'on peut donner la raison pour laquelle une étape n'a pu être menée à bien. Ces lignes directrices divisent les activités de validation en huit activités fondées sur le domaine spécialisé et en deux activités fondées sur le processus. Les activités de validation fondées sur le domaine spécialisé (voir l'annexe C pour obtenir une description des activités de validation) sont les suivantes :

1. Analyse des variations au fil du temps;
2. Vérification des estimations désaisonnalisées;
3. Vérification des estimations au moyen de totalisations croisées;
4. Analyse de la cohérence fondée sur des événements courants connus;
5. Comparaison avec d'autres sources similaires de données publiées par Statistique Canada;
6. Consultation d'intervenants au sein de Statistique Canada;
7. Examen du Quotidien par les cadres supérieurs;
8. Exposé officiel au Comité de gestion stratégique.

Les activités de validation fondées sur le processus pour les enquêtes essentielles au mandat sont les suivantes : examen des processus de production et analyse de la cohérence fondée sur des indicateurs de la qualité.

Des interviews ont été tenues auprès de la direction et des employés clés du programme chargés du traitement, de la méthodologie, de l'analyse et de la diffusion, pour comprendre les exercices et activités de validation fondés sur le processus. Les principaux documents à l'appui des activités de validation de l'EPA au cours d'une période de trois mois (octobre, novembre et décembre 2018) ont aussi été examinés, pour confirmer si les activités de validation fondées sur le domaine spécialisé et le processus requises ont été réalisées.

L'audit a permis de constater que le Programme de l'EPA fait l'objet d'activités d'assurance de la qualité fondées sur le domaine spécialisé et le processus, comme l'exigent les Lignes directrices sur la validation. Des activités de validation ont été réalisées pour chacune des étapes requises. Cependant, elles n'ont pas été consignées dans les rapports de validation (voir ci-dessous). Cette situation était attribuable, en partie, au manque de compréhension des exigences établies dans les Lignes directrices sur la validation ainsi qu'aux échéanciers serrés associés à l'EPA, qui exigent que les données soient validées et publiées au cours des 10 jours qui suivent l'achèvement de la collecte. Cela dit, de nombreuses activités de validation sont réalisées et des problèmes potentiels sont résolus au cours des diverses réunions d'équipe. Il y a notamment les réunions hebdomadaires du Comité des opérations de l'EPA, la réunion mensuelle de l'équipe d'analyse de l'EPA, et des réunions ordinaires de la direction de l'EPA et du chercheur principal de la Direction des études analytiques (DEA).

Chaque semaine, le Comité des opérations de l'EPA se réunit pour discuter des problèmes ou des préoccupations qui touchent l'EPA. Cela comprend, sans exclure d'autres activités, une discussion sur les problèmes relevés lors de la validation des données et la résolution de ces problèmes. À ces réunions assistent des représentants de fonctions clés participant à l'EPA, y compris le personnel de la collecte, de la méthodologie, de la technologie de l'information et de l'analyse, ainsi que la direction de l'EPA. Ces réunions permettent à l'équipe d'appliquer une approche multidisciplinaire pour déterminer rapidement les problèmes potentiels et les résoudre.

En outre, l'équipe d'analyse se réunit chaque mois pour examiner les données de l'EPA et réaliser plusieurs activités de validation. Même si l'on ne conserve aucune trace de ces réunions, les interviews ont permis de confirmer que l'équipe réalise ses activités de validation en comparant différents ensembles de données. Lorsqu'elle est satisfaite, la chef de l'analyse donne son approbation sur la liste de contrôle de l'équipe d'analyse.

De plus, la direction de l'EPA rencontre le chercheur principal de la DEA pour examiner les données de l'enquête. Le chercheur principal utilise ses connaissances des résultats des enquêtes existantes et des indicateurs économiques pour aider la direction à déterminer les domaines d'intérêt ou les problèmes potentiels touchant les données. L'équipe de production de l'EPA réalise ensuite un examen dans certains domaines pour valider les données. On ne conserve aucune trace de ces discussions ni des examens connexes. Cependant, lorsqu'elles sont réalisées, les activités de validation pertinentes sont cochées sur la liste de contrôle de l'équipe de production.

Enfin, l'équipe de la méthodologie réalise plusieurs activités de validation. Après avoir fait la validation, elle confirme ses résultats, par courriel, à l'équipe de production de l'EPA. Tout problème potentiel décelé est discuté plus amplement à la réunion hebdomadaire du Comité des opérations de l'EPA.

Des rapports de validation officiels ne sont pas préparés pour chaque cycle de production

Selon les Lignes directrices sur la validation, un rapport de validation doit être préparé pour consigner les résultats des activités de validation se rapportant au programme pour chaque cycle de production. Le rapport doit consigner et communiquer les résultats des examens de validation. Si des anomalies perçues ou des anomalies réelles sont trouvées, il faut documenter ces divergences, l'examen qui a été mené et la stratégie de correction mise en œuvre ou la raison de l'acceptation de la divergence. Le rapport doit rendre compte uniquement des principaux points ou éléments du processus de validation, mais il doit comporter suffisamment de détails pour que la raison justifiant cette conclusion concernant la qualité des données soit claire.

Selon l'audit, des rapports de validation officiels ne sont pas préparés. Comme il a été mentionné, deux listes de contrôle servent à suivre certaines activités de validation, mais pas toutes. En outre, ces listes de contrôle ne font pas état des anomalies perçues ou réelles, des divergences décelées, des examens réalisés, de la stratégie corrective mise en œuvre ou de la raison pour laquelle la divergence a été acceptée. Ces renseignements ont été déclarés pour que le Comité des opérations de l'EPA en discute à sa réunion hebdomadaire et que le Comité d'analyse en discute également à sa réunion mensuelle. Cependant, aucun dossier n'a été conservé concernant les discussions ou la solution adoptée pour résoudre les divergences.

Les risques relatifs à la mise en œuvre de l'ETES ont été bien gérés, y compris le risque associé à l'acceptation du nouveau système par les utilisateurs

La gestion des risques est un aspect essentiel de la livraison des projets de technologie de l'information. Lorsque des changements ou des mises à jour sont apportés aux systèmes, surtout dans le cas des enquêtes essentielles au mandat, il faut déterminer et évaluer les risques pour la mise en œuvre réussie du projet, et créer des plans d'atténuation pour tenir compte des risques qui sont supérieurs au niveau de tolérance de la direction. L'audit a permis d'examiner les processus de gestion des risques en place pour déterminer et évaluer les risques associés à l'implantation du nouveau système de traitement (l'ETES), et pour intervenir.

Même si des processus formels d'évaluation des risques n'étaient pas en place pour tous les aspects de l'implantation du système, l'audit a permis de constater que les risques étaient déterminés et évalués, et que des stratégies d'atténuation étaient mises en œuvre pour en tenir compte. Tout particulièrement, les risques associés à l'acceptation du nouveau système par les utilisateurs ont été bien gérés.

La direction de l'EPA, en collaboration avec la Division des systèmes d'information statistique (DSIS), a déterminé, évalué et atténué les risques tout au long du développement et de la mise en œuvre de l'ETES. En 2016, le Comité d'autorisation de la sécurité (CAS) a jugé qu'il s'agissait d'un projet affichant un risque « élevé », et que les secteurs de risque les plus importants étaient : la gestion des changements; les problèmes de codage en dur; les environnements combinés de développement, de test et de production; la documentation; les pratiques exemplaires en matière de programmation et de codage. La direction a tenté d'atténuer ces risques. En 2018, le CAS a réduit la cote de risque du projet, la faisant passer à « moyenne ». Le CAS a aussi approuvé la mise en œuvre de l'ETES, à la condition qu'un contrôle de version adéquat soit fait pour tout changement apporté au système.

En plus des préoccupations relatives à la programmation, au codage et à la sécurité prises en considération aux réunions du CAS, d'autres risques ont aussi été pris en compte au cours du développement et de la mise en œuvre de l'ETES. Il faut également souligner que les risques associés à l'acceptation du nouveau système par les utilisateurs ont été identifiés et gérés. Pour atténuer ces risques, la direction de l'EPA a rencontré les principaux utilisateurs de l'EPA (Banque du Canada, Emploi et Développement social Canada et d'autres utilisateurs qui bénéficient de la diffusion anticipée des données de l'EPA), afin de discuter de la mise en œuvre de l'ETES et de répondre à leurs questions ou préoccupations. Un document sur la transition du système de traitement des données de l'EPA vers l'ETES a aussi été publié et rendu public. Ce document expliquait le processus d'essai suivi pour mettre en œuvre l'ETES et il décrivait les différences entre les deux systèmes. La direction a aussi créé des infocapsules et des foires aux questions avant l'implantation du nouveau système, veillant ainsi à ce que les utilisateurs soient bien informés du changement.

À part quelques exceptions minimes, les recommandations tirées de l'Examen de la diffusion de l'Enquête sur la population active de juillet 2014, réalisé par la direction, ont été appliquées lors de la mise en œuvre du nouveau système de traitement (l'ETES)

En 2014, une erreur a été commise dans la diffusion de l'EPA pour la période de référence de juillet. À la suite de cette erreur, la direction a réalisé un examen interne de l'incident, afin de déterminer ce qui s'était produit, la raison pour laquelle cette situation s'était produite, la raison pour laquelle l'erreur n'avait pas été décelée lors du processus d'assurance de la qualité, et ce qui pourrait être fait pour atténuer le risque que d'autres erreurs semblables soient commises à l'avenir. Le rapport produit comportait cinq recommandations et il mettait l'accent sur les pratiques de gestion du changement en technologie de l'information et de validation des données de l'organisme. Les recommandations portaient sur les domaines suivants : la gouvernance par rapport aux changements apportés au système; les protocoles de mise à l'essai des changements apportés au système; les rapports de diagnostic et d'erreurs; la documentation du système; le fait d'informer les analystes d'enquête et la direction chargés de la validation des données au sujet des événements ayant une incidence sur le cycle de production de l'enquête.

Le STBC était le système de traitement utilisé à l'époque où l'erreur a été commise. Puisque ce système a été remplacé en janvier 2019, l'audit a évalué l'application des cinq recommandations lors de la mise en place du nouvel ETES. À part quelques exceptions minimes, l'audit a conclu que les recommandations ont été suivies lors de cette mise en place.

La gouvernance et la surveillance de la mise en œuvre de l'ETES ont été robustes; les rôles et les responsabilités ayant trait à la mise en œuvre ont été documentés et bien compris. Ils étaient aussi séparés de manière appropriée, à part une seule exception : les rôles du chef de la Sous-section du remaniement et du chef de la Sous-section du traitement ont été combinés, alors qu'ils étaient auparavant séparés. Ce changement a été apporté à la suite du départ d'un employé vers la fin de la période de mise en œuvre de l'ETES. Même si une séparation inadéquate de ces rôles pourrait faire en sorte que des erreurs de refonte ne soient pas décelées au traitement en raison de la même autorité d'approbation, ce risque est atténué par les niveaux approfondis d'examen, de surveillance et d'approbation des changements assurés par d'autres échelons d'employés et de cadres.

Même si un protocole d'essai formel n'a pas été élaboré avant la mise à l'essai du nouveau système comme il avait été recommandé, la direction a réalisé des essais approfondis du nouveau système au cours d'une période de 18 mois. Les essais réalisés et les résultats obtenus ont été pleinement documentés. Des essais parallèles ont été faits pendant six mois. Les résultats du STBC et de l'ETES ont été comparés au moyen des mêmes ensembles de données. D'importantes différences entre les systèmes ont été cernées, examinées et, rectifiées le cas échéant.

Les rapports de diagnostic et d'erreurs dans l'ETES ont été grandement améliorés par rapport à ceux du STBC. L'ETES prévoit une approche souple et modulaire en ce qui concerne le traitement de l'EPA, tandis que les étapes individuelles sont plus faciles à isoler, à analyser et à améliorer s'il y a lieu. Après chaque étape réalisée dans l'ETES, un rapport d'erreurs est produit. Le personnel peut vérifier si toutes les spécifications de l'étape en question ont été prises en compte. Le STBC n'offrait pas ce niveau de rapport de diagnostic.

Par rapport au STBC, la documentation de l'ETES a aussi été grandement améliorée. Elle est à jour et porte sur toutes les étapes du processus de traitement. Elle comprend un document relatif aux spécifications qui décrit ce à quoi sert chaque étape du processus, ainsi qu'un document de l'utilisateur qui précise les procédures à suivre à chaque étape et qui propose à ce dernier des lignes directrices claires concernant l'utilisation du système.

L'audit a également montré que de solides pratiques de communication et d'échange de l'information sont en place dans les nombreuses zones fonctionnelles de la production, de l'analyse et de la validation de l'EPA. Les réunions hebdomadaires du Comité des opérations de l'EPA représentent un forum approprié pour échanger de l'information, puisqu'elles réunissent régulièrement les principaux participants au processus de l'EPA. Les participants interviewés ont dit être satisfaits de ce forum et ils ont ajouté que les réunions sont utiles et leur permettent d'obtenir l'information dont ils ont besoin pour faire leur travail.

La hausse de la non-réponse est bien gérée, et toutes les fonctions clés cherchent activement à relever le défi

La non-réponse se produit lorsqu'un logement jugé admissible et choisi en vue de sa participation à l'enquête n'y prend pas part. Ce phénomène peut être attribuable à diverses raisons, telles que : personne n'est à la maison, absence temporaire, interview impossible (due à de mauvaises conditions météorologiques, des circonstances inhabituelles dans le ménage, etc.), problèmes techniques ou refus. La non-réponse fait partie des sources les plus fréquentes d'erreur n'étant pas reliée à l'échantillonnage. Elle peut introduire un biais dans les résultats si les caractéristiques des ménages répondants diffèrent significativement de celles des ménages non répondants. Les taux élevés de non-réponse n'entraînent pas nécessairement un biais, mais la hausse de ces taux augmente la probabilité de biais.

Au cours des dernières décennies, les taux de non-réponse aux enquêtes auprès des ménages ont augmenté dans le monde entier. C'est aussi le cas pour l'EPA. Aussi récemment qu'en 1995, le taux de non-réponse à l'EPA était de 5 %. En 2018, ce taux est passé à plus de 13 %.

Dans le cadre de l'audit, on a examiné la manière dont cette hausse est gérée et on s'attendait à constater que la direction avait établi des objectifs pour les taux de non-réponse, qu'une surveillance avait été réalisée pour assurer l'atteinte de ces objectifs et que la direction avait pris les mesures requises pour assurer le maintien de la qualité des produits de l'EPA.

Dans l'ensemble, l'audit a permis de constater que la hausse des taux de non-réponse est bien gérée, même s'il reste du travail à faire pour mieux comprendre l'incidence de la non-réponse sur la qualité de l'EPA.

Les objectifs relatifs au taux de réponse sont établis dans l'Entente de service concernant la collecte et les opérations (ESCO). Chaque année, l'ESCO fait l'objet d'un examen par la Division de la planification et de la recherche en matière de collecte (DPRC). Les mises à jour sont faites en collaboration avec les principales fonctions de la collecte, du traitement et de l'analyse de l'EPA, dont la Division de la statistique du travail (DST), la Division des systèmes de collecte (DSC), la Division des opérations et de l'intégration (DOI), la DPRC et les bureaux de collecte régionaux.

La non-réponse est surveillée étroitement au cours de la collecte et après celle-ci. La Collecte et les Opérations de l'EPA produisent chacune un rapport quotidien complet pour le suivi de la non-réponse. Ces résultats font l'objet de discussions quotidiennes au sein des équipes de la Collecte et des Opérations de l'EPA. Les problèmes et les préoccupations sont abordés à la réunion hebdomadaire du Comité des opérations de l'EPA. La Méthodologie suit aussi tous les jours l'estimation du coefficient de variation (CV), ce qui permet de fournir à la direction une indication de la qualité des données en tout temps pendant la collecte. Cette information aide également la direction à décider s'il faut prolonger la période de collecte ou s'il faut affecter davantage de ressources à la collecte pour optimiser la qualité de l'enquête.

La direction s'est aussi penchée sur la hausse de la non-réponse. La DPRC a entrepris plusieurs initiatives, qui découlent d'une étude réalisée en décembre 2018 pour comprendre l'effet de différentes méthodes de collecte sur les taux de non-réponse. Parmi les mesures, il y a la mise en œuvre d'un nouveau plan de production national, la mise en place d'une méthode axée sur le meilleur moment pour communiquer avec les répondants après le premier contact ainsi qu'une réduction des différences entre les régions au moyen de l'adoption des pratiques exemplaires à l'échelle nationale.

Il reste du travail à faire pour mieux comprendre le biais attribuable à la non-réponse ainsi que son incidence sur la qualité des produits de l'EPA

Même si l'audit a permis de constater que la hausse de la non-réponse est bien gérée et que les taux de réponse à l'EPA demeurent élevés par rapport à la majorité des enquêtes, les interviews ont révélé que la direction ne comprend pas pleinement les répercussions de la non-réponse sur les biais statistiques en ce qui concerne les estimations de l'EPA. Dans la mesure où les caractéristiques du marché du travail des non-répondants diffèrent de celles des répondants — et que ces différences ne sont pas prises en considération au cours du traitement, de l'imputation et de la pondération des données —, la non-réponse pourrait entraîner des différences systématiques entre les résultats de l'EPA et les résultats qui seraient obtenus dans le cadre d'une enquête conçue identiquement, mais qui n'aurait aucune non-réponse.

Puisque ce biais statistique potentiel était mal compris, la direction était incapable d'évaluer pleinement le risque associé à la non-réponse ou d'établir les cibles les plus rentables nécessaires pour obtenir des résultats acceptables. La Méthodologie avait prévu de réaliser une étude à ce sujet en 2018-2019. Elle a cependant déclaré que l'étude avait été repoussée jusqu'en 2019-2020 en raison de restrictions budgétaires et d'activités plus prioritaires. Une telle étude fournirait à la direction les renseignements nécessaires pour mieux planifier les activités de collecte et gérer le risque de biais dans les résultats de l'enquête attribuable à la non-réponse.

Recommandation 1

Il est recommandé que le statisticien en chef adjoint de la Statistique sociale, de la santé et du travail s'assure que l'organisme documente sa stratégie de validation dans le cadre de l'Enquête sur la population active.

Recommandation 2

Il est recommandé que le statisticien en chef adjoint de la Statistique sociale, de la santé et du travail s'assure que l'organisme prépare un rapport de validation pour consigner les résultats des activités de validation du programme pour chaque cycle de production, conformément aux Lignes directrices sur la validation des produits statistiques.

Recommandation 3

Il est recommandé que le statisticien en chef adjoint des Études analytiques, de la Méthodologie et de l'Infrastructure statistique, s'assure que l'organisme réalise l'étude planifiée sur les répercussions des taux de non-réponse sur la qualité des produits statistiques dans le cadre de l'Enquête sur la population active.

Consultation des utilisateurs et des intervenants

La pertinence des renseignements statistiques rend compte de la mesure dans laquelle ils répondent aux besoins des utilisateurs de données et des intervenants. Pour gérer la pertinence, il faut veiller à ce que les programmes de l'organisme continuent de tenir compte des besoins en matière d'information au fur et à mesure qu'ils évoluent. Le fait d'être au courant des priorités changeantes et d'avoir la souplesse permettant d'en tenir compte est essentiel pour maintenir la pertinence.

Parmi les façons qu'utilise l'organisme pour assurer la pertinence constante de ses produits, il y a la consultation des utilisateurs de données et des intervenants. Dans son rapport du printemps 2014 intitulé « Répondre aux besoins en données statistiques clés — Statistique Canada », le Bureau du vérificateur général (BVG) a constaté que, même si l'organisme consultait régulièrement les ministères fédéraux et les gouvernements provinciaux et territoriaux, il ne consultait pas suffisamment ses autres utilisateurs (comme le secteur privé, les municipalités et les organismes non gouvernementaux) pour ce qui est de l'EPA.

Lors de l'audit, on a évalué si la direction a tenu compte de la constatation du BVG en consultant tous les types d'utilisateurs et d'intervenants en ce qui concerne l'EPA. L'audit a aussi porté sur l'utilisation de la rétroaction obtenue dans le cadre de ces consultations pour veiller à la pertinence constante de l'EPA. Pour y parvenir, l'équipe de l'audit a examiné les documents sur la planification de l'EPA ainsi que les activités de consultation et de mobilisation des utilisateurs et des intervenants en 2016, en 2017 et en 2018. En outre, l'équipe de l'audit a réalisé des interviews auprès du personnel clé du programme et de la haute direction.

La direction de l'EPA consulte les utilisateurs et intervenants clés concernant les produits de l'EPA par l'intermédiaire de différents moyens formels ou informels; en 2018, un vaste groupe d'intervenants internes et externes ont pris part à ces consultations

La direction consulte les utilisateurs et intervenants concernant les produits de l'EPA par l'intermédiaire de différents moyens formels ou informels. Parmi ces moyens, il y a des consultations officielles, des réunions de mobilisation deux fois par année avec les principaux utilisateurs ainsi qu'un certain nombre d'autres activités dans le cadre desquelles des représentants de Statistique Canada interagissent avec les utilisateurs et intervenants de l'EPA. Même si des consultations officielles sur l'EPA n'ont pas été tenues en 2016 et en 2017, la Sous-section des consultations avec les clients de la Division des communications stratégiques et des relations avec les intervenants (DCSRI) a organisé une Semaine de consultation nationale en octobre 2018, afin de recueillir des commentaires sur tous les produits, services et programmes de Statistique Canada. Au cours de cette semaine, une séance de consultation avec les utilisateurs des produits de la DST, y compris les produits de l'EPA, a été menée par la direction de la DST. Environ 85 personnes y ont pris part, notamment des représentants du secteur privé, de municipalités et d'organismes non gouvernementaux ainsi que des employés des gouvernements fédéral, provinciaux et territoriaux. Tandis que cette séance de consultation portait sur tous les produits de la DST, les discussions ont aussi traité de l'EPA et s'appliquaient à celle-ci. Parmi les sujets abordés, il y avait la structure et l'utilité des produits de données de la DST, les lacunes actuelles en ce qui concerne les données de la DST ainsi que les outils utilisés pour présenter les données. Même si aucune consultation officielle sur l'EPA n'est prévue en 2019, l'organisme prévoit tenir une autre Semaine de consultation nationale en 2020.

La direction de la DST se tient aussi au courant des besoins des utilisateurs en rencontrant certains utilisateurs et intervenants clés deux fois par année, afin de discuter des initiatives à venir, des changements apportés au programme ou d'autres activités associées au Programme de la statistique du travail. Habituellement, ces séances regroupent des représentants des gouvernements fédéral, provinciaux et territoriaux, des représentants de banques et ceux du secteur privé. Même si elles ne sont pas considérées comme des consultations officielles, ces rencontres donnent l'occasion aux utilisateurs de formuler des commentaires à l'intention de la direction sur les produits de la DST et d'obtenir des réponses à leurs questions. La direction a déclaré qu'elle prévoyait de continuer à tenir ces séances en 2019.

Enfin, les interactions mensuelles avec les utilisateurs et intervenants au moment de la diffusion des données de l'EPA aident à garder la direction au courant des besoins des utilisateurs. Cela comprend des conférences téléphoniques mensuelles avec les ministères fédéraux qui ont accès aux renseignements avant diffusion, des séances de questions et réponses à la suite de chaque diffusion au cours desquelles des analystes de l'EPA répondent aux questions des utilisateurs sur les données, et des demandes d'utilisateurs présentées par l'intermédiaire de la ligne info-médias de Statistique Canada. Ces interactions régulières tiennent la direction informée des besoins évolutifs des utilisateurs ou des lacunes touchant les produits de l'EPA.

La direction tient compte de la rétroaction des utilisateurs et des intervenants et, s'il y a lieu, l'applique

Un dépôt central des commentaires des utilisateurs et des intervenants n'est pas conservé. Cependant, dans l'ensemble, la rétroaction recueillie au cours des consultations et des séances de mobilisation est documentée, examinée et évaluée de manière informelle par la direction de la DST. La rétroaction des utilisateurs et des intervenants fait régulièrement l'objet de discussions aux réunions du Comité des opérations de l'EPA et du Comité de la diffusion et des communications. Des solutions potentielles sont déterminées et proposées à la direction de la DST aux fins d'approbation. Les principaux éléments de la rétroaction sont alors intégrés au plan opérationnel de la DST, qui détermine les priorités clés de la division pour l'année.

Au cours de la période étudiée, les tendances suivantes ont été dégagées en ce qui concerne les demandes des utilisateurs et des intervenants : demandes pour que certaines lacunes statistiques dans les produits de la DST soient comblées, que davantage d'information sur les tendances, les niveaux de confiance et les moyennes annuelles soit fournie, et que les renseignements détaillés de l'EPA soient plus facilement accessibles. L'audit a permis de trouver plusieurs exemples de mesures prises par la direction pour tenir compte de cette rétroaction. Parmi les exemples, il y a le lancement d'une application Web interactive pour permettre aux utilisateurs de visualiser les données de l'EPA, le fait de rendre les données de l'EPA plus accessibles et adaptées à leurs besoins, et l'ajout de plusieurs questions d'enquête pour combler les nouveaux besoins des utilisateurs.

Constatations de l'évaluation, recommandations et réponse de la direction

Dans le cadre de l'évaluation, des interviews ont été réalisées auprès d'un échantillon d'utilisateurs fréquents des données de l'EPA, pour connaître leur point de vue sur la pertinence, la qualité et l'accès en matière de données. L'ensemble suivant de constatations reflète leurs points de vue particuliers.

Pertinence des données de l'EPA

Les données de l'EPA servent à de nombreuses fins, dont la surveillance, la production de rapports et les prévisions

Les données de l'EPA étaient considérées comme des indicateurs économiques clés proposant de l'information essentielle à l'échelle nationale, provinciale ou locale. Les données de l'EPA servent à de nombreuses fins, dont la surveillance, la production de rapports et les prévisions. Plus précisément, les répondants ont souligné qu'ils utilisaient les données aux fins suivantes :

• réaliser une analyse générale de la situation du marché du travail;
• préparer des notes d'information, des présentations et des rapports pour la direction, les représentants gouvernementaux et d'autres intervenants;
• mettre à jour des tableaux de données, des rapports et des renseignements sur des sites Web pertinents à l'intention des intervenants ou du grand public;
• participer à l'établissement des prévisions et des modèles économiques;
• compléter des données d'autres enquêtes ou sources;
• réaliser une analyse de la conjoncture économique (p. ex. à l'échelle nationale, provinciale ou régionale);
• élaborer des politiques en matière de main-d'œuvre ou définir des investissements;
• répondre à des questions particulières s'il y a lieu ou mener une recherche liée à des industries ou à des régions particulières (p. ex. l'agriculture, les régions rurales).

La majorité des répondants du gouvernement ont déclaré que les données étaient requises dès leur diffusion, pour informer les cadres supérieurs et les représentants élus des changements et des tendances du marché du travail. Par exemple, les répondants aux niveaux provincial et infraprovincial ont souligné qu'ils utilisaient les renseignements pour surveiller des secteurs clés et ainsi suivre les répercussions d'événements, comme la fermeture d'une usine locale.

Les données de l'EPA fournissent des renseignements essentiels pour élaborer des politiques et planifier des activités opérationnelles. Parmi les exemples particuliers, il y avait les décisions en matière de planification et d'investissement pour résoudre le problème de la pénurie de main-d'œuvre, et la création de profils des industries pour surveiller le rendement et la planification directe. Les représentants des administrations provinciales et infraprovinciales ont aussi utilisé les données de l'EPA pour faire des comparaisons avec d'autres secteurs de compétence. Cela permettait de mesurer le rendement économique relatif et d'évaluer les pénuries potentielles de main-d'œuvre.

Les chercheurs et les analystes de données, autant du secteur privé que du secteur public, ont déclaré que les données de l'EPA sont un aspect important des prévisions et de la modélisation économique. Par exemple, les données de l'EPA ont servi de données d'entrée pour les prévisions du produit intérieur brut (PIB) et lors de l'estimation de l'utilisation de programmes particuliers du gouvernement. Certains répondants ont aussi précisé utiliser les données pour suivre les résultats de sous-groupes, comme les immigrants.

L'EPA fournit, de manière générale, l'information dont les répondants ont besoin, mais la taille de son échantillon limite son utilité

Selon l'évaluation, même si l'EPA fournit, de manière générale, l'information dont les répondants ont besoin, la taille de son échantillon limite son utilité. Au moyen de l'échelle d'accord (c.-à-d. Tout à fait d'accord, D'accord, En désaccord et Fortement en désaccord), 21 répondants sur 24 ont déclaré être d'accord (17) ou tout à fait d'accord (4) avec l'énoncé suivant : « L'EPA me fournit l'information dont j'ai besoin »^{Footnote 1}

	Tout à fait d'accord	D'accord	En désaccord	Fortement en désaccord	Refuse de répondre
	nombre de répondants (n)
L'EPA me fournit l'information dont j'ai besoin.	4	17	2	1	0

Tandis que les résultats semblent très positifs en fonction de l'échelle, de nombreux répondants ont précisé leur réponse, soulignant que l'utilité des données était limitée par la taille de l'échantillon et la portée^{Footnote 2}. Ils ont souligné plusieurs limites, notamment la volatilité des données pour les provinces et régions infraprovinciales plus petites, l'absence de données pour les municipalités plus petites, et la suppression de données sous certains niveaux. Les répondants ont également constaté que des questions pourraient être ajoutées pour traiter de sujets tels que le lieu de travail, la mobilité et le roulement. Les répondants qui étaient en désaccord ou fortement en désaccord ont précisé que leur réponse s'expliquait par un manque d'information au niveau de détail requis (c.-à-d. qu'ils avaient besoin de plus de données sur les provinces et régions infraprovinciales plus petites et sur les petits groupes de population).

D'autres sources de données s'ajoutent à l'EPA

Comme il a été mentionné précédemment, alors que les répondants reconnaissaient et valorisaient les données fournies par l'EPA, ils étaient bien au fait de leurs limites. Ainsi, pour atténuer ou combler les lacunes, presque tous les répondants ont déclaré utiliser également d'autres sources de données (23 répondants sur 24), en plus de l'EPA. Les ensembles de données utilisés comprenaient les suivants :

• Enquête sur l'emploi, la rémunération et les heures de travail (EERH) [17]
  • Objet : ajout aux données de l'EPA (p. ex. en utilisant les gains selon l'industrie); validation des tendances observées dans l'EPA.
• Recensement de la population (16)
  • Objet : taille plus grande de l'échantillon, ce qui permet d'évaluer les données au niveau infraprovincial et les données communautaires; offre une répartition selon l'industrie et la profession.
• Enquête sur les postes vacants et les salaires (10)
  • Objet : combler une lacune et peut répondre à des questions de recherche plus précises.
• Données sur l'assurance-emploi (4)
  • Objet : données sur le chômage dans les communautés supprimées de l'EPA.
• Données des administrations provinciales (4)
  • Objet : données sur le marché du travail régional; renseignements sur la paye fournis par les employeurs; autres données administratives provinciales.
• Enquête sociale générale (2)
  • Objet : questions de recherche particulières; données ayant trait au travail concernant la scolarité, les compétences, le bien-être, etc.
• Conference Board du Canada (2)
  • Objet : données de prévision pour obtenir indirectement les coûts de la main-d'œuvre; renseignements plus détaillés sur le PIB au niveau municipal.

Certains répondants ont également déclaré utiliser des données provenant d'autres sources, comme les données sur les déclarants, les données des comptes nationaux et les renseignements de l'industrie.

La majorité des répondants jugeaient que les sources de données sont complémentaires (19) ou partiellement complémentaires (2). Jumelées à l'EPA, elles proposaient un portrait plus global du marché du travail. Quelques répondants ont déclaré que d'autres sources de données étaient utilisées comme substituts, en raison des limites associées à la taille de l'échantillon. Par exemple, des données du recensement ont été utilisées pour examiner certaines questions, comme la profession et l'industrie, à des niveaux de géographie inférieurs pouvant être personnalisés.

Recommandation 4

Il est recommandé que le statisticien en chef adjoint de la Statistique sociale, de la santé et du travail s'assure que les occasions de combler les lacunes statistiques au niveau infraprovincial soient évaluées en collaboration avec les principaux intervenants. Cela pourrait comprendre l'examen des couplages de données potentiels et l'utilisation de la modélisation. L'engagement des intervenants clés permettra de s'assurer que les efforts sont ciblés et que les produits en découlant offrent la valeur ajoutée la plus élevée.

Efficacité — Qualité

Selon les répondants, l'EPA reflète avec exactitude le marché du travail aux échelons national et provincial

Au moyen de l'échelle d'accord (c.-à-d. Tout à fait d'accord, D'accord, En désaccord et Fortement en désaccord), 21 répondants sur 24 ont déclaré être d'accord (14) ou tout à fait d'accord (7) avec l'énoncé suivant : « L'EPA dresse un portrait fidèle de l'évolution du marché du travail canadien »^{Footnote 3}.

L'EPA dresse un portrait fidèle de l'évolution du marché du travail canadien

	Tout à fait d'accord	D'accord	En désaccord	Fortement en désaccord	Refuse de répondre
	nombre de répondants (n)
L'EPA dresse un portrait fidèle de l'évolution du marché du travail canadien.	7	14	1	0	2

Dans l'ensemble, les répondants jugeaient que les estimations de l'EPA aux échelons national et provincial tenaient compte, avec exactitude, des changements du marché du travail. Cependant, de nombreux répondants ont exprimé des préoccupations au sujet de la volatilité des données d'un mois à l'autre de l'EPA, surtout pour ce qui est des petits groupes de population, des niveaux de géographie inférieurs et des industries détaillées; ils reconnaissaient qu'il s'agit d'une caractéristique des enquêtes sur échantillon. C'est pourquoi certains ont déclaré qu'ils mettaient davantage l'accent sur les tendances que sur les variations d'un mois à l'autre. Plusieurs répondants ont mentionné qu'il est parfois difficile d'expliquer aux représentants et aux intervenants la raison des fluctuations et le manque de précision en ce qui concerne les estimations. Par exemple, le recours à des moyennes mobiles pour certaines régions infraprovinciales a masqué ou a entraîné des décalages. Il a donc été difficile de faire le rapprochement entre les données de l'EPA et les observations.

Les répondants qui étaient en désaccord ont souligné que l'EPA fournissait des renseignements sur les tendances, plutôt que sur les mouvements absolus. Les personnes ayant refusé de répondre ont déclaré qu'elles n'avaient pas de point de référence pour faire des comparaisons ou que tout dépendait du niveau de détail examiné.

L'EPA répond aux attentes ou les dépasse en ce qui concerne la rapidité avec laquelle les données sont offertes

Des 24 répondants, 18 avaient besoin des données immédiatement après leur diffusion pour différentes fins, notamment la préparation de notes d'information et la production de rapports. Les six autres répondants n'avaient pas immédiatement besoin des données, mais ils ont constaté que c'était le cas contraire pour d'autres personnes de leur organisation.

Dans l'ensemble, les répondants considéraient que la rapidité et l'uniformité de la diffusion étaient des forces. En ce qui concerne l'énoncé « Les résultats de l'EPA sont diffusés en temps opportun », 23 répondants sur 24 ont indiqué être tout à fait d'accord (18) ou d'accord (5)^{Footnote 4}.

Les résultats de l'EPA sont diffusés en temps opportun

	Tout à fait d'accord	D'accord	En désaccord	Fortement en désaccord	Refuse de répondre
	nombre de répondants (n)
Les résultats de l'EPA sont diffusés en temps opportun	18	5	1	0	0

On a reconnu que la tâche visant à recueillir en toute fiabilité l'information et à produire les résultats dans un délai très court chaque mois était une réalisation exceptionnelle. Les répondants étaient ravis qu'un calendrier de diffusion soit fourni d'avance, et reconnaissaient que le calendrier avait été respecté. Le seul répondant qui était en désaccord a précisé avoir parfois reçu ses demandes personnalisées en retard.

Efficacité — Accès

Le Quotidien sert d'aperçu, tandis que les tableaux de données sont le principal mécanisme d'accès

Tous les répondants ont déclaré accéder aux données de l'EPA au moyen des tableaux de données affichés sur le site Web de Statistique Canada ou de tableaux personnalisés le jour de la diffusion et de manière générale.

Façon dont on accède aux données de l'EPA

Façon dont on accède aux données de l'EPA	Répondants
Tableaux de données sur le site Web de Statistique Canada seulement	5
Tableaux personnalisés de Statistique Canada seulement	5
Tableaux de données et tableaux personnalisés	14

En outre, 18 répondants ont déclaré utiliser Le Quotidien. Ils ont souligné que la publication donnait principalement un aperçu des résultats nationaux ou provinciaux, et qu'ils accédaient aux données surtout au moyen des tableaux de données. Parmi les autres moyens mentionnés, il y avait les médias (2) et les tiers (3), comme une association de l'industrie ou un bureau de la statistique provincial.

Les répondants qui consultaient Le Quotidien ont déclaré être, de manière générale, satisfaits de cette publication. Parmi quelques suggestions d'amélioration présentées, il y avait les suivantes :

• utiliser davantage d'éléments visuels et d'infographies, en plus d'avoir la capacité d'exporter les graphiques;
• analyser davantage les tendances, plutôt que les changements d'un mois à l'autre;
• fournir davantage de données sur l'industrie;
• donner aux utilisateurs la possibilité de personnaliser le contenu (définir d'avance les préférences pour que les graphiques tiennent compte des intérêts de l'utilisateur particulier);
• fournir des données annuelles de haut niveau.

Plusieurs répondants ont mentionné la perte des tableaux Beyond 20/20, et ce, à la suite de peu de consultations ou d'avis préalables. Un certain nombre d'entre eux ont dit éprouver de la difficulté à utiliser le site Web.

Confiance

Le niveau de confiance envers l'EPA est élevé, surtout en ce qui concerne les résultats plus agrégés, comme ceux aux échelons national et provincial

Il est possible de dresser un portrait du niveau de confiance envers l'EPA en combinant les résultats pour un certain nombre de dimensions :^{Footnote 5}

Constatations de l'évaluation

	Constatations de l'évaluation
Pourquoi les répondants utilisent-ils l'EPA?	De nombreux usages ont été fournis, dont la transmission de renseignements aux représentants et aux intervenants, la production de rapports pour les citoyens au niveau local, la surveillance des répercussions comme celles découlant de la fermeture d'une usine, la modélisation et la prévision de l'offre et de la demande de main-d'œuvre, l'élaboration de politiques du marché du travail, la prise de décisions concernant les investissements et la recherche de tendances dans des industries ou professions particulières.
Comble-t-elle leurs besoins?	Tandis qu'ils reconnaissaient que l'EPA avait des limites, 21 répondants sur 24 ont déclaré être d'accord (17) ou tout à fait d'accord (4) avec l'énoncé suivant : « L'EPA me fournit l'information dont j'ai besoin ».
Utilisent-ils d'autres sources de données?	Presque tous les répondants ont déclaré utiliser d'autres sources de données (23 sur 24) et les considéraient comme des sources complémentaires (19) ou partiellement complémentaires (2) pour combler les lacunes de l'EPA.
Croient-ils que l'EPA dresse un portrait exact?	Des 24 répondants, 21 ont déclaré être d'accord (17) ou tout à fait d'accord (4) avec l'énoncé suivant : « L'EPA dresse un portrait fidèle de l'évolution du marché du travail canadien ». C'était particulièrement le cas aux échelons national et provincial.
Croient-ils que l'EPA est d'actualité?	Des 24 répondants, 23 ont déclaré être tout à fait d'accord (18) ou d'accord (5) avec l'énoncé suivant : « Les résultats de l'EPA sont diffusés en temps opportun ».

Selon ces résultats, il est possible de conclure que le niveau de confiance envers l'EPA est élevé, surtout en ce qui concerne les résultats plus agrégés, comme ceux aux échelons national et provincial.

Autres constatations

Dans l'ensemble, les répondants comprennent bien les différences entre l'EPA et l'EERH

Comme il a été mentionné précédemment, 17 répondants sur 24 utilisaient l'EERH et considéraient qu'il s'agit d'une source de données complémentaire. Les données de l'EERH ont été utilisées par les représentants pour informer le grand public; les gestionnaires les ont utilisées pour élaborer des politiques et assurer la planification opérationnelle; les analystes et les économistes les ont utilisées à des fins de modélisation et de prévision économiques. Dans de nombreux cas, les données de l'EERH étaient utilisées de la même manière que les données de l'EPA.

Selon certains répondants, les données de l'EPA peuvent être volatiles d'un mois à l'autre, tandis que les données de l'EERH semblent plus stables. Plusieurs répondants ont déclaré utiliser les données de l'EERH pour valider les tendances de l'EPA. Cela leur permettait de savoir si les fluctuations représentaient des changements réels ou si ce n'était que du bruit découlant d'une enquête sur échantillon auprès des ménages. Les utilisateurs de l'EERH ont déclaré que les données au niveau de l'industrie étaient utiles, car elles offraient des renseignements sur les mouvements du marché du travail selon le secteur. Les gestionnaires et le personnel des ressources humaines utilisaient souvent les données au cours des négociations collectives.

Sept répondants ont déclaré ne pas utiliser l'EERH. Parmi les raisons mentionnées, il y avait le fait qu'elle ne comporte pas de données infraprovinciales, que les données sont moins actuelles que celles de l'EPA, que l'historique est relativement court ou qu'ils ne connaissaient pas son existence.

Qu'ils aient utilisé l'EERH ou non, la majorité des répondants étaient en mesure d'établir certaines différences clés entre l'EERH et l'EPA. Par exemple, la plupart d'entre eux savaient que l'EERH est une enquête réalisée auprès des employeurs au moyen de données administratives et d'enquête, tandis que l'EPA est une enquête réalisée auprès des ménages. Ils savaient aussi que l'EPA fournit de l'information sur les taux d'emploi en fonction de diverses caractéristiques démographiques, alors que l'EERH met l'accent sur l'emploi et les gains selon l'industrie. Plusieurs répondants ont également souligné que les populations visées étaient différentes.

L'Observatoire du marché du travail est peu connu et peu utilisé

L'Observatoire du marché du travail canadien est un produit relativement nouveau. Il s'agit d'un regroupement d'applications interactives de visualisation de données qui mettent en lumière l'étendue de l'information publique relative au marché du travail produite par Statistique Canada.

Des 24 répondants, seulement 11 étaient au courant de ce produit. De ceux-ci, seulement quatre ont précisé l'avoir utilisé; les autres continuaient de l'évaluer ou considéraient qu'il avait un usage limité dans leur cas. Les commentaires formulés par les 11 répondants soulignaient, entre autres, que l'information est limitée et qu'elle n'est pas assez approfondie, que des tendances à plus long terme sont requises, et que le produit doit comprendre davantage de fonctions, comme la capacité d'exporter des données.

L'engagement par l'intermédiaire de consultations a été bien accueilli, cependant, les résultats étaient inconnus et il n'y a pas eu de suivi

Au cours de la portion non dirigée de l'interview, certains répondants ont précisé avoir pris part à des consultations organisées par Statistique Canada sur l'EPA. Ils ont aimé avoir eu l'occasion de faire part de leur point de vue, et ont considéré l'engagement comme encourageant. Ils ont toutefois ajouté ne pas avoir reçu de renseignements sur les conclusions ni sur les prochaines étapes à la suite des consultations.

Recommandation 5

Il est recommandé que le statisticien en chef adjoint de la Statistique sociale, de la santé et du travail s'assure que les résultats des activités de consultation soient transmis aux utilisateurs et aux participants, y compris les points nécessitant un suivi et les prochaines étapes.

Annexes

Annexe A : Critères d'audit

Annexe A : Critères d'audit

Objectif du contrôle, contrôles de base et critères	Sous-critères	Instruments de politique et sources
Objectif de l'audit : Statistique Canada a établi un cadre adéquat de contrôle de la qualité pour s'assurer de l'exactitude et de la pertinence des produits de l'Enquête sur la population active.
1.1 La direction a adressé les recommandations tirées de l'Examen de la diffusion de l'Enquête sur la population active de juillet 2014 pour les appliquer au nouveau système de traitement.	1.1.1 Des processus de gouvernance et de surveillance sont en place et fonctionnent comme prévu pour surveiller les changements apportés aux systèmes de traitement de l'EPA. 1.1.2 Les rôles et responsabilités concernant les changements apportés aux systèmes de traitement de l'EPA sont documentés et compris. 1.1.3 Un protocole d'essai formel est en place pour évaluer les changements apportés aux systèmes de traitement de l'EPA. 1.1.4 Un rapport de diagnostic et d'erreurs est adopté pour s'assurer que les systèmes de traitement de l'EPA fonctionnent comme prévu; des mesures correctives sont prises pour corriger les erreurs décelées. 1.1.5 Une documentation exacte et à jour a été préparée pour les systèmes de traitement de l'EPA. 1.1.6 Les événements contextuels associés à l'environnement d'enquête et les stratégies d'atténuation des risques connexes de la direction sont communiqués aux parties (analystes de l'enquête, direction et comités de surveillance) qui sont chargées d'examiner la qualité des produits de l'EPA.	Critères de vérification liés au Cadre de responsabilisation de gestion (CRG) : outil à l'intention des vérificateurs internes Cadre d'assurance de la qualité de Statistique Canada Lignes directrices concernant la qualité de Statistique Canada Directive sur la validation des produits statistiques de Statistique Canada Lignes directrices sur la validation des produits statistiques de Statistique Canada Examen de la diffusion de l'Enquête sur la population active de juillet 2014 Rapport du vérificateur général du Canada du printemps 2014 (chapitre 8 — Répondre aux besoins en données statistiques clés — Statistique Canada)
1.2 Les processus d'assurance de la qualité pour valider les produits de l'EPA respectent les attentes de l'organisme et sont appliqués de manière uniforme.	1.2.1 Un rapport de validation officiel a été préparé pour le Programme de l'EPA. 1.2.2 Le Programme de l'EPA respecte les exigences en matière d'assurance de la qualité fondées sur le domaine spécialisé. 1.2.3 Le Programme de l'EPA respecte les exigences en matière d'assurance de la qualité fondées sur le processus.
1.3 Des cibles pour le taux de réponse et des niveaux de tolérance sont établis, examinés périodiquement et surveillés.	1.3.1 Des cibles pour le taux de réponse et des niveaux de tolérance sont établis et examinés périodiquement. 1.3.2 La direction compare les taux de réponse réels avec les résultats planifiés, et rectifie la situation s'il y a lieu.
1.4 Des processus de gestion des risques sont en place pour déterminer et évaluer les risques associés à l'implantation du nouveau système de traitement, et pour intervenir.	1.4.1 Des processus de gestion des risques sont en place pour déterminer et évaluer les risques associés à l'implantation du nouveau système de traitement, et pour intervenir.
1.5 La direction s'assure de la pertinence constante des produits de l'EPA.	1.5.1 La direction consulte régulièrement les utilisateurs et d'autres intervenants externes pour obtenir une rétroaction sur l'EPA. 1.5.2 La direction tient explicitement compte de la rétroaction des utilisateurs et des intervenants externes, et l'applique afin de s'assurer que l'EPA continue d'être pertinente et comble les besoins des utilisateurs.

Annexe B : Méthode d'évaluation

À la suite de discussions avec la direction du programme et la direction de l'Audit et de l'Évaluation, trois secteurs ont été retenus pour faire l'objet d'un examen dans le cadre de l'évaluation :

Enjeux relatifs à l'évaluation et Indicateurs de l'évaluation

Enjeux relatifs à l'évaluation	Indicateurs de l'évaluation
Enjeu 1 : Pertinence	1.1 Détermination des usages
	2.1 Détermination des usages propres à la journée de la diffusion
	3.1 Niveau fondé sur une échelle de 4 points
	3.2 Détermination des facteurs ayant une incidence sur le niveau
	4.1 Proportion utilisant d'autres sources, dont l'EERH
	4.2 Détermination des autres sources
	4.3 Détermination de l'usage des autres sources, dont l'EERH
	5.1 Auto-évaluation de la capacité à expliquer la différence entre les deux sources
Enjeu 2 : Efficacité — Qualité	6.1 Niveau fondé sur une échelle de 4 points
	6.2 Détermination des facteurs ayant une incidence sur le niveau
	7.1 Niveau fondé sur une échelle de 4 points
	7.2 Détermination des facteurs ayant une incidence sur le niveau
Enjeu 3 : Efficacité — Accès et diffusion	8.1 Proportion des utilisateurs consultant Le Quotidien le jour de la diffusion
	8.2 Détermination des améliorations au Quotidien
	9.1 Détermination des autres moyens
	9.2 Détermination des raisons pour lesquelles d'autres moyens ont été utilisés
	10.1 Proportion des utilisateurs au courant
	10.2 Utilisation et fréquence
	10.3 Suggestions d'amélioration

Annexe C : Activités de validation

Les Lignes directrices sur la validation définissent les étapes de validation précises que tous les programmes essentiels au mandat doivent suivre, sauf si l'on peut donner la raison pour laquelle une étape n'a pu être menée à bien. Ces lignes directrices divisent les activités de validation en deux groupes :

• activités fondées sur le domaine spécialisé;
• activités fondées sur le processus.

Les activités de validation fondées sur le domaine spécialisé pour les enquêtes essentielles au mandat sont les suivantes :

1. Analyse des variations au fil du temps : Pour analyser les variations au fil du temps, on crée une série chronologique cohérente pour une statistique particulière, selon une séquence de points dans le temps.
2. Vérification des estimations désaisonnalisées : Dans le cas des données mensuelles ou trimestrielles qui présentent des estimations désaisonnalisées, une validation des résultats peut être appropriée. La désaisonnalisation est conçue pour éliminer l'effet des influences saisonnières et du calendrier sur les données infra-annuelles, et ainsi permettre des comparaisons plus utiles de la situation économique d'une période à l'autre.
3. Vérification des estimations au moyen de totalisations croisées : Cette analyse est habituellement effectuée à un niveau de désagrégation plus détaillé que celui des estimations publiées. Ces totalisations permettent de vérifier la cohérence interne du fichier de données et fournissent la possibilité d'explorer les caractéristiques sous-jacentes associées aux estimations.
4. Analyse de la cohérence fondée sur des événements courants connus : Dans le cadre de l'analyse de la cohérence fondée sur des événements courants connus, on valide les estimations en fonction des renseignements sur le domaine et des événements récents ayant touché le secteur.
5. Comparaison avec d'autres sources similaires de données publiées par Statistique Canada : La comparaison avec d'autres sources similaires de données, publiées par Statistique Canada ou par des sources externes, peut permettre d'évaluer si les microdonnées et estimations agrégées déclarées sont raisonnables.
6. Consultation d'intervenants au sein de Statistique Canada : Il serait possible de consulter les intervenants qui ont des connaissances directes du domaine spécialisé faisant l'objet de l'étude ou qui sont des experts d'un domaine spécialisé connexe.
7. Examen du Quotidien par les cadres supérieurs : Parmi les dernières étapes de la validation, il y a un examen de la diffusion dans Le Quotidien par les cadres supérieurs. Toutes les diffusions doivent être validées par le directeur adjoint et le directeur de la division, et peuvent aller jusqu'au directeur général et au statisticien en chef adjoint responsables. L'approbation finale du Quotidien par le statisticien en chef sera accordée conformément à la Politique sur la diffusion officielle.
8. Exposé officiel au Comité de gestion stratégique : Chaque programme essentiel au mandat doit présenter ses résultats préalables à la diffusion au Comité de gestion stratégique. La présentation comprend un aperçu de tous les changements mis en œuvre ou des problèmes qui se sont posés pendant les opérations de production, les répercussions que ces changements peuvent avoir eues sur les estimations, et la stratégie d'atténuation des risques utilisée.

Les activités de validation fondées sur le processus pour les enquêtes essentielles au mandat sont les suivantes :

1. Examen des processus de production : Les processus de production comprennent, par exemple, la création de la base de sondage, le plan d'échantillonnage, la collecte, le codage, la vérification, l'imputation et les systèmes de pondération ainsi que d'autres interventions, comme le couplage de données administratives ou le calcul de variables dérivées.
2. Analyse de la cohérence fondée sur des indicateurs de la qualité : Les indicateurs de la qualité associés à un programme devraient servir à savoir si une estimation est valide. Dans le cas des enquêtes statistiques, des indicateurs de la qualité fondés sur le plan de sondage, les résultats de la collecte et le traitement sont utilisés. Parmi les exemples d'indicateurs de la qualité, il y a la couverture de la population cible, le coefficient de variation, le taux de réponse, le taux d'imputation, les métadonnées et paradonnées ainsi que les taux de révision des estimations.

Annexe D : Sigles

BVG

Bureau du vérificateur général

CAS

Comité d'autorisation de la sécurité

CIMT

Conseil de l'information sur le marché du travail

CV

Coefficient de variation

DCSRI

Division des communications stratégiques et des relations avec les intervenants

DOI

Division des opérations et de l'intégration

DPRC

Division de la planification et de la recherche en matière de collecte

DSC

Division des systèmes de collecte

DSIS

Division des systèmes d'information statistique

DST

Division de la statistique du travail

EPA

Enquête sur la population active

ESCO

Entente de service concernant la collecte et les opérations

ETES

Environnement pour le traitement des enquêtes sociales

ITAO

Interview téléphonique assistée par ordinateur

STBC

Système de traitement du bureau central