Audit de l'assurance de la qualité - Recensement de 2016

Sommaire

La Loi sur la statistique confère à Statistique Canada le mandat de recueillir, de compiler, d'analyser et de publier des renseignements statistiques sur la situation économique, sociale et générale du pays et de sa population. Le Programme du recensement constitue la plus importante activité de collecte de données menée par Statistique Canada pour s'acquitter de ses obligations prévues par la Loi.

Le Programme du recensement dresse un portrait statistique du pays et de sa population tous les cinq ans. Compte tenu de l'importance du programme, la gestion de la qualité des données du programme est essentielle afin de s'assurer que les produits sont de qualité suffisante pour leurs utilisations prévues. Divers audits et évaluations menés au fil du temps ont confirmé que l'organisme dispose de façon générale de processus et de systèmes solides pour assurer la qualité des données de recensement qu'il produit.

Pour le Recensement de 2016, des mises à niveau et des modifications importantes ont été apportées aux principaux systèmes, sous-systèmes et applications du programme, tels que le rétablissement du questionnaire détaillé du recensement et l'introduction du Système intégré de collecte et des opérations (SICO) pour recueillir les données du recensement. Les modifications et les améliorations apportées ont été mises à l'essai selon un plan établi avant leur mise en œuvre.

En plus de mettre à l'essai les changements apportés aux systèmes, Statistique Canada utilise un processus de certification qui lui permet de vérifier la validité de ses données afin de s'assurer qu'elles sont fiables, solides et fondées. Ce processus, qui est régi par la Directive sur la validation des produits statistiques de Statistique Canada, permet à l'organisme de déceler et de corriger les incohérences dans les données à l'aide d'outils de diagnostic et d'une expertise spécialisée.

Pourquoi est-ce important?

Le Programme du recensement est le plus important programme de Statistique Canada. Les données du recensement sont utilisées par tous les ordres de gouvernement aux fins de planification et d'analyse de programmes et de prise de décisions connexes, y compris les paiements de transfert fédéraux aux provinces et aux territoires. De plus, les données sont utilisées par d'autres grands utilisateurs, comme les entreprises privées, les organisations non gouvernementales et les chercheurs universitaires. Par ailleurs, Statistique Canada utilise aussi ces données dans d'autres enquêtes pour les activités d'échantillonnage et d'étalonnage.

L'organisme reconnaît la nécessité de s'assurer que les données du recensement sont de qualité suffisante et qu'elles ont été produites conformément au Cadre d'assurance de la qualité de Statistique Canada. L'audit a été inclus dans le plan de vérification axé sur les risques afin d'assurer de manière raisonnable l'efficacité de la conception et de la mise en œuvre du cadre d'assurance de la qualité du Programme du recensement. Étant donné la multitude de processus et de systèmes en place pour le recensement, nous avons restreint la portée de l'audit afin de confirmer que les processus suivants étaient en place :

• un processus de mise à l'essai efficacement conçu pour les changements qui ont une incidence sur les activités de traitement, de vérification et d'imputation;
• un processus de certification pour la revue des produits du recensement.

Principales constatations

Dans le cadre du Programme du recensement, Statistique Canada a élaboré et approuvé des stratégies de mise à l'essai des changements aux systèmes afin de s'assurer que les systèmes fonctionnent comme prévu.

Les chefs de tâche pour le recensement, en collaboration avec les spécialistes du domaine, ont créé des plans pour la mise à l'essai des activités de traitement, et les groupes de travail ont formulé des commentaires au sujet des approches de mise à l'essai. Il n'y a aucune activité documentée d'examen ou d'approbation des plans de mise à l'essai avant leur mise en œuvre.

Il existe peu de données probantes supportant les activités de surveillance et d'imputabilité des parties prenantes démontrant que tous les essais ont été menés et que tous les problèmes relevés ont été réglés.

Statistique Canada a élaboré et approuvé des stratégies de certification des données du recensement afin de valider les données avant leur diffusion au public.

Des mécanismes sont en place pour assurer la documentation des résultats des processus de certification. Cela dit, les problèmes relevés et résolus pendant le processus de certification ne sont pas toujours documentés.

Les rôles et les responsabilités ne sont pas toujours séparés entre les responsables du traitement des données et les responsables de la certification, conformément aux lignes directrices sur la qualité des données.

Conclusion générale

L'efficacité des processus de mise à l'essai et de certification du cadre de contrôle de la qualité du Programme du recensement doit être améliorée.

Bien que des stratégies de mise à l'essai soient élaborées et examinées, la documentation ne suffit pas à confirmer que tous les essais ont été effectués comme prévu et que tous les problèmes connus ont été réglés.

Les processus de certification sont assortis de stratégies bien établies, mais ils pourraient être davantage améliorés si l'organisme mettait à profit l'expertise externe, répartissait les rôles et les responsabilités et documentait les problèmes relevés.

Conformité aux normes professionnelles

L'audit a été réalisé conformément aux Normes relatives à la vérification interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors (IIA).

L'application de procédures d'audit suffisantes et appropriées et la collecte des données probantes appuient l'exactitude des constatations et des conclusions du présent rapport et donnent une assurance de niveau audit. Les constatations et les conclusions sont fondées sur une comparaison des conditions, tel qu'elles existaient au moment de l'audit, au regard des critères d'audit préétablis. Les constatations et conclusions s'appliquent à l'entité examinée pour la portée et la période de référence de l'audit.

Steven McRoberts
Dirigeant principal de la vérification et de l'évaluation

Introduction

Contexte

La Loi sur la statistique confère à Statistique Canada le mandat de recueillir, de compiler, d'analyser et de publier des renseignements statistiques sur la situation économique, sociale et générale du pays et de sa population. Le Programme du recensement constitue la plus importante activité de collecte de données menée par Statistique Canada pour s'acquitter de ses obligations prévues par la Loi.

Par l'entremise du Programme du recensement, Statistique Canada dresse un portrait statistique du pays et de sa population tous les cinq ans. Compte tenu de l'importance du programme, l'organisme doit assurer une gestion de la qualité des données du programme de sorte à s'assurer que ses produits sont de qualité suffisante pour leurs utilisations prévues.

Les systèmes et les pratiques d'assurance de la qualité du Programme du recensement ont été conçus en fonction des six dimensions du Cadre d'assurance de la qualité de Statistique Canada, soit la pertinence; l'exactitude; l'actualité; l'accessibilité; l'intelligibilité et la cohérence des données.

La qualité des données est appuyée par une structure de comités de gouvernance, notamment :

• des comités composés de cadres supérieurs;
• le Comité de direction du recensement;
• l'Équipe de projet du recensement (EPR);
• la Commission de l'examen de la qualité des données;
• le Groupe de travail sur la gestion du seuil de tolérance;
• le Projet de la mesure et de l'amélioration de la couverture.

Pour le Recensement de 2016, des mises à niveau et des modifications importantes ont été apportées aux principaux systèmes, sous-systèmes et applications du programme, tels que le rétablissement du questionnaire détaillé du recensement et l'introduction du Système intégré de collecte et des opérations (SICO) pour recueillir les données du recensement. Les changements et les améliorations apportés ont été mis à l'essai selon un plan établi avant leur mise en œuvre.

En plus de mettre à l'essai les changements apportés aux systèmes, Statistique Canada utilise un processus de certification qui lui permet de vérifier la validité de ses données afin de s'assurer qu'elles sont fiables, solides et fondées. Ce processus, qui est régi par la Directive sur la validation des produits statistiques de Statistique Canada, permet à l'organisme de déceler et de corriger les incohérences dans les données à l'aide d'outils de diagnostic et d'une expertise en la matière.

Objectif de l'audit

L'objectif de l'audit était de fournir au statisticien en chef et au Comité de vérification de Statistique Canada l'assurance raisonnable que :

• Statistique Canada a en place un cadre de contrôle de gestion efficace pour gérer la qualité des données du recensement conformément aux Lignes directrices concernant la qualité de Statistique Canada.

Portée

La portée de l'audit comprenait un examen du Cadre d'assurance de la qualité du Programme du Recensement de 2016. L'audit visait strictement à fournir l'assurance que Statistique Canada a en place un processus de mise à l'essai efficacement conçu pour les changements qui ont une incidence sur les activités de traitement et de vérification et d'imputation, ainsi qu'un processus de certification pour l'examen des produits du recensement.

Approche et méthodologie

L'approche de l'audit comprenait une évaluation et une analyse de la documentation pertinente, ainsi que des entrevues avec des membres clés de la direction et du personnel du Programme du recensement et des divisions spécialisées.

L'équipe d'audit a examiné les processus de gouvernance, de gestion des risques et de contrôle en place pour les activités de mise à l'essai relatives aux systèmes de traitement et de vérification et d'imputation des données du recensement, ainsi que pour les activités de certification.

L'audit a été réalisé conformément aux Normes relatives à la vérification interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors (IIA).

Dans le cadre des activités de traitement, de vérification et d'imputation et de certification, des échantillons de secteurs de contrôle clés ont été sélectionnés pour l'exécution de différents essais visant à démontrer :

• la façon dont les plans et les stratégies de mise à l'essai sont élaborés;
• la fonction de surveillance et de remise en question établie pour superviser l'élaboration des stratégies et des plans de mise à l'essai;
• l'exécution des essais décrits;
• la surveillance et le suivi des résultats des essais;
• la production de rapports et l'approbation des résultats des essais.

Autorité

L'audit a été mené en vertu des pouvoirs prévus dans le Plan intégré d'audit et d'évaluation fondé sur les risques approuvé par Statistique Canada pour 2017-2018 à 2019-2020.

Constatations, recommandations et réponse de la direction

Élaboration et mise en œuvre de stratégies et de plans de mise à l'essai pour la phase de traitement des données du recensement

Des mises à niveau et des changements sont apportés aux systèmes de technologie de l'information du recensement à chaque à cycle de recensement. Ces changements devraient être mis à l'essai pour s'assurer qu'ils ont été mis en œuvre efficacement et que les systèmes fonctionnent comme prévu.

Un cadre de contrôle de gestion efficace devrait être en place pour la mise à l'essai. Le cadre devrait comprendre les éléments suivants :

• une stratégie de mise à l'essai approuvée;
• un plan qui décrit les principaux essais qui seront effectués;
• un processus clair en matière d'imputabilité des parties prenantes pour s'assurer que les essais ont été effectués;
• un processus visant à s'assurer que les erreurs relevées lors des essais ont été traitées adéquatement.

La phase de traitement des données du recensement

Les données du recensement sont traitées en plusieurs étapes, à savoir la réception et l'enregistrement, l'imagerie et la saisie des données, les contrôles, le codage ainsi que la vérification et l'imputation.

Une fois que l'information est recueillie auprès des répondants au recensement au moyen d'un questionnaire papier ou électronique, elle est enregistrée afin de s'assurer qu'elle est appariée à un logement précis. L'information est ensuite numérisée (dans le cas des questionnaires papier), ou téléchargée automatiquement (dans le cas des questionnaires électroniques), et les données sont saisies dans le système.

On examine ensuite les questionnaires qui ont été saisis dans le système à la première étape du contrôle afin de traiter les questionnaires qui contiennent des incohérences possibles. Cela comprend les questionnaires pour lesquels des questions ont été laissées en blanc; ceux pour lesquels les réponses ne concordent pas avec le nombre de membres du ménage déclarés, et ceux qui nécessitent un suivi supplémentaire du contenu ou de la couverture.

On attribue ensuite un code à toutes les réponses en fonction d'une structure de classification normalisée. Les réponses codées sont ensuite soumises à la phase de vérification et d'imputation, de sorte que les omissions et les incohérences dans les formules qui n'ont pas été repérées à la première phase de contrôle soient traitées. Ce processus de contrôle final permet de déceler les erreurs et d'imputer (ou d'attribuer) des réponses aux questions visées pour corriger ces erreurs ou incohérences.

Mise à l'essai de la phase de traitement des données du recensement

Pendant la phase de traitement des données du recensement, l'organisme a effectué un certain nombre d'essais afin de s'assurer que les systèmes d'information fonctionnent correctement et produisent les résultats souhaités.

L'équipe d'audit a examiné les approches de mise à l'essai utilisées pour trois volets :

1. Essais d'acceptation des systèmes (EAS) – Les EAS désignent le niveau d'essai auquel les systèmes sont mis à l'essai pour en vérifier l'acceptabilité. Ces essais visent à vérifier si les systèmes sont conformes aux exigences opérationnelles (c.-à-d. les résultats attendus selon la conception des systèmes). Ces essais fonctionnels permettent de vérifier le comportement des systèmes à l'aide de données représentatives. Comme il est indiqué dans le Plan intégré de mise à l'essai du Système de traitement du recensement (STR), les EAS constituent l'un des volets de mise à l'essai les plus complets menés dans le STR.
2. Essais d'intégration des systèmes (EIS) – Il s'agit d'essais à petite échelle des points d'intégration entre deux systèmes d'information ou plus. Conformément au Plan intégré de mise à l'essai du STR, les EIS servent à veiller à l'adéquation du traitement au moyen d'une évaluation des données transférées entre les systèmes afin d'assurer la conformité aux exigences opérationnelles (c.-à-d. les résultats attendus selon la conception des systèmes).
3. Essais de vérification et d'imputation (VI) – Le processus de VI comprend deux types d'essais :
   • Essais de préproduction – Chaque division spécialisée (DS) a la responsabilité de mettre à l'essai un nombre précis de variables du recensement (p. ex., la langue et le sexe) en procédant à l'analyse des tableaux d'observation produits à l'aide des données de production et des tables logiques de décision du recensement précédent.
   • Essais globaux (essais opérationnels) – La Division des opérations du recensement (DOR) vérifie si les processus de première ligne qui interviennent dans la production des chiffres de population et des logements fonctionnent conformément aux attentes.

Pour les trois volets de mise à l'essai, l'équipe d'audit a examiné les approches de mise à l'essai utilisées pour s'assurer qu'un cadre de contrôle efficace était en place.

Un cadre de contrôle efficace doit inclure les composantes suivantes : une stratégie de mise à l'essai, qui permet de cerner les risques à prendre en considération au moyen d'essais; un plan de mise à l'essai approuvé, qui permet d'opérationnaliser la stratégie de mise à l'essai, et un processus permettant à l'organisme de s'assurer que tous les essais sont effectués et que tous les problèmes sont réglés.

Des stratégies de mise à l'essai ont été élaborées et approuvées pour les EAS, les EIS et les essais de VI.

L'examen des documents a révélé que la DOR a élaboré le Plan intégré de mise à l'essai du STR (qui couvre tous les secteurs de traitement des données du recensement autres que la VI) afin de gérer la planification et le contrôle de tous les efforts de mise à l'essai pour le traitement de toutes les données du recensement. Le document décrit la stratégie globale de mise à l'essai, y compris les divers types d'essais entrepris pour vérifier le bon fonctionnement du STR de 2016. Le document définit également l'ordre dans lequel les essais devaient être effectués et l'attribution des rôles et responsabilités clés. Ce document a été approuvé par l'EPR.

Une stratégie de mise à l'essai a également été élaborée pour les plans de mise à l'essai relatifs aux essais de préproduction et aux essais opérationnels du processus de vérification et d'imputation. La stratégie a été examinée et approuvée par l'EPR.

Les chefs de tâche pour le recensement, en collaboration avec les spécialistes du domaine, ont créé des plans pour la mise à l'essai des activités de traitement, et les groupes de travail ont formulé des commentaires au sujet des approches de mise à l'essai. Les preuves de la tenue d'activités d'examen ou d'approbation des plans de mise à l'essai avant leur mise en œuvre sont limitées.

Essais d'acceptation des systèmes

Les chefs de tâche du recensement étaient chargés de concevoir les plans d'EAS et les scénarios d'essai visant à vérifier si les changements apportés aux systèmes avaient été correctement mis en œuvre. Les entrevues ont révélé que les plans de mise à l'essai et les scénarios d'essai ont bien été examinés et remis en question avant la mise en œuvre des systèmes, mais ce processus n'a pas été documenté.

Selon les entrevues menées avec la direction du recensement, un groupe de travail a été créé. Celui-ci était formé d'un certain nombre de représentants des secteurs fonctionnels, de spécialistes du domaine et du chef de tâche des Services de traitement. Ce groupe avait pour mandat de cerner les problèmes ou les erreurs qui pourraient survenir à la suite des changements apportés aux systèmes et d'en discuter, mais ces activités d'assurance de la qualité n'ont pas été documentées.

Essais d'intégration des systèmes

Les EIS permettent à l'organisme de s'assurer que les données transférées entre les systèmes sont exactes et complètes. Les rôles et les responsabilités relatives aux EIS sont décrits dans le Plan intégré de mise à l'essai du STR, lequel précise que les EIS sont contrôlés par le chef de l'équipe d'intégration des systèmes et coordonnés par le coordonnateur de l'équipe d'intégration des systèmes.

L'équipe d'intégration des systèmes, qui est responsable de l'exécution des EIS, a documenté les points d'intégration entre les systèmes dans un fichier d'intégration principal, lequel est utilisé pour cerner les composantes qui nécessitent un EIS. Un examen du fichier d'intégration a permis de confirmer qu'il a été utilisé pour documenter l'état de la mise à l'essai.

Dans la plupart des cas, la description de l'EIS précis à effectuer n'y a pas été documentée. De plus, le fichier d'intégration n'indiquait pas les erreurs ou les problèmes potentiels que l'on cherchait à atténuer au moyen de l'EIS, ni l'approche d'essai proposée ou la nature des scénarios d'essai à effectuer.

Les entrevues menées ainsi qu'un examen des procès-verbaux des réunions ont révélé que le Comité d'examen technique a examiné la méthodologie de mise à l'essai et y a contribué. Le Comité a donc supervisé en partie l'élaboration des essais, mais il ne les a pas approuvés formellement.

Essais de vérification et d'imputation

Les DS ont documenté leur approche globale de mise à l'essai sous forme de description narrative. Cette approche a été utilisée pour les essais de préproduction et décrit l'analyse proposée. La DOR a élaboré des plans de mise à l'essai décrivant les objectifs et les résultats attendus de ses essais opérationnels. Les entrevues menées et un examen de la documentation ont révélé que, dans les deux cas, les éléments de preuve étaient insuffisant afin de confirmer que l'on avait examiné ou remis en question les plans de mise à l'essai afin de s'assurer qu'ils étaient suffisamment exhaustifs pour que tous les risques cernés soient pris en considération.

En 2011, le même problème a été signalé dans le rapport de l'examen de l'assurance de la qualité des activités de vérification et d'imputation du recensement (2011). Ce rapport indique que ni les stratégies ni les plans de mise à l'essai des essais de VI ne décrivaient les critères ou les règles utilisés pour juger de la suffisance des essais ou des analyses effectués et la personne chargée de remettre en question cette décision.

Les trois volets de mise à l'essai n'étaient pas assortis de plans de mise à l'essai ou de scénarios d'essais officiels permettant à l'organisme de s'assurer qu'un nombre suffisant d'essais avaient été conçus pour tenir compte de tous les risques associés aux systèmes. Sans examen ni approbation, les problèmes découlant de changements liés aux systèmes risquent de ne pas être réglés.

Il existe peu de données probantes supportant les activités de surveillance et d'imputabilité des parties prenantes démontrant que les essais ont été menés et que tous les problèmes relevés ont été réglés.

Essais d'acceptation des systèmes

Des rapports sur les essais ont été préparés pour mettre en évidence les résultats des EAS. Ces rapports présentent les risques et les enjeux cernés au cours de la mise à l'essai, ainsi que toute recommandation pertinente. L'équipe d'audit a choisi aléatoirement trois plans de mise à l'essai et a confirmé que des rapports sur les essais avaient été préparés et que les résultats étaient étayés par des scénarios d'essais échantillonnés.

L'audit a également révélé qu'un processus d'approbation a été mené pour chaque essai afin de confirmer qu'un rapport avait été produit. En examinant ces rapports, l'équipe d'audit a constaté que les essais avaient bien été effectués, mais qu'aucune des cases de signature confirmant qu'ils avaient fait l'objet d'un examen n'avait été remplie. La direction du recensement n'a pas pu confirmer que tous les résultats des essais avaient bel et bien été examinés.

Les entrevues menées avec la direction du recensement ont indiqué qu'en raison de la quantité d'essais effectués, il n'était peut-être pas possible d'examiner et d'approuver tous les essais menés pour chacun des scénarios d'essai.

Un examen du processus a révélé que lorsqu'une erreur ou un problème potentiel relatif aux systèmes était décelé au cours de la mise à l'essai, un billet était créé dans l'outil de suivi de l'organisme, JIRA, de sorte que l'erreur ou le problème relevé fasse l'objet d'une enquête et soit résolu. Une fois le problème résolu, le billet était désigné comme étant fermé dans le système et l'essai était repris. Le système JIRA conserve une preuve de la reprise de l'essai.

Essais d'intégration des systèmes

Le fichier d'intégration principal, tenu à jour par l'équipe d'intégration des systèmes, a été utilisé pour documenter l'état de la mise à l'essai et ses résultats. Les renseignements documentés dans le fichier d'intégration principal indiquent que le processus d'EIS a été partiellement effectué par l'équipe d'intégration des systèmes, ainsi que par d'autres équipes responsables des sous-systèmes. Ce document ne décrivait pas les stratégies à suivre pour mettre à l'essai les points d'intégration; il ne contenait qu'une liste des points d'intégration et des renseignements limités sur les mesures entreprises. Les entrevues menées avec le coordonnateur des EIS ont également confirmé que les résultats des essais n'ont pas été documentés dans le fichier d'intégration en raison des difficultés éprouvées pour obtenir de l'information auprès des équipes responsables des sous-systèmes.

Essais de vérification et d'imputation

L'équipe d'audit n'a pas été en mesure de confirmer que les essais prévus ont été effectués et que les résultats de ces essais ont été examinés. Certaines des DS échantillonnées n'ont pas tenu à jour de document confirmant que les essais de préproduction du processus de VI ont été examinés et approuvés. De plus, des incohérences ont été relevées en ce qui concerne les activités d'analyse sous-jacentes utilisées pour dégager les résultats des essais.

Les entrevues ont permis de confirmer qu'en raison de la nature décentralisée des essais de VI, aucun mécanisme ne permettait à l'organisme de s'assurer que tous les essais prévus avaient été effectués conformément aux attentes. De plus, les DS ne sont pas tenues de déclarer à la DOR les résultats de leurs essais en vue du regroupement des résultats des essais de VI.

La plupart des DS n'ont pas documenté les problèmes et les risques cernés durant les essais de VI, ni assuré un suivi de ces problèmes et risques. Les entrevues menées dans le cadre de l'audit ont permis d'établir que l'une des DS échantillonnées tenait son propre registre de problèmes. Cela dit, une autre DS a indiqué qu'elle ne documentait pas les problèmes potentiels relevés lors des essais.

Pour tous les processus de mise à l'essai, les responsables n'avaient pas de processus d'approbation officiel en place pour s'assurer que tous les essais avaient été effectués comme prévu. Un nombre limité de problèmes relevés au cours des essais ont été documentés ou ont fait l'objet d'un suivi. En l'absence de processus efficaces de surveillance de l'exécution des essais, les essais concernés risquent de ne pas être menés sur les systèmes avant la mise en œuvre des modifications ou améliorations correspondantes.

Recommandations

Il est recommandé que le statisticien en chef adjoint du Recensement, des Opérations et de l'Informatique s'assure de ce qui suit :

1. l'organisme a en place un processus pour documenter l'approbation de la conception et de l'élaboration des plans de mise à l'essai et des scénarios d'essai afin de s'assurer que ceux-ci sont harmonisés avec les risques cernés pour les systèmes;

2. l'imputabilité des parties prenantes en ce qui concerne les EIS et les essais de VI a été déterminée pour confirmer que tous les essais ont été effectués comme prévu, et pour assurer le suivi et la résolution des problèmes cernés lors des essais.

Réponse de la direction

La direction est d'accord avec les recommandations formulées.

• 1. La documentation des renseignements relatifs à la conception et à l'élaboration des plans de mise à l'essai et des scénarios d'essai sera améliorée de sorte que les mesures prises pour assurer l'harmonisation des plans de mise à l'essai avec les risques cernés relativement aux systèmes soient clairement documentées.
  
  Le processus d'examen et d'approbation des plans de mise à l'essai et des scénarios d'essai sera modifié pour faire en sorte que l'approbation des plans d'essai soit documentée

Produits livrables et échéancier

Le directeur général du Bureau de gestion du recensement devra :

• fournir des lignes directrices à jour à tous les gestionnaires responsables des plans de mise à l'essai d'ici septembre 2018.

• 2. La mise à l'essai sera déléguée aux chefs de sous-projets, de tâches et de sous-tâches du Programme du recensement :
  • les chefs de l'échelon approprié établiront des calendriers afin d'assurer une vérification officielle de l'état d'exécution de tous les scénarios d'essai dans les inventaires de scénarios d'essai, comme il est indiqué dans les plans de mise à l'essai;
  • la documentation de l'exécution des scénarios d'essai sera améliorée afin d'assurer la documentation de l'exécution des essais et le suivi et la résolution des problèmes cernés;
  • une approche modifiée sera appliquée à tous les systèmes utilisés dans le Programme du recensement à titre de pratique exemplaire.

Produits livrables et échéancier

Le chef des Sous-projets de dépouillement et le chef des Sous-projets d'intégration des systèmes devront :

• établir le calendrier des examens des résultats des essais de VI et des EIS d'ici septembre 2018;
• produire des rapports sur la mise en œuvre du plan de mise à l'essai tout au long du projet, y compris une confirmation de l'exécution des essais et de la résolution des problèmes;
• publier les premiers rapports d'étape sur les EIS d'ici octobre 2018.

Élaboration, approbation et mise en œuvre de stratégies de certification

Des stratégies de certification clairement définies, qui tiennent compte des sources de données internes et externes, sont essentielles si l'on veut s'assurer que les données sont validées de façon efficace et efficiente. La certification est une importante mesure de contrôle qui permet à l'organisme de s'assurer que les systèmes de recensement fonctionnent correctement et que les données sont fiables préalablement à leur utilisation par le public.

Le processus de certification des données du recensement

Avant la diffusion des résultats du recensement, les données du recensement font l'objet d'un processus rigoureux de contrôle de la qualité. L'une des principales étapes de ce processus est la certification des résultats du recensement.

La certification a pour objet d'évaluer rigoureusement la qualité des données du recensement à des niveaux géographiques précis afin de veiller au respect des normes de qualité pour la diffusion au grand public. Les spécialistes du domaine examineront un certain nombre de facteurs pour évaluer la qualité des données du recensement. Cela comprend les taux de réponse et d'erreur et la comparaison des données avec celles du recensement précédent ainsi qu'avec celles d'autres enquêtes et sources administratives. Toutes ces sources permettent à Statistique Canada de valider les résultats du recensement et de décider s'ils sont fiables et peuvent être diffusés.

Des stratégies de certification ont été élaborées et approuvées, et les divisions spécialisées ont tiré parti des sources de données externes lorsqu'elles étaient disponibles.

Un examen des documents a permis de confirmer que deux stratégies globales de certification ont été élaborées pour orienter les activités de certification dans l'ensemble des DS, à savoir la Stratégie de certification des chiffres de population et des logements et la Certification des caractéristiques de la population du recensement. En s'appuyant sur ces stratégies, chaque DS a élaboré son propre plan de certification par rapport à ses variables de recensement respectives (p. ex., l'âge et le sexe). Ce processus est coordonné par le Secrétariat des domaines spécialisés du recensement (SDSR).

L'équipe d'audit a échantillonné et examiné les stratégies de certification élaborées par deux DS pour le Recensement de 2016. Ces documents décrivent les objectifs de la certification, les activités de certification proposées et les échéances connexes, ainsi que les principaux changements apportés depuis le dernier recensement. Les stratégies ont été examinées par les directeurs de chaque DS et envoyées au SDSR pour commentaires.

Les Lignes directrices sur la validation des produits statistiques indiquent que les activités de validation des données devraient inclure la comparaison avec d'autres sources de données similaires, qu'il s'agisse de données publiées par Statistique Canada ou externes à l'organisme, et la consultation d'intervenants externes.

L'examen des stratégies de certification échantillonnées a permis à l'équipe d'audit de confirmer que les DS tirent parti de sources de données internes et externes pour valider le caractère raisonnable des données du recensement. Par conséquent, les variables sont examinées ou validées en fonction des données d'autres ministères, lorsque celles-ci sont disponibles. Une autre pratique exemplaire possible serait de miser sur l'expertise externe pour valider les données du recensement.

Des mécanismes sont en place pour assurer la documentation des résultats des processus de certification. Cela dit, les problèmes relevés et résolus pendant le processus de certification ne sont pas toujours documentés.

Une fois le processus de certification terminé, chaque DS est responsable de produire un dossier de présentation sur les résultats du processus de certification à l'intention de :

• son directeur;
• la direction du SDSR;
• le directeur général de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie;
• le directeur général du Programme du recensement;
• le statisticien en chef adjoint de la Statistique sociale, de la santé et du travail;
• le statisticien en chef.

Ce dossier présente les résultats du processus de certification, y compris les erreurs potentielles relevées durant le processus. De plus, un rapport sommaire des tâches de certification est préparé et approuvé par le directeur adjoint du SDSR, le directeur de la DS, le directeur général de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie, le directeur général du Programme du recensement et le statisticien en chef adjoint de la Statistique sociale, de la santé et du travail. Ce document présente les indicateurs de la qualité des données, les problèmes rencontrés et un résumé des recommandations.

Enfin, pendant le processus de certification, les problèmes potentiels au chapitre des données sont cernés et examinés en détails. Cependant, les DS échantillonnées n'ont pas toutes documenté les problèmes potentiels cernés et la façon dont ils ont été résolus. La documentation des renseignements à l'appui de la certification des résultats lorsque des problèmes potentiels sont cernés permet à la direction du recensement de s'assurer que toutes les activités de certification ont été effectuées comme prévu. Cela réduit le risque qu'une anomalie soit omise.

Les tâches ne sont pas toujours divisées entre l'équipe de la certification et l'équipe du traitement de la vérification et de l'imputation.

Les Lignes directrices sur la validation des produits statistiques stipulent que « dans la mesure du possible, et lorsque les ressources le permettent, il devrait idéalement exister deux équipes distinctes entre le traitement des données de vérification et d'imputation et les experts spécialisés qui procèdent à la certification. Cette division des tâches permet une évaluation indépendante des estimations statistiques. »

L'audit a révélé que, dans certaines DS, ce sont les mêmes personnes qui ont établi les paramètres de VI et élaboré et exécuté les stratégies de certification. Le processus de certification se veut une fonction de remise en question ayant pour objectif d'examiner les résultats de façon indépendante. Cette indépendance permet d'atténuer tout biais dans l'examen des résultats et augmente la probabilité que les anomalies soient relevées.

Les entrevues ont révélé que les DS pourraient être les personnes les mieux positionnées pour effectuer le processus de certification, puisqu'elles sont des spécialistes dans ce domaine. Par conséquent, comme un nombre limité de spécialistes du domaine sont expressément affectés aux activités de certification, un examen indépendant n'est pas toujours possible.

Toutefois, l'audit a permis de relever au moins une bonne pratique. Dans l'une des DS échantillonnées, le processus de certification est exécuté simultanément par deux spécialistes du domaine, et les résultats sont comparés. Grâce à ce processus d'examen par les pairs, l'atteinte potentielle à l'objectivité du spécialiste du domaine qui intervient dans le processus de VI est atténuée par une évaluation indépendante des résultats de la certification.

Recommandations

Il est recommandé que le statisticien en chef adjoint du Recensement, des Opérations et de l'Informatique, en collaboration avec le statisticienne en chef adjointe de la Statistique sociale, de la santé et du travail, s'assure de ce qui suit :

3. l'imputabilité des parties prenantes en ce qui concerne les activités de certification a été établie afin de s'assurer que les stratégies de certification sont effectuées comme prévu;

4. un mécanisme est en place pour atténuer les risques associés à la division des tâches entre l'équipe de la VI et l'équipe de la certification des résultats.

Réponse de la direction

La direction est d'accord avec les recommandations formulées.

3. Après la troisième diffusion des données du Recensement de 2016 en août 2017, des changements ont été apportés au processus de certification des données en vue des diffusions restantes. Un comité d'examen des résultats du processus de certification a été mis en place. Les principaux objectifs du comité étaient les suivants :

• rencontrer les différents analystes spécialistes du recensement et leur demander de lui communiquer et de lui présenter les résultats de la certification;
• pour tous les éléments énumérés dans chaque stratégie de certification, s'assurer que les analyses ont été entreprises et que les résultats de ces analyses ont été présentés au comité pour examen;
• remettre en question les différences importantes observées dans les résultats des données et suggérer des domaines qui pourraient bénéficier d'une enquête plus poussée.

En plus de ces changements, des consultations ont été menées avec des spécialistes d'autres ministères fédéraux pour chaque diffusion du recensement ultérieure à août 2017. Les analystes spécialistes ont présenté des estimations et des tendances à ces spécialistes provenant d'autres ministères fédéraux et en ont discuté avec ceux-ci.

Pour le Recensement de 2021, la statisticienne en chef adjointe du Secteur de la statistique sociale, de la santé et du travail veillera à ce que la structure de gouvernance soit modifiée pour mettre en œuvre un comité semblable. Le comité sera chargé d'examiner, de valider et de surveiller les activités et les résultats du processus de certification tout au long de la période de certification et de veiller à ce que les activités de certification se déroulent comme prévu.

Produits livrables et échéancier

Le directeur général de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie devra :

• établir le mandat détaillé du nouveau comité, y compris son objet, ses rôles et responsabilités, sa composition, son calendrier et son plan d'action. Cela inclut des consultations avec des spécialistes d'autres ministères fédéraux. Le mandat sera approuvé par le directeur général des Domaines spécialisés du recensement, de la statistique sociale et de la démographie et par le chef du recensement, et sera présenté au Comité de direction du Recensement de 2021 et approuvé par ce dernier d'ici le 31 mars 2019.

• 4. La statisticienne en chef adjointe du Secteur de la statistique sociale, de la santé et du travail s'assurera que tous les secteurs spécialisés participant aux activités du recensement ont clairement établi les activités de certification et la division des tâches par rapport aux autres activités. De cette façon, la fonction de remise en question des activités de certification sera conservée lors de l'évaluation de la qualité des résultats du recensement, et toutes les différentes étapes précisées dans les stratégies de certification seront menées de façon appropriée.

Produits livrables et échéancier

Le directeur général de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie devra :

• veiller à ce que les stratégies des directeurs des secteurs spécialisés du recensement soient approuvées par la statisticienne en chef adjointe du Secteur de la statistique sociale, de la santé et du travail, le directeur général de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie et le chef du recensement. Ces stratégies incluent les plans d'atténuation des risques et d'affectation des ressources pour le Recensement de 2021 pour assurer la division des tâches et la mise en place de stratégies d'atténuation des risques. Les plans approuvés seront présentés au Comité directeur du Recensement de 2021 d'ici le 31 mars 2019.

Annexes

Annexe A : Critères de l'audit

Annexe B : Sigles