Archivé – Vérification de la certification des estimations démographiques annuelles

Rapport de vérification

31 mars 2011
Numéro de projet : 80590-62 ( Document (PDF, 417.92 Ko) )

• Sommaire exécutif
  • Principales constatations
  • Conculsion générale
• Introduction
  • Contexte
  • Objectif
  • Portée et approche
  • Autorité compétente
• Conclusions, recommandations et réponses de la direction
• Cadre d'assurance de la qualité
  • Gouvernance
  • Politiques et programmes
  • Services axés sur les citoyens
  • Résultats et rendement
• Gestion des risques
• Gérance
• Annexes
  • Annexe A : Critères de vérification
  • Annexe B : Glossaire

Sommaire exécutif

Le Programme des estimations de la population (PEP) de Statistique Canada est tenu par la loi de fournir à l'administration fédérale des estimations démographiques annuelles officielles et certifiées, nécessaires à l'établissement des formules de calcul des transferts de revenus et des contributions en vertu de divers programmes législatifs fédéraux. Ces estimations permettent à l'administration fédérale d'affecter environ 60 milliards de dollars par an. Selon les plus récents règlements (2008) de la Loi sur les arrangements fiscaux entre le gouvernement fédéral et les provinces, ces estimations doivent être présentées au ministère des Finances sous forme de certificats démographiques au 1er juin et au 1er juillet. Les certificats démographiques sont produits par la Division de la démographie, qui relève du Secteur de la statistique sociale, de la santé et du travail^{Footnote 1}, dans le cadre du processus opérationnel statistique de certification des estimations démographiques annuelles (POS CEDA) relatif au Programme des estimations de la population (PEP).

Le POS CEDA constitue une activité d'intégration de données qui consiste à estimer, modéliser ou calculer autrement des données à partir de sources de données statistiques existantes provenant de plusieurs fournisseurs internes et externes; ces données peuvent présenter des problèmes de qualité survenus chez le fournisseur ou à l'interne. Lorsque ces estimations sont erronées, le calcul et la perception des soldes des transferts et des contributions risquent de l'être aussi.

L'objectif de la vérification consiste à assurer le statisticien en chef et le Comité ministériel de vérification (CMV) que le cadre d'assurance de la qualité (CAQ) pour la certification des estimations démographiques annuelles (CEDA) est en place et est conforme au cadre d'assurance de la qualité et aux lignes directrices connexes de Statistique Canada ainsi qu'aux contrôles de gestion de base du Secrétariat du Conseil du Trésor (CGB SCT).

La vérification a été effectuée par les Services de vérification interne de Statistique Canada et les éléments probants ont été recueillis conformément aux normes de vérification interne de l'administration fédérale du Canada et au International Professional Practices Framework (IPPF) de l'Institute of Internal Auditors (IIA).

Principales constatations

Le POS CEDA dispose d'un régime de gouvernance stratégique en vue de l'amélioration continue de son programme d'assurance de la qualité, lequel est conforme au CAQ et aux lignes directrices connexes de Statistique Canada. Bien que le POS CEDA soit associé à des publications méthodologiques et stratégiques valables ainsi qu'à un système d'assurance de la qualité, les processus ne sont pas officiellement étayés par des manuels de procédures ou par des listes de contrôle. Le POS CEDA facilite l'accès aux données par une stratégie de communication efficace et un service à la clientèle permettant d'orienter les communications entre les coordonnateurs statistiques provinciaux et territoriaux, les ministères fédéraux et les autres utilisateurs des données. Les méthodes et les indicateurs d'évaluation de la qualité sont appliqués à toutes les composantes des estimations démographiques. Les indicateurs de qualité font l'objet d'un examen et d'un contrôle actif, dont les résultats sont consignés.

L'intervention du Programme des estimations de la population (PEP) dans la gestion des risques s'est limitée à l'évaluation des risques à l'échelle du Bureau menée au cours de l'Évaluation de la menace et des risques (EMR) et de l'Examen quadriennal de programme (EQP). Ces activités étaient axées sur un large apport de données (TI, RH). Les processus ne permettent pas de déterminer, d'évaluer et d'atténuer complètement les risques spécifiquement associés au Programme des estimations de la population.

Le POS CEDA a mis en place des mesures de qualité qui consistent en une combinaison fonctionnelle de contrôles de qualité préventifs, de détection, automatisés, manuels et interactifs. Cependant, la conception et l'efficacité fonctionnelle des méthodes d'assurance de la qualité du POS CEDA n'ont pas été officiellement éprouvées ou contrôlées de façon régulière.

Conclusion générale

La vérification a révélé que le processus opérationnel statistique de certification des estimations démographiques annuelles (POS CEDA) était conforme au CAQ et aux lignes directrices connexes de Statistique Canada et qu'il respectait essentiellement les critères des contrôles de gestion de base du Secrétariat du Conseil du Trésor. Il y a lieu de consolider le POS CEDA en améliorant la documentation relative au processus d'assurance de la qualité, en étayant le cadre de gestion des risques et en contrôlant la conception et l'efficacité des méthodes d'assurance de la qualité du programme.

Introduction

Contexte

Établi dans les années 1970, le Programme des estimations de la population de Statistique Canada a toujours rempli son mandat juridique de fournir aux ministères stratégiques des données démographiques certifiées. Le budget de fonctionnement annuel du programme est d'environ 2,1 millions de dollars et prévoit 28 ETP. Selon les parties V et V.1 de la Loi sur les arrangements fiscaux entre le gouvernement fédéral et les provinces et les articles 27 et 28 des règlements connexes (2008), Statistique Canada est tenu de présenter au ministre des Finances, au plus tard le 30 septembre de chaque année, des certificats reflétant la population de chaque province et de chaque territoire selon les modalités suivantes :

• un certificat démographique au 1er juin, couvrant l'ensemble des provinces et des territoires avec les chiffres de population totaux, pour les besoins du Transfert canadien en matière de santé, du Transfert canadien en matière de programmes sociaux, du Transfert visant la réduction des temps d'attente et du Programme de péréquation;
• un certificat démographique au 1er juillet, couvrant l'ensemble des provinces et des territoires avec les chiffres de population totaux, pour les besoins de la Formule de financement des territoires.

Les certificats démographiques comprennent les estimations de l'année en cours et les données des sept années civiles ou exercices précédents par type d'estimation—intercensitaire (ID) et postcensitaire (PP, PR et PD)—ainsi que les données ayant fait l'objet de révisions historiques. L'administration fédérale utilise ces estimations pour affecter environ 60 milliards de dollars par année.

Les certificats démographiques sont produits par la Division de la démographie, qui relève du Secteur de la statistique sociale, de la santé et du travail^{Footnote 2}, dans le cadre du processus opérationnel statistique de certification des estimations démographiques annuelles (POS CEDA) relatif au Programme des estimations de la population (PEP). Le POS CEDA présente les caractéristiques suivantes :

• il s'agit d'une activité statistique dérivée qui consiste à estimer, modéliser ou calculer autrement des données à partir de sources de données statistiques existantes provenant de plusieurs fournisseurs internes et externes;
• il fait l'objet de processus de consultation et de validation des données dans le cadre des relations fédérales-provinciales-territoriales;
• des problèmes de qualité des données peuvent survenir chez le fournisseur ou à l'interne, ce qui nécessite des systèmes de communication et de rétroaction entre le PEP et ses fournisseurs et intervenants;
• la production des estimations comporte des méthodes d'assurance et de certification de la qualité, mises en œuvre à l'interne par le PEP.

La production de certificats démographiques sous forme de totalisations spéciales à l'intention du ministère des Finances constitue un sous-produit du POS CEDA, qui produit et publie un vaste éventail d'estimations démographiques trimestrielles et annuelles offertes à tous les utilisateurs. La structure et l'assurance de la qualité des certificats démographiques sont déterminées par les exigences législatives, par le CAQ de Statistique Canada (2002), par les lignes directrices connexes (2009) et par les directives reçues de la Division de la statistique du secteur public, Direction du Système de comptabilité nationale, fondées sur des consultations bilatérales et multilatérales avec les ministères stratégiques.

Objectif

L'objectif de la vérification consiste à assurer le statisticien en chef et le Comité ministériel de vérification (CMV) que :

• le cadre d'assurance de la qualité pour la certification des estimations démographiques annuelles est en place et est conforme au cadre d'assurance de la qualité et aux lignes directrices connexes de Statistique Canada ainsi qu'aux contrôles de gestion de base du Secrétariat du Conseil du Trésor.

Portée et approche

La mission de vérification a été réalisée conformément aux normes de vérification interne du gouvernement du Canada et de l'IIA ainsi qu'à la Politique sur la vérification interne du Conseil du Trésor. Toutes les tâches ont été menées en collaboration avec les principaux cadres supérieurs de la Division de la démographie, les gestionnaires et le personnel de la Section des estimations démographiques et de la Section du développement et des méthodes démographiques. La méthode de vérification était inspirée des lignes directrices relatives aux contrôles de gestion de base du Secrétariat du Conseil du Trésor, produites par le Bureau du contrôleur général.

L'évaluation du cadre d'assurance de la qualité (CAQ) pour le POS CEDA comprenait l'examen détaillé du niveau de développement et de conformité des mesures de qualité existantes par rapport aux principes du CAQ de Statistique Canada (2002), aux lignes directrices concernant la qualité (2009) et aux contrôles de gestion de base du Secrétariat du Conseil du Trésor dans les domaines de la gouvernance, de la gestion et de la maîtrise du risque (voir les critères d'évaluation à l'annexe A). La vérification porte sur l'évaluation du CAQ du POS CEDA pour la production de chiffres actuels des estimations démographiques annuelles du Canada, des provinces et des territoires, qui font l'objet d'une certification annuelle dans le cadre de la mise en application de la Loi sur les arrangements fiscaux entre le gouvernement fédéral et les provinces et des règlements connexes (2008).

La portée de la vérification était fondée sur l'univers des estimations démographiques annuelles utilisées dans les certificats démographiques annuels fournis au ministère des Finances à la fin de septembre de chaque année au cours des 12 dernières années (2010 à 1998), selon leur type, leurs composantes et leurs dimensions. Ces estimations sont produites au 1er juin et au 1er juillet. L'univers de la vérification est composé des estimations démographiques annuelles postcensitaires et intercensitaires certifiées, qui constituent une série d'estimations révisées à divers intervalles pour les besoins de l'exactitude et de l'actualité.

La vérification couvrait 95 % des composantes respectives des estimations démographiques et des étapes du POS CEDA et comprenait des composantes intégrées au POS CEDA sur une base cyclique (révisions, estimations intercensitaires, chiffres de population censitaires). À la suite d'une évaluation des risques, les composantes de l'estimation et de la certification des décès et des émigrants de retour ont été exclues de la portée de la vérification.

On a procédé à la vérification au moyen des méthodes suivantes :

• entrevues avec les cadres supérieurs, la direction et le personnel de production du PEP;
• examens sommaires et détaillés;
• essai d'assurance de la qualité des certificats démographiques;
• examen d'échantillons de spécifications ESTIME et Non-ESTIME par composante des estimations démographiques en fonction du risque;
• examen de procédures, de documents et de procès-verbaux.

Autorité compétente

Les Services de vérification interne ont effectué la vérification dans le cadre du Plan de vérification axé sur les risques (PVAR) de Statistique Canada pour les exercices 2010-2011 à 2012-2013. Le Comité ministériel de vérification (CMV) a approuvé le PVAR le 15 avril 2010.

Conclusions, recommandations et réponses de la direction

On a évalué le CAQ du POS CEDA à l'égard des six groupes de contrôles de gestion de base du Secrétariat du Conseil du Trésor. On a examiné les contrôles en tenant compte de leur efficacité et de leur niveau d'élaboration selon le modèle de maturité des contrôles de l'IIA (voir la figure 1).

Description : Figure 1. Schéma d'évaluation du CAQ du POS CEDA

Le POS CEDA est conforme au CAQ et aux lignes directrices connexes de Statistique Canada et respecte essentiellement les contrôles de gestion de base du Secrétariat du Conseil du Trésor.

Afin de consolider le processus opérationnel statistique de certification des estimations démographiques annuelles (POS CEDA), des investissements supplémentaires sont nécessaires pour améliorer la documentation relative au processus d'assurance de la qualité, étayer le cadre de gestion des risques et contrôler la conception et l'efficacité des méthodes d'assurance de la qualité du programme.

Toutes les recommandations, ainsi que les réponses et les plans d'action de la direction abordés dans les sections ci-dessous doivent être envisagés au sein de la structure de gestion existante de Statistique Canada.

Cadre d'assurance de la qualité

Gouvernance

Un régime de gouvernance doit comprendre des organismes de surveillance efficaces pour établir une orientation stratégique, des objectifs stratégiques clairement définis et communiqués, des plans opérationnels axés sur la réalisation des objectifs du programme, ainsi qu'un contrôle permanent des environnements interne et externe.

La Division de la démographie a établi un régime de gouvernance stratégique pour déterminer les exigences méthodologiques, opérationnelles et législatives concernant le POS CEDA afin d'assurer la qualité des données. L'orientation stratégique du POS CEDA relève d'un réseau efficace de comités externes et internes, dont le Comité fédéral-provincial-territorial de la démographie. L'orientation concernant la production et la présentation des certificats démographiques relève d'organismes ministériels de surveillance réglementaire, dont la Division de la statistique du secteur public, et de processus tels que des consultations bilatérales et multilatérales entre les ministères stratégiques et Statistique Canada concernant les exigences en matière de données des certificats démographiques afin de respecter la Loi sur les arrangements fiscaux entre le gouvernement fédéral et les provinces. La division dispose d'une structure de gouvernance pertinente et de systèmes d'assurance de la qualité; les responsabilités en matière d'assurance de la qualité sont ainsi séparées entre la production et la méthodologie. Toutefois, plusieurs postes sont vacants au sein de la division et un seul membre du personnel possède des connaissances opérationnelles clés et assume la plupart des responsabilités concernant la production et l'évaluation intermédiaire des données; en outre, ces aspects sont insuffisamment documentés.

Le POS CEDA est pourvu d'un cadre stratégique d'assurance de la qualité des estimations démographiques, doté d'orientations et d'objectifs précis clairement établis et communiqués en matière d'assurance de la qualité; ils sont fondés sur le CAQ et les lignes directrices connexes du Bureau. Le CAQ du POS CEDA est donc conforme à ces documents de référence. Un examen du CAQ et des lignes directrices connexes de Statistique Canada révèle qu'ils reposent sur les concepts de la gestion intégrale de la qualité (GIQ), qui intègrent l'évaluation de la qualité à chaque étape du processus opérationnel statistique. Cette culture de la GIQ est également enracinée dans la formation statistique, économétrique et méthodologique du personnel de Statistique Canada. En outre, Statistique Canada a adopté en 2009, comme cadre de référence d'assurance de la qualité, le modèle statistique général du processus opérationnel (MSGPO) de l'OCDE, qui repose sur les mêmes principes de GIQ.

Si le POS CEDA est doté de publications méthodologiques stratégiques et de systèmes d'assurance de la qualité valables, il n'existe pourtant pas de document intégré sur le CAQ opérationnel du POS CEDA ni de manuel d'assurance de la qualité. En effet,

• le CAQ de Statistique Canada est une ligne directrice volontaire et flexible, qui sert de référence aux divisions spécialisées pour concevoir des programmes d'assurance de la qualité adaptés à des besoins et à des objectifs précis;
• il existe un certain nombre de politiques d'assurance de la qualité ciblées sur les processus de diffusion et de gestion des métadonnées, au lieu d'une politique ministérielle intégrée en matière d'assurance de la qualité;
• les exigences relatives aux certificats sont déterminées au cours d'une série de consultations bilatérales ou multilatérales.

ESTIME est la plateforme statistique servant à produire les estimations démographiques. Le POS CEDA est doté de plans formels d'élaboration d'études méthodologiques visant à améliorer la qualité, ainsi que d'autres spécifications ESTIME et de guides d'utilisation. Les employés du programme utilisent des outils de planification de la production et de la diffusion : calendriers de diffusion des publications par date de référence (trimestrielles et annuelles), carnets de route des processus génériques, documents de gestion prioritaire et plans de projets d'amélioration des systèmes. On a produit des documents de gestion des projets et des processus, comme un outil intégré Microsoft Project pour le POS CEDA, qui programme les étapes d'évaluation et de certification; un guide d'utilisation ESTIME pour produire l'une des composantes des estimations démographiques (les naissances); le document « Processus d'évaluation », qui décrit brièvement les processus de validation et de certification; un calendrier de mise en œuvre des priorités en matière d'assurance de la qualité; et des listes de mesures à prendre à l'égard de certains éléments du POS CEDA. Toutefois, ces outils ne comprennent pas de protocole ou de liste de contrôle concernant l'assurance de la qualité.

La Division de la démographie a établi un régime efficace de contrôle des environnements des utilisateurs et des intervenants externes et internes afin d'améliorer le CAQ du POS CEDA en matière de recherche méthodologique, de sources de données et de méthodes de rechange ainsi que de validation des données. Au cours des réunions avec les fournisseurs de données, les employés de la Démographie abordent l'incidence de leurs fichiers sources sur les estimations démographiques et celle des modifications apportées à la loi et à divers processus d'estimation des données.

Le POS CEDA est doté d'un cadre fonctionnel de gouvernance des technologies de l'information (TI) pour atteindre ses objectifs en matière de qualité. La structure de gouvernance, axée sur l'élaboration et le maintien de la plateforme ESTIME, repose sur un système de comités et de groupes de travail formels et informels.

Politiques et programmes

Un programme efficace et bien conçu comporte une approche rigoureuse de l'évaluation, où les résultats sont pris en compte, approuvés et intégrés pour améliorer le programme. Les principaux intervenants participent à l'intégration des modifications apportées au programme. On contrôle régulièrement les activités du programme pour cerner les points forts et les points à améliorer.

Le POS CEDA a établi des processus formels de prise en compte, d'approbation et de mise en œuvre des résultats de consultations concernant la qualité, ainsi que de recherche et d'analyse pour coordonner et intégrer les modifications apportées au CAQ existant. Les processus sont exécutés de concert avec des intervenants provinciaux ou territoriaux et d'autres intervenants externes et internes, sur une base annuelle ou trimestrielle, et les résultats sont intégrés aux processus d'assurance de la qualité. Les principaux intervenants participent à l'intégration et à la coordination des modifications apportées au CAQ existant lors de réunions trimestrielles et annuelles avec les coordonnateurs statistiques, les fournisseurs de données et le Comité consultatif de la statistique et des études démographiques.

Le contrôle méthodologique de la qualité des estimations démographiques est lié au cycle quinquennal du recensement et les résultats sont communiqués au niveau de direction pertinent au moyen de divers produits d'analyse et d'information. On procède au contrôle de la qualité des données en produisant des rapports internes, ainsi que divers types de métadonnées, qui sont examinés et approuvés par la haute direction. Le POS CEDA mène des activités d'évaluation de la qualité et consulte la Section du développement et des méthodes démographiques pour cerner les forces, les faiblesses et l'incidence de la CEDA, ainsi que d'autres façons de concevoir le POS ou les résultats. Les cadres supérieurs participent systématiquement à l'examen des résultats des consultations, de la recherche et de l'analyse, ainsi qu'aux processus d'examen de la R-D et de consultation liés au POS CEDA.

Services axés sur les citoyens

L'accès aux données doit être conforme aux politiques pertinentes et faire l'objet d'une stratégie de communication efficace axée sur les utilisateurs actuels et éventuels.

Le POS CEDA fait l'objet d'un certain nombre de mesures qui facilitent l'accès des utilisateurs à ses données; il est conforme à la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie de Statistique Canada. Les utilisateurs ont accès aux données CEDA grâce à divers modes de prestation de service, dont Le Quotidien, CANSIM et la Base de métadonnées intégrée (BMDI). Les activités de prédiffusion et de diffusion relèvent principalement de la Sous-section du service à la clientèle de la Division de la démographie, qui collabore en permanence avec la Division de la diffusion, la Division des communications et les coordonnateurs statistiques. La Sous-section du service à la clientèle s'est dotée d'une stratégie de communication efficace; elle gère diverses demandes d'information de la part des médias, des coordonnateurs et de divers organismes utilisateurs et enregistre les demandes des clients. Le POS CEDA a établi une sous-section du service à la clientèle pour soutenir les activités de communication avec les coordonnateurs statistiques provinciaux et territoriaux (le groupe d'intervenants clés) ainsi qu'avec d'autres utilisateurs des estimations démographiques.

Le site externe d'accès à distance au protocole de transfert de fichiers (PTF) de Statistique Canada offre aux coordonnateurs statistiques la série chronologique des estimations démographiques prédiffusées et des métadonnées connexes. Il offre également de nombreuses possibilités de validation des estimations et de leurs indicateurs de la qualité, l'accès aux études et aux résultats de consultations et de discussions avec certaines provinces et certains territoires, ainsi qu'aux pratiques passées, actuelles et futures en matière de méthodologie, d'estimation et de contrôle de la qualité. L'examen de l'information disponible sur ces sites, de même que les entrevues avec la direction et le personnel de production du Programme des estimations de la population, révèlent que les normes de qualité sont communiquées et comprises à l'interne et à l'externe, d'après les résultats de l'Enquête sur la satisfaction des clients. Les principales publications méthodologiques, destinées à soutenir la production des estimations démographiques, sont conformes à la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie de Statistique Canada.

Résultats et rendement

La gestion efficace des résultats et du rendement exige des indicateurs de rendement fiables, dont on contrôle périodiquement la pertinence. Des méthodes d'évaluation sont mises en application et les résultats sont documentés et communiqués à la direction.

Le POS CEDA mène systématiquement des examens et des mises à jour des indicateurs de la qualité, qui sont documentés et communiqués à l'interne et à l'externe, et contrôle activement les indicateurs de la qualité au moyen de diverses méthodes formelles et informelles. Plusieurs rapports sont produits, comportant une analyse exhaustive des indicateurs de la qualité pour les estimations démographiques. Le principal document méthodologique, Méthodes d'estimation de la population et des familles à Statistique Canada, est publié tous les cinq ans.

La Section du développement et des méthodes démographiques mise sur un processus trimestriel d'information qui consiste à diffuser aux autres sections de la Division de la démographie et à Statistique Canada un rapport provisoire sur les études et les projets méthodologiques et d'évaluation de la qualité. L'Enquête sur la satisfaction des clients (ESC), menée à tous les deux ans par la Division des services à la clientèle de Statistique Canada, sert à recueillir les opinions des utilisateurs externes sur la qualité des estimations démographiques. Les résultats de l'ESC sont examinés à l'interne par la haute direction de la Division de la démographie.

Tous les cinq ans, pour coïncider avec le cycle du recensement, le POS CEDA contrôle activement les indicateurs de la qualité. Ces derniers sont contrôlés à l'interne par la Division de la démographie et validés à l'externe lors des réunions de consultation et de discussion du Comité fédéral-provincial-territorial.

Recommandation n^o 1

Il est recommandé que le statisticien en chef adjoint (SCA) du Secteur de la statistique sociale, de la santé et du travail veille à ce que les processus de production des publications méthodologiques et les systèmes d'assurance de la qualité soient formellement documentés dans un manuel de procédures.

Réponse de la direction

La direction est d'accord avec la recommandation. On rédigera un manuel de procédures complet qui documentera les principales étapes de la production des estimations démographiques totales, trimestrielles et annuelles. On rédigera des chapitres distincts pour chacune des composantes de la croissance démographique. Ce document s'adressera au personnel de production subalterne et intermédiaire.

Produit livrable

Un manuel de procédures complet, comprenant des chapitres pour chaque composante de la croissance démographique.

Responsabilité

Il incombe au chef de la Sous-section de la production, au sein de la Section des estimations démographiques, d'effectuer ce travail.

Des mises à jour périodiques seront fournies au Comité ministériel de vérification.

Échéancier

Comme les manuels seront élaborés par le même personnel qui est chargé de la production trimestrielle, ce travail s'étendra sur deux ans à compter d'avril 2011.

Le 31 mars 2012 : Au moins deux composantes de la croissance démographique (les naissances et l'immigration) seront terminées.

Le 31 mars 2013 : Les chapitres restants seront terminés.

Gestion des risques

Un cadre efficace de gestion des risques exige des processus formels pour cerner et évaluer les risques. Les stratégies d'atténuation des risques doivent être documentées et communiquées. Les renseignements obtenus sur les risques doivent servir à soutenir la planification opérationnelle.

L'intervention du Programme des estimations de la population dans la gestion des risques s'est limitée à l'évaluation des risques à l'échelle du Bureau menée au cours de l'Évaluation de la menace et des risques (EMR) et de l'Examen quadriennal de programme (EQP). Ces activités étaient axées sur un large apport de données (TI, RH). Les processus ne permettent pas de déterminer, d'évaluer et d'atténuer complètement les risques spécifiquement associés au Programme des estimations de la population. À l'occasion, on mène une évaluation des risques pour analyser l'incidence d'un événement donné, comme la conversion du système ESTIME ou le remaniement du recensement.

Néanmoins, depuis les années 1970, le POS CEDA remplit son mandat législatif consistant à produire des estimations démographiques, car des contrôles des risques pour la qualité sont intégrés à la conception du programme. En effet, le programme ne se limite pas à produire des estimations strictement selon la méthodologie publiée. Au cas où les données de base officielles ne seraient pas encore disponibles, on peut utiliser des données et des solutions de rechange. De plus, l'évaluation des sources de données fait l'objet d'un certain nombre de méthodes informelles de gestion des risques pour la qualité : réunions et échanges avec les fournisseurs provinciaux et territoriaux de données statistiques et autres, contrôles préventifs automatiques de la qualité intégrés au système ESTIME, évaluations de la série chronologique des données de base, etc.

On réagit de manière systématique et formelle aux risques pour la qualité de la CEDA. Lors des réunions annuelles du Comité fédéral-provincial-territorial de la démographie, la Section du développement et des méthodes démographiques propose des avenues de recherche en vue d'apporter des améliorations méthodologiques. Il existe deux groupes de solutions d'atténuation des risques méthodologiques :

• évaluation et élaboration de processus et de méthodes de rechange;
• évaluation et acquisition ou élaboration de sources de données de rechange.

Le cas échéant, on dispose donc d'une méthode ou d'une application de rechange, qui est soigneusement choisie et mise à l'essai. En outre, on peut aussi consulter les provinces et les territoires pour obtenir une autre source de mesure et d'estimation de la population. Les provinces et les territoires utilisent différentes méthodes de comptabilité démographique, fondées sur leurs fichiers administratifs des soins de santé. Ces autres sources d'information produisent des avantages importants dans l'évaluation de la qualité des données CEDA et comme bases de données de rechange.

Le personnel opérationnel de la CEDA gère les risques de manière intuitive. On établit l'ordre de priorité des composantes des estimations démographiques en fonction de la taille et de la proportion. Toutefois, il n'existe pas de protocole documenté d'atténuation des risques pour la qualité du POS CEDA.

Les rapports de rendement produits tous les quatre ans par la Division de la démographie comportent des renseignements clés sur les risques pour la qualité. Le POS CEDA ne dispose pas, pour chaque section, de plans opérationnels ni de rapports de rendement formels et complets comportant des renseignements sur les risques pour la qualité liés aux processus de production et de certification.

La Section du développement et des méthodes démographiques se penche sur les enjeux stratégiques à long terme concernant les risques pour la qualité de tous les programmes de la Division de la démographie. À l'égard du POS CEDA, elle discute avec les intervenants provinciaux et territoriaux de plans méthodologiques visant à améliorer la qualité des données et à atténuer les risques connus pour la qualité, puis élabore pour chaque section des plans de travail formels axés sur des études méthodologiques et des outils opérationnels, comme les spécifications du système ESTIME. La section procède également à l'évaluation des risques pour la qualité lorsque le CEDA entreprend de nouvelles initiatives d'amélioration de la qualité, par exemple l'utilisation de la American Community Survey (ACS) pour améliorer la qualité des estimations de l'émigration. Si les améliorations apportées à la méthodologie visent toujours à améliorer la qualité, il n'existe cependant pas de documents de gestion annuels portant sur l'identification et l'évaluation des risques pour la qualité ni sur des plans d'action pertinents.

On n'établit pas de plans formels de continuité des activités tenant compte des risques pour la qualité du POS CEDA, qui dépend fortement du bon fonctionnement de sa nouvelle plateforme de production, ESTIME. En l'absence de plans formels de continuité des activités pour chaque section, diverses normes ministérielles régissent le diagnostic des risques des systèmes de TI, comme il est mentionné dans la section Gouvernance du présent rapport de vérification. Enfin, rien n'indique que les renseignements sur les risques pour la qualité de la certification servent à orienter la planification de la continuité des activités du POS CEDA.

Recommandation n^o2

Il est recommandé que le SCA du Secteur de la statistique sociale, de la santé et du travail veille à ce que le POS CEDA consolide le cadre de gestion des risques en intégrant des renseignements sur les risques pour la qualité des composantes des processus de production et de certification, et que les renseignements sur la certification des risques pour la qualité servent à orienter la planification de la poursuite des activités du POS CEDA.

Réponse de la direction

La direction est d'accord avec la recommandation. On ajoutera à la planification annuelle du Programme des estimations de la population, qui consiste à établir et à contrôler le travail absolument prioritaire, une composante explicite d'évaluation des risques. On établira un registre des risques, on définira des stratégies d'atténuation et on contrôlera les risques au cours de l'année.

Comme les risques les plus élevés du Programme des estimations de la population sont liés à l'offre de données, on poursuivra les démarches en cours pour renouveler les relations avec les fournisseurs de données.

Produit livrable

Un registre des risques, y compris des stratégies d'atténuation des risques.

L'établissement d'ententes sur les niveaux de service avec les principaux fournisseurs de données (dont la Division de la statistique de la santé, la Division de la statistique du revenu et Citoyenneté et Immigration Canada).

Responsabilité

Il incombe au chef du groupe des estimations démographiques d'établir et de tenir le registre des risques.

Il incombe au directeur adjoint de la Division de la démographie de conclure les ententes sur les niveaux de service.

Des mises à jour périodiques seront fournies au Comité ministériel de vérification.

Échéancier

Le 31 mars 2012 : Élaboration d'un registre des risques.

Le 31 mars 2012 : Des ententes sur les niveaux de service avec les fournisseurs internes de données seront conclues.

Gérance

L'efficacité des contrôles internes exige une combinaison équilibrée de contrôles préventifs, de détection, automatisés et manuels. L'efficacité des contrôles internes fait l'objet d'essais périodiques.

Système de contrôles internes

Le POS CEDA est doté d'une combinaison fonctionnelle de contrôles de qualité préventifs, de détection, automatisés, manuels et interactifs intégrés à toutes les étapes des processus de production et d'évaluation de la qualité, dans les environnements ESTIME et non-ESTIME de production des estimations démographiques.

Les processus d'évaluation de la qualité des données de production et intermédiaires, ainsi que la méthodologie et les contrôles d'assurance de la qualité entourant la composante Révisions, exigent qu'on exporte des données et des graphiques du système ESTIME vers les outils analytiques basés sur Excel et qu'on tienne des discussions informelles. Les outils basés sur Excel permettent d'évaluer efficacement la qualité de chaque composante des estimations et des agrégats de population. Toutefois, les processus d'analyse de l'assurance de la qualité et de prise de décisions ne sont pas formellement documentés, et les codes de programme ESTIME ne sont pas régulièrement mis à jour de manière à intégrer les modifications apportées à la méthodologie ainsi qu'à apparier convenablement les niveaux des données en cours de traitement.

Pour la certification, on utilise une combinaison équilibrée de contrôles d'assurance de la qualité préventifs et de détection : orientation fournie par la Division de la statistique du secteur public concernant les modèles de certificats démographiques, réunions périodiques de la direction du POS CEDA avec les fournisseurs de données externes et internes, évaluation finale et complète d'assurance de la qualité.

On utilise des contrôles manuels lorsque l'analyste principal ou le chef de la certification doit effectuer des calculs indépendants pour vérifier les résultats de l'évaluation présentés par le chef de la production. Les contrôles interactifs comprennent des discussions informelles avec le personnel de production, les spécialistes des méthodes, les fournisseurs de données et les coordonnateurs statistiques. Les contrôles pour l'approbation finale des certificats démographiques par le directeur de la Division de la démographie sont informels. L'essai d'assurance de la qualité des estimations démographiques a révélé un appariement identique entre les données figurant dans toutes les bases de données et un appariement principal de la présentation des certificats produits. Les données du certificat démographique du 1er juillet correspondent à celles qui figurent sur tous les autres supports de diffusion, soit Le Quotidien, la BMDI, CANSIM et les publications. Les données du certificat démographique du 1er juin sont des totalisations spéciales qui ne sont pas publiées.

Les spécifications ESTIME et Non-ESTIME comprennent des contrôles visant à assurer l'exactitude des processus de production, ainsi que des recommandations concernant la conception des contrôles automatisés. Les spécifications représentent elles-mêmes des contrôles automatisés de la qualité de la production. Toutefois, rien n'indique la présence de contrôles automatisés d'assurance de la qualité dans l'échantillon de spécifications examiné. Les contrôles méthodologiques interactifs comprennent les processus PTF, des réunions hebdomadaires avec les gestionnaires du POS CEDA pour la planification méthodologique et la production de solutions, ainsi que des réunions périodiques avec les fournisseurs de données.

Pour le site à distance PTF (Outil de retour des données) et le CAQ prédiffusion, on utilise une combinaison équilibrée de contrôles. Il y a des contrôles automatisés de la sécurité de l'accès et de la communication sur le site PTF, où la DSTI contrôle les autorisations d'utilisation de logiciel et la vérification de l'accès aux microdonnées. Le téléchargement et l'archivage des données sur le site PTF constitue un processus manuel, pour lequel des mécanismes de sécurité permettent de prévenir les erreurs ou de les corriger. Les contrôles interactifs servent principalement à documenter les questions et les réponses, à archiver les courriels et à tenir les comptes rendus des réunions.

Assurance de la qualité

Pour le CAQ du POS CEDA (diffusion et postdiffustion) au niveau ministériel, on utilise une vaste combinaison de politiques et de protocoles d'assurance de la qualité des données et des produits d'information connexes aux étapes de la prédiffusion, de la diffusion et de la postdiffusion. Ces processus sont coordonnés par la Division de la diffusion et la Division des communications. Au niveau des divisions, on utilise une combinaison de contrôles de qualité préventifs et de détection pour assurer la qualité des processus de diffusion et des documents diffusés. Toutefois, il n'existe pas de manuel opérationnel intégré du POS CEDA décrivant les processus d'assurance de la qualité aux étapes de la prédiffusion, de la diffusion et de la postdiffusion.

L'équipe de production a mené les premiers essais opérationnels du système ESTIME. Toutefois, rien n'indique l'existence d'essais périodiques et de protocoles d'examen formels pour l'assurance de la qualité dans le système ESTIME ni dans d'autres méthodes opérationnelles d'assurance de la qualité du POS CEDA. D'ailleurs, le POS CEDA n'est doté d'aucun processus formel et systématique d'essai périodique de la conception et de l'efficacité fonctionnelle de ses méthodes d'assurance de la qualité.

Recommandation n^o 3

Il est recommandé que le SCA du Secteur de la statistique sociale, de la santé et du travail veille à ce que la conception et l'efficacité fonctionnelle des méthodes d'assurance de la qualité du POS CEDA fassent l'objet de contrôles réguliers.

Réponse de la direction

La direction est d'accord avec la recommandation. Pour chaque composante de la croissance démographique, on examinera l'ensemble de contrôles de la qualité actuellement en vigueur. Au besoin, on établira de nouveaux indicateurs et de nouvelles listes de contrôle de la qualité, qui seront intégrés au processus de production des estimations démographiques trimestrielles et annuelles.

Produit livrable

Un examen des contrôles de la qualité en vigueur.

Un cadre de contrôle de la qualité qui comprendra des indicateurs et des listes de contrôle de la qualité.

Responsabilité

Il incombe au chef de la Sous-section de l'analyse et de la diffusion, au sein de la Section des estimations démographiques, d'élaborer un cadre de contrôle de la qualité.

Échéancier

Comme cet examen sera mené par le même personnel qui est chargé de la production trimestrielle, ce travail s'étendra sur deux ans à compter de l'été 2011.

Juin 2011 : Début de l'examen des contrôles de la qualité et de l'élaboration d'un cadre de contrôle de la qualité.

Septembre 2012 : Mise en œuvre partielle du Cadre d'assurance de la qualité lors de la production de certificats démographiques.

Septembre 2013 : Date visée pour la mise œuvre intégrale (le délai sera évalué après le début du projet).

Annexes

Annexe A : Critères de vérification

Annexe A : Critères de vérification

Aspects à examiner	Critères
Gouvernance : Le processus opérationnel statistique (POS) de certification des estimations démographiques annuelles (CEDA) est doté des conditions essentielles à l'établissement et à l'amélioration continue de son programme d'assurance de la qualité.	Des organismes de surveillance compétents assurent l'orientation stratégique. Le CAQ englobe les orientations et les objectifs de l'assurance de la qualité, qui sont conformes au mandat du PEP, au CAQ de Statistique Canada et aux lignes directrices connexes. Le POS CEDA est doté de plans opérationnels et de documents de gestion de projet en vue d'assurer la qualité du processus opérationnel statistique. On contrôle les environnements des utilisateurs et des intervenants externes et internes pour obtenir des renseignements pouvant signaler la nécessité de réévaluer le CAQ de la CEDA. On a établi et mis en œuvre un cadre de gouvernance des TI pour orienter l'utilisation des TI dans la réalisation des objectifs d'assurance de la qualité du POS CEDA
Résultats et rendement : La direction du POS CEDA a cerné les indicateurs cibles de la qualité et exerce des contrôles des résultats réels par rapport aux résultats ciblés.	On dispose de méthodes d'évaluation de la qualité qu'on applique à toutes les estimations. Les indicateurs de la qualité sont examinés périodiquement et mis à jour au besoin. Les résultats des examens de la qualité et les indicateurs de la qualité sont documentés et communiqués aux autorités compétentes. Les indicateurs de la qualité font l'objet d'un contrôle actif.
Gestion des risques : La direction du POS CEDA cerne, évalue, gère et communique les risques pour la qualité des estimations et les intègre à la planification ainsi qu'à l'affectation des ressources.	Il existe des lignes directrices et des processus formels pour cerner et évaluer les risques, et des contrôles pour les atténuer. Une réponse formelle au risque est documentée et communiquée à toutes les parties intéressées. Les renseignements sur les risques pour la qualité sont intégrés aux principaux rapports de planification et de rendement. Les renseignements sur les risques pour la qualité servent à planifier la continuité des activités.
Politiques et programmes : Le POS CEDA est doté d'une approche formelle et rigoureuse de la conception et de la mise en œuvre du cadre d'assurance de la qualité, dont le contrôle régulier et ponctuel des activités connexes.	Le POS CEDA intègre la rigueur de l'évaluation de la qualité aux cycles de production et de certification. Les résultats des consultations, de la recherche et de l'analyse sont pris en compte, approuvés et utilisés pour coordonner et intégrer les modifications apportées au CAQ existant. Les principaux intervenants participent à l'intégration et à la coordination des modifications apportées au CAQ existant. La qualité fait l'objet d'un contrôle régulier dont les résultats sont documentés et communiqués au niveau de direction compétent. Les activités d'évaluation de la qualité servent à cerner les forces, les faiblesses et l'incidence de la CEDA ainsi que d'autres façons de concevoir le POS ou ses résultats. La haute direction participe à l'examen régulier des résultats de la consultation, de la recherche et de l'analyse.
Gérance : La direction du POS CEDA évalue la pertinence de la combinaison des mesures d'assurance de la qualité en vigueur et en contrôle périodiquement l'efficacité.	Les mesures de la qualité comprennent une combinaison équilibrée de contrôles de qualité préventifs et de détection. Les mesures de la qualité comprennent une combinaison de contrôles automatisés et manuels ou interactifs. L'efficacité de la conception des méthodes d'assurance de la qualité en ce qui concerne l'atténuation des risques pour la qualité fait l'objet d'essais périodiques.
Services axés sur les citoyens : Le POS CEDA prend les mesures nécessaires pour faciliter l'accès à ses données.	Les utilisateurs ont accès aux données CEDA grâce à divers modes de prestation de service (en conformité avec la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie). Le POS CEDA est doté d'une stratégie de communication pour orienter les communications avec les utilisateurs actuels et éventuels de données (en conformité avec la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie). Les normes de qualité des estimations démographiques annuelles sont communiquées et comprises à l'interne et à l'externe (en conformité avec la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie).

Annexe B : Glossaire

MSGPO – Modèle statistique général du processus opérationnel de l'OCDE, approuvé comme modèle de référence de gestion de la qualité de Statistique Canada le 15 mars 2010./concepts/gsbpm-msgpo-fra.htm

CEDA – Certification des estimations démographiques annuelles

POS – Processus opérationnel statistique

CGB SCT – Contrôles de gestion de base du Secrétariat du Conseil du Trésor

CAQ – Cadre d'assurance de la qualité.

MMC IIA – Modèle de maturité des contrôles de l'International Institute of Internal Auditors

L'échelle ordinale du MMC IIA figure ci-dessous.

MMC IIA figure ci-dessous.

Rang	Titre	Description
0	Inexistants	Aucun contrôle formel ou informel.
1	Élémentaires/ Ponctuels	Les contrôles sont fragmentés et ponctuels; ils sont généralement gérés de manière cloisonnée et réactive, sans politique ni procédure formelle; ils dépendent du bon vouloir des personnes; le risque d'erreur est élevé; les coûts sont élevés à cause des inefficacités; les contrôles ne sont pas durables.
2	Reproductibles mais intuitifs	Les contrôles sont établis de manière relativement structurée; les processus ne sont pas formellement documentés; les rôles, responsabilités et autorités sont définis avec une certaine clarté, mais pas l'imputabilité; la rigueur accrue et les lignes directrices favorisent la reproductibilité; la forte dépendance au personnel existant rend les contrôles vulnérables au changement.
3	Définis	Les contrôles sont bien définis et documentés; ils sont donc uniformes même en période de changement; le personnel est sensibilisé aux contrôles; les lacunes de contrôle sont décelées et corrigées sans délai; le contrôle du rendement est informel, d'où une grande dépendance à la diligence des personnes et aux vérifications indépendantes.
4	Mûrs/Gérés et mesurables	On emploie des indicateurs de mesure du rendement (systèmes, outils, processus) et des techniques de contrôle pour mesurer la réussite; les contrôles sont axés davantage sur la prévention que sur la détection; les responsables des processus évaluent eux-mêmes l'efficacité fonctionnelle; il existe une chaîne de responsabilisation qui est bien comprise.
5	De classe mondiale/ Optimisés	Les contrôles sont jugés « de classe mondiale » en fonction de l'analyse comparative et de l'amélioration continue; l'infrastructure des contrôles est fortement automatisée et les mises à jour sont automatiques, d'où un avantage concurrentiel; on utilise abondamment le contrôle en temps réel et le tableau de bord de la direction.

SDMD – Section du développement et des méthodes démographiques
(Division de la démographie)

PEP – Programme des estimations de la population
(Section des estimations démographiques, Division de la démographie)

DDS – Division du développement de systèmes

DSTI – Division des services de technologie informatique

AOB – Architecture opérationnelle du Bureau

Notes :