Audit des certificats de péréquation

Constatations clés

Le programme des certificats de péréquation représente une entreprise modeste mais complexe pour Statistique Canada. Les certificats de péréquation nécessitent plus d'une centaine de séries de données provenant de 11 divisions de l'organisme. En 2012, la Division de l'intégration et du développement de la comptabilité nationale (DIDCN) s'est vu confier la responsabilité de coordonner et de préparer les certificats de péréquation. À la DIDCN et aux divisions fournissant les données (DFD), les rôles et responsabilités des personnes qui préparent l'information sont clairement communiqués et compris.

Si l'on a constaté que les processus et outils en place à la DIDCN sont efficaces et minimisent les risques qui se posent à qualité et à l'actualité des certificats, l'audit a révélé qu'il était possible de renforcer l'environnement du cadre des certificats en vérifiant périodiquement les autorisations d'accès aux systèmes à la DIDCN, de manière que l'accès à l'information soit accordé selon le principe du « besoin de connaître ». En outre, la DIDCN devrait surveiller activement l'environnement opérationnel à Statistique Canada afin d'évaluer et de traiter les risques externes à la division qui pourraient avoir des répercussions sur les certificats de péréquation.

À la DIDCN, des points efficaces de contrôle de la qualité des données ont été intégrés au processus opérationnel de la préparation des certificats. L'équipe d'audit a remarqué que l'on pourrait améliorer le cadre de gestion de la qualité élaboré par la DIDCN en s'assurant de valider les formules utilisées dans les versions finales des certificats et en configurant les modèles de manière à protéger des données, afin que données et formules ne puissent être effacées par inadvertance.

Cinq des six DFD examinées pendant l'audit ont des documents efficaces sur les procédures qui sont adaptés aux besoins des programmes particuliers en ce qu'ils permettent de répondre aux exigences du programme de péréquation, et l'on a relevé des preuves de l'existence d'un mécanisme d'examen de la qualité. Toutefois, dans l'une des DFD examinées, l'équipe d'audit a remarqué l'absence d'une documentation sur les processus aux fins de la préparation et de l'examen de la qualité des données. L'équipe d'audit a observé que cette division avait déjà été exposée à des anomalies de données dans ses livraisons passées. En documentant les processus et procédures de préparation des données, d'examen de la qualité et de signature des soumissions de données, on peut réduire les risques d'anomalies dans les futures transmissions de données.

La majorité des DFD examinées avaient en place des pratiques efficaces de gestion de la qualité pour assurer une validation adéquate de l'information figurant dans les modèles des divisions. L'évaluation de l'examen de la qualité à l'interne et de la fonction d'interrogation et d'approbation des données par les directeurs de programme a révélé qu'il serait possible de renforcer le cadre si l'on officialisait les processus et si l'on documentait les preuves de l'examen de la qualité et de l'interrogation. En outre, les DFD devraient séparer les tâches de la préparation et de la validation des données et s'assurer d'avoir des plans pour éventualités afin de garantir l'achèvement avec exactitude de leurs soumissions de données.

Le cycle de préparation des certificats s'étend sur plusieurs mois et les demandes de données aux divisions sont faites de manière à correspondre aux dates de publication de données d'enquêtes particulières. Bien que le processus d'établissement des certificats soit conçu en sorte d'assurer le caractère final des données fournies, l'équipe d'audit a remarqué que le manque d'uniformité dans la déclaration des révisions de données à la DIDCN, pendant le processus annuel des certificats, révélait l'existence d'une certaine incertitude chez les DFD quant aux définitions et aux exigences en matière de déclaration qui sont énoncées dans la Directive sur les corrections apportées aux communiqués du Quotidien et aux produits statistiques. Cela accroît le risque que les données figurant dans les certificats puissent ne pas correspondre à l'information la plus exacte et à jour. L'équipe d'audit a constaté qu'il serait possible de renforcer les pratiques de gestion de la qualité si l'on veillait à ce que les DFD mettent au point des procédures pour aviser la DIDCN des révisions ou corrections apportées aux données fournies dans les modèles divisionnaires pendant le cycle de préparation des certificats de péréquation.

Conclusion générale

À l'issue de l'audit, il a été déterminé que les certificats de péréquation préparés par Statistique Canada en 2011 et 2012 comportaient des données exactes et que les outils, l'effectif, les ressources et les mécanismes d'assurance de la qualité nécessaires étaient en place pour appuyer l'établissement des certificats aux termes de la LAFPP. Bien que l'équipe d'audit ait relevé quelques anomalies mineures dans les données sur les assiettes et sur les sources de revenu dans les certificats établis en 2011 et 2012, ces écarts n'ont pas eu d'incidence sur l'information de péréquation concernant les provinces ou territoires pour les années examinées.

De façon générale, le cadre d'établissement des certificats et les contrôles de gestion de la qualité en place à la DIDCN sont efficaces; il demeure néanmoins possible de renforcer ces cadres de contrôle au sein de la division qui prépare les certificats.

On pourrait améliorer les cadres de gestion de la qualité et de la préparation des certificats dans les DFD en veillant à ce que, dans toutes les DFD, des documents sur les processus soient rédigés ainsi qu'en renforçant et en documentant les mécanismes en place d'assurance de la qualité.

Conformité aux normes professionnelles

Cette mission d'audit a été exécutée en conformité avec les Normes de vérification interne du gouvernement du Canada, comme en attestent les résultats du Programme d'assurance et d'amélioration de la qualité. On a effectué des tests suffisants pour corroborer les constatations et les recommandations connexes.

Patrice Prud'homme
Dirigeant principal de la vérification

Contexte

Le programme de péréquation existe depuis 1957 et fait partie de la législation sur les arrangements fiscaux entre les gouvernements fédéral et provinciaux. Le visage de la péréquation a sensiblement changé depuis sa mise en œuvre initiale et il continue d'être sujet à des examens périodiques. Le prochain examen de la Loi sur les arrangements fiscaux entre le gouvernement fédéral et les provinces (LAFFP) et du règlement y afférent est prévu pour 2013.

De façon générale, la péréquation est un programme fédéral de paiements de transfert qui a été conçu pour évaluer la capacité fiscale des provinces et aplanir les disparités. Elle est enchâssée dans le paragraphe 36(2) de la Loi constitutionnelle de 1982, qui stipule ce qui suit :

Le parlement et le gouvernement du Canada prennent l'engagement de principe de faire des paiements de péréquation propres à donner aux gouvernements provinciaux des revenus suffisants pour les mettre en mesure d'assurer les services publics à un niveau de qualité et de fiscalité sensiblement comparable.

Le programme de péréquation examine, en la mesurant par habitant, la capacité d'une province de générer ses propres revenus par rapport à la capacité fiscale de toutes les provinces. Outre la péréquation pour les provinces, la LAFFP prévoit une formule de financement des territoires qui prend la forme de paiements de transfert annuels sans condition faits aux trois gouvernements territoriaux. Cette formule permet aux territoires de fournir des services publics comparables à ceux que fournissent les provinces en tenant compte du coût plus élevé d'exécution des programmes et services dans les territoires.

L'autorité statutaire de la péréquation et du financement des territoires se trouve dans la LAFFP et son règlement. Cette loi souligne le rôle du statisticien en chef en ce qui concerne les paiements de péréquation fiscale faits aux provinces et le financement des territoires. Statistique Canada est responsable de la préparation des certificats comportant de l'information sur les assiettes et sur les sources de revenu. Le Règlement sur les arrangements fiscaux entre le gouvernement fédéral et les provinces (le Règlement) comporte une interprétation spécifique et précise les calculs et les exigences en matière de données.

Le programme des certificats de péréquation est une entreprise modeste mais complexe pour Statistique Canada; plus d'une centaine de séries de données sont obtenues de 11 divisions pour préparer les certificats de péréquation. Les examens des données sont effectués par les onze divisions fournissant les données (DFD), par la division qui prépare les certificats, par les coordonnateurs provinciaux et territoriaux et par le ministère fédéral des Finances. Le programme de péréquation a d'importants effets sur le pays; en 2012, environ 18,5 milliards de dollars ont été transférés aux provinces en vertu de la LAFFP.

Jusqu'en 2012, la Division de la statistique du secteur public (DSSP), qui fait partie du Secteur des études analytiques et des comptes nationaux, faisait la compilation des données que la Loi requiert pour son application. À partir de 2012, la responsabilité de la préparation des certificats, pour Statistique Canada, a été transférée à la Division de l'intégration et du développement de la comptabilité nationale (DIDCN), aux Comptes nationaux. Le 1er avril 2013, la DIDCN a été greffée à la Division des comptes des revenus et des dépenses, se retrouvant ainsi dans le secteur de la statistique économique.

Objectifs de l'audit

Les objectifs de l'audit étaient de fournir au statisticien en chef (SC) et au Comité ministériel de vérification (CMV) l'assurance de ce qui suit :

• Statistique Canada dispose des outils, de l'effectif et des autres ressources nécessaires pour préparer des certificats à jour, exacts et complets, conformément aux exigences de la Loi sur les arrangements fiscaux entre le gouvernement fédéral et les provinces.
• Statistique Canada a en place des mécanismes appropriés d'assurance de la qualité pour le programme des certificats de péréquation afin de se conformer aux exigences de la Loi sur les arrangements fiscaux entre le gouvernement fédéral et les provinces.

Portée

La portée de cet audit comprenait un examen du caractère adéquat et de l'efficacité des contrôles en place pour la préparation des certificats de péréquation. Parmi les aspects examinés, il y avait celui des contrôles de la préparation et de l'assurance de la qualité des données et des certificats en tant que tels, et l'on a aussi examiné la suffisance et l'efficacité des contrôles en place pour assurer la conformité aux exigences en matière de données du Règlement. L'audit a couvert l'information statistique des certificats préparés en 2011 et 2012.

Approche et méthodologie

L'audit a été exécuté en conformité avec les Normes de vérification interne du gouvernement du Canada, lesquelles comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors (IIA – Institut des auditeurs internes).

Le travail d'audit a consisté en un examen de documents, en des entrevues avec des membres clés de la haute direction et du personnel et en un examen des politiques et lignes directrices applicables à des fins de conformité.

La méthodologie a consisté en un examen des politiques applicables, des procédures et de l'information liées à la qualité, l'exactitude et l'approbation des certificats et des données soumises par les sources. On a également testé un échantillon des mécanismes en place d'assurance de la qualité en ce qui a trait aux certificats et aux soumissions de données. Entre autres tests effectués, mentionnons les suivants : tests de validation pour confirmer que les données fournies dans les certificats satisfaisaient aux règlements en vigueur sur la péréquation concernant les certificats portant sur les sources de revenu et les certificats portant sur l'assiette; confirmation que toutes les formules utilisées dans les certificats portant sur les sources et sur les assiettes étaient équivalentes pour chaque province et territoire; vérification que les données finales des certificats correspondaient aux données fournies par les DFD; tests de validation pour confirmer que les formules dans les chiffriers concernant les certificats de péréquation étaient cohérentes et exactes; tests de validation pour confirmer l'équivalence des versions anglaise et française des certificats et que les unités de mesure ont été notées avec exactitude. L'équipe d'audit a aussi examiné les éléments de preuve confirmant que des activités d'assurance de la qualité avaient été menées aux DFD et à la DIDCN.

Autorité

L'audit a été effectué en vertu des pouvoirs prévus dans le Plan de vérification et d'évaluation axé sur les risques de Statistique Canada pour la période de 2012-2013 à 2016-2017, plan qui a été recommandé par le Comité ministériel de vérification puis approuvé, en avril 2012, par le statisticien en chef.

Cadre des certificats

Un cadre efficace d'établissement des certificats passe par des procédures et processus adéquats permettant aux personnes qui préparent et valident l'information de disposer des outils nécessaires pour produire des certificats de péréquation de qualité. Cela comprend des documents détaillés sur les processus qui expliquent comment les données doivent être préparées et quels mécanismes de validation des données sont requis pour assurer la qualité de l'information. Les rôles et responsabilités doivent être clairement définis et communiqués et l'on devrait surveiller les environnements opérationnels eu égard aux changements qui s'y opèrent. Au moyen des contrôles en place, on doit s'assurer que l'accès aux fichiers est limité aux seuls utilisateurs autorisés.

Cadre des certificats : aperçu du processus

Les certificats de péréquation sont produits à la lumière de plus d'une centaine de séries de données que soumettent onze divisions de Statistique Canada. La Division de l'intégration et du développement de la comptabilité nationale (DIDCN) s'est vu confier la responsabilité de coordonner la préparation et d'établir les certificats de péréquation, lesquels comprennent les certificats portant sur l'assiette, sur les sources de revenu et sur la population.

La DIDCN sollicite les données des DFD en utilisant des modèles structurés précisant les données à fournir. Les demandes sont programmées de manière à suivre la diffusion officielle des données. Le personnel des DFD prépare l'information requise, effectue une assurance de la qualité sur l'information préparée et fait approuver (avec signature) par le directeur de programme le modèle rempli.

L'information transmise à la DIDCN est compilée dans les certificats et revue. La DIDCN procède aux vérifications de base de la qualité de l'information fournie par les DFD, puis coordonne l'examen des travaux en cours (TEC) avec les coordonnateurs provinciaux et territoriaux et le ministère des Finances. Une fois réexaminés et finalisés, les certificats sont envoyés au directeur général de la DIDCN et au statisticien en chef adjoint pour examen, puis au statisticien en chef pour approbation. Les versions finales approuvées des certificats sont envoyées au ministère des Finances, qui calcule les paiements de péréquation aux provinces et de financement des territoires à l'aide de ces données.

Figure 1 : Processus de la préparation des certificats

Cadre des certificats : Division qui prépare les certificats

Cadres des certificats : divisions fournissant les données (DFD)

L'équipe d'audit a examiné six des onze divisions fournissant des données aux fins des certificats de péréquation. On a sélectionné les divisions afin de couvrir tous les secteurs qui fournissent des données au programme des certificats. De plus, on a inclus les divisions dont les précédentes soumissions de données avaient comporté des anomalies.

Gestion de la qualité

Le cadre de gestion de la qualité pour le programme de péréquation devrait comprendre des consignes documentées sur les activités d'examen de la qualité et d'approbation, une séparation claire des tâches de préparation des données et d'examen de la qualité, ainsi qu'un processus formel d'interrogation des données avant que le certificat soit signé pour attester de la qualité des données. Des processus de gestion de la qualité devraient être intégrés aux pratiques opérationnelles existantes pour la préparation des certificats de péréquation. Dans le document Statistique Canada : lignes directrices concernant la qualité, il est indiqué que la certification ou la validation de l'information statistique devrait comprendre une fonction d'interrogation des données plutôt que de rationalisation de l'information. Au moyen de cette interrogation, on devrait s'assurer que les mouvements de données, les événements inhabituels ou les augmentations irrégulières soient compris et puissent être expliqués.

Cadre de gestion de la qualité : division qui prépare les certificats

L'équipe d'audit a constaté que les points de contrôle de la qualité des données à la DIDCN sont efficaces et ont été intégrés au processus opérationnel de la préparation des certificats. La division qui prépare les certificats demande habituellement des données qui ont été publiées dans Le Quotidien. En demandant des données finalisées, on s'assure que l'information a été soumise à des pratiques internes d'assurance de la qualité dans chaque DFD. Lorsqu'elle demande des données, la DIDCN fournit des modèles structurés à chaque DFD. Ces modèles précisent les données à fournir et comportent une section dans laquelle les DFD peuvent consigner des remarques sur la méthodologie, la classification ou d'autres changements susceptibles d'avoir une incidence sur les données. L'audit a confirmé que ces modèles sont utilisés par les DFD.

Après qu'on lui a retourné les modèles remplis, la DIDCN procède à un certain nombre de vérifications de base de la validité, effectuant notamment des vérifications par rapport aux soumissions antérieures et aux données de l'année précédente (analyse de la croissance) et, s'il y a lieu, une validation par rapport aux données des tableaux CANSIM et d'autres publications, ainsi qu'une vérification des totaux. Pour soutenir cette activité, il existe une liste de contrôle que l'on peut consulter pour les examens de la qualité. Les mouvements inhabituels, les variations et les autres problèmes font l'objet de questions posées à la DFD concernée et sont documentés.

La division qui prépare les certificats coordonne trois examens de TEC : un examen avec les coordonnateurs provinciaux et territoriaux et deux examens avec le ministère des Finances. Les coordonnateurs examinent les données provinciales et territoriales à consigner dans le certificat portant sur les sources de revenu, et le ministère des Finances examine des versions à différentes dates des certificats portant sur les assiettes et sur les sources de revenu, en septembre et en novembre. Ces examens représentent une vérification de la cohérence et du caractère raisonnable des données. Lors de l'audit, on a relevé la trace de points soulevés lors des examens de TEC, dont des interrogations de données, des demandes d'explication et des avis de mise à jour pour des renseignements manquants demandés aux DFD, ainsi que de réponses documentées.

Le statisticien en chef adjoint, Direction du système de comptabilité nationale, envoie les versions finales des modèles au Bureau du statisticien en chef (BSC) pour signature. L'audit a confirmé que le BSC se fie aux examens de données effectués à la DIDCN et aux DFD. Cela souligne encore plus l'importance, dans les pratiques mises en place par la DIDCN et les DFD, d'atténuer les risques potentiels à la qualité de l'information fournie par Statistique Canada pour que l'organisme puisse s'acquitter de ses obligations prévues par la LAFFP et son règlement.

L'équipe d'audit a effectué des tests pour obtenir confirmation que les données fournies par Statistique Canada aux fins des certificats portant sur l'assiette et sur les sources de revenu correspondent aux séries de données précisées dans le Règlement. L'audit a aussi examiné chaque renvoi aux dispositions du Règlement dans le modèle 2011-2012 de certificat portant sur l'assiette et dans les onglets provinciaux appuyant les modèles de certificats portant sur les sources de revenu de 2009-2010. Chaque renvoi inscrit dans les modèles a été validé par la vérification de l'article correspondant dans le Règlement.

L'équipe d'audit a examiné les données fournies dans les certificats portant sur les assiettes et sur les sources de revenu pour en vérifier la cohérence, le caractère complet et l'exactitude. Après avoir effectué des tests, l'équipe d'audit a constaté que les données figurant dans la version finale des certificats correspondaient à celles consignées dans les modèles des DFD. L'audit a aussi confirmé l'équivalence des données trouvées dans les versions française et anglaise des certificats ainsi que la notation correcte des unités de mesure (kilowatts, tonnes, dollars, etc.) et des blocs de paramètres, blocs titres et blocs de notes dans les tableaux.

Les certificats finalisés comportent un lien vers les chiffriers correspondants. Ces chiffriers contiennent les données et les calculs précis qu'exige le Règlement. L'équipe d'audit a testé les calculs faits dans les certificats portant sur l'assiette et sur les sources de revenu préparés en 2011 et 2012 et a constaté que les calculs figurant dans les chiffriers correspondants étaient cohérents et exacts et que les formules pour les provinces et les territoires étaient équivalentes.

Lors de l'audit, on a constaté que la DIDCN ne vérifiait pas si les formules consignées dans chaque cellule des certificats de péréquation s'accompagnaient d'un renvoi au chiffrier source correspondant ou si elles n'avaient pas été effacées (par écrasement), ce qui fait augmenter les risques pour la qualité de l'information. Les tests d'audit effectués sur les formules des certificats portant sur l'assiette et sur les sources de revenu préparés en 2011 et 2012 ont révélé des cas de renvoi incorrect et de formules écrasées dans les certificats de péréquation finalisés. Bien que des anomalies dans les données et dans les formules de données aient été relevées dans la version finale des certificats, l'équipe d'audit a remarqué que ces écarts n'avaient pas d'impact sur les chiffres finaux pour les années examinées.

Dans l'ensemble, la DIDCN a intégré d'efficaces points de contrôle de la qualité au processus de préparation des certificats de péréquation pour veiller à la qualité de l'information. Il serait possible de renforcer les pratiques de gestion de la qualité en s'assurant d'une validation des formules employées dans les certificats et en veillant à ce que les certificats soient configurés de manière à protéger les données et à empêcher que l'on efface les formules ou les données par inadvertance.

Cadre de gestion de la qualité : divisions fournissant les données

Dans le document Statistique Canada : lignes directrices concernant la qualité, il est indiqué que la certification ou la validation de l'information statistique devrait comprendre une fonction d'interrogation des données plutôt que de rationalisation de l'information, afin de mieux garantir la qualité de l'information. En outre, les lignes directrices recommandent que les activités de validation/certification doivent être exécutées par des analystes qui ne prennent pas part à la production des données. L'audit a révélé que les pratiques de gestion de la qualité suivies par les DFD pour les activités de préparation, de validation et d'approbation variaient d'une division à l'autre. Dans cinq des six DFD examinées, les tâches de préparation des données et de validation des données avaient été séparées. Dans une division dont la soumission de données de 2011 avait comporté des anomalies, les processus s'appuient sur une même personne pour exécuter les deux tâches d'extraction et de validation des données, et seule une personne en poste à cette division possède les connaissances requises pour fournir l'information. Il n'existe pas de plan pour éventualités en cas d'absence de l'une de ces personnes. Cette dépendance expose les données à des risques potentiels quant à leur qualité ou leur actualité

Les DFD sont responsables de la qualité de l'information qu'elles transmettent. L'équipe d'audit a trouvé des preuves qu'une validation des données est effectuée et qu'elle est documentée dans cinq des six divisions. Les éléments de preuve de cette validation consistaient en des comparaisons de chiffriers avec ceux des années précédentes, des explications documentées pour les importantes variations de données, une validation par rapport aux autres ensembles de données ou provinces et des vérifications des totaux. À la division qui n'avait pas de documents sur les processus, il n'y avait aucune preuve documentée de l'existence d'une activité de validation des données.

Les directeurs de programme sont tenus de signer le modèle divisionnaire à titre d'attestation de leur approbation de l'information soumise par leur division. Dans cinq des six DFD examinées, l'examen, par la direction, des modèles divisionnaires, est informel et non documenté, mais la direction a fait observer qu'avant de donner leur approbation signée, les directeurs de programme doivent avoir l'assurance que les données sont de qualité suffisante. Ce processus informel d'examen était variable : dans certains cas, l'examen était général, tandis que l'on demandait seulement aux directeurs s'il y avait eu une assurance de la qualité (pas d'interrogation particulière de données) avant qu'ils n'apposent leur signature; dans d'autres cas, il y avait une fonction plus détaillée d'interrogation des données, qui confirmait les types de vérifications effectués et précisait en quoi les données différaient par rapport aux années précédentes, avant la signature d'approbation des directeurs.

Dans l'une des six divisions examinées, l'examen de la direction est officialisé. Une présentation formelle est faite au directeur de programme dans laquelle sont précisés les données, les changements d'importance, les plus gros contributeurs et les raisons des grandes variations. Le directeur de programme effectue une interrogation de données pour l'information présentée. Les questions posées par le directeur de programme pendant l'activité d'interrogation de données sont documentées, et l'analyste doit ensuite y répondre par écrit. Lorsque le directeur est satisfait des explications, il signe les modèles. Lors de l'audit, on a constaté que des processus de signature étaient en place pour tous les modèles divisionnaires en 2011 et en 2012, dans les six DFD examinées dans le cadre de l'audit.

L'équipe d'audit a constaté que la majorité des DFD examinées avaient en place des pratiques efficaces de gestion de la qualité pour assurer une validation adéquate de l'information figurant dans les modèles divisionnaires. L'évaluation des examens de la qualité à l'interne et des fonctions d'interrogation et d'approbation des données par les directeurs de programme a révélé qu'il serait possible de renforcer le cadre si l'on officialisait les processus et si l'on documentait les preuves de l'examen de la qualité et de l'interrogation. En outre, les DFD devraient séparer les tâches de la préparation et de la validation des données et s'assurer d'avoir des plans pour éventualités afin de garantir la production avec exactitude de leurs soumissions de données.

Annexe A : Critères d'audit

Annexe B : Acronymes