Audit du Processus de planification à long termede Statistique Canada

Rapport d'audit

22 avril 2013
Numéro de projet : 80590-76

Résumé
Introduction
- Contexte
- Objectifs de l'audit
- Portée
- Approche et méthodologie
- Autorité
Constatations, recommandations et réponses de la direction
- Environnement de contrôle du processus de planification à long terme
- Supervision et examen minutieux pour la prise de décisions
Annexes
- Annexe A : Critères d'audit
- Annexe B : Acronymes
Figures
- Figure 1 : Processus intégré de planification stratégique (PIPS)
- Figure 2 : Étapes du processus de planification à long terme (PLT)

Résumé

Statistique Canada, qui a comme mandat de répondre aux besoins statistiques de tous les niveaux de l'administration publique, des institutions canadiennes et de tous les Canadiens, tente de s'assurer que les Canadiens ont accès à une source fiable de données statistiques sur le Canada, qui répondent à leurs besoins d'information les plus prioritaires. La fourniture de données de grande qualité à l'appui des programmes de base de statistiques économiques, environnementales et sociales, joue un rôle clé dans la détermination de la façon dont Statistique Canada affecte ses ressources. Ainsi, l'établissement des priorités stratégiques et le financement des investissements se font par l'intermédiaire du Processus intégré de planification stratégique (PIPS) établi en 2010-2011. Le PIPS est constitué d'un cycle annuel à six étapes, les quatre premières étant désignées comme le processus de planification à long terme (PLT), qui a vu le jour en 1984.

Statistique Canada prévoit investir 134 millions de dollars dans les actifs, 171 millions de dollars dans les services acquis et 512 millions de dollars dans les projets (le projet le plus important étant le Recensement de la population et l'Enquête nationale auprès des ménages de 2011), au cours de la période de planification de 2011-2012 à 2015-2016. Les investissements prévus répondent aux exigences opérationnelles de Statistique Canada et se situent à l'intérieur des niveaux de référence existants de StatCan.^{Footnote 1}

Les objectifs du présent audit étaient de fournir au statisticien en chef (SC) et au Comité ministériel de vérification (CMV) de Statistique Canada l'assurance que des mécanismes de gouvernance sont en place pour appuyer la planification, l'affectation des ressources et le contrôle des projets de PLT, et que la détermination et l'approbation des projets de PLT sont soumises à un processus structuré et systématique.

L'audit a été effectué par la division de vérification interne, en conformité avec la Politique sur la vérification interne du gouvernement du Canada.

Principales constatations

Statistique Canada dispose d'un processus officiel de PLT, qui est documenté et généralement compris par les participants. Toutefois, certains rôles et responsabilités importants ne sont pas bien définis, ce qui mène à un manque de clarté en ce qui a trait à la façon dont les intervenants clés participent au processus. Dans d'autres cas, les rôles et responsabilités des organismes de gouvernance clés ne sont pas bien définis, ou leur définition comporte un degré élevé de souplesse, ce qui crée des possibilités de manque d'uniformité dans la gouvernance au cours du processus de planification.

Il n'existe actuellement aucune exigence de documentation officielle des hypothèses de planification à l'appui des estimations des coûts et des gains d'efficience, ni de directives officielles pour la préparation de l'estimation des coûts, ainsi que des gains d'efficience prévus et réels. Par conséquent, les approches utilisées pour produire et suivre ces estimations ne sont pas uniformes.

À l'heure actuelle, les projets de l'Architecture opérationnelle du Bureau (AOB) ne tiennent pas toujours compte des interdépendances qui existent dans l'environnement matriciel de Statistique Canada. Cela peut entraîner la perte de possibilités de gains d'efficience plus grands. Un « modèle d'interdépendance » a été élaboré par la Division de la planification intégrée (DPI) pour mieux définir et gérer les interdépendances. Lorsque le modèle sera approuvé, il sera obligatoire pour les projets de l'AOB, en vue de suivre, déterminer, gérer et contrôler officiellement les interdépendances entre les projets de l'AOB.

Les pratiques de gouvernance et les pratiques opérationnelles pour l'examen minutieux et la remise en question varient d'un secteur à l'autre, les données financières et non financières des formulaires de PLT faisant l'objet d'un examen exhaustif et d'une remise en question limités par les AP et les CGF. Les remises en question par les participants clés et à l'intérieur des organismes de gouvernance ne sont pas documentées. Cela peut donner lieu à une évaluation non uniforme des propositions d'un secteur à l'autre et à des données incomplètes à l'appui de décisions de planification et d'approbation défendables.

On se conforme en général au processus de PLT énoncé et la valeur de ce processus est de plus en plus reconnue, du fait de l'évolution considérable de l'utilisation du CGPO et d'outils connexes. Toutefois, les estimations originales des coûts de base et des gains d'efficience des projets devraient être incluses dans le tableau de bord de la direction, en vue de suivre, contrôler, comprendre et remettre en question systématiquement les répercussions des rajustements de projet par rapport aux estimations originales des coûts et des gains d'efficience.

Les pratiques d'archivage et de gestion de l'information liées à la propriété, au contrôle des versions et à la transmission devraient être raffermies, afin d'assurer une saine gérance et l'intégrité des données.

Conclusion générale

Le processus de PLT existe depuis un certain temps, mais a connu récemment une évolution majeure, avec l'avènement du CGPO et des exigences connexes. Les nouveaux outils et structures pour le processus de PLT fournissent une bonne base pour la prise de décisions défendables de façon disciplinée, mais d'autres progrès doivent être réalisés, tant du point de vue des processus que de la culture.

Une plus grande clarté des rôles et responsabilités, des directives concernant les estimations des coûts et des gains d'efficience, et de la documentation officielle concernant les hypothèses de planification pour les estimations des coûts et des gains d'efficience augmenteront la capacité des organismes de gouvernance et des participants clés de s'acquitter de leurs responsabilités en matière d'examen minutieux et de remise en question. L'inclusion des coûts de base originaux dans les tableaux de bord de projet améliorera la capacité des parrains des projets et des organismes de gouvernance de suivre et de contrôler efficacement les répercussions cumulatives des rajustements de projet, afin d'assurer une saine gérance des ressources.

Il existe des possibilités de raffermir les pratiques d'archivage et de gestion de l'information liées à la propriété, au contrôle des versions et à la transmission, afin d'assurer une saine gérance et l'intégrité des données.

Conformité aux normes professionnelles

L'audit a été effectué en conformité avec les Normes relatives à la vérification interne au sein du gouvernement du Canada, lesquelles comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institut des auditeurs internes.

Patrice Prud'homme
Dirigeant principal de la vérification

Introduction

Contexte

En tant que bureau national de la statistique, Statistique Canada a comme mandat de répondre aux besoins statistiques de tous les niveaux de l'administration publique, des institutions canadiennes et de tous les Canadiens. Statistique Canada contribue à la plupart des résultats de l'administration fédérale dans les domaines des affaires économiques, sociales, internationales et gouvernementales. Ce faisant, il tente de s'assurer que les Canadiens ont accès à une source fiable de données statistiques sur le Canada, qui répondent à leurs besoins d'information les plus prioritaires.

L'affectation des ressources à l'appui du mandat et des priorités de StatCan se fait par l'intermédiaire du Processus intégré de planification stratégique (PIPS) établi en 2010-2011. Le PIPS décrit comment les décisions sont prises dans le cadre du processus de planification à long terme (PLT). Le PIPS est un processus annuel constitué de six étapes. Les quatre premières étapes correspondent au processus de PLT, et les cinquième et sixième étapes ont trait à la communication des plans et au contrôle des projets de PLT. Établi officiellement en 1984, le processus de PLT a évolué au fil des ans et s'est adapté récemment à l'application des outils mis en œuvre dans le Cadre de gestion des projets de l'organisme (CGPO), qui a lui-même été lancé comme projet pilote, en 2011-2012. Les fonctions de gestion de projet sont appuyées par le Bureau de gestion des projets de l'organisme (BGPO).

Dans le cadre du processus de PLT, Statistique Canada évalue chaque année ses programmes et ressources, afin de les ajuster en fonction de l'évolution des besoins et des priorités des clients. Le processus fournit aussi une tribune pour la détermination et l'examen des enjeux transversaux, favorise de plus grands gains d'efficience et encourage l'innovation. Afin d'assurer la continuité et la qualité permanente des programmes, l'exercice du PIPS comporte un horizon de planification de dix ans, appelé « Financer l'avenir », afin d'aider Statistique Canada à planifier à l'avance les dépenses importantes, à gérer les risques opérationnels et à aligner ses programmes sur les besoins des Canadiens. Par l'intermédiaire du PIPS, Statistique Canada intègre de saines pratiques de gestion, comme la gestion du risque, la planification des investissements ainsi que la gestion et l'évaluation de projet, dans le processus de planification.

Figure 1 : Processus intégré de planification stratégique (PIPS)

Description de la Figure 1 : Processus intégré de planification stratégique (PIPS)

La première étape du processus de PLT commence en avril de chaque année par une séance d'« orientation stratégique », afin de faire correspondre cette dernière et les priorités et enjeux émergents, de mettre à jour le Profil de risque organisationnel et de mettre l'accent sur les discussions entourant l'atténuation des risques organisationnels importants. À la deuxième étape, de mai à juin, les gestionnaires mettent à jour leurs perspectives d'investissement sur dix ans, afin de tenir compte des renseignements les plus à jour disponibles, et élaborent une proposition opérationnelle de haut niveau, en vue d'obtenir du financement par l'intermédiaire du processus de PLT. Les propositions sont regroupées en trois grandes catégories pour la prise de décisions :

Améliorations et initiatives de l'Architecture opérationnelle du Bureau (AOB);
Continuité et maintien de la qualité(CMQ) des programmes existants;
Nouvelles initiatives/améliorations.

Chaque catégorie rend compte des différents aspects de la planification stratégique. Les initiatives de l'AOB permettent de trouver des façons nouvelles et améliorées de mener les activités et générer des gains d'efficience dans les processus opérationnels intégrés ou d'améliorer leur robustesse et leur capacité de réaction. Les gains d'efficience nets découlant des projets de l'AOB servent à maintenir la continuité et la qualité des programmes existants par l'intermédiaire des projets de CMQ, par exemple, la mise en œuvre de nouvelles normes et classifications internationales, le remaniement des systèmes, le remaniement des échantillons, etc. Les nouvelles initiatives ou améliorations des programmes sont financées grâce à la réaffectation du budget existant ou à de nouveaux fonds (affectations du Conseil du Trésor ou recouvrement des coûts).

Au cours de la troisième étape, de juillet à octobre, une analyse de rentabilisation détaillée pour chaque proposition approuvée est élaborée par les gestionnaires. On détermine l'ensemble des coûts, les options en matière d'investissement et les économies prévues, en vue de leur examen et de leur approbation par les conseils de planification du secteur (CPS).

À la quatrième étape, en novembre, les analyses de rentabilisation sont présentées au Comité d'examen de la haute direction (CEHD). Ce dernier veille à ce que toutes les données et répercussions aient été dûment prises en compte et détermine les investissements qui seront financés. Les décisions finales sont consignées dans le Registre des décisions (Livre bleu), qui est distribué à l'équipe des cadres supérieurs de StatCan à la fin du processus.

Objectifs de l'audit

Les objectifs du présent audit étaient de fournir au statisticien en chef (SC) et au Comité ministériel de vérification (CMV) de Statistique Canada l'assurance que :

Statistique Canada dispose de mécanismes de gouvernance appropriés pour appuyer la planification, l'affectation des ressources et le contrôle des projets de PLT.
La définition et l'approbation des projets de PLT sont facilitées par un processus structuré et systématique, appuyé par des connaissances appropriées et des données défendables.

Portée

La portée de cet audit comprenait un examen du caractère adéquat et de l'efficacité des contrôles en place concernant le processus de planification à long terme. Parmi les domaines particuliers examinés figuraient les suivants :

pratiques de gouvernance et de contrôle à l'appui de fonctions claires de reddition de comptes, de supervision, d'examen minutieux et de remise en question; et
processus et contrôles opérationnels qui permettent l'application uniforme d'une méthode commune de PLT, ainsi qu'outils, formation et pratiques de gestion de l'information qui appuient des décisions de PLT éclairées.

La portée de l'audit comprenait tous les secteurs de Statistique Canada et incluait un échantillon de 20 dossiers de projets approuvés en 2010-2011, pour le financement de PLT de 2011-2012. Les responsables de l'audit reconnaissent que l'exercice choisi pour l'essai correspondait à la première année suivant le lancement du CGPO comme projet pilote et à une période d'adaptation des programmes et du BGPO au nouveau processus.

Approche et méthodologie

Les travaux d'audit ont consisté à examiner des documents, à interviewer des cadres supérieurs et du personnel clés et à passer en revue les procédures, Lignes directrices et cadres pertinents concernant le processus de planification à long terme.

Les travaux sur le terrain ont compris un examen des procédures et de la documentation pertinentes, afin d'appuyer les pratiques de gouvernance et de contrôle, ainsi que la mise à l'essai de processus et de procédures opérationnels, afin de vérifier si des pratiques de gestion de l'information appropriées et robustes sont en place, si le processus de PLT est suivi par tous les intervenants clés, et si des mécanismes robustes d'examen minutieux et de remise en question existent et sont appliqués à l'appui de décisions de planification et d'approbation défendables.

Cet audit a été effectué suivant les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institut des auditeurs internes (IAI) et en conformité avec la Politique sur la vérification interne du SCT.

Autorité

L'audit a été mené en vertu des pouvoirs prévus dans le Plan de vérification et d'évaluation axé sur les risques de Statistique Canada pour 2012-2013 à 2014-2015 recommandé par le Comité ministériel de vérification en avril 2012 et approuvé ensuite par le statisticien en chef.

Constatations, recommandations et réponses de la direction

Objectif no 1 : Statistique Canada dispose de mécanismes de gouvernance appropriés pour appuyer la planification, l'affectation des ressources et la surveillance des projets de PLT.

Environnement de contrôle du processus de planification à long terme

Statistique Canada dispose d'un processus officiel de PLT, qui est documenté et généralement compris par les participants. Toutefois, certains rôles et responsabilités des AP, des CGF et des GPS ne sont pas définis, ce qui amène un manque de clarté en ce qui a trait à la façon dont les intervenants clés participent au processus. Dans d'autres cas, la définition des rôles et responsabilités des CPS comporte un degré élevé de souplesse, ce qui crée des possibilités de manque d'uniformité dans la gouvernance au cours du processus de planification.

À l'heure actuelle, les projets de l'AOB ne tiennent pas toujours compte des interdépendances qui existent dans l'environnement matriciel de Statistique Canada. Cela peut entraîner la perte de possibilités de gains d'efficience plus grands. Un « modèle d'interdépendance » a été élaboré par la DPI pour mieux définir et gérer les interdépendances. Lorsque le modèle sera approuvé, il sera obligatoire pour les projets de l'AOB, en vue de suivre, déterminer, gérer et contrôler officiellement les interdépendances entre les projets de l'AOB.

Aux termes de la Politique de planification des investissements – Actifs et services acquis du Conseil du Trésor, les administrateurs généraux doivent veiller à ce que des mesures de gouvernance, des systèmes et des ressources appropriés pour la planification des investissements soient en place et soient maintenus selon des principes de saine gérance et d'optimisation. Par ailleurs, un cadre efficace de gestion des investissements, y compris des procédures, processus et systèmes ministériels, devrait être mis en œuvre.

Processus de planification à long terme

Une description du processus de planification à long terme est intégrée dans deux documents clés, « Processus intégré de planification stratégique à Statistique Canada : Aperçu » et « Lignes directrices du Cadre de gestion de projets de l'organisme(CGPO) » (les Lignes directrices), élaborés par la Division de la planification intégrée (DPI).

Le document Processus intégré de planification stratégique à Statistique Canada : Aperçu fournit une explication du PIPS, une description de la structure de gouvernance propre au PIPS et une description des responsabilités clés des comités de gouvernance. Il comprend une section distincte pour chacune des six étapes, ainsi qu'une description des activités particulières, des intervenants clés, des responsabilités et des documents, des produits livrables et des produits liés à chaque activité.

Le processus de PLT représente deux étapes du cadre de gestion de projets, et les Lignes directrices fournissent une description des concepts de gestion des projets, de la gestion des risques des projets, des étapes de gestion des projets, des produits livrables et de la documentation, des processus de gouvernance, des comités de gouvernance et de leurs rôles et responsabilités, ainsi que des rôles et responsabilités du gestionnaire de projet et des équipes de projet.

Les deux documents sont facilement accessibles pour tous les participants clés au processus dans le site intranet de Statistique Canada. De la formation relative au PIPS est en place et a été fournie sur une base pilote. Les documents de formation fournissent un bon aperçu et une description du processus de PLT et sont conformes aux Lignes directrices.

Figure 2 : Étapes du processus PLT

Les deux étapes du processus de PLT sont illustrées ci-dessous.

Description de la Figure 2 : Étapes du processus PLT

À l'étape 1, les responsables des programmes élaborent une proposition opérationnelle (PO) pour approbation. Les propositions de l'Architecture opérationnelle du Bureau (AOB) sont approuvées à la fois par le Comité de gestion de l'AOB et les CPS, et les projets non parrainés par l'AOB sont approuvés par les CPS. Les propositions approuvées par les CPS sont par la suite soumises au CEHD, en juin, pour l'approbation de la porte de décision 1 et l'examen du financement de PLT. Les propositions dont l'examen est approuvé en juin passent à l'étape 2. À l'étape 2 les responsables des programmes préparent une Évaluation de la complexité et des risques des projets (ECRP) et un modèle d'analyse de rentabilisation et d'établissement des coûts de l'analyse de rentabilisation (ECAR). Ces formulaires subissent alors le même processus d'approbation qu'à l'étape 1 et sont soumis au CEHD en novembre, pour l'approbation de la porte de décision 2.

Rôles et responsabilités

Les rôles, les responsabilités et la reddition des comptes pour les comités de gouvernance suivants qui participent au processus de PLT sont définis et documentés officiellement dans le document du PIPS et dans les Lignes directrices :

Conseils de planification du secteur (CPS)
Comité de gestion de l'Architecture opérationnelle du Bureau (AOB)
Secrétariat de l'Architecture opérationnelle du Bureau
Conseil d'examen de la haute direction (CEHD)
Comité directeur de la Direction et
Comité directeur de projet.

Le rôle du CPS est défini en termes généraux dans les Lignes directrices. Ces dernières stipulent que

« chaque CPS a toute la latitude quant à la façon de procéder aux examens de porte de décision ».

Cela entraîne un manque d'uniformité dans le processus de planification, y compris les échéances de présentation des documents du CGPO pour le processus de PLT. Cela pourrait avoir des répercussions négatives sur l'uniformité des pratiques de gouvernance d'un secteur à l'autre.

Dans le cadre de l'audit, on a noté qu'il n'existe pas de mandat officiel pour l'un ou l'autre des organismes de supervision, même si un des secteurs a élaboré un document de « modèle de gouvernance » qui décrit l'objectif du CPS et d'autres organismes de supervision au niveau de la direction, ainsi que leurs rôles et responsabilités en ce qui a trait au processus de PLT. Le mandat prend la forme de Lignes directrices écrites qui précisent le rôle, l'objectif et les responsabilités d'un comité. Le CEHD est responsable en dernier ressort des décisions prises par les organismes de gouvernance; par conséquent, il est important d'établir un mécanisme de rapport clair et de fixer les paramètres selon lesquels les pouvoirs sont délégués aux CPS et au Comité de gestion de l'AOB.

Les interviews avec les GPS des autres secteurs ont révélé leur intention de reprendre le « modèle de gouvernance » pour leurs propres secteurs. Le Secrétariat de l'AOB a aussi confirmé son intention d'élaborer un mandat officiel pour le Comité de gestion de l'AOB.

Les rôles, les responsabilités et la reddition des comptes pour le gestionnaire de projet (GP) et l'équipe de projet sont définis et documentés officiellement dans les Lignes directrices. Cela n'est pas le cas pour l'analyste de planification (AP), le gestionnaire de portefeuille de secteur (GPS) et le conseiller en gestion financière (CGF), ce qui a donné lieu à de la confusion et à un chevauchement des activités.

Le rôle et les responsabilités des GP varient selon le secteur et le programme en ce qui a trait au processus de PLT. Les GP au niveau du directeur adjoint et aux niveaux supérieurs ont davantage participé au processus, à partir de l'étape de la détermination et de la définition du concept, et ils ont participé aux comités de gestion de la direction et de la division, ainsi qu'aux CPS. Le rôle des GP au niveau du chef commence généralement par la préparation des documents du CGPO pour l'étape 2 du processus de PLT, et ils n'ont pas une connaissance du cycle de vie complet de la proposition.

L'analyste de planification est considéré comme le propriétaire du processus de PLT, mais il n'existe pas de définition commune de la nature de l'examen minutieux qu'il devrait exercer. En tant que propriétaires du processus de PLT, ils exercent leur connaissance des processus en veillant à ce que les documents présentés aux CPS correspondent aux objectifs intégrés et aux exigences du CGPO, en mettant l'accent sur leur caractère complet et raisonnable, mais pas sur leur substance ou le contenu de l'information soumise. Les interviews avec les parrains de projet (niveau du DG) ont confirmé que les AP aident à l'entrée des données et assurent la comparabilité des propositions soumises, ainsi que l'application d'une approche commune à tous les projets, mais n'exercent pas de fonction de remise en question.

Le poste de GPS, qui relève des statisticiens en chef adjoints (SCA), est nouveau et a vu le jour en raison de l'augmentation des exigences de supervision et de documentation par suite de l'adoption du CGPO. Les GPS aident à la gestion et au contrôle des activités de projet dans leur secteur. De ce fait, ils passent en revue la documentation du CGPO, afin de déterminer si elle est complète, avant de la soumettre au CPS et de présenter la version finale au BGPO. Il existe un chevauchement et un double emploi dans les rôles et responsabilités des AP et des GPS.

Le rôle des GPS, comme celui des AP, varie selon le secteur. Par exemple, dans certains secteurs, ils doivent obligatoirement être présents au Conseil de planification du secteur. Dans d'autres cas, ils sont invités au besoin. Leurs rôles et responsabilités en ce qui a trait à l'examen minutieux et à la remise en question des estimations financières pendant le processus de PLT ne sont pas clairs.

Un processus officiel de PLT est documenté et généralement compris par les participants, mais certains des rôles et responsabilités clés ne sont pas bien définis, ce qui mène à un manque de clarté en ce qui a trait à la façon dont les intervenants clés participent et contribuent au processus.

Directives

Le processus de PLT fait partie des directives plus larges entourant le PIPS et le CGPO, et il est décrit à un niveau élevé, étape par étape, dans la partie des mécanismes du CGPO des Lignes directrices liée au processus de PLT. Les directives concernant chaque étape sont axées sur les formulaires à préparer et décrivent qui est responsable, chargé de rendre des comptes, consulté et informé pour chaque produit livrable.

Dans le cadre des interviews, on a déterminé que les directives étaient insuffisantes concernant la préparation des estimations des coûts et l'estimation des gains d'efficience prévus et des gains d'efficience réels (pour les projets de l'AOB). Un examen des Lignes directrices a confirmé que cela était le cas et a révélé que les hypothèses n'ont pas à être documentées comme explication à l'appui de la façon dont les estimations des coûts ou des gains d'efficience ont été obtenues. Les données d'interview laissent supposer que des discussions concernant les hypothèses de planification ont lieu de façon informelle et bilatérale à diverses étapes du processus de PLT. Les discussions sont fondées sur l'expérience et les connaissances accumulées et combinées des intervenants clés du processus; toutefois, il existe peu de preuves documentées, voire pas du tout, de ces discussions.

L'examen des documents du CGPO pour le processus de PLT (les modèles de proposition opérationnelle, d'analyse de rentabilisation et d'établissement des coûts de l'analyse de rentabilisation) a révélé que chaque modèle de formulaire est appuyé par un guide, qui comprend des instructions détaillées sur la façon de remplir chaque formulaire. Dans le guide du modèle de proposition opérationnelle, la définition qui est incluse pour une hypothèse est la suivante :

« qui ferait de la proposition une réussite ou un échec ».

On ne précise toutefois pas que les hypothèses de planification des estimations de coûts et de gains d'efficience devraient être incluses.

Au moment de l'audit, la DPI a indiqué qu'elle mettra en œuvre un modèle « d'établissement de coûts du projet », qui nécessitera de la documentation des données financières et non financières, ainsi que des hypothèses sous-jacentes. Cela réduira le risque d'une approche non uniforme et non comparable en ce qui a trait aux estimations des coûts et des gains d'efficience et augmentera la capacité de suivre la concrétisation de ces gains.

En tant qu'organisation matricielle, les responsabilités fonctionnelles à Statistique Canada sont organisées en six secteurs, la gestion des processus d'élaboration de produits des grands projets étant assurée par les différents secteurs. Par conséquent, la plupart des projets sont interdépendants et nécessitent des consultations dans l'ensemble de l'organisation, afin de déterminer les synergies possibles, de permettre les liens appropriés et de gérer les changements d'un secteur à l'autre. Les projets qui ne sont pas gérés de façon interdépendante pourraient donner lieu à un chevauchement, un dédoublement et des coûts inutiles.

L'audit a déterminé que, lorsque les estimations des ressources sont préparées, les Lignes directrices ne précisent pas d'exigences particulières pour la collecte des données ou les consultations entre les secteurs ou avec les fournisseurs de services internes. En pratique, certaines consultations entre les secteurs ont lieu de façon informelle ou bilatérale au niveau du projet, mais il n'existe pas de preuves documentées laissant supposer que cela se fait. Par conséquent, une piste de vérification limitée est en place en ce qui a trait à la nature et à la portée des délibérations et des discussions qui se tiennent, ainsi que des hypothèses qui sont faites. L'approbation par des secteurs interdépendants constituait une exigence des processus de supervision par le passé, mais avec le CGPO, les formulaires sont maintenant soumis sous forme électronique et des approbations sur papier par les partenaires ne sont plus requises.

Un « modèle d'interdépendance » a été élaboré par la DPI, pour mieux définir et gérer les interdépendances. Lorsque le modèle sera approuvé, il sera obligatoire pour les projets de l'AOB, en vue de suivre, déterminer, gérer et contrôler officiellement les interdépendances entre les projets de l'AOB.

Recommandations :

Le Statisticien en chef adjoint, Services intégrés devrait veiller à ce que :

Les rôles et responsabilités de l'analyste de planification, du gestionnaire de portefeuille de secteur, du conseiller en gestion financière, du gestionnaire de programme et des Conseils de planification du secteur soient clairement définis, documentés et communiqués dans les Lignes directrices et à ce qu'un mandat officiel pour les organismes de gouvernance (Conseil d'examen de la haute direction, Comité de gestion de l'AOB et CPS) soit élaboré, approuvé et passé en revue périodiquement pour établir le rôle, l'objectif et les responsabilités et inclure des échéances clairement définies entre les intervenants pour la production des documents clés du processus de PLT.
Les modèles du processus de PLT du CGPO (proposition opérationnelle, analyse de rentabilisation et établissement des coûts de l'analyse de rentabilisation) soient mis à jour pour que les hypothèses de planification et les justifications des estimations de coûts et de gains d'efficience (le cas échéant) soient documentées et à ce qu'un modèle d'établissement des coûts du projet soit élaboré et adopté pour appliquer une approche uniforme et comparable à l'estimation des coûts et des gains d'efficience.
Des Lignes directrices soient élaborées pour la tenue et la documentation des consultations d'interdépendance entre les secteurs, y compris les fournisseurs de services internes, afin de suivre, déterminer, gérer et contrôler officiellement les interdépendances.

Réponse de la direction :

La direction souscrit à la recommandation formulée.

Le directeur de la DPI assurera la documentation des rôles et responsabilités de l'analyste de planification, du gestionnaire de portefeuille de secteur, du conseiller en gestion financière, du gestionnaire de programme et des Conseils de planification du secteur, et cette démarche est en cours.

Produit livrable et échéance : Le document « Rôles et responsabilités du Conseil de planification du secteur : Mandat » sera mis à la disposition de tous les gestionnaires dans le site du RCI de la DPI, au plus tard le 30 juin 2013.
Le directeur de la DPI s'assurera que la documentation du mandat officiel des organismes de gouvernance (Conseil d'examen de la haute direction, Comité de gestion de l'AOB et CPS), comportant des échéances clairement déterminées pour la production des documents clés pour le processus de PLT, soit élaborée.

Produit livrable et échéance : Le mandat officiel sera mis à la disposition de tous les gestionnaires dans le site du RCI de la DPI, au plus tard le 31 octobre 2013.
Le directeur de la DPI a lancé un processus et un outil pour suivre et contrôler les risques, enjeux et interdépendances du portefeuille de l'AOB pour les projets de l'AOB et 16 projets non parrainés par l'AOB, en date du 28 février 2013.

Produit livrable et échéance : Le chiffrier des interdépendances et l'analyse des produits livrables et des échéances clés de projet doivent être terminés d'ici le 30 juin 2013. La formation et le soutien des gestionnaires des projets doivent être complets, au plus tard le 31 août 2013, et les mises à jour trimestrielles du Comité de gestion de l'AOB, d'ici le 31 octobre 2013.

Objectif no 2 : La définition et l'approbation des projets de PLT sont facilitées par un processus structuré et systématique, appuyé par des connaissances appropriées et des données défendables.

Supervision et examen minutieux pour la prise de décisions

Des pratiques de gérance appropriées et robustes, ainsi que des mécanismes d'examen minutieux et de remise en question, devraient exister pour appuyer des décisions de PLT défendables, assurer la gérance des ressources des projets, assurer la reddition des comptes pour les projets et aligner les projets sur les résultats stratégiques ministériels.

Dans le cadre de l'audit, on a examiné un échantillon de 20 fichiers de projets de PLT approuvés en 2010-2011, pour du financement de PLT en 2011-2012, afin de vérifier si des pratiques de gestion de l'information appropriées et robustes étaient en place, si le processus de PLT était suivi par tous les intervenants clés, et si des mécanismes robustes d'examen minutieux et de remise en question existaient et étaient appliqués à l'appui de décisions de planification et d'approbation défendables. Dans le cadre de l'audit, on a reconnu que l'exercice sélectionné pour l'essai représentait la première année du lancement du CGPO comme projet pilote et on a noté que les deux programmes et le BGPO étaient en train de s'adapter au nouveau processus.

Au total, 7 projets de l'AOB et 13 projets non parrainés par l'AOB ont été sélectionnés de façon discrétionnaire pour l'essai, afin d'assurer la couverture des trois catégories de projets de tous les secteurs. Les formulaires remplis de proposition opérationnelle (PO), d'analyse de rentabilisation et d'établissement des coûts de l'analyse de rentabilisation pour chaque projet ont été obtenus de la Division de la planification intégrée (DPI), qui joue le rôle de

« répertoire central de toutes les copies électroniques des documents finaux »,

selon les Lignes directrices.

Gestion de l'information

Un examen des Lignes directrices a révélé que, même si la gestion des documents y est abordée, l'accent est mis dans une large mesure sur les modèles à utiliser, et non pas sur les pratiques de gestion de l'information liées à la propriété, au contrôle des versions, à la transmission contrôlée et à l'intégrité des données. Dans le cadre de l'audit, on a tenté de suivre les formulaires de PO, d'analyse de rentabilisation et d'établissement des coûts de l'analyse de rentabilisation échantillonnés qui sont conservés dans le répertoire central, et on a confirmé qu'ils étaient conformes aux dossiers détenus par le gestionnaire de projet. Ce test n'a pas pu être achevé parce que l'équipe d'audit a eu de la difficulté à obtenir les documents finaux. Dans le cas des projets de l'AOB, la DPI a pu fournir uniquement les deux tiers des documents demandés, et dans le cas des projets non parrainés par l'AOB, elle n'a pu fournir que la moitié des documents demandés. Un répertoire commun pour les projets non parrainés par l'AOB n'était pas requis pour l'année sélectionnée pour notre test d'audit, mais a été établi l'année suivante.

Un examen de la structure du répertoire du BGPO a révélé qu'il est configuré pour suivre les étapes du PIPS, et que tous les dossiers des projets de PLT sont reliés de façon uniforme à cette structure. Comme il est noté précédemment, les répertoires de projets de l'AOB ne comprenaient pas la documentation complète des projets. Un examen plus poussé a révélé que les défis au chapitre de l'archivage ont été attribués au roulement des AP et au volume de projets à gérer. L'audit a permis de noter qu'avec l'arrivée des GPS, le rôle de l'AP comme coordonnateur et gestionnaire de l'information n'est pas clair et pourrait entraîner de la confusion en ce qui a trait au contrôle des versions et à la propriété des documents de PLT.

Conformité au processus de PLT

Les formulaires de PO reçus pour six projets de l'AOB et neuf projets non parrainés par l'AOB ont été remplis en conformité avec les instructions des directives incluses dans le formulaire.
Seulement trois projets de l'AOB et six projets non parrainés par l'AOB comportaient une analyse de rentabilisation. Pour les projets de l'AOB, un des formulaires avait été rempli au moyen des hypothèses fournies, tandis que ceux relatifs aux deux autres semblaient être en voie d'élaboration, avec de nombreuses sections incomplètes.
Parmi les projets échantillonnés, deux ne comportaient pas de formulaires d'établissement du coût de l'analyse de rentabilisation. L'autre comprenait les coûts estimés et les gains d'efficience prévus.

Dans le cas des projets qui comportaient des formulaires remplis, l'audit a souligné que peu de documentation de soutien des hypothèses ou d'analyse de soutien, voire pas du tout, n'était disponible pour les estimations des coûts et des gains d'efficience.

L'audit a permis de noter qu'il y a eu une évolution considérable dans l'utilisation du CGPO et d'outils connexes, particulièrement en ce qui a trait aux projets de l'AOB, et que la valeur de ce processus se concrétise de plus en plus. Dans le cas des projets non parrainés par l'AOB, le processus de PLT est encore perçu comme une exigence de « conformité », plutôt que comme une pratique de gestion utile. Toutefois, les pratiques d'archivage et de gestion de l'information liées à la propriété, au contrôle des versions et à la transmission devraient être raffermies pour assurer une saine gérance et l'intégrité des données.

Mécanismes d'examen minutieux et de remise en question

L'examen minutieux et la remise en question d'une proposition de projet de PLT, à partir de la définition du concept jusqu'aux approbations de la porte de décision 1 et de la porte de décision 2, se déroulent au niveau du secteur et au niveau de Statistique Canada. Compte tenu du volume de propositions de projet déterminées pour le financement de PLT, une part importante de l'examen minutieux et de la remise en question a lieu avant les réunions de gouvernance au niveau de Statistique Canada. Cela est approprié, tant du point de vue du déroulement des processus que des gains d'efficience.

Au niveau du secteur, les données des interviews ont révélé qu'une somme considérable de discussions bilatérales a lieu de diverses façons chez les participants clés, au moment de l'examen minutieux et de la remise en question des propositions de projet et des documents de PLT. Les cadres supérieurs font preuve de rigueur et de diligence (directeurs adjoints, directeurs, DG, SCA), dans le cadre des diverses réunions de direction et de division. Les parrains de projet, c'est-à-dire les DG, participent à partir de l'étape de la définition du concept et supervisent tous les projets dans le cadre des décisions préliminaires qui sont prises dans leur secteur. Selon eux, les hypothèses ne sont pas documentées dans les formulaires du CGPO, mais sont discutées verbalement et remises en question dans le cadre des diverses réunions au niveau du secteur, des réunions du Comité directeur de projet et, enfin, du CPS. La nature de l'examen minutieux exercé par les participants clés n'a pu faire l'objet d'un examen indépendant en raison du manque de preuves documentaires.

La façon dont les AP, les GPS et les CGF interagissent les uns avec les autres et avec la direction à l'intérieur d'un secteur au chapitre de l'examen minutieux et de la remise en question des propositions de projet, ainsi que des documents de PLT, varie et est fondée sur le secteur en question et la personnalité des intervenants.

Les interviews ont révélé que les AP n'ont pas toujours l'impression d'avoir les pouvoirs pour faire preuve de diligence raisonnable ou le temps pour procéder à un examen exhaustif et à une remise en question des données financières et non financières des formulaires de PLT. La participation des CGF dans le processus de PLT commence principalement au moment de la mise en œuvre du projet. Comme les AP, ils croient ne pas toujours avoir les pouvoirs nécessaires pour faire preuve de diligence raisonnable, ni le temps pour procéder à un examen exhaustif et à une remise en question des données financières des formulaires de PLT. Les GPS jouent de plus en plus un rôle de coordination et d'examen minutieux similaire à celui des AP.

Au niveau du secteur, des CPS sont en place et jouent un rôle actif dans la fonction d'examen minutieux et de remise en question des propositions de projet de PLT. Toutefois, les Lignes directrices stipulent que

« chaque CPS a toute la latitude quant à la façon de procéder aux examens de porte de décision ».

Cela entraîne un manque d'uniformité dans le processus de planification, qui pourrait donner lieu à des pratiques de gouvernance variables d'un secteur à l'autre. Un examen des présentations et des comptes rendus des réunions des CPS ont révélé que leurs pratiques varient de l'un à l'autre.

Au niveau de Statistique Canada, il y a un Comité de gestion de l'AOB et un CEHD. Les données des interviews, l'examen des présentations dans le cadre des réunions des gestionnaires de l'AOB et la participation comme observateurs par l'équipe d'audit au Comité de gestion de l'AOB et à la conférence du CEHD, en novembre 2012, ont révélé que des discussions verbales et des délibérations bilatérales ont lieu et permettent d'obtenir de la rétroaction. Des données, des connaissances et de l'expertise sont échangées, et les hypothèses concernant les estimations de coûts et de gains d'efficience sont abordées, remises en question et examinées et, finalement, sont approuvées, et les décisions sont documentées dans les comptes rendus des décisions et les procès-verbaux des réunions. L'audit a permis de conclure que le Comité de gestion de l'AOB joue un rôle actif et rigoureux pour l'examen minutieux et la remise en question des projets de PLT de l'AOB.

Dans le cadre de l'audit, on a passé en revue les procès-verbaux des CPS et du Comité de gestion de l'AOB chargés de l'approbation des projets de notre échantillon, afin de vérifier si les portes de décision et les décisions clés étaient approuvées officiellement en vue du financement de PLT. L'audit a permis de noter que le Comité de gestion de l'AOB a passé en revue et approuvé officiellement tous les projets de l'AOB à l'étape 1 et à l'étape 2. Les CPS ont passé en revue et examiné les projets dans le cadre de plusieurs séances, avant de les approuver officiellement et de les soumettre au CEHD pour l'approbation des portes de décision 1 et 2.

Contrôle : Boucle de rétroaction postérieure à l'approbation pour les écarts et les rajustements

Dans le cadre de l'audit, on a examiné, à l'étape 4 de la mise en œuvre des projets, la nature des contrôles qui permettent aux organismes de gouvernance chargés de l'approbation de comprendre et de superviser les rajustements subséquents aux variables clés des projets. Cela n'a pas pris la forme d'un examen complet des contrôles de projet, mais plutôt d'un essai ciblé de la boucle de rétroaction qui informe les organismes de gouvernance des écarts importants par rapport aux engagements originaux. On a procédé ainsi parce qu'il existe un risque inhérent que les propositions de projet soient présentées de façon optimiste aux fins de l'approbation du projet, les estimations de coût faisant par la suite l'objet de rajustements à la hausse, ou les estimations de gains d'efficience, de rajustements à la baisse, après l'approbation.

Dans le cadre de l'audit, on a déterminé qu'une fois le projet en production, le contrôle des variables de projet est assuré grâce à une gamme variée de mécanismes.

Pour les projets non parrainés par l'AOB, la responsabilité du contrôle relève du comité directeur de projet et d'autres organismes de gouvernance établis pour un projet particulier. Des rajustements des niveaux de base originaux (coûts, échéances, etc.) sont requis avant la présentation au CPS pour examen et approbation. Cela se fait dans le cadre d'un processus de rajustement officiel, dans le cadre duquel le rajustement est assujetti au processus de PLT comme une nouvelle proposition et suit l'ensemble du processus (c.-à-d., utilise les mêmes modèles et structures de gouvernance, etc.). Étant donné que les hypothèses qui sous-tendent les estimations de coût originales ne sont pas officiellement documentées, le CPS se fie à la mémoire institutionnelle des personnes concernées. Il s'agit d'un contrôle compensatoire, mais faible, étant donné qu'il dépend de la permanence et de la disponibilité des participants clés, qui pourrait par conséquent limiter le degré et la capacité de remise en question et d'examen minutieux efficaces des changements par les CPS. En avril 2012, dix projets principaux non parrainés par l'AOB ont dû, à la demande du BGPO, utiliser le tableau de bord de la direction pour un examen et un contrôle par le Comité de gestion de l'AOB.

Pour les projets de l'AOB, les comités directeurs et les CPS exercent aussi des responsabilités de contrôle. Le Comité de gestion de l'AOB exerce aussi des responsabilités d'examen, et utilise à cette fin les tableaux de bord et le sommaire de portefeuille de la direction, ainsi que le rapport périodique des risques, comme principaux outils. Les tableaux de bord fournissent des rapports au cours de l'exercice, et sont alimentés par le SRF et les gestionnaires de projet eux-mêmes. Les écarts au cours de l'exercice, en ce qui a trait aux coûts ou aux gains d'efficience projetés, font l'objet d'un suivi, mais aucun lien avec les données de base originales n'est présenté ou contrôlé. Par conséquent, la santé du projet est comparée aux estimations rajustées des coûts et des gains d'efficience, et non pas aux coûts de base originaux. Au moment de l'examen du degré d'examen minutieux exercé par le Comité de gestion de l'AOB concernant les rajustements, dans le cadre de l'audit, on a passé en revue les procès-verbaux et on a déterminé qu'un examen minutieux des facteurs non financiers et financiers était mené. Néanmoins, parce que les estimations originales des coûts de base et des gains d'efficience ne sont pas notées dans le tableau de bord du projet, la capacité des organismes de gouvernance de suivre systématiquement, de contrôler, de comprendre et de remettre en question les changements est limitée et diminue la qualité de l'information requise pour la prise de décisions judicieuses et défendables.

Les mesures correctives et la boucle de rétroaction semblent servir d'étapes de suivi, et non pas à mesurer si le financement demandé était suffisant et si les estimations des gains d'efficience étaient réalistes. Il existe aussi un risque les gains d'efficience d'un secteur de programme soient « récoltées », selon l'hypothèse qu'ils ont été réalisés, mais compte tenu de l'incapacité de les mesurer efficacement, qu'ils ne l'aient pas été. Cela pourrait « pénaliser » de façon injuste l'organisation et pourrait avoir des conséquences négatives du point de vue de l'intégrité du programme.