Audit de la gestion des projets

Principales constatations

Statistique Canada mène constamment à bien ses projets et l'organisme ne cesse d'évaluer les façons d'améliorer ses pratiques opérationnelles. Le CGPO, mis au point par le BGPO, fait part des attentes ainsi que de l'orientation stratégique adoptée pour la gestion des projets de l'organisme. Il décrit les pouvoirs, les rôles et les responsabilités du BGPO, des principaux responsables au sein des équipes de gestion de projet, des comités de surveillance et des autres intervenants clés.

Le BGPO soutient les fonctions de gestion des projets et des portefeuilles de l'organisme, ainsi que ses comités de gouvernance, en servant de ressource; en fournissant des processus, des pratiques et des outils normalisés; et en assurant la gestion du portefeuille des projets. L'audit a révélé des incohérences dans les pratiques de gouvernance. Ces incohérences, conjuguées à l'expérience ou l'expertise limitées des gestionnaires de projet en matière de gestion de projets, obligent le BGPO à consacrer une quantité substantielle de temps à assurer un suivi auprès des gestionnaires de projet par rapport aux livrables manquants au lieu de fournir un soutien stratégique en matière de gestion de projets à l'organisme.

Le CGPO reconnaît l'importance de la gestion des risques et des enjeux dans le cadre d'une gestion robuste des projets, mais il fournit actuellement une orientation limitée par rapport aux processus de détermination, d'évaluation, de communication et de contrôle des risques liés aux projets et de leurs interdépendances au sein du cycle de vie des projets. De plus, les rôles et les responsabilités des principaux membres des équipes de projet et des comités de surveillance relativement à la gestion des risques et au contrôle des interdépendances des projets n'ont pas été clairement définis à l'intérieur du CGPO.

Le BGPO a créé et adopté l'Outil de gestion des changements, des enjeux et des risques (OGCER) pour mieux documenter et contrôler les risques et les enjeux liés aux projets, mais son utilisation n'est pas devenue obligatoire pour tous les projets. On faisait en outre, au moment de l'audit, l'essai d'un outil de suivi des interdépendances des projets limité aux projets liés à l'Architecture opérationnelle du Bureau.

Le CGPO exige actuellement la documentation des bases de référence des projets, notamment les coûts estimatifs et les gains de rendement prévus, à divers points du cycle de vie des projets. Il prévoit également le remplissage de modèles par l'équipe du projet. Les hypothèses faites au cours de la détermination des bases de référence des coûts et des gains de rendement ne sont pas systématiquement documentées de façon officielle.

L'équipe d'audit n'a pas pu évaluer la fiabilité et l'intégralité de ces bases de référence ni déterminer si tous les intervenants des projets ont été consultés lors de la détermination ou de l'examen des hypothèses relatives aux coûts et aux gains de rendement. Les modifications apportées aux bases de référence de la portée d'un projet, au calendrier ou aux coûts et gains de rendement ne sont pas constamment documentées de façon officielle comme prévu, ce qui affecte la transparence des modifications aux projets – c.-à-d. le nombre de modifications apportées à un projet et son coût final global ou les gains de rendement anticipés.

Comme le précise le CGPO, les tableaux de bord mensuels de la direction pour les projets doivent être préparés et vérifiés suivant la structure de gouvernance établie pour chaque projet. Comme l'équipe d'audit a relevé des faiblesses dans la fiabilité et l'intégralité des rapports préparés parmi un échantillon de tableaux de bord, le BGPO est en train de revoir son modèle de Tableau de bord de la direction pour les projets afin de rendre l'état de chaque projet plus transparent.

La preuve conservée pour démontrer que les comités de surveillance des projets examinent et approuvent systématiquement les tableaux de bord de la direction mensuels pour les projets de façon opportune est limitée.

Les résultats opérationnels prévus sont documentés dans l'analyse de rentabilisation, mais dans certains cas, ces résultats ne sont pas suffisamment détaillés pour permettre une compréhension des avantages du projet pour l'organisme, et ils ne sont pas non plus mesurables. Sans résultats mesurables clairement définis, il est difficile d'évaluer si un projet a atteint les objectifs qu'il devait atteindre.

L'équipe d'audit a noté parmi l'échantillon de projets vérifiés ayant été menés à bien/clos que les gestionnaires de projet n'effectuent pas systématiquement une évaluation intégrale des résultats par rapport aux objectifs initiaux ou revus.

Conclusion

L'organisme a créé et implanté, par le truchement du BGPO, un cadre de gestion des projets correspondant aux exigences détaillées dans la Politique sur la gestion des projets du Conseil du Trésor et il encourage une approche systématique de gestion des projets. L'établissement du cadre s'avérait essentiel compte tenu des projets de transformation déterminants et complexes réalisés au sein de l'organisme.

Il faut clarifier davantage les rôles et les responsabilités, fournir une orientation à tous les intervenants et obliger l'utilisation de l'OGCER au sein des divers domaines de gestion des risques pour renforcer la capacité des organismes de gouvernance et des principaux participants de déterminer, d'évaluer, de communiquer et de contrôler efficacement les risques des projets, les enjeux pertinents, et leurs interdépendances. De telles mesures assureront une gestion efficiente et efficace des projets, et aboutiront à une conformité accrue avec le CGPO. Elles contribueront en outre à assurer l'établissement des bases de référence des projets, notamment les coûts et les gains de rendement prévus, dans le cadre d'une saine administration, à assurer une surveillance plus efficace de l'état des projets et à améliorer les résultats obtenus comparativement aux résultats escomptés.

Conformité avec les normes professionnelles

L'audit a été réalisé conformément aux Normes de vérification du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute des auditeurs internes.

Des procédures d'audit suffisantes et appropriées ont été suivies. Les éléments probants recueillies appuient l'exactitude des constatations et des conclusions du présent rapport et procurent une assurance de niveau audit. Les constatations et les conclusions reposent sur une comparaison de la situation prévalant au moment de l'audit avec des critères d'audit préétablis. Les constatations et les conclusions s'appliquent à l'entité examinée selon la portée et la période de référence de l'audit.

Patrice Prud'homme
Dirigeant principal de l'audit

Contexte

Statistique Canada a, à titre de bureau national de la statistique du Canada, le mandat de servir les besoins de tous les ordres de gouvernement, institutions canadiennes et Canadiens en matière de statistique. La fourniture de données de haute qualité à l'appui des principaux programmes de statistique économique, environnementale et sociale a un impact déterminant sur la répartition du budget de Statistique Canada. L'organisme a fait état, dans son Plan d'investissement, d'un investissement de 512 millions de dollars dans des projets (tous à partir des niveaux de référence existants) au cours des exercices 2011-2012 à 2015-2016 pour répondre à ses besoins opérationnels. Le projet le plus important était le Recensement de la population de 2011 et l'Enquête nationale auprès des ménages de 2011, d'un coût estimatif de 360 millions de dollars.

En avril 2010, Statistique Canada a créé le Bureau de gestion des projets de l'organisme (BGPO) afin d'assurer une direction, une formation et un soutien dans l'élaboration de processus et d'outils de gestion de projets communs devant être employés par tous les projets aux fins de l'amélioration de l'exécution opportune des projets tout en respectant les coûts, la portée des projets et les normes de qualité prescrites.

Le BGPO a lancé en avril 2011 le Cadre de gestion des projets de l'organisme (CGPO) et il a mis en application la Politique sur la gestion des projets du Conseil du Trésor. Le Cadre représente une série de processus, de modèles et d'outils de gestion de projets normalisés qui sont utilisés tout au long du cycle de vie d'un projet pour l'amorçage, la planification, l'exécution, la surveillance et la clôture d'un projet.

Tous les projets de Statistique Canada d'un coût total de 150 000 $ et plus doivent être conformes au CGPO, mais l'emploi du cadre est également recommandé dans le cas des projets de moins de 150 000 $. Statistique Canada a mis au point le CGPO en se fondant sur les normes internationales de l'industrie, notamment le Guide du Corpus des connaissances en management de projet, publié par le Project Management Institute.

Ces dernières années, plus d'un millier de participants ont assisté à des séances de formation et d'information visant une sensibilisation graduelle à l'utilisation et à l'importance du CGPO.

Les processus d'approbation des projets de Statistique Canada sont intégrés par le truchement du CGPO et ils sont harmonisés avec son Processus intégré de planification stratégique (PIPS). Le PIPS englobe la gouvernance de la gestion des projets, la surveillance du rendement et la gestion des risques. Le PIPS est assujetti à un calendrier d'activités annuel définissant clairement la gouvernance, les éléments, les activités et les produits prévus pertinents au cours de chacune des phases de planification.

Le CGPO comporte six stades : 1) la définition du concept; 2) l'évaluation du projet; 3) le lancement du projet; 4) la planification du projet; 5) l'exécution du projet et 6) la clôture du projet. Lorsque le projet est terminé, on réalise un examen ultérieur au lancement. Les livrables et les exigences relatives à la gestion des projets sont définis dans le CGPO en fonction du niveau d'évaluation des risques et de la complexité du projet visé et de son stade courant. Des documents clés doivent être préparés et soumis à l'examen et à l'approbation des points de contrôle à chacun des stades.

Une gestion efficace des projets est primordiale pour que Statistique Canada assure une optimisation des ressources et fasse preuve d'une administration avisée dans la mise en œuvre des programmes. Pour être plus précis, une approche détaillée de gestion des projets intégrée à l'échelle de l'organisme et correspondant au niveau de risque et de complexité des projets améliorera la probabilité de l'atteinte des résultats des projets.

Objectifs de l'audit

Les objectifs de l'audit étaient de fournir au statisticien en chef (SC) et au Comité ministériel de vérification (CMV) l'assurance que :

• l'organisme dispose d'un cadre de gestion des projets efficace et adéquat pour assurer l'emploi d'une approche systématique de gestion de ses projets et des interdépendances connexes en conformité avec la Politique sur la gestion des projets du Conseil du Trésor;
• les projets sont gérés conformément au CGPO et aux outils connexes, et qu'ils font l'objet d'un suivi par rapport aux jalons établis et aux résultats escomptés.

Portée

S'insérait dans la portée de cet audit un examen de la pertinence et de l'efficacité des pratiques de gouvernance et de contrôle à l'appui d'une responsabilisation claire et des fonctions de surveillance, d'examen minutieux et de remise en question. Était également prévu un examen de l'efficacité des processus de gestion des risques pour la détermination des principaux risques auxquels sont exposés les projets, notamment pour l'élaboration et le contrôle des stratégies de gestion des risques.

Finalement, la portée de l'audit prévoyait un examen des processus et des contrôles opérationnels permettant l'utilisation uniforme d'un cadre commun de gestion des projets ainsi que des outils, de la formation et des pratiques de gestion de l'information soutenant des décisions éclairées en matière de gestion de projets.

L'audit prévoyait une évaluation des activités de gestion des projets au cours de la période du 1er avril 2011 au 31 mars 2014.

Approche et méthodologie

Les travaux d'audit ont comporté un examen de documents; un examen des procédures, des lignes directrices et des cadres pertinents du processus de gestion des projets; et la tenue d'entrevues avec des représentants clés de la haute direction, un échantillon de gestionnaires de projet, des représentants du BGPO et un échantillon de membres de comités de surveillance. Les travaux sur le terrain ont par ailleurs comporté un examen d'un échantillon de dossiers de projets visant une évaluation de l'uniformité des activités de gestion de projets et leur conformité avec le CGPO.

La sélection de l'échantillon de 12 projets a reposé sur une approche d'échantillonnage au jugé tenant compte de la taille, du nombre de rajustements et de la complexité de chaque projet. Le tableau qui suit présente une ventilation de l'échantillon.

Cet audit a été réalisé conformément aux Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute des auditeurs internes et à la Politique sur la vérification interne du Conseil du Trésor.

Pouvoirs

L'audit a été mené en vertu des pouvoirs prévus dans le Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada pour la période de 2014 à 2019.

Gouvernance, rôles et responsabilités

L'orientation stratégique de Statistique Canada en matière de gestion de projets devrait être documentée et communiquée adéquatement au moyen d'un cadre définissant clairement les pouvoirs, les responsabilités et les obligations de rendre compte en ce qui a trait au lancement, à la planification, à l'exécution et à la clôture des projets. Le BGPO devrait en plus munir les employés des outils, des ressources, de l'information et de la formation nécessaires pour qu'ils s'acquittent de leurs responsabilités et atteignent les résultats escomptés.

L'orientation stratégique en matière de gestion de projets et les rôles et responsabilités clés à cet égard ont été clairement définis et documentés dans le CGPO.

L'orientation stratégique en matière de gestion de projets au sein de l'organisme a officiellement été documentée et communiquée au moyen des lignes directrices du CGPO. Non seulement le CGPO définit-il la gestion des projets à l'intention de l'organisme, mais il a également mis en place un ensemble de processus, de modèles et d'outils de gestion de projets normalisés pour guider les activités de gestion de projets à l'échelle de l'organisme. Le CGPO a en outre défini les livrables liés à la gestion des projets requis à chaque stade d'un projet : 1) la définition du concept; 2) l'évaluation du projet; 3) le lancement du projet; 4) la planification du projet; 5) l'exécution du projet et 6) la clôture du projet.

L'audit a révélé que le CGPO a défini clairement les rôles, les responsabilités et les pouvoirs de l'équipe du projet, notamment ceux du gestionnaire de projet, de la direction et des parrains opérationnels. Il a aussi défini les responsabilités des principaux comités de surveillance, notamment les comités directeurs des projets, le Comité de gestion de l'Architecture opérationnelle du Bureau (AOB) (CGAOB) et les conseils de planification de secteur (CPS).

L'équipe d'audit a toutefois relevé des possibilités de clarification des rôles, des responsabilités et des pouvoirs des comités de surveillance, des gestionnaires de projet et d'autres intervenants par rapport aux aspects de la gestion des risques, de la détermination, l'évaluation et la communication des interdépendances des projets, et de la détermination des coûts des projets et des prévisions pertinentes. Les possibilités en question sont exposées plus en détail dans les sections « Gestion des risques et des enjeux, et interdépendances des projets » et « Bases de référence des projets, notamment coûts et gains de rendement prévus » du présent rapport.

Le BGPO n'a pas tenu de liste complète des projets courants, y compris leurs budgets et dépenses totaux approuvés.

L'audit a révélé que le BGPO a récemment créé une base de données pour suivre tous les projets et initiatives en cours à l'échelle de Statistique Canada. Vu les limites du Système de gestion du budget et des recettes, du système de budget de l'organisation et du Système de rapports financiers, l'information financière peut seulement être produite pour un seul exercice à la fois.

En conséquence, plusieurs rapports doivent être produits pour l'analyse lorsqu'on souhaite obtenir le budget total approuvé d'un projet et les dépenses engagées dans le cadre du projet. Au moment de l'audit, le BGPO n'assurait pas la tenue de données de référence sur le budget approuvé total et les dépenses de chaque projet.

La gouvernance et la surveillance des projets est uniforme dans le cas des projets liés à l'AOB, mais les pratiques divergeaient dans le cas des projets non liés à l'AOB.

Même si le CGPO décrit les attentes de l'organisme quant au niveau de gouvernance et de surveillance auquel doivent être assujettis les projets selon leur niveau de complexité, l'équipe d'audit a relevé des incohérences dans les pratiques de gouvernance et de surveillance établies dans le cas des projets non liés à l'AOB.

En particulier, même si l'équipe d'audit a noté que des comités directeurs avaient été créés pour les projets liés à l'AOB et que les CPS assuraient une surveillance systématique des projets de l'AOB, le niveau de surveillance fourni par les comités directeurs des projets et les CPS variait dans le cas des projets non liés à l'AOB. Par exemple, même si le CGPO exige que tous les projets mettent sur pied un comité directeur, l'équipe d'audit a repéré trois projets (sur sept projets vérifiés) n'ayant pas fait l'objet d'une surveillance d'un comité directeur, mais qui se trouvaient seulement sous la surveillance du parrain du projet.

L'audit a de plus révélé que du 4e au 6e stade du cycle de vie de gestion des projets, les rôles et les responsabilités des CPS ont varié en fonction du type de projet et de son domaine, décelant notamment des incohérences dans le niveau de documentation tenue en guise de preuve des prises de décisions et du franchissement des points de contrôle à ces stades, nommément dans le cas des projets non liés à l'AOB.

L'audit a démontré que le cadre supérieur responsable du CGPO ne fait pas partie des comités de gouvernance de la gestion clés. L'inclusion du statisticien en chef adjoint responsable de cette fonction au sein de tels comités assurerait l'inclusion régulière des considérations relatives au CGPO dans les délibérations du Comité, assurerait un examen plus détaillé et plus robuste, et accroîtrait la rigueur de la fonction de remise en question de la gestion des projets.

Sans l'établissement d'une gouvernance et d'une surveillance convenables de tous les projets, y compris les projets non liés à l'AOB, il subsiste un risque accru que les livrables de gestion des projets ne soient pas remis en question et approuvés à l'échelon pertinent, ce qui entraîne une utilisation inefficace des ressources de l'organisme.

On n'a pas établi d'attentes en ce qui a trait à l'expérience des gestionnaires de projet et à leurs titres.

Le CGPO n'établit actuellement pas d'exigences minimales quant au niveau d'expérience ou aux titres des gestionnaires de projet. Ces derniers sont généralement affectés à des projets en fonction de leur disponibilité et de leur expertise spécialisée dans le domaine du projet plutôt qu'en fonction de leur expérience ou expertise en matière de gestion de projets. La majorité des gestionnaires de projet rencontrés en entrevue ont ainsi indiqué avoir peu ou pas d'expérience antérieure en gestion de projets, et seulement un gestionnaire de projet (sur les 12 interviewés) était titulaire de titres connexes. Dans certains cas, les personnes en question géraient des projets complexes de grande envergure.

L'absence d'un niveau minimal d'expérience de la gestion de projets (ou de titres) des personnes gérant des projets complexes au nom de l'organisme accroît le risque que les gestionnaires de projet gèrent de façon inefficiente et inefficace leurs projets selon les attentes décrites dans le CGPO.

Une formation sur la gestion des projets a été préparée pour des rôles clés, mais elle n'est pas devenue obligatoire.

Une série de programmes de formation ont été préparés et mis à la disposition des gestionnaires de projet et des cadres supérieurs. On offre expressément à l'intention des gestionnaires de projet une séance de formation de trois jours sur les techniques de base de la gestion des projets et une séance de formation interne d'une journée sur les exigences du CGPO, le processus des points de contrôle et la façon de préparer les livrables de gestion des projets. Le BGPO a aussi préparé des séances de formation individuelles sur des outils clés de gestion de projets, comme l'Outil de gestion des changements, des enjeux et des risques (OGCER) et le Tableau de bord de la direction pour les projets.

L'audit a révélé que les gestionnaires de projet responsables des projets vérifiés n'avaient en général pas suivi les séances de formation sur la gestion des projets qui leur étaient offertes, car celles-ci ne sont actuellement pas obligatoires. L'absence de formation des gestionnaires de projet, conjuguée à l'absence d'imposition aux gestionnaires de projet d'exigences minimales en fait d'expérience de la gestion de projets ou de titres liées à la complexité des projets a abouti à des incohérences dans le niveau de compréhension et d'utilisation du CGPO et des outils connexes. Ces incohérences ont transparu dans l'utilisation irrégulière des outils de gestion de projets faite par les gestionnaires de projet et le niveau de raffinement de certains livrables de gestion des projets observés lors de la vérification des projets échantillonnés.  

On a de plus créé en 2012, un cours intitulé Cadre de gestion des projets de l'organisme pour gestionnaires visant à familiariser les cadres supérieurs au CGPO et à leurs rôles et responsabilités. Outre certains autres sujets, le cours couvre les aspects suivants : l'interprétation et l'approbation des tableaux de bord de projets, les enjeux pertinents et la gestion des risques, la raison pour laquelle la gouvernance est cruciale dans le cadre de la gestion de projets, les stades du CGPO et le processus des points de contrôle. Comme ce cours a été mis sur pied en tant que projet pilote, il n'est actuellement pas offert aux cadres supérieurs et, à l'exemple de la formation offerte aux gestionnaires de projet, il n'est pas devenu obligatoire pour les cadres supérieurs qui assument normalement des responsabilités relativement à la surveillance de projets.

Gestion des risques et des enjeux, et interdépendances des projets

Le CGPO devrait exiger et fournir des outils permettant une détermination, une évaluation, un contrôle et une communication continus des risques et des interdépendances des projets, internes et externes.

Le CGPO fournit une orientation limitée sur la gestion des risques et le contrôle des interdépendances des projets au sein du cycle de vie des projets.

Le CGPO fournit actuellement une orientation de haut niveau sur le processus de gestion des risques et des enjeux, mais l'audit a permis de constater que le Cadre ne fournit pas de détails sur le mode d'intégration des pratiques escomptées pour la gestion des risques aux divers stades du cycle de vie des projets. Il a également été noté que le CGPO ne fournit aucune orientation sur la façon de déterminer, d'évaluer, de communiquer et de contrôler les interdépendances des projets.

Même si le CGPO définit les rôles et les responsabilités des membres de l'équipe de projet dans le cadre d'autres activités de gestion du projet, il ne précise les rôles et les responsabilités du gestionnaire de projet que par rapport aux activités de gestion des risques clés. Les rôles des autres membres clés de l'équipe de projet et le rôle des comités de surveillance pour ce qui est de la gestion des risques dans le contexte d'un projet n'ont pas été officiellement documentés.

Dans le même ordre d'idées, le CGPO définit seulement le rôle du Secrétariat de l'AOB en ce qui a trait à la surveillance des interdépendances des projets dans le cas des projets liés à l'AOB et il ne précise pas les rôles, les responsabilités et les obligations de rendre compte des autres intervenants clés des projets, notamment ceux du gestionnaire de projet, en ce qui concerne la détermination, la communication et le contrôle des interdépendances des projets.

Les membres clés des équipes de projet et les comités de surveillance pourraient, en raison de cette absence d'orientation, avoir une compréhension contradictoire de leurs rôles en ce qui a trait à la détermination, l'évaluation, la communication et le contrôle efficaces et rapides des risques, des enjeux et des interdépendances des projets. L'équipe d'audit a en conséquence relevé des incohérences dans le niveau de documentation tenue à l'appui de la détermination et de la surveillance des enjeux, des risques et des interdépendances des projets.

L'audit a en particulier mis au jour six projets (sur 12) présentant de l'information factuelle limitée sur les activités de gestion des risques, notamment la détermination des risques propres au projet. L'audit a en plus relevé quatre projets dans le cas desquels on ne disposait d'aucun élément probant ou d'information limitée démontrant que les interdépendances du projet avaient été considérées dans la planification du projet et la gestion des enjeux et des risques liés au projet.

On a créé l'OGCER, mais son utilisation n'est pas devenue obligatoire.

Le BGPO a adopté en 2013 l'OGCER comme outil organisationnel de suivi de la gestion des risques et des enjeux pour la documentation des enjeux, des risques et des changements à la portée, au calendrier, aux coûts et aux gains de rendement prévus d'un projet. L'emploi d'un outil organisationnel de suivi de la gestion des risques et des enjeux oblige un certain niveau de discipline pour la détermination et l'évaluation des enjeux et des risques d'un projet. Selon le BGPO, tous les projets liés à l'AOB et projets clés non liés à l'AOB devaient faire l'objet d'une migration au nouvel outil avant le 31 mars 2013, mais l'utilisation de l'outil n'est pas devenue obligatoire pour tous les projets.

Il a été déterminé, à partir d'un examen de l'emploi de l'OGCER parmi un échantillon de 12 projets sélectionnés, que seulement sept projets utilisaient l'outil et que seulement quatre de ces sept projets l'utilisaient de façon systématique. Les cinq autres projets utilisaient d'autres outils, comme des tableurs Excel ou des bases de données Access, pour la consignation et la surveillance des enjeux, des risques et des changements. Le niveau de documentation tenue à l'appui des changements apportés aux projets ainsi qu'aux activités de gestion des enjeux et des risques a toutefois varié dans le cas des cinq projets.

Même si ces projets ont utilisé un outil de rechange, peu de documentation, sinon aucune, n'a été conservé à l'appui des modifications apportées aux projets et on dispose de peu d'information factuelle, sinon aucune, témoignant de la réalisation des activités de gestion des risques et des enjeux. En l'absence de l'utilisation systématique d'un outil obligeant un certain niveau de discipline dans la détermination et l'évaluation des risques et des enjeux, il est possible que l'analyse et la documentation à l'appui de la gestion des risques et des enjeux soient insuffisantes.

Un outil de gestion des interdépendances permettant de suivre et de contrôler les interdépendances des projets fait actuellement l'objet d'essais auprès des projets liés à l'AOB.

Le BGPO a mis au point un outil de gestion des interdépendances pour documenter les interdépendances existant entre les projets. L'outil en était à son stade d'essai au moment de l'audit et il est actuellement limité aux projets liés à l'AOB.

Le BGPO assure la gestion de l'outil, mais on a demandé aux gestionnaires des projets liés à l'AOB de vérifier les interdépendances de leurs projets chaque mois et de faire rapidement part des changements au BGPO. Même si ce dernier continue à évaluer l'outil dans le cadre de l'essai, les meilleures pratiques de gestion de projets indiquent qu'il faudrait maintenir un outil de gestion des interdépendances des projets pour tous les projets.

Bases de référence des projets, notamment coûts et gains de rendement prévus

Il faudrait définir clairement des bases de référence fiables pour les projets en consultant tous les intervenants concernés; les modifications effectuées devraient être documentées et approuvées suivant la structure de gouvernance établie.

Il faut améliorer la documentation des hypothèses sur lesquelles reposent les prévisions des coûts financiers et des gains de rendement des projets.

L'audit a révélé que les gestionnaires de projet documentent généralement les coûts estimatifs des projets ainsi que les gains de rendement prévus grâce au projet à l'intérieur du modèle de chiffrage de l'analyse de rentabilisation et du plan du projet, tous deux assujettis au processus des points de contrôle de gestion des projets. Dans la majorité des cas, toutefois, l'équipe d'audit a été incapable d'obtenir de la documentation décrivant les hypothèses formulées pour déterminer les bases de référence des coûts et des gains de rendement, ainsi que les coûts d'entretien courants associés à l'initiative. Dépourvue de ces hypothèses, l'équipe d'audit n'a pas pu évaluer la pertinence et l'intégralité des hypothèses faites et, en conséquence, la fiabilité et l'intégralité des coûts et des gains de rendement des projets.

De plus, comme les gestionnaires de projet ont indiqué que les hypothèses et les risques sur lesquels reposent les bases de référence des coûts et des gains de rendement n'avaient pas fait l'objet de discussions officielles avec les intervenants concernés, l'équipe d'audit n'a pas pu confirmer que tous les intervenants concernés des projets avaient été consultés lors de la détermination ou de l'examen des hypothèses relatives aux coûts et aux gains de rendement, comme les besoins liés à l'architecture du système.

Les meilleures pratiques en matière de gestion de projets recommandent que les hypothèses sous-jacentes aux projets soient non seulement officiellement documentées, examinées et approuvées pour témoigner d'une administration avisée, mais aussi que les gestionnaires de projet soient obligés de réaliser une analyse de sensibilité des hypothèses relatives aux coûts (c.-à-d. qu'ils fournissent des scénarios sur le chiffrage qu'on obtiendrait si des hypothèses particulières changeaient). Une telle analyse aiderait les gestionnaires de projet, les parrains des projets et les comités de surveillance à comprendre ce qui adviendrait des prévisions relatives au projet si les hypothèses perdaient de leur fiabilité ou étaient modifiées au cours du projet.

Une analyse de sensibilité consiste à modifier les hypothèses utilisées dans le calcul du coût-efficacité pour vérifier l'incidence du changement sur le budget du projet. L'analyse aide les intervenants à prendre des décisions d'investissement plus éclairées.

Des incohérences ont été relevées dans la documentation tenue à l'appui des modifications apportées à la portée, au calendrier, aux coûts et aux gains de rendement.

Même si toutes les modifications apportées aux bases de référence de la portée, du calendrier, des coûts et des gains de rendement devaient être documentées dans l'Outil de gestion des changements, des enjeux et des risques (OGCER) et à l'annexe A du plan du projet, l'équipe d'audit a éprouvé des difficultés à rapprocher les corrections apportées et les bases de référence des projets. En l'absence de pistes d'audit officielles à l'appui des mises à jour effectuées aux bases de référence de la portée, du calendrier, des coûts et des gains de rendement, l'équipe d'audit a été forcée d'examiner de la correspondance électronique, de vérifier d'autres livrables de gestion des projets et de consulter les gestionnaires de projet pour déterminer les modifications apportées aux projets.

Même en recourant à ces démarches supplémentaires, l'équipe d'audit a été incapable de rapprocher les bases de référence des coûts et des gains de rendement rapportés dans les tableaux de bord de la direction pour les projets et le rapport sur les résultats des projets avec les rajustements approuvés dans le cas de quatre des 12 projets sélectionnés pour l'examen.

Les modifications proposées au Tableau de bord de la direction pour les projets (décrites plus en détail ci-dessous) par le Bureau de gestion des projets de l'organisme (BGPO) obligeront les gestionnaires de projet à documenter les modifications qu'ils projettent apporter aux bases de référence de la portée, du calendrier, des coûts et des gains de rendement dans l'OCGER, qui sera ensuite inséré directement dans le Tableau de bord de la direction pour les projets. Ce dernier suivra par ailleurs le nombre de modifications apportées au projet, en fera rapport et exigera que le gestionnaire de projet annexe une preuve de l'approbation de toutes les modifications directement dans le tableau de bord.

Le CGPO fournit une orientation limitée sur les rôles, les responsabilités et les obligations de rendre compte des principaux membres des équipes de projet et des comités de surveillance par rapport aux activités de gestion des coûts.

Le CGPO décrit le processus des points de contrôle employé dans le cas du modèle de chiffrage des analyses de rentabilisation et du plan de projet, qui font tous deux état des coûts et gains de rendement prévus. Le CGPO ne décrit actuellement pas les attentes relatives aux rôles, aux responsabilités et aux obligatoires de rendre compte de chaque intervenant des projets – notamment le gestionnaire de projet, l'analyste de la gestion financière, les parrains des projets et les comités de surveillance – dans la contribution ou l'examen et l'approbation des estimations des coûts et des gains de rendement et de leurs hypothèses sous-jacentes. L'audit a ainsi révélé des incohérences dans le niveau de participation de ces intervenants clés à la détermination et l'examen des coûts et des gains de rendement prévus, notamment le niveau de participation de l'analyste de la gestion financière.

Contrôle des projets et résultats

Les organes de surveillances établies devraient assurer un contrôle adéquat des projets et conserver de l'information factuelle témoignant de leur examen et approbation des tableaux de bord mensuels de la direction pour les projets. Les résultats des projets pertinents devraient en plus être officiellement définis et les projets devraient être évalués en fonction des résultats escomptés.

On est actuellement en train de mettre à jour le modèle du Tableau de bord de la direction pour les projets afin d'améliorer sa fiabilité et son intégralité en vue d'assurer une surveillance efficace des projets.

Le tableau de bord mensuel de la direction pour les projets est le principal outil utilisé pour faire rapport de l'état d'un projet dans le cadre de sa structure de gouvernance établie, notamment par la communication des nouveaux risques et enjeux. Le tableau de bord comporte cinq indicateurs de contrôle : la portée, le calendrier, le coût, les risques et les enjeux. Au moment de l'audit, le Tableau de bord de la direction pour les projets ne livrait que des rapports sur l'exercice courant fournis par le Système de rapports financiers et le gestionnaire de projet. Il faut effectuer une évaluation en fonction de chacun des cinq indicateurs (rouge, jaune et vert) et réaliser une compilation pour en dégager l'état de santé général du projet.

Le BGPO a modifié le modèle du tableau de bord pour rendre l'information présentée dans les tableaux de bord plus fiable et plus complète. Le modèle modifié – qui provient directement du Système de rapports financiers – fera état de l'écart entre les coûts réels du projet au cours de l'exercice et le budget établi, chaque trimestre, et il comprendra un graphique illustrant le même écart pour tous les exercices financiers.

Cette amélioration permettra aux comités de gouvernance de vérifier les coûts totaux engagés dans le projet jusqu'à la date courante comparativement au budget approuvé, au lieu de se limiter aux coûts de l'exercice. De plus, les modifications apportées aux risques, aux enjeux et aux projets signalées dans le tableau de bord proviendront directement de l'Outil de gestion des changements, des enjeux et des risques (OGCER). Une telle façon de faire contribuera à assurer une communication intégrale des modifications visant les risques, les enjeux et le projet. Le modèle du Tableau de bord de la direction pour les projets révisé devrait être accessible à tous les gestionnaires de projet à compter d'avril 2015.

L'équipe d'audit croit que les modifications projetées au Tableau de bord de la direction pour les projets – en particulier le fait que les modifications des risques, des enjeux et du projet seront liées à l'OGCER et que le tableau présentera de l'information financière visant tous les exercices – pourraient rectifier certaines des incohérences relevées au cours de l'examen des tableaux de bord des 12 projets sélectionnés à des fins de vérification.

L'équipe d'audit a, en particulier, éprouvé dans le cas d'un certain nombre de projets des difficultés à rapprocher l'information financière présentée dans les tableaux de bord des budgets approuvés et les risques et enjeux décrits à l'intérieur de l'OGCER. Toutefois, comme les données présentées dans le modèle révisé proviendront directement des outils de gestion de projets organisationnels, le contenu sera plus fiable, ce qui assurera la transparence de l'état du projet.

De plus, le nouveau modèle pourrait aider les gestionnaires de projet à tenir à jour le contenu des outils de gestion de projets, car le comité de gouvernance en prendra connaissance au moyen du Tableau de bord de la direction pour les projets.

Les comités de gouvernance ont mentionné exercer leurs responsabilités en matière de surveillance des projets, mais la documentation existante pour confirmer ces activités cruciales est limitée.

Un certain nombre de comités ont été chargés d'assurer la surveillance de projets, notamment le comité directeur de chacun des projets et les conseils de planification de secteur (CPS), ainsi que le Comité de gestion de l'Architecture opérationnelle du Bureau (AOB) (CGAOB) dans le cas des projets liés à l'AOB et des projets complexes ou d'importance, lorsque le demande la haute direction. L'audit a révélé que les comités exercent généralement leurs responsabilités de contrôle, mais que cela se fait de façon officieuse.

Les entrevues tenues ont plus précisément révélé que les tableaux de bord mensuels de la direction pour les projets sont généralement présentés aux comités directeurs de projets et aux CPS, ainsi que discutés par ceux-ci. L'équipe d'audit a été incapable, dans le cas de sept projets sur neuf (pour trois projets, le Tableau de bord de la direction pour les projets n'a pas été préparé), d'obtenir d'information factuelle témoignant de la tenue de telles discussions parce que les procès-verbaux des rencontres et les mesures de suivi ou décisions consécutives n'avaient pas fait l'objet d'une documentation systématique.

Dans le même ordre d'idées, on conserve de l'information factuelle limitée pour démontrer que le CGAOB a examiné et approuvé les rapports sommaires du portefeuille de la direction et les rapports périodiques sur les risques préparés par le BGPO dans le cas des projets liés à l'AOB et des projets d'importance.

Les résultats opérationnels escomptés sont difficiles à évaluer et à mesurer.

L'équipe d'audit a noté que les gestionnaires de projet documentent les résultats opérationnels escomptés dans l'analyse de rentabilisation du projet. Les résultats opérationnels n'étaient pas suffisamment détaillés, dans le cas de trois projets sur 12, pour permettre une compréhension des avantages du projet pour Statistique Canada, et ils n'étaient pas non plus mesurables. En l'absence de résultats clairement définis et mesurables ainsi que d'une approche d'évaluation de leur mesure et des objectifs escomptés, il est difficile d'évaluer si un projet a atteint les buts qu'il devait atteindre.

Le rapport de clôture de projet est le mécanisme employé pour communiquer les résultats du projet en fonction des avantages prévus. Si les résultats opérationnels escomptés ne sont pas atteints, le gestionnaire de projet bénéficie d'une possibilité d'expliquer les écarts survenus à l'intérieur de ce rapport. Quatre des 12 projets sélectionnés pour l'examen avaient été menés à bien. L'équipe d'audit a noté qu'on n'avait pas effectué une évaluation complète des résultats des projets réalisés par rapport à tous les résultats opérationnels escomptés (comme il était initialement précisé à l'intérieur de l'analyse de rentabilisation ou suivant les modifications apportées dans les autres documents relatifs au projet) dans le cas de deux projets.

Le rapport sur les résultats réalisés fait partie de l'examen ultérieur au lancement au sein du cycle de vie du projet et il complète le rapport de clôture de projet, car il nous permet de continuer à mesurer les résultats opérationnels et à en faire rapport au-delà de la durée du projet. Ce rapport est particulièrement important parce qu'il permet de mesurer les résultats qui pourraient ne pas pouvoir être mesurés à court terme.

Même si on ne disposait pas, comme mentionné ci-dessus, d'une évaluation des résultats par rapport à tous les résultats opérationnels escomptés dans le cadre de la clôture du projet dans le cas de deux projets, les responsables n'avaient pas préparé de rapport sur les résultats réalisés. L'audit a par ailleurs révélé que les gestionnaires de projet n'étaient généralement pas au courant de la nécessité de préparer ce rapport et qu'ils n'en comprenaient pas non plus l'objet.

Annexe A : Critères de l'audit

Annexe B : Sigles