Évaluation du Recensement de l’agriculture et de l’innovation dans le Programme de la statistique agricole

Le rapport en bref

Le Programme de la statistique agricole (PSA) se compose d'un ensemble intégré de composantes qui comprend les enquêtes sur les cultures et le bétail, les statistiques économiques agricoles, les statistiques agroenvironnementales, les données fiscales et les autres données administratives, la recherche et l'analyse, la télédétection et le Recensement de l'agriculture (REAG). Les renseignements statistiques produits dans le cadre du REAG sont uniques, car ils permettent de brosser un portrait exhaustif de l'industrie et des gens qui la composent et de fournir des données régionales, lesquels jouent tous un rôle essentiel non seulement pour l'industrie agricole, mais aussi pour répondre aux besoins en matière de données des programmes environnementaux, des programmes de santé, du commerce et de la gestion de crise. Les renseignements statistiques du PSA sont utilisés par un large éventail d'organismes, notamment les différents ordres de gouvernement, les organismes privés et à but non lucratif, les établissements universitaires, ainsi que les particuliers.

Cette évaluation a été effectuée par Statistique Canada, conformément à la Politique sur les résultats du Secrétariat du Conseil du Trésor (2016) et au Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2019-2020 à 2023-2024). Le principal objectif de l'évaluation était de fournir une analyse neutre et fondée sur des données probantes de la stratégie de diffusion du REAG de 2016 et de la conception et de la mise en œuvre de la migration du REAG vers le Programme intégré de la statistique des entreprises (PISE). L'évaluation a aussi permis d'analyser des projets entrepris dans le cadre du PSA dans son ensemble, en mettant l'accent sur les projets appuyant l'initiative de modernisation de Statistique Canada.

La méthodologie d'évaluation comprenait un examen de la documentation, un examen des données administratives et des entrevues avec des professionnels de Statistique Canada travaillant à la Division de l'agriculture et dans d'autres divisions pertinentes. De plus, des entrevues ont été menées avec les principaux utilisateurs et les partenaires externes de Statistique Canada. La triangulation de ces méthodes de collecte de données a été utilisée pour en arriver aux conclusions générales de l'évaluation.

Principales conclusions et recommandations

Stratégie de diffusion du Recensement de l'agriculture

Les données du REAG sont utilisées par un large éventail d'organismes pour comprendre et surveiller les tendances, formuler des conseils sur les politiques et les programmes et répondre aux demandes des intervenants. La majorité des personnes consultées se sont dites satisfaites de la diffusion des données du REAG de 2016 et ont souligné qu'elle représentait une amélioration par rapport à 2011. Les tableaux de données ont été relevés comme étant les produits les plus utilisés, tandis que d'autres produits étaient pertinents, mais moins utiles. En ce qui a trait à la rapidité de diffusion, les personnes consultées se sont dites satisfaites de la diffusion du premier ensemble de tableaux (données sur les exploitants agricoles – un an après le jour du recensement). Cependant, le délai de diffusion des deux autres ensembles de tableaux de données a affecté leur utilité (deux ans et demi après le jour du recensement dans le cas du dernier tableau de données diffusé avec des données socioéconomiques). Ces personnes ont également souligné qu'il y avait des lacunes dans l'analyse croisée avec les secteurs non agricoles et les secteurs émergents. Enfin, les outils Web n'ont pas été utilisés en raison du manque de directives sur la manière de les utiliser et d'interpréter les données.

Le statisticien en chef adjoint (SCA), Secteur de la statistique économique (secteur 5), doit veiller à ce que :

Recommandation 1

Pour le REAG de 2021, la Division de l'agriculture examine diverses avenues afin d'améliorer la rapidité de diffusion des deux derniers ensembles de tableaux de données (données chronologiques et données socioéconomiques) et d'accroître l'analyse croisée avec les secteurs non agricoles.

Recommandation 2

Les outils Web s'accompagnent de directives sur la façon de les utiliser et d'interpréter les données qui en sont issues. Une approche proactive doit être adoptée à l'égard du lancement des nouveaux outils. Les webinaires ont été relevés comme un moyen efficace, et l'utilisation d'autres moyens permettraient d'assurer une couverture encore plus grande.

Migration du Recensement de l'agriculture vers le Programme intégré de la statistique des entreprises

La migration du REAG vers le PISE se déroulait comme prévu au moment de l'évaluation. L'étape de la transition était terminée et l'étape de l'intégration était déjà bien amorcée. Des structures de gouvernance étaient en place, et les produits livrables et les calendriers étaient gérés avec efficacité. Les efforts se poursuivaient pour résoudre les problèmes, comme ceux liés aux compatibilités entre le Portail de gestion de la collecte (PGC) et le PISE et la disponibilité des outils, ainsi que la capacité d'appuyer l'évaluation de la qualité des données. Le lancement de l'étape de la production amènera de nouveaux risques, tandis que de nouvelles ressources seront appelées à intervenir et que les contraintes de temps seront accrues.

Le SCA, secteur 5, doit veiller à ce que :

Recommandation 3

Les problèmes non résolus liés à la migration vers le PISE, y compris les incompatibilités entre le PISE et le PGC ainsi que la capacité de traitement du PISE, soient résolus avant l'étape de la production.

Recommandation 4

Les risques importants pendant l'étape de la production, surtout en ce qui a trait à l'évaluation de la qualité des données et à l'exercice des rôles et des responsabilités, soient surveillés et atténués.

Projets appuyant l'initiative de modernisation

Les cinq projets examinés concordaient avec les piliers de la modernisation et les résultats attendus. La plupart des projets visaient principalement à accroître l'utilisation des données provenant d'autres sources et à intégrer les données. L'évaluation a permis de constater que bien que des structures de gouvernance existaient et qu'une surveillance régulière ait été effectuée, les pratiques de gestion de projet pourraient être renforcées. À titre d'exemple, il n'y avait souvent pas de résultats mesurables clairement définis; les pratiques exemplaires n'étaient pas systématiquement documentées, partagées ni mises à profit; la gestion des risques était ponctuelle dans certains cas. La gestion de projet est perçue comme étant coûteuse en temps et en ressources dans un environnement axé sur la rapidité.

Le SCA, secteur 5, doit veiller à ce que :

Recommandation 5

Les processus de planification liés aux projets à venir ne relevant pas du Cadre de gestion des projets de l'organisme^{Note de bas de page 1} comprennent une évaluation initiale qui tienne compte d'éléments comme les risques, l'importance relative, la visibilité auprès de la population et les interdépendances. L'évaluation menée doit servir à déterminer le degré de surveillance et de gestion de projet nécessaire.

Recommandation 6

Des processus et des outils permettant de documenter et de partager les pratiques exemplaires soient mis en œuvre et les leçons tirées par d'autres organismes (internes et externes) soient mises à profit.

Contenu

Cette évaluation a été effectuée conformément à la Politique sur les résultats du Secrétariat du Conseil du Trésor (2016) et au Plan intégré d'audit et d'évaluation fondé sur les risques de Statistique Canada (2019-2020 à 2023-2024). Le principal objectif de l'évaluation était de fournir une analyse neutre et fondée sur des données probantes de la stratégie de diffusion du Recensement de l'agriculture (REAG) de 2016 et de la conception et de la mise en œuvre de la migration du REAG vers le Programme intégré de la statistique des entreprises (PISE)^{Note de bas de page 2} dans le but de faciliter la prise de décisions, la responsabilisation et l'amélioration. L'évaluation a aussi permis d'analyser des projets entrepris dans le cadre du Programme de la statistique agricole (PSA) dans son ensemble, en mettant l'accent sur les projets appuyant l'initiative de modernisation de Statistique Canada.

Programme de la statistique agricole

Le PSA a pour mandat de fournir des statistiques économiques et sociales se rapportant aux caractéristiques et au rendement du secteur agricole canadien et des personnes qui le composent. Il est conforme à l'article 22 de la Loi sur la statistique, qui stipule que Statistique Canada doit « recueillir, compiler, analyser, dépouiller et publier, en ce qui concerne le Canada, des statistiques sur tout ou partie des sujets suivants : a) population; b) agriculture [...] ». Il est également conforme à l'article 20^{Note de bas de page 3} de la Loi sur la statistique, qui exige que Statistique Canada mène un REAG. Le REAG est mené à l'échelle nationale et en même temps que le Recensement de la population depuis 1951^{Note de bas de page 4}.

Selon le profil d'information sur le rendement du PSA, le PSA fournit des données pour appuyer et permettre d'évaluer le respect des exigences et l'atteinte des objectifs contenus dans d'autres lois, comme la Loi sur les offices des produits agricoles, la Loi sur la commercialisation des produits agricoles et la Loi sur les produits antiparasitaires. Le PSA fournit également au Système canadien des comptes macroéconomiques les données nécessaires en vertu du Règlement sur les arrangements fiscaux entre le gouvernement fédéral et les provinces et de la Norme spéciale de diffusion des données du Fonds monétaire international.

Le PSA se compose d'un ensemble de composantes intégrées qui comprend les enquêtes sur les cultures et le bétail, les statistiques économiques sur les exploitations agricoles, les statistiques agroenvironnementales, les données fiscales et les autres données administratives, la recherche et l'analyse, la télédétection et le REAG.

Recensement de l'agriculture

Le REAG permet de recueillir des données sur la situation de toutes les exploitations agricoles au Canada^{Note de bas de page 5}, ce qui comprend les fermes, les ranchs, les fermes laitières, les serres et les vergers. L'information est utilisée afin de brosser le portrait statistique des exploitations et des exploitants agricoles du Canada. Généralement, les données recueillies sont les suivantes : la superficie de l'exploitation agricole, l'utilisation et le mode d'occupation des terres, la superficie cultivée récoltée, l'irrigation, le nombre d'animaux, la main-d'œuvre ainsi que d'autres intrants agricoles. L'approche du Recensement de l'agriculture vise l'ensemble de l'exploitation agricole et consiste à recueillir des données directement auprès des producteurs agricoles dans le but de fournir un dénombrement complet des principaux produits de l'industrie et des personnes qui la composent. Le REAG fournit aussi une multitude de renseignements sur les cultures émergentes, les finances des exploitations agricoles et l'utilisation des technologies dans les exploitations agricoles.

Les objectifs du REAG sont les suivants :

• tenir une liste exacte et complète de toutes les exploitations agricoles et de tous les types d'exploitations agricoles pour garantir un échantillonnage d'enquête optimal au moindre coût et en imposant le fardeau de réponse le moins exigeant, en classant toutes les exploitations agricoles selon le type et la taille^{Note de bas de page 6};
• fournir de l'information agricole exhaustive pour des régions géographiques détaillées, notamment des comtés, des renseignements pour lesquels il n'y a pas d'autres sources et qui sont essentiels pour formuler et suivre les programmes et les politiques en matière d'environnement, de santé et de gestion des crises pour tous les ordres de gouvernement;
• fournir une mesure des produits rares ou émergents, qui est essentielle pour lutter contre les maladies et les problèmes commerciaux;
• fournir de l'information cruciale pour permettre de gérer les dépenses des administrations publiques fédérale et provinciales à l'appui du secteur de l'agriculture.

La Division de l'agriculture de la Direction de la statistique de l'agriculture, de l'énergie et de l'environnement est responsable du PSA. La Division a établi de nombreux partenariats stratégiques de longue date avec des intervenants clés et des utilisateurs des données, notamment des ministères et des organismes fédéraux, des ministères de l'Agriculture provinciaux et territoriaux, des administrations locales et régionales, des associations d'exploitants agricoles, de l'industrie de l'agriculture, des universités, et des chercheurs. Elle dispose de tribunes établies pour recueillir les commentaires sur les nouveaux besoins et défis. Ces tribunes comprennent le Comité consultatif sur la statistique agricole et agroalimentaire et le Comité fédéral-provincial-territorial de la statistique agricole. Des organes de gouvernance interne comme le Comité directeur du REAG sont également en place pour contribuer à diriger et à surveiller la mise en œuvre.

Évaluation

La portée de l'évaluation a été établie au moyen des rencontres et des entrevues qui ont eu lieu avec les divisions participant au PSA. Les domaines suivants ont été retenus aux fins de l'évaluation :

Suivant une approche d'évaluation axée sur l'utilisation, les méthodes de collecte de données quantitatives et qualitatives suivantes ont été utilisées :

Quatre limites principales ont été cernées et des stratégies d'atténuation ont été utilisées :

Leçons apprises

1.1 Stratégie de diffusion du Recensement de l'agriculture de 2016

Question d'évaluation

Dans quelle mesure la stratégie de diffusion du REAG de 2016 a-t-elle répondu aux besoins des principaux utilisateurs dans les domaines suivants?

• Calendrier des diffusions (c.-à-d. pour toutes les diffusions et entre chaque diffusion)
• Couverture et niveau de détail
• Types et formats des produits
• Analyse croisée avec les secteurs non agricoles
• Accès aux données

Résumé

Pour orienter la stratégie de diffusion du REAG de 2021, l'évaluation a permis d'analyser la mesure dans laquelle la stratégie de diffusion de 2016 a permis de répondre aux besoins des principaux utilisateurs dans différents domaines. La majorité des utilisateurs étaient d'avis que le REAG de 2016 représentait une amélioration par rapport au REAG de 2011 et étaient satisfaits de l'approche globale adoptée. Cependant, l'évaluation a permis de relever certains domaines d'amélioration, surtout en ce qui a trait au calendrier des diffusions, à la couverture et aux directives d'utilisation des outils Web.

Les données du Recensement de l'agriculture sont utilisées à plusieurs fins, et les tableaux de données constituent un produit de choix

Les données du REAG sont utilisées par les organismes pour brosser le portrait du secteur agricole sur leur territoire ou dans leur secteur de l'économie. Le portrait que brossent les ministères provinciaux leur permet de comprendre les tendances dans leur province et de les comparer avec d'autres territoires. Des données infraprovinciales sont également disponibles aux fins de l'analyse de régions géographiques plus petites. Les données permettent aux associations agricoles de surveiller les tendances dans leur secteur d'intérêt. Dans l'ensemble, les renseignements statistiques du REAG sont utilisés afin de relever et de surveiller les tendances, de donner des conseils sur les politiques et les programmes, de répondre aux demandes ou aux questions de divers intervenants et d'orienter les communications internes ou publiques.

La grande majorité des répondants externes consultés ont mentionné que, de façon générale, les produits et les renseignements statistiques du REAG de 2016 permettaient de faire la lumière sur les enjeux qui étaient importants pour leur organisme. L'évaluation a permis de constater que les tableaux de données du site Web de Statistique Canada représentaient les produits les plus utiles aux utilisateurs. En particulier, les tableaux des Données sur les exploitations et les exploitants agricoles ont été relevés comme les produits les plus utilisés. C'était particulièrement le cas au sein des organismes qui avaient la capacité à l'interne de mener leurs propres analyses. Les produits analytiques et les communiqués diffusés dans Le Quotidien ont été relevés comme étant moins utiles, mais tout de même pertinents, car ils donnaient un point de vue objectif et différent sur des sujets précis. C'était également le cas d'autres produits (p. ex. les cartes ou les infographies), les personnes consultées ayant indiqué qu'elles les utilisaient seulement à l'occasion ou rarement, même si elles étaient tout de même d'avis qu'ils étaient utiles. Enfin, un certain nombre d'utilisateurs provinciaux ont également mentionné avoir reçu un fichier contenant des renseignements statistiques du REAG, ce qui leur a permis de mener leurs propres analyses.

En plus des renseignements statistiques du REAG, la majorité des utilisateurs ont mentionné avoir consulté d'autres sources d'information, provenant de Statistique Canada ou d'autres organismes nationaux ou internationaux, afin de combler les lacunes. Ces données portaient notamment sur les prix des produits de base, les importations et les exportations de produits agricoles, la valeur des terres et les taux d'intérêt. Les utilisateurs ont consulté des sources internationales pour comparer les données avec celles d'autres pays (p. ex. les États-Unis et l'Australie) ou dans le but d'évaluer la demande sur le marché mondial pour certains produits agricoles (p. ex. le bétail ou les cultures).

Les tableaux de données chronologiques et socioéconomiques sont demandés plus tôt

Il y a eu trois diffusions de tableaux de données pour le REAG de 2016 : les Données sur les exploitations et les exploitants agricoles (10 mai 2017 – un an après le jour du recensement); certaines données chronologiques (11 décembre 2017 – environ un an et demi après le jour du recensement); un portrait socioéconomique de la population agricole (27 novembre 2018 – environ deux ans et demi après le jour du recensement). Il est à noter que l'outil utilisé pour développer le portrait socioéconomique de la population agricole ne faisait pas parti de la portée initiale du REAG de 2016 et a été ajouté plus tard – ce qui explique la diffusion relativement tardive.

La majorité des personnes consultées étaient d'avis que le délai pour recevoir le premier ensemble de tableaux de données était satisfaisant, compte tenu de la qualité des données qu'elles ont reçues. Quoiqu'elles auraient apprécié une diffusion plus tôt, elles ont reconnu le degré d'effort qu'il faut déployer pour produire les données et elles étaient d'avis que le délai était raisonnable, compte tenu de la qualité des données qu'elles ont reçues. Cependant, dans l'ensemble, les personnes consultées étaient d'avis que le délai entre le jour du recensement et la diffusion finale des tableaux de données, en particulier pour les tableaux de données socioéconomiques, a eu une incidence négative sur l'utilité des renseignements statistiques. En particulier, il aurait été avantageux pour les organismes qui élaborent des politiques ou des programmes visant les jeunes exploitants agricoles, des groupes de population précis ou les progrès en matière d'éducation de disposer de données plus actuelles.

Figure 1 : Calendrier de diffusion (voir l'annexe B pour obtenir de plus amples renseignements)

Il existe un certain intérêt pour des estimations provisoires, du moment que les différences sont minimes

On a parlé aux utilisateurs de la possibilité de diffuser des estimations provisoires pour des variables générales précises. Les estimations seraient différentes des données définitives diffusées; cependant, aucun exemple précis de variables à prendre en compte n'a été donné aux personnes consultées.

La moitié des personnes consultées n'étaient pas intéressées d'avoir accès à un tel produit et une grande proportion s'est prononcée contre. Plusieurs personnes ont expliqué que la diffusion d'estimations provisoires créerait de la confusion au sein des organismes et qu'il leur faudrait expliquer les différences entre les données provisoires et les données définitives. La plupart des personnes ont souligné qu'elles continueraient à s'appuyer uniquement sur les données définitives pour la prise de décisions en matière de politiques et l'analyse des tendances.

Les personnes qui étaient « très intéressées » ou « plutôt intéressées » d'avoir accès à un tel produit ont indiqué qu'il faudrait que la différence entre les estimations et les données définitives soient minimes; autrement, elles préféreraient le statu quo.

Certaines lacunes sont encore relevées

La Division de l'agriculture dispose de plusieurs mécanismes pour relever les lacunes en matière de données, notamment la tenue de consultations régulières précédant le cycle du recensement, le Comité fédéral-provincial-territorial de la statistique agricole, le Comité consultatif sur la statistique agricole et la mobilisation des organismes agricoles nationaux. Au moyen de ces mécanismes, le programme du REAG s'appuie sur le contenu approuvé au cycle précédent afin de mieux tenir compte des activités agricoles nouvelles et émergentes. De plus, les projets récemment mis en œuvre par la Division de l'agriculture, en particulier le projet Agriculture-zéro, ont permis de combler plusieurs lacunes (p. ex. les données sur les travailleurs étrangers temporaires).

La majorité des personnes consultées se sont dites satisfaites de la variété de sujets et de thèmes abordés. Cependant, un certain nombre de lacunes en matière de données ont été relevées, notamment en ce qui a trait aux exploitations émergentes et aux secteurs en croissance rapide comme l'agriculture biologique. La demande d'autres renseignements statistiques et une analyse plus approfondie ont aussi été relevées, notamment sur des sujets comme la relève agricole, la main d'œuvre (p. ex. les travailleurs étrangers et contractuels), l'utilisation des pesticides et les nouvelles catégories d'utilisation des terres (p. ex. la perte de terres au profit de l'urbanisation). Des variables supplémentaires observées au fil du temps (c.-à-d. des données chronologiques) ont aussi été relevées comme besoin. Enfin, toutes les personnes consultées voulaient avoir accès à des données plus détaillées, même si elles ont reconnu qu'il existe des limites liées à la confidentialité.

Les personnes consultées voulaient plus d'analyses croisées du secteur agricole avec d'autres secteurs. Dans le cadre du REAG de 2016, une analyse reposant sur des données non agricoles, comme la technologie, l'innovation et les enjeux socioéconomiques, a été fournie aux utilisateurs. Cette approche a été très appréciée des personnes consultées, mais elles voulaient obtenir encore davantage de données. Des données probantes portent à croire qu'il existe une demande grandissante pour l'analyse croisée dans des domaines comme la technologie, la rentabilité des exploitations agricoles, les changements démographiques, le transport et l'environnement.

Des directives supplémentaires sur l'utilisation des outils sont nécessaires

Deux outils Web ont été diffusés pour le REAG de 2016 : les fichiers des limites et le Carrefour de statistiques sur l'agriculture. L'évaluation a permis de constater que ces deux produits étaient relativement peu utilisés comparativement à d'autres produits comme les tableaux de données. Même si certaines des personnes consultées ont utilisé les fichiers des limites, la majorité d'entre elles l'ont rarement fait. De façon similaire, peu de personnes consultées ont utilisé le Carrefour de statistiques sur l'agriculture. Le manque de directives sur la manière d'utiliser les outils et d'interpréter les données a été mentionné comme étant les principaux obstacles. Le long délai de diffusion des données socioéconomiques, qui comprenaient le Carrefour de statistiques sur l'agriculture, a aussi été relevé comme étant un facteur ayant limité l'utilisation du Carrefour.

Bien que l'utilisation des outils Web actuels pour le REAG de 2016 ait été plutôt limitée, la majorité des personnes consultées souhaitaient disposer d'autres outils Web, comme des cartes interactives, des outils de création de tableaux personnalisés et des outils de recherche qui permettraient une plus grande personnalisation des produits. Étant donné que les tableaux de données représentaient le produit le plus utilisé, les utilisateurs profiteraient grandement d'outils associés aux tableaux. Cependant, les outils doivent s'accompagner de directives et de soutien, et une approche plus active à l'égard du lancement des outils serait recommandée.

Une communication plus claire des renseignements méthodologiques serait utile

Bien que les renseignements méthodologiques soient généralement disponibles, certaines des personnes consultées ont souligné qu'il serait utile de les afficher plus clairement dans les produits qui sont diffusés, que ce soit dans Le Quotidien ou sous forme de notes de bas de page dans les tableaux de données. À titre d'exemple, étant donné que les définitions utilisées par Statistique Canada peuvent être différentes des définitions utilisées par les associations agricoles (p. ex. la façon dont le nombre d'exploitants agricoles est calculé), il serait utile de donner des renseignements expliquant les différences.

Les utilisateurs étaient au courant des diffusions, et les données étaient accessibles

L'évaluation a permis de constater un degré de satisfaction élevé à l'égard de l'accessibilité des renseignements statistiques, même si l'on considérait que le site Web de Statistique Canada posait des difficultés. Un degré de satisfaction élevé a également été déclaré à l'égard des données personnalisées reçues. Les personnes consultées se sont dites très satisfaites du délai entre le premier contact établi avec Statistique Canada et la livraison du produit, la qualité du produit et le degré de détail fourni.

Pour ce qui est d'avoir connaissance des diffusions, la majorité des personnes consultées ont affirmé qu'elles en ont été informées amplement à l'avance et qu'elles étaient satisfaites des moyens utilisés. La plupart des personnes ont indiqué que les courriels de rappel représentaient le moyen le plus efficace pour être tenu au courant des diffusions.

De plus, les personnes qui avaient participé aux webinaires se sont dites très satisfaites, car les webinaires ont permis de fournir des renseignements supplémentaires sur les données disponibles et les principales tendances observées. Les webinaires ont été relevés comme étant des occasions de sensibiliser les gens aux produits et aux données qui seront accessibles et de faciliter l'interprétation des données et l'utilisation des outils Web.

1.2 Conception et mise en œuvre : migration du Recensement de l'agriculture vers le Programme intégré de la statistique des entreprises

Question d'évaluation

Dans quelle mesure les structures de gouvernance pour la collecte et le traitement des données (migration vers le PISE) sont-elles conçues afin d'assurer une mise en œuvre efficace du REAG de 2021?

Résumé

Dans le cadre de l'évaluation, on a cherché à déterminer si les structures de gouvernance associées à la migration du REAG vers le PISE, y compris les rôles et les responsabilités, les interdépendances et les pratiques de gestion de projet, contribueront à une mise en œuvre efficace et efficiente du REAG de 2021. L'évaluation a révélé certains secteurs de risque qui pourraient avoir une incidence négative sur la mise en œuvre efficace du REAG de 2021.

On s'attend à ce que la migration du Recensement de l'agriculture vers le Programme intégré de la statistique des entreprises procure des avantages

Au moment de l'évaluation, la Division de l'agriculture avait déjà migré avec succès l'ensemble de ses enquêtes vers le PISE. La dernière composante à migrer est le REAG. Les travaux de migration ont été entrepris pendant l'exercice financier 2018-2019 et devraient se poursuivre jusqu'à l'exercice financier 2022-2023. Les migrations vers le PISE se déroulent en trois étapes : la transition (définition des exigences propres au programme), l'intégration (élaboration et tests) et la production (les tâches de collecte et de traitement des données sont mises en œuvre dans le cadre du PISE).

En raison de son cycle de cinq ans, le REAG est considéré comme étant une composante en constante migration vers le PISE. Comme dans le cas des enquêtes de la Division dont la migration a déjà été effectuée, on s'attend à ce que la migration du REAG vers le PISE procure des avantages précis pour le REAG, notamment :

• un nombre réduit de systèmes de collecte, de traitement et de stockage des données grâce à l'adoption de méthodes statistiques et d'outils communs;
• une intégration et une harmonisation facilitées des données avec tous les programmes du PISE, y compris les enquêtes agricoles;
• un soutien intégré accru pour les systèmes, surtout lorsque surviennent des changements importants (p. ex. la technologie infonuagique);
• une approche plus ciblée à l'égard de la collecte des données (c.-à-d. les opérations de suivi) grâce à la fonctionnalité des indicateurs de qualité et de la mesure d'impact (IQ et MI) du PISE.

Les rôles et les responsabilités posent un risque pendant l'étape de la production

Pour les cycles précédents du REAG, la Division de l'agriculture était chargée de la conception, de la planification, de la mise en œuvre et de la gestion de toutes les tâches requises, comme la détermination du contenu, la collecte, le traitement^{Note de bas de page 8}, l'évaluation de la qualité des données^{Note de bas de page 9}et la diffusion. La migration vers le PISE pour le cycle de 2021 modifiera la gouvernance des tâches de collecte et de traitement des données (et les rôles et les responsabilités connexes), étant donné que la Division de la statistique des entreprises (DSE) est chargée de la gestion du PISE^{Note de bas de page 10}.

Le transfert des responsabilités relatives au traitement à la DSE a une incidence sur l'équipe du REAG, car cette dernière agira seulement à titre consultatif à l'égard de cette tâche, plutôt que d'en avoir l'entière responsabilité. Les mêmes structures de gestion globale du REAG seront maintenues au sein de la Division de l'agriculture, tandis que la migration vers le PISE permettra d'ajouter des structures de gouvernance déjà établies au sein de la DSE^{Note de bas de page 11}.

L'évaluation a permis de constater que la première partie de l'étape de la transition a posé des défis pour l'équipe du REAG, car cette dernière ne connaissait pas les répercussions de la migration des activités de traitement des données vers un système différent administré par une autre division. L'équipe de gestion du REAG et la DSE ont joué un rôle déterminant pour surmonter les premiers obstacles de la transition. En particulier, les deux groupes ont fait preuve de leadership en expliquant les avantages et les effets potentiels de la migration tout en assurant que les rôles et les responsabilités ont été communiqués efficacement et bien compris. Les structures de gouvernance sont également adéquates. Le leadership exercé pendant l'étape de la transition a facilité le lancement de la deuxième étape du projet, à savoir l'étape de l'intégration.

L'évaluation a permis de constater qu'il existe des préoccupations au sujet des rôles et des responsabilités à l'étape de la production tandis que de nouvelles personnes, comme des spécialistes du domaine au sein de la Division de l'agriculture et l'équipe de la production du PISE au sein de la DSE, sont appelées à intervenir et que d'autres se retirent du projet alors que l'étape de l'intégration se termine. En se fondant sur les migrations d'enquêtes précédentes vers le PISE, les rôles et les responsabilités à l'étape de la production sont généralement moins clairs que pendant les étapes précédentes. Pour corriger la situation, une bonne pratique relevée pendant les entrevues consiste à faire intervenir le personnel de la production pendant l'étape de l'intégration pour assurer la continuité et favoriser la compréhension, ce qui a été fait lors de la migration des enquêtes menées dans le cadre du Programme de la statistique agricole vers le PISE. Dans le cas du REAG, la plus grande partie du personnel de la Division qui participe à l'étape de l'intégration fait également partie de l'équipe de l'étape de la production.

Le Comité de gestion du changement de la DSE, qui est responsable du tri des changements requis, participera à l'étape de la production. Il faut tenir compte des processus de remontée des paliers hiérarchiques lorsque plusieurs comités (c.-à-d. le Comité directeur du REAG, l'équipe de gestion de projet du PISE et le Comité de gestion du changement) participent au processus décisionnel, surtout pendant les périodes où le temps manque et qui sont généralement observées pendant l'étape de la production. Bien que le processus de gestion du changement ait été défini et que l'on considère que le fait que les comités et les groupes de travail réunissent des membres communs constitue un facteur atténuant, le risque d'un processus décisionnel inefficace et inefficient en raison d'un nombre accru d'organes directeurs subsiste.

Les produits livrables et les calendriers connexes sont bien gérés

La migration du REAG vers le PISE est gérée par les groupes de travail en place. Jusqu'à présent, pour les étapes de la transition et de l'intégration, des pratiques efficaces ont été en place pour gérer les produits livrables, les calendriers connexes et les questions en suspens. L'étape de la transition, dirigée par la DSE en collaboration avec la Division de l'agriculture, s'est déroulée comme prévu. Les activités liées à l'étape de l'intégration, qui étaient mises en œuvre au moment de l'évaluation, se déroulaient aussi comme prévu. Le calendrier d'intégration actuel du PISE est considéré comme étant robuste et comprend le premier ensemble d'activités de traitement des données. Le calendrier de l'étape de la production est établi et est régulièrement examiné et mis à jour. Si les produits livrables, les calendriers et les questions en suspens sont gérés avec efficacité, la distinction entre les questions en suspens et les risques inhérents à la migration, surtout pour l'étape de la production, n'est pas encore énoncée clairement.

En plus des calendriers de migration du PISE, il faut tenir compte de deux autres calendriers. Étant donné que la collecte des données pour le Recensement de la population de 2021 et la collecte des données pour le REAG de 2021 sont effectuées en parallèle, le calendrier du Recensement de la population est essentiel à l'établissement et à la mise en œuvre du calendrier interne du REAG. Les trois calendriers présentent divers degrés de souplesse : le calendrier du Recensement de la population n'offre aucune souplesse et le calendrier du REAG offre de la souplesse, tandis que le PISE, qui met l'accent sur la collecte et le traitement des données, est considéré comme offrant une certaine souplesse. La Division de l'agriculture est le principal responsable de l'harmonisation de tous les calendriers. Les exigences du calendrier du Recensement de la population sont évaluées de façon continue, et des discussions sont tenues avec la DSE, au besoin, pour modifier le calendrier du PISE et le calendrier du REAG. Au moment de l'évaluation, il n'était pas nécessaire que des modifications majeures soient apportées aux calendriers, mais on s'attend à ce que des changements surviennent pendant l'étape de la production. Le système JIRA, qui est utilisé pour la gestion du changement (p. ex. les questions en suspens, les calendriers ou les produits livrables) par le PISE et dans le cadre du REAG et du Recensement de la population, est considéré comme un outil efficace.

Les incompatibilités entre le Portail de gestion de la collecte et le Programme intégré de la statistique des entreprises doivent être résolues

Une approche unique à l'égard de la collecte des données sera adoptée pour le REAG de 2021, une approche différente de celle adoptée à l'égard du REAG de 2016 et à l'égard d'autres enquêtes de Statistique Canada qui ont migré vers le PISE. Pour le REAG de 2016, la collecte des données relevait de la Division de l'agriculture et se déroulait par l'intermédiaire du Portail de gestion de la collecte (PGC), une plateforme de collecte partagée avec le Recensement de la population. L'équipe du REAG était chargée de surveiller la collecte et de gérer les opérations de suivi. Étant donné que le REAG est mené en même temps que le Recensement de la population, le PGC continuera d'être utilisé pour la collecte des données du REAG de 2021.

Les données des enquêtes menées dans le cadre du PISE (qui sont fondamentalement axées sur les entreprises) sont généralement recueillies par l'intermédiaire d'une plateforme différente, le Portail de collecte des données auprès des entreprises. Il faut élaborer, soumettre à des tests et mettre en œuvre des liens entre le PGC et le PISE pour les opérations de collecte des données du REAG de 2021. Au moment de l'évaluation, les liens étaient encore en cours d'élaboration. Bien que certaines fonctionnalités soient maintenant opérationnelles, il y a encore du travail d'élaboration à faire. À titre d'exemple, les paradonnées du PGC (p. ex. les renseignements liés au processus de collecte des données, comme les tentatives de joindre une personne, les commentaires fournis par l'intervieweur ou le taux d'achèvement) n'étaient pas compatibles avec le PISE au moment de l'évaluation. Bien que des travaux soient en cours pour résoudre le problème, l'incompatibilité des paradonnées du PGC désactiverait la fonctionnalité des indicateurs de qualité (IQ) et de la mesure d'impact (MI) du PISE, qui assure un processus ciblé pour les opérations de suivi (c.-à-d. la priorisation des opérations de suivi pour cibler les unités qui ont le plus d'incidence sur les données). Les IQ et MI représentent un outil efficace utilisé à l'appui de la qualité des données, et la stratégie d'évaluation de la qualité des données du REAG de 2021 devrait être adaptée si cet outil n'était pas disponible. Il existe un risque que certaines relations entre le PGC et le PISE ne soient pas établies et soumises aux tests à temps pour l'étape de la production.

La capacité de traitement du Programme intégré de la statistique des entreprises et les outils disponibles auront une incidence sur les activités d'évaluation de la qualité des données

Les activités d'évaluation de la qualité des données continueront de relever de la Division de l'agriculture. Si le PISE est conçu pour assurer la collecte et le traitement des données, il comprend également des fonctionnalités appuyant l'évaluation de la qualité des données, comme les IQ et MI, les estimations en continu, l'inclusion des variances dues à la non-réponse et les valeurs attribuées par imputation. Cependant, compte tenu du volume de données recueillies dans le cadre du REAG, certains processus de validation ne pourront pas être utilisés, et d'autres outils que ceux du PISE devront être élaborés et mis à l'essai. L'utilisation d'autres outils exigera une reconfiguration de la stratégie d'évaluation de la qualité des données.

Bien que la production d'estimations en continu soit considérée comme une étape importante pour assurer la qualité des données, des préoccupations ont été soulevées quant à la capacité de traitement des données qui peut être effectué dans le cadre du PISE. Au cours de cycles précédents, l'équipe du REAG était en mesure d'imputer, d'exploiter et d'analyser des données à un rythme plus rapide que ce qui est actuellement possible dans le cadre du PISE. Étant donné que les données changent de la production d'estimations en continu et à leur achèvement, on craint que les spécialistes du domaine valident des données désuètes. Bien que la capacité de traitement des données effectué dans le cadre du PISE se soit améliorée depuis le début de la migration du REAG et qu'on s'attende à d'autres améliorations, des préoccupations demeurent.

Les leçons tirées de migrations passées vers le PISE portent à croire que le degré d'effort qu'il faut déployer pour l'évaluation de la qualité des données est semblable ou plus élevé qu'à l'habitude. Un certain nombre de grandes enquêtes qui ont migré vers le PISE dans le passé ont affiché des retards pendant l'étape de la production en raison de difficultés associées à la tâche d'évaluation de la qualité des données^{Note de bas de page 12}. Au moment de l'évaluation, la stratégie d'évaluation de la qualité des données était en cours d'élaboration.

La migration bénéficiera d'un délai prolongé et d'une vaste expérience

Les activités de migration ont été entreprises pendant l'exercice financier 2018-2019 et se poursuivront jusqu'à l'exercice financier 2022-2023. Les tests se poursuivront également, au besoin, pendant la collecte des données. Le délai prolongé des tests (en raison du cycle de cinq ans du REAG) permettra de réaliser d'autres tests^{Note de bas de page 13} (c.-à-d. avec des données simulées, les données réelles du REAG de 2016 et des données issues des tests relatifs au contenu effectués en 2019). Cependant, l'étape de la production sera mise en œuvre avec les données réelles de 2021, sans possibilité d'effectuer des tests en parallèle.

Enfin, étant donné qu'environ 30 enquêtes de la Division de l'agriculture ont déjà migré vers le PISE, la Division et la DSE ont développé une expertise. Les connaissances acquises dans le cadre des expériences passées contribueront à assurer le succès de la migration du REAG.

D'autres pressions peuvent avoir une incidence sur la migration

Un risque qui pourrait avoir une incidence sur la migration du REAG vers le PISE est le passage à la technologie infonuagique. Bien qu'aucune date de mise en œuvre précise ne soit prévue pour les programmes de Statistique Canada, le passage des composantes du PISE à la technologie infonuagique pendant l'étape de la production, à laquelle la plupart des tests auront été effectués, aurait une incidence sur la migration. Au moment de l'évaluation, ce sujet faisait encore l'objet de discussions.

Un autre élément souligné pour chaque cycle du REAG est la rapidité de l'approbation du contenu. Les changements apportés au contenu auront une incidence sur divers éléments, y compris le questionnaire et les systèmes.

1.3 Projets du Programme de la statistique agricole appuyant l'initiative de modernisation

Question d'évaluation

Dans quelle mesure des pratiques efficaces de gouvernance, de planification et de gestion de projet sont-elles en place pour appuyer les projets de modernisation dans le cadre du PSA?

Résumé

L'évaluation a permis d'examiner un échantillon de projets en cours et terminés entrepris dans le cadre du PSA dans le but d'analyser leur lien avec les piliers de la modernisation de Statistique Canada et leurs résultats attendus^{Note de bas de page 14}, et de cerner des domaines d'amélioration concernant les pratiques de gouvernance, de planification et de gestion de projet^{Note de bas de page 15}. L'évaluation a permis de constater que les projets concordaient avec l'initiative de modernisation et que la gouvernance est en place, mais que les pratiques de gestion de projet pourraient être améliorées^{Note de bas de page 16}.

Les projets concordent avec les piliers de la modernisation de Statistique Canada et les résultats attendus

L'initiative de modernisation de Statistique Canada appuie la vision d'une société et d'une économie fondées sur les données. La modernisation de la culture en milieu de travail de Statistique Canada et de son approche à l'égard de la collecte et de la production de statistiques permettra un « accès amélioré et plus rapide aux produits statistiques dont les Canadiens ont besoin^{Note de bas de page 17} ». Cinq piliers de la modernisation ainsi que des résultats attendus ont été énoncés afin d'orienter l'initiative de modernisation (figure 2).

Description pour la Figure 2 - Initiative de modernisation de Statistique Canada

La vision : Une société et une économie axées sur les données

La modernisation de la culture en milieu de travail de Statistique Canada et de son approche relativement à la collecte et à la production de statistiques permettra un accès amélioré et plus rapide aux produits statistiques dont les Canadiens ont besoin. Plus précisément, l'initiative et les projets qui en découlent offriront les avantages suivants :

• Permet d'obtenir des statistiques plus pertinentes et actuelles, de sorte à nous assurer que les Canadiens ont accès aux données dont ils ont besoin, lorsqu'ils en ont besoin!
• Permet d'offrir un leadership en matière d'intendance des données du gouvernement du Canada : améliorer et accroître l'harmonisation et la collaboration avec les homologues de tous les ordres de gouvernement ainsi qu'avec le secteur privé et les organismes de réglementation pour créer une approche pangouvernementale intégrée en matière de collecte, de partage, d'analyse et d'utilisation des données.
• Permet de sensibiliser le public aux données de Statistique Canada et d'offrir un accès continu à ces données.
• Permet d'élaborer et de diffuser des statistiques plus précises afin de s'assurer que les Canadiens disposent des renseignements détaillés dont ils ont besoin pour prendre les meilleures décisions possibles.

Les piliers

Prestation de services axés sur l'utilisateur :

• Les utilisateurs disposent des renseignements et des données dont ils ont besoin, lorsqu'ils en ont besoin et de la manière dont ils souhaitent y accéder. Ils ont également les outils et les connaissances nécessaires pour en tirer pleinement parti.
• L'accent sur les utilisateurs fait partie intégrante de la culture de Statistique Canada.

Méthodes et intégration des données à la fine pointe de la technologie :

• L'accès à de nouvelles données ou à des données inexploitées modifie le rôle des enquêtes.
• On a davantage recours à la capacité de modélisation et d'intégration au moyen de l'environnement de recherche et développement.

Renforcement des capacités statistiques et leadership :

• Approche pangouvernementale intégrée en matière de collecte, de partage, d'analyse et d'utilisation des données.
• Statistique Canada est le chef de file au chapitre de la détermination, du renforcement et de la promotion de renseignements utiles et de compétences analytiques essentielles au-delà de notre périmètre.

Partage et collaboration :

• Les programmes et les services sont exécutés selon une approche coordonnée avec les partenaires et les intervenants.
• Les partenariats permettent un partage ouvert de données, d'expertise et de pratiques exemplaires.
• Les obstacles à l'accès aux données sont supprimés.

Effectif moderne et milieu de travail flexible :

• L'organisation est agile et souple et s'adapte aux besoins des clients.
• On dispose des talents et de l'environnement requis en vue de répondre à nos besoins opérationnels actuels et on fait preuve d'ouverture et de souplesse afin de continuer de nous préparer pour l'avenir.

Résultat attendu :

Activités modernes et souples : coûts réduits pour l'industrie, processus internes simplifiés et efficacité et soutien améliorés pour les activités nouvelles et existantes.

La plupart des projets examinés portent principalement sur les façons d'accroître l'utilisation des données administratives et à intégrer des données aux systèmes centralisés. L'évaluation a permis de sélectionner un échantillon de projets au moyen d'une méthodologie objective fondée sur les critères suivants : le degré de priorité pour le PSA, le budget, l'incidence prévue (p. ex. utilisateurs des données, répondants, qualité des données et coûts) et la contribution perçue à la modernisation. D'autres critères comme la durée, la date de début et l'étape du projet ont également été pris en compte. Selon cette méthodologie, cinq projets ont été sélectionnés :

• Le projet Agriculture-zéro (AG-zéro) est un projet d'une durée de sept ans qui a reçu du financement à compter de l'exercice financier 2019-2020. Il vise à réduire le fardeau de réponse en remplaçant les données d'enquête par des données provenant d'autres sources. Le projet AG-zéro a pour but d'entreprendre plusieurs projets pilotes portant sur l'acquisition et l'utilisation massive de données de l'imagerie satellitaire, de lecteurs optiques et d'autres données administratives, ainsi que de modèles pour servir de données d'entrée au PSA, au lieu de données recueillies directement auprès des exploitants agricoles. Le projet vise à réduire le fardeau de réponse des exploitants agricoles à un niveau aussi près de zéro que possible d'ici 2026, tout en maintenant la quantité et la qualité des données offertes.

  Une approche de « collecte unique, utilisations multiples » est adoptée dans le cadre du projet. Des données administratives seront utilisées pour remplacer directement les données d'enquête, pour modéliser des estimations qui sont actuellement produites au moyen des données d'enquête et pour produire des produits statistiques à valeur ajoutée à l'intention des intervenants. Dans le cadre du projet AG-zéro, la mise en œuvre d'une série de sous projets est prévue sur une période de sept ans^{Note de bas de page 18}. Au moment de l'évaluation, trois d'entre eux avaient été lancés. Les deux sous-projets suivants ont été sélectionnés aux fins d'examen :

  • Dans le cadre du projet de la traçabilité des porcs, des données administratives sont utilisées pour modéliser des estimations de stocks de porcs, et elles pourraient servir à remplacer les estimations d'enquête bisannuelles par des estimations en temps quasi réel. Les données sur la traçabilité des porcs ont comme source les données recueillies en vertu de la Loi sur la santé des animaux.
  • Dans le cadre du projet Estimations de rendement hebdomadaires en cours de saison, une combinaison de données de l'imagerie satellitaire et de données administratives provenant des sociétés d'assurance-récolte est utilisée, et une modélisation est effectuée pour produire des estimations saisonnières du rendement des cultures et de la superficie cultivée.
• Le Programme des données fiscales agricoles (PDFA) est remanié pour passer d'une activité fondée sur les enquêtes à une activité fondée sur le recensement ayant recours aux dossiers fiscaux pour estimer une gamme de variables financières, y compris les recettes, les dépenses et le revenu. Le remaniement du PDFA en une activité fondée sur le recensement appuiera le remplacement des données financières issues du REAG.
• Le projet d'intégration des données agricoles (IDA) permettra d'intégrer les enquêtes sur les produits agricoles nécessitant un traitement en dehors du PISE au Système actuel d'intégration des données de la Section des revenus et des prix agricoles (ID-SRPA). Le système combinera des données provenant de plus de 100 sources en vue de produire des données intégrées agrégées pour le Système de comptabilité nationale. Le projet comprendra l'intégration d'une foule de feuilles de calcul et d'autres systèmes en un seul outil de la Division. Le projet permettra aussi de mettre à jour les formules du système d'ID SRPA afin que ce dernier accepte les règles d'attribution des noms utilisées dans le cadre du PISE ou d'autres sources de données chargées directement dans le système d'ID SRPA. On s'attend à ce que l'analyse croisée des ensembles de données soit facilitée, surtout lorsque le REAG aura migré vers le PISE.

La gouvernance est en place

Dans l'ensemble, l'évaluation a permis de constater que des structures de gouvernance sont en place à l'appui des projets. De même, des calendriers sont établis et des rencontres ont lieu régulièrement pour surveiller les progrès réalisés, les budgets et les questions en suspens.

Les projets ont recours à différentes structures de gouvernance. Le projet AG-zéro est surveillé par l'entremise du Cadre de gestion des projets de l'organisme (CGPO)^{Note de bas de page 20} et a été entrepris le 1er avril 2019. Les trois premières années du projet sont financées par l'intermédiaire d'une présentation en vue d'un investissement dans la modernisation, tandis que les quatre dernières années seront autofinancées grâce aux économies réalisées dans le cadre du premier ensemble de sous-projets. Certains des sous projets réalisés dans le cadre du projet AG-zéro bénéficient d'un financement supplémentaire réservé.

Dans le cas du projet AG-zéro, comme l'exigent les lignes directrices du CGPO, de la documentation détaillée sur la gestion de projet est en place, y compris une charte de projet, une Évaluation de la complexité et des risques des projets et un plan de développement des technologies d'information (TI). Des tableaux de bord mensuels sont fournis au Bureau de gestion de projet de l'organisme (BGPO), faisant rapport sur divers aspects, dont les échéanciers, les produits livrables, les dépenses et les risques. Une structure de gouvernance existe au sein de la Division et comprend des groupes de travail, la direction de la Division et le Comité directeur du REAG. Les sous projets du projet AG-zéro sont gérés au moyen de la même structure de gouvernance. Ils font l'objet de discussions au sein de la Division, et les mises à jour sur des éléments comme les produits livrables, les risques et les calendriers sont regroupées dans le tableau de bord mensuel du projet AG-zéro, au besoin.

Le projet d'IDA est également un projet relevant du CGPO. Il s'agit d'un projet de faible envergure auquel une ressource à temps plein est consacrée et sans investissement non salarial. La surveillance et la production de rapports se font par l'intermédiaire de la structure de gouvernance habituelle de la Division de l'agriculture et du CGPO.

La gestion de projet dans le cadre du PDFA se fait par l'intermédiaire de la structure de gouvernance régulière de la Division; il ne s'agit pas d'un projet relevant du CGPO. Des données probantes indiquent que la gestion de projet s'est améliorée au fil du temps (p. ex. la planification budgétaire, les calendriers, les hypothèses, la gouvernance, les rôles et les responsabilités) et que, au moment de l'évaluation, une gouvernance adéquate était en place et que le projet était en voie d'atteindre ses objectifs généraux.

Des évaluations des risques sont menées de façon ponctuelle

Les risques du projet AG-zéro dans son ensemble ont été relevés au début du projet et sont surveillés chaque mois conformément aux exigences du CGPO. Les risques des sous-projets doivent être regroupés pour éclairer la gestion des risques dans le cadre du projet AG-zéro dans son ensemble. Bien que les risques propres à chaque projet soient relevés et saisis dans le système JIRA pendant les rencontres régulières des chefs d'équipe, très peu de données probantes indiquent qu'une évaluation initiale des risques a été menée pour chaque sous-projet. Étant donné que le projet AG-zéro est la somme de ses sous-projets, la gestion informelle des risques pour chacun des sous-projets limite l'efficacité de la gestion des risques.

À titre d'exemple, l'interruption d'un accès fiable à des données administratives (à court et à long terme) a été relevée comme un risque dans le cadre du projet global AG-zéro. La Division a élaboré des mesures de rechange et d'atténuation, notamment la faisabilité de demeurer « prêt à reprendre l'enquête » au cas où ce risque se concrétiserait. Étant donné que le risque n'a pas été pleinement évalué pour chacun des sous-projets, la gestion de ce risque est limitée. De façon similaire, la gestion des risques pour d'autres activités qui ne relèvent pas du CGPO se fait de façon ponctuelle et informelle.

Il n'y a pas d'objectifs quantifiables ni de cibles

Les projets examinés pourraient permettre de promouvoir l'innovation dans des domaines importants comme la collecte, le traitement, l'analyse et la diffusion des données. L'évaluation a permis de constater que, dans la plupart des cas, des résultats attendus clairement définis et quantifiables n'ont pas été énoncés. On reconnaît généralement les types d'effets positifs que ces projets « pourraient » entraîner, mais peu d'objectifs précis permettent de quantifier le degré d'amélioration attendu dans des domaines comme la qualité des données, la rentabilité, le fardeau de réponse, la rapidité de diffusion ou la pertinence.

À titre d'exemple, si l'on présume généralement que l'intégration des données provenant d'autres sources permettra éventuellement de réduire les coûts associés à la collecte des données, aucune attente n'est documentée quant aux économies qui seront réalisées et à quel moment elles seront réalisées. C'est en particulier le cas des sous-projets entrepris dans le cadre du projet AG-zéro. Le projet AG-zéro, qui a un mode de financement hybride (c.-à-d. un financement approuvé pendant les trois premières années et l'autofinancement pour les quatre autres années), ne s'accompagne pas d'un plan permettant de déterminer et de mesurer le rendement des investissements^{Note de bas de page 21}.

Enfin, la mesure du rendement des investissements doit être approfondie et exhaustive. À titre d'exemple, lorsque des données provenant d'autres sources sont acquises auprès de sources externes en échange d'un certain type de service (comme le nettoyage ou la préparation des données), il faut tenir compte du coût du service. Le fait de ne pas payer pour obtenir les données administratives ne signifie pas qu'elles sont gratuites; il y a tout de même un coût « en contrepartie » du service dont il faut tenir compte. De façon similaire, il faut tenir compte des coûts engendrés pour demeurer « prêt à reprendre l'enquête » tout en utilisant des données administratives (c.-à-d. la stratégie d'atténuation mise en œuvre à l'égard du risque lié à l'accessibilité des données administratives).

Il est essentiel d'établir des indicateurs de rendement généraux à l'égard des projets et des principaux jalons pendant la durée des projets pour surveiller les progrès accomplis et, en fin de compte, mesurer le rendement de l'initiative pour l'organisme. Le rendement peut se présenter sous la forme de l'amélioration de la qualité des données, de la réduction des coûts, de la réduction du fardeau de réponse, de l'amélioration de l'accessibilité et de la disponibilité des données ou de toute autre amélioration apportée par l'organisme.

Les pratiques exemplaires pourraient être davantage mises à profit

L'évaluation a permis de relever très peu de données probantes selon lesquelles les pratiques exemplaires et les leçons tirées des projets sont partagées (ou qu'il était prévu de les partager) en dehors de la Division; il ne semblait pas non plus que les expériences acquises par d'autres divisions^{Note de bas de page 22} avaient été prises en compte dans le cadre des projets. Les leçons tirées et les pratiques exemplaires n'ont pas été documentées. La documentation de celles-ci a plutôt été reportée en attendant de disposer de « plus de temps ».

Bien qu'un effort minimal ait été déployé à cet égard, le personnel a reconnu l'importance de partager et de tirer profit de l'expérience des autres et que le partage et l'application des pratiques exemplaires pourraient être améliorés. Le personnel connaissait aussi les moyens disponibles à cette fin, comme le Radar de l'innovation et le Forum des statistiques économiques. En novembre 2019, la Division a présenté un aperçu du Cadre de statistiques géospatiales (un système conçu pour visualiser et analyser des données géospatiales) à l'occasion du Forum des statistiques économiques.

Un certain nombre de suggestions ont été données lorsqu'on a demandé des façons d'améliorer le partage de l'information : encourager l'utilisation des mécanismes organisationnels actuels comme le Radar de l'innovation; mettre au point une plateforme intégrée ouverte et conviviale qui pourrait héberger des renseignements plus détaillés sur les initiatives organisés par thèmes, y compris des coordonnées; faire intervenir les secteurs partenaires comme la Direction des finances, de la planification et de l'approvisionnement, la Direction de l'informatique et la Direction des méthodes statistiques modernes et de la science des données (qui appuient différents projets visant des méthodes statistiques rigoureuses) au début d'une nouvelle initiative, étant donné que ces groupes ont un point de vue organisationnel sur les projets novateurs.

L'accent est mis sur la rapidité

Le degré de gestion de projet témoigne généralement de plusieurs facteurs, notamment du risque, de l'importance relative et des interdépendances. Des données portent à croire que la plus grande priorité est accordée à la rapidité de diffusion des résultats des projets et que la gestion de projet est considérée comme une tâche exigeante qui demande beaucoup de temps et qui ralentit les choses. Par conséquent, un effort minimal est consacré aux activités comme la réalisation d'une évaluation officielle des risques, l'établissement d'objectifs quantifiables, la réalisation d'analyses coûts-avantages et le partage des pratiques exemplaires (ainsi que les leçons à tirer de l'expérience d'autres divisions). Il faut trouver le bon équilibre. 

Comment améliorer le programme

Stratégie de diffusion du Recensement de l'agriculture de 2016

Le statisticien en chef adjoint (SCA), Secteur de la statistique économique (secteur 5), doit veiller à ce que :

Recommandation 1 :

Pour le REAG de 2021, la Division de l'agriculture examine des façons d'améliorer la rapidité de diffusion des deux derniers ensembles de tableaux de données (données chronologiques et données socioéconomiques) et d'accroître l'analyse croisée avec les secteurs non agricoles.

Recommandation 2:

Les outils Web s'accompagnent de directives sur la façon de les utiliser et d'interpréter les données qui en sont issues. Une approche proactive doit être adoptée à l'égard du lancement des nouveaux outils. Les webinaires ont été relevés comme étant un moyen efficace, et l'utilisation d'autres moyens permettraient d'assurer une couverture encore plus grande.

Conception et mise en œuvre : migration du Recensement de l'agriculture vers le Programme intégré de la statistique des entreprises

Le SCA, secteur 5, doit veiller à ce que :

Recommandation 3 :

Les problèmes non résolus liés à la migration vers le PISE, y compris les incompatibilités entre le PISE et le PGC ainsi que la capacité de traitement du PISE, soient résolus avant l'étape de la production.

Recommandation 4 :

Les risques importants pendant l'étape de la production, surtout en ce qui a trait à l'évaluation de la qualité des données et à l'exercice des rôles et des responsabilités, soient surveillés et atténués.

Projets du Programme de la statistique agricole appuyant l'initiative de modernisation

Le SCA, secteur 5, doit veiller à ce que :

Recommandation 5 :

Les processus de planification liés aux projets à venir ne relevant pas du Cadre de gestion des projets de l'organisme comprennent une évaluation initiale qui tienne compte d'éléments comme les risques, l'importance relative, la visibilité auprès de la population et les interdépendances. L'évaluation menée doit servir à déterminer le degré de surveillance et de gestion de projet nécessaire.

Recommandation 6 :

Des processus et des outils permettant de documenter et de partager les pratiques exemplaires soient mis en œuvre et que les leçons tirées par les autres organismes (internes et externes) soient mises à profit.

Réponse de la direction et plan d'action

Recommandation 1 :

Pour le REAG de 2021, la Division de l'agriculture examine des façons d'améliorer la rapidité de diffusion des deux derniers ensembles de tableaux de données (données chronologiques et données socioéconomiques) et d'accroître l'analyse croisée avec les secteurs non agricoles.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Pour le Recensement de l'agriculture de 2016, aucun financement n'a été octroyé pour la création et la diffusion du portrait socioéconomique de la population agricole. À ce titre, cet élément n'était pas inclus dans la portée initiale de la stratégie de diffusion de 2016 et a été ajouté ultérieurement. L'outil utilisé pour créer l'ensemble de données socioéconomiques du REAG de 2016 (portant précisément sur le couplage entre les recensements de l'agriculture et de la population) relève de la portée du projet en tant que projet livrable dans le cadre du Recensement de l'agriculture de 2021.

La stratégie de diffusion et le calendrier de diffusion du REAG de 2021 seront présentés au Comité directeur du REAG à des fins d'examen et d'approbation. Les processus connexes pour la diffusion des données chronologiques sur les exploitations et les exploitants agricoles seront également examinés et le calendrier des diffusions sera ajusté en fonction des commentaires des partenaires fédéraux, provinciaux et territoriaux (principaux utilisateurs des données).

La Division de l'agriculture a déjà pris des mesures en vue d'accroître l'analyse croisée avec les secteurs non agricoles. Cela comprend entre autres l'infographie sur les thèmes suivants :

1. Qu'est-ce qui est apparu en premier : l'œuf ou la poule? La volaille et les œufs au Canada;
2. L'Action de grâce : autour de la table.

Le REAG continuera de s'appuyer sur cette initiative en créant des infographies intersectorielles, des études analytiques, des communiqués du Quotidien et des produits interactifs de visualisation des données aux fins de la diffusion des données du REAG de 2021.

Livrables et échéanciers

Le statisticien en chef adjoint, Secteur de la statistique économique (secteur 5), veillera à livrer :

1. Stratégie de diffusion approuvée (Décembre 2020).
2. Proposition d'analyses croisées telles que des infographies, des études analytiques, des communiqués du Quotidien intégrant les données du REAG aux données d'autres secteurs (Mars 2021).
3. Proposition de nouveaux outils interactifs de visualisation des données dans le Carrefour de statistiques sur l'agriculture (Mars 2021).

Recommandation 2 :

Les outils Web s'accompagnent de directives sur la façon de les utiliser et d'interpréter les données qui en sont issues. Une approche proactive doit être adoptée à l'égard du lancement des nouveaux outils. Les webinaires ont été relevés comme étant un moyen efficace, et l'utilisation d'autres moyens permettraient d'assurer une couverture encore plus grande.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Des tutoriels vidéo sur YouTube sur la façon d'utiliser les fichiers des limites géographiques de Statistique Canada à l'aide d'un logiciel ouvert de SIG (QGIS) ont été produits et ajoutés au Portail de statistiques sur l'agriculture et l'alimentation.

Le REAG créera des instructions et des démonstrations sur la façon d'utiliser les outils Web interactifs de visualisation. Les instructions seront intégrées dans chaque outil et les démonstrations seront présentées aux utilisateurs des données dans le cadre d'une série de webinaires prévus pour les diffusions du REAG de 2021.

Livrables et échéanciers

Le statisticien en chef adjoint, Secteur de la statistique économique (secteur 5), veillera à livrer :

1. Proposition de nouveaux outils interactifs de visualisation des données dans le Carrefour de statistiques sur l'agriculture ainsi que des instructions complètes sur la façon de les utiliser et des webinaires de démonstration (Mars 2021).

Recommandation 3 :

Les problèmes non résolus liés à la migration vers le PISE, y compris les incompatibilités entre le PISE et le PGC ainsi que la capacité de traitement du PISE, soient résolus avant l'étape de la production.

Réponse de la directions

La direction est d'accord avec la recommandation formulée.

Le REAG continuera de travailler avec les partenaires pour cerner les problèmes pertinents et émergents liés à la migration vers le PISE pendant les essais intégrés qui commenceront en juin 2020. Les problèmes seront saisis dans JIRA et les risques majeurs seront inscrits dans le registre des risques du REAG. Les risques et les problèmes regroupés seront suivis et traités dans la documentation du plan de projet.

Les essais intégrés s'échelonneront sur plusieurs mois. Tous les problèmes pertinents et émergents doivent être résolus d'ici décembre 2020 pour veiller à la préparation des activités de production.

Les problèmes et les risques seront surveillés par le Comité directeur du REAG.

Livrables et échéanciers

Le statisticien en chef adjoint, Secteur de la statistique économique (secteur 5), veillera à s'assurer du suivi des problèmes et risques pertinents et émergents liés au PISE, conformément au CGPO (Décembre 2020).

Recommandation 4 :

Les risques importants pendant l'étape de la production, surtout en ce qui a trait à l'évaluation de la qualité des données et à l'exercice des rôles et des responsabilités, soient surveillés et atténués.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Un exercice de simulation sera mené pour déterminer les lacunes potentielles dans les processus en place (y compris la gestion des risques) pour la phase de production. Les renseignements recueillis au cours de l'exercice serviront à mieux préparer les plans et à prévoir les éventualités possibles. Les résultats seront présentés au Comité directeur du REAG.

Le REAG aura recours au PISE et mobilisera tous ses intervenants (équipe spéciale) pour convoquer des réunions afin de communiquer les problèmes et les risques pertinents et émergents pendant la phase de production et de trouver des solutions. Les rôles et les responsabilités seront officiellement consignés et présentés au Comité directeur du REAG.

L'équipe spéciale sera prête pour la phase de production.

Livrables et échéanciers

Le statisticien en chef adjoint, Secteur de la statistique économique (secteur 5), veillera à livrer :

1. Résultats de l'exercice de simulation (Décembre 2020).
2. Présentation de l'équipe spéciale du REAG et consignation de ses rôles et responsabilités (Mars 2021).

Recommandation 5 :

Les processus de planification liés aux projets à venir ne relevant pas du Cadre de gestion des projets de l'organisme comprennent une évaluation initiale qui tienne compte d'éléments comme les risques, l'importance relative, la visibilité auprès de la population et les interdépendances. L'évaluation menée doit servir à déterminer le degré de surveillance et de gestion de projet nécessaire.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Un nouveau processus sera mis en œuvre (pour les sous-projets relevant de l'initiative Ag-Zéro et les projets ne relevant pas du CGPO) qui nécessitera l'élaboration d'un plan de projet avant le lancement d'un nouveau projet. Le plan comprendra entre autres une évaluation initiale des problèmes et des risques (et des stratégies d'atténuation), une description de la méthodologie et des hypothèses, la détermination des interdépendances et des résultats attendus, et des plans de communication. Le suivi des projets se fera au moyen des mécanismes de gouvernance existants. Enfin, les projets déjà en cours seront assujettis rétroactivement au nouveau processus.

Le cas échéant, les plans seront utilisés pour mettre à jour le registre des problèmes et des risques du projet du CGPO et le plan de projet du CGPO.

Livrables et échéanciers

Le statisticien en chef adjoint, Secteur de la statistique économique (secteur 5), veillera à livrer un nouveau processus d'élaboration de plan de projet (Juin 2020).

Recommandation 6 :

Des processus et des outils permettant de documenter et de partager les pratiques exemplaires soient mis en œuvre et que les leçons tirées par les autres organismes (internes et externes) soient mises à profit.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

La Division de l'agriculture a déjà communiqué les leçons apprises et les pratiques exemplaires au moyen de divers mécanismes, dont :

1. une présentation sur la production d'estimations du rendement des cultures à l'aide de données administratives et d'observation de la Terre, à AAC le 14 mars 2019;
2. une présentation au Forum de la statistique économique, le 12 novembre 2019;
3. une présentation sur la prévision du nombre d'employés utilisant les données fiscales, à AAC le 7 février 2020.

Dans le cadre du nouveau processus d'élaboration de plan de projet décrit précédemment, la Division de l'agriculture tirera parti des leçons apprises d'autres organisations, le cas échéant. De plus, dans le cadre de la surveillance continue, elle consignera les leçons apprises et les pratiques exemplaires des projets.

Livrables et échéanciers

Le statisticien en chef adjoint, Secteur de la statistique économique (secteur 5), veillera à livrer :

1. Approche systématique pour la communication et la consignation des leçons apprises (Décembre 2020).
2. Présentation(s) dans le cadre de conférences comme le Forum de la statistique économique (Mars 2021).
3. Article(s) dans @StatCan ou dans le Bulletin sur la modernisation (Mars 2021).
4. Présentation(s) à AAC (Mars 2021).

Annexe D: Enquête sur la maturité d'innovation

En 2018, Statistique Canada a mené une évaluation afin de mesurer le degré de maturité de l'organisme en matière d'innovation en fonction de six éléments : ^{Note de bas de page 25}

• Attentes des clients : intégrer les attentes et les besoins des clients à la conception et à l'élaboration de politiques et de services innovateurs.
• Harmonisation stratégique : énoncer des stratégies d'innovation claires qui sont harmonisées avec les priorités et le mandat de l'organisme.
• Activités internes : acquérir les bonnes capacités harmonisées avec les stratégies d'innovation.
• Activités externes : collaborer avec les partenaires externes et de l'ensemble du gouvernement pour innover ensemble dans le cadre des politiques, des services et des programmes.
• Organisation : encourager les bons éléments organisationnels pour stimuler l'innovation à un coût optimal.
• Culture : harmoniser les objectifs en matière d'innovation, les caractéristiques culturelles et les comportements par rapport aux stratégies d'innovation.

Le degré de maturité de la Division de l'agriculture en matière d'innovation était supérieur à celui de l'ensemble de Statistique Canada et était comparable à celui du Secteur de la statistique économique dans son ensemble.

Description pour la Figure 3 - Résultats de l'Enquête sur la maturité d'innovation (selon une échelle de 5 points)

La figure illustre les résultats de l'Enquête sur la maturité d'innovation de Statistique Canada sur 4 différents groupes (Statistique Canada; Secteur de la statistique économique; Direction de la statistique de l'agriculture, de l'énergie et de l'environnement; Division de l'agriculture). Six différents éléments ont été utilisés : Attentes des clients; Harmonisation stratégique; Activités internes; Activités externes; Organisation; Culture. Le degré de maturité globale a aussi été étudié.

Résultats de l'Enquête sur la maturité d'innovation (selon une échelle de 5 points)

Éléments ont été utilisés	Statistique Canada	Secteur de la statistique économique	Direction de la statistique de l'agriculture, de l'énergie et de l'environnement	Division de l'agriculture
Maturité globale	1.98	2.01	2.15	2.35
Attente des clients	2.16	2.34	2.55	2.84
Harmonisation stratégique	1.98	1.95	2.03	2.52
Activités internes	2.11	2.08	2.22	2.38
Activités externes	1.47	1.57	1.73	1.66
Organisation	1.90	1.90	1.97	2.11
Culture	2.26	2.24	2.40	2.56