Évaluation du Programme du Recensement de la population, activités post-terrain

Le rapport en bref

Les données statistiques produites par le Programme du Recensement de la population dressent un portrait statistique du Canada et de sa population. Elles permettent de mesurer les changements qui se produisent au niveau des caractéristiques démographiques, sociales et économiques des Canadiens, et elles soutiennent les diverses exigences réglementaires et législatives. Les données sont utilisées par un large éventail d'organismes, tels que ceux des différents niveaux de gouvernement, les organismes privés et à but non lucratif, les établissements universitaires, ainsi que par les particuliers.

L'évaluation du programme a été réalisée par Statistique Canada, conformément à la Politique sur les résultats du Secrétariat du Conseil du Trésor (2016) et au Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2018-2019 à 2022-2023). Elle a porté sur les activités pos-terrain du Recensement de 2016 et les activités de planification connexes en vue du Recensement de 2021. L'objectif principal consistait à fournir une évaluation, objective et fondée sur des données probantes, de la gouvernance, de la conception et de l'exécution, ainsi que de l'approche axée sur l'utilisateur en ce qui concerne les activités post-terrain à l'appui de la prise de décision, de la responsabilisation et de l'amélioration. Alors que de vastes consultations sur les produits du recensement ont été planifiées et mises en œuvre dans le cadre du programme pendant l'évaluation, la pertinence des produits du Recensement de 2016 a été exclue de l'évaluation. On prévoit que les renseignements recueillis contribueront à orienter l'élaboration de la stratégie de diffusion du Recensement de 2021.

La méthodologie d'évaluation comportait l'examen de la documentation, l'examen des données administratives et des entrevues auprès d'informateurs clés faisant partie d'un vaste éventail de professionnels de Statistique Canada au service des domaines spécialisés du recensement, du Secrétariat des domaines spécialisés du recensement (SDSR), du Bureau de gestion du recensement (BGR), de la Division des opérations du recensement (DOR) et d'autres divisions pertinentes. On a eu recours à la triangulation de ces méthodes de collecte de données pour en arriver aux conclusions générales de l'évaluation.

Principales constatations et recommandations

De façon générale, les activités post-terrain du Recensement de 2016 ont été menées à bien, et différentes équipes ont travaillé ensemble afin d'offrir des produits de grande qualité aux Canadiens, et ce, plus rapidement que les recensements précédents. Bien que la vaste majorité des activités aient été menées de manière efficace et efficiente, l'évaluation a permis de déterminer certaines possibilités d'amélioration.

Gouvernance

Pour le Recensement de 2016, il y avait une structure de gouvernance en place qui, de façon globale, fonctionnait de manière efficace et efficiente. Les rôles et les responsabilités étaient bien définis, et les activités post-terrain se sont déroulées en grande partie telles qu'elles avaient été prévues. L'évaluation a cependant permis de constater que trois domaines qui pourraient être améliorés : le processus de révision institutionnelle du Recensement de 2016 a créé un fardeau inattendu sur les effectifs, des pressions sur l'échéancier et des risques accrus; les rôles et les responsabilités liés au Sous-projet de la diffusion manquaient de clarté; le SDSR aurait pu représenter et coordonner plus efficacement les domaines spécialisés ainsi que gérer plus efficacement les tâches opérationnelles relatives au calendrier et aux communications.

Le statisticien en chef adjoint (SCA), Secteur du recensement, services régionaux et opérations (Secteur 7), en collaboration avec le SCA, Secteur de la statistique sociale, de la santé et du travail (Secteur 8), devrait s'assurer que les recommandations subséquentes soient suivies.

Recommandation 1

En ce qui a trait aux révisions institutionnelles, on examine et adapte la gouvernance, les rôles et les responsabilités, ainsi que les processus pour s'assurer qu'il y a clarté et que les révisions adhèrent à la politique. Cette mesure devrait également prévoir un modèle d'approbation plus efficace. En outre, il faudrait mettre sur pied une approche pour que la haute direction puisse approuver plus tôt la stratégie de diffusion.

Recommandation 2

Les rôles et les responsabilités des secteurs (dont la Direction des communications et de la diffusion, le SDSR, la DOR et les domaines spécialisés) prenant part au Sous-projet de la diffusion sont précisés et mis à jour pour assurer l'exécution efficace et efficiente du Sous-projet. La gouvernance devrait faire en sorte que les rôles et les responsabilités demeurent clairs et qu'ils soient assumés au fil du temps.

Recommandation 3

Les rôles et les responsabilités du SDSR, en ce qui concerne la représentation et la coordination des domaines spécialisés, sont mis à jour et renforcés.

De plus, les processus, les outils et les stratégies du SDSR utilisés pour la gestion des calendriers, des privilèges d'accès et des flux de communication, ainsi que pour l'échange et l'adoption de pratiques exemplaires, sont examinés et mis à jour.

Conception et exécution

Par rapport à 2011, la dernière diffusion du Recensement de 2016 a eu lieu environ dix mois plus tôt (c'est-à-dire que l'on a mené à bien l'ensemble des diffusions 18 mois après le jour du recensement, comparativement à 28 mois). En ce qui concerne le Recensement de 2021, le programme vise à déterminer en ce moment les gains d'efficience supplémentaires, dans les activités post-terrain, au moyen de nombreux groupes de travail et de nombreuses consultations. Pour un calendrier de diffusion accélérée (toutes les diffusions principales étant effectuées en moins de 18 mois après le jour du recensement), la stratégie de diffusion et les activités de codage semblent présenter le plus grand potentiel de gains.

On a cerné un certain nombre de risques susceptibles d'avoir une incidence sur le calendrier : les structures et les processus révisés d'attestation, le contenu supplémentaire potentiel pour le Recensement de 2021 et la capacité en matière de systèmes et de ressources humaines.

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que la recommandation subséquente soit suivie.

Recommandation 4

Conformément au but de Statistique Canada, qui consiste à s'efforcer continuellement de diffuser des données selon un échéancier plus court, on examine toutes les activités post-terrain pour déterminer des mesures permettant éventuellement de gagner du temps et, en particulier, la stratégie de diffusion et les activités de codage, car ces dernières semblent présenter le plus grand potentiel. Il faudrait également tenir compte des risques déterminés au cours de l'évaluation au moment de planifier ces activités.

Approche axée sur l'utilisateur

Divers mécanismes sont utilisés pour recueillir des renseignements sur les besoins des utilisateurs des données du recensement, tels que des consultations officielles sur le recensement, des consultations et des interactions continues avec les utilisateurs habituels effectuées par les domaines spécialisés, ainsi que des mesures Web. Compte tenu de l'ampleur et de la quantité de renseignements disponibles, analyser ces derniers en totalité et en même temps afin d'avoir une vue d'ensemble des utilisateurs et de leurs besoins représente un défi considérable (contenu, types et formats des produits, utilisations et moment des diffusions). L'évaluation n'a pas permis de constater que des renseignements intégrés étaient produits pour soutenir l'élaboration d'une stratégie de diffusion et l'établissement des priorités relatives à cette dernière.

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que la recommandation subséquente soit suivie.

Recommandation 5

Il faut effectuer une analyse détaillée et intégrée des besoins des utilisateurs. Par exemple, on pourrait créer des profils d'utilisateur fondés sur les multiples sources de renseignements déjà disponibles. La stratégie de diffusion pour 2021 devrait être guidée par les résultats et les conclusions d'une telle analyse et tenir compte des risques cernés au cours de l'évaluation.

Contenu

L'évaluation a été réalisée conformément à la Politique sur les résultats du Secrétariat du Conseil du Trésor (2016) et au Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2018-2019 à 2022-2023). À l'appui de la prise de décision, de la responsabilisation et de l'amélioration, l'objectif principal de l'évaluation consistait à fournir un examen, objectif et fondé sur des données probantes, de la gouvernance, de la conception et de l'exécution, ainsi que de l'approche axée sur l'utilisateur en ce qui concerne les activités post-terrain. L'évaluation a porté sur le Recensement de 2016 et les activités de planification pertinentes ayant trait au Recensement de 2021.

Le recensement

En vertu de la Loi sur la statistique (L.R.C. (1985), ch.S-19), Statistique Canada est tenu d'effectuer un recensement de la population à tous les cinq ans. Le recensement dresse un portrait statistique du Canada et de sa population, et porte sur divers sujets démographiques et sociaux. Les renseignements statistiques appuient la mesure des changements qui surviennent dans les caractéristiques démographiques, sociales et économiques des Canadiens. Ils soutiennent, en outre, diverses exigences réglementaires et législatives. Les données sont utilisées par un large éventail d'organismes, comme : les différents niveaux de gouvernement, les organismes privés et à but non lucratif, les établissements universitaires, ainsi que les particuliers. Le Recensement de 2016 portait sur un vaste éventail de sujets : les chiffres de population (y compris l'âge et le sexe) et des logements (y compris les types de logements); les familles, les ménages et l'état matrimonial; la langue (y compris la langue de travail); le revenu; l'immigration et la diversité ethnoculturelle; le logement; les peuples autochtones; la scolarité; le travail; le déplacement domicile-travail; la mobilité et la migration.

Les données sont recueillies au moyen d'un questionnaire abrégé et d'un questionnaire détaillé obligatoires. Le questionnaire abrégé est envoyé à l'ensemble de la population. Le questionnaire détaillé, qui comporte les mêmes questions que le questionnaire abrégé, auxquelles s'ajoutent des questions sur des sujets comme la scolarité et le travail, est envoyé à un échantillon de la population. Certains renseignements sont obtenus directement de dossiers administratifs, tels que le revenu, obtenu de l'Agence du revenu du Canada, et la catégorie d'immigrants, obtenue d'Immigration, Réfugiés et Citoyenneté Canada.

Pendant le recensement, Statistique Canada mène un certain nombre d'activités, telles que la détermination du contenu, les opérations sur le terrain (collecte des données) et les opérations post-terrain.^Note1 Dès que l'on a recueilli les données du recensement, on effectue un certain nombre d'activités post-terrain :

• codage— toutes les réponses écrites dans les questionnaires sont converties en codes numériques;
• contrôle et imputation (CI)— les omissions et les incohérences dans les données recueillies sont détectées et corrigées;
• échantillonnage et pondération— les réponses finales sont pondérées afin qu'elles soient représentatives de la population canadienne;
• évaluation de la qualité des données— une évaluation des données est effectuée pour en assurer la qualité globale (les évaluations ont lieu pendant les différentes phases, de la détermination du contenu jusqu'à sa diffusion);
• diffusion— les produits de données sont diffusés dans divers formats afin de répondre aux besoins des utilisateurs.

Le Programme du Recensement de la population est géré par le Bureau de gestion du recensement (BGR) et fait intervenir un grand nombre de divisions fonctionnelles au sein de Statistique Canada, lesquelles mènent leurs activités à différents échelons tout au long du cycle. Selon le profil de l'information sur le rendement du Recensement de la population, les principales organisations prenant part aux activités post-terrain sont les suivants :

• Le BGR : joue un rôle essentiel quant à la planification et à la coordination du programme. La fonction principale du BGR consiste à diriger et à soutenir le projet du recensement dans son ensemble. Il s'agit d'assurer la coordination et l'intégration de plans et de budgets, la recherche sur le recensement, la mise à l'essai et la gestion de la qualité.
• Les domaines spécialisés : formulent des commentaires et des conseils d'experts sur le contenu, le codage des réponses écrites, les règles de CI et la diffusion. Ils mènent également des activités clés précises à l'appui des opérations sur le terrain, du traitement, de l'attestation et de la diffusion. Ils évaluent et analysent des données, fournissent des conseils professionnels et une assistance aux utilisateurs de données. Les domaines spécialisés font partie de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie (DDSRSSD) et de la Direction de la statistique de l'éducation, du travail et du revenu (DSETR).
• Le Secrétariat des domaines spécialisés du recensement (SDSR) : gère le Sous-projet des domaines spécialisés du Programme du recensement et coordonne la participation des domaines spécialisés, détermine et optimise les occasions de collaboration et de coopération au sein des domaines spécialisés et avec les autres équipes du recensement, et facilite le développement ainsi que le maintien de l'expertise des domaines spécialisés du recensement.
• La Division des opérations du recensement (DOR) : fournit l'infrastructure et le personnel pour les opérations sur le terrain, les envois postaux ou les retours par la poste (y compris l'impression du questionnaire), le traitement, la diffusion et les autres services de soutien.
• La Direction des communications et de la diffusion (DCD) : élabore et met en œuvre les stratégies de communication qui soutiennent le programme.
• La Division des méthodes de la statistique sociale (DMSS) : fournit des services d'ordre méthodologique et des conseils sur l'évaluation de la qualité en matière d'échantillonnage, la méthodologie de collecte des données, la pondération ainsi que d'autres aspects techniques du programme.

Le Comité de gestion stratégique (CGS),^Note2 composé du statisticien en chef (SC) et des statisticiens en chef adjoints (SCA), agit comme organe de gouvernance principal pour le programme. Le Comité de direction du recensement (CDR), qui relève directement du CGS, se compose de cadres supérieurs prenant part au programme. Il est coprésidé par le SCA, Secteur du recensement, services régionaux et opérations (Secteur 7), et du SCA, Secteur de la statistique sociale, de la santé et du travail (Secteur 8). Le CDR exerce une fonction d'orientation et d'échange d'informations. L'Équipe de projet du recensement (EPR), qui relève directement du CDR, se compose de gestionnaires de sous-projets et est présidée par le directeur général (DG) du BGR. Elle sert d'organe de prise de décision et de gestion. Un certain nombre de groupes de travail (GT) et de comités relèvent de l'EPR.

Au cours du cycle du Recensement de 2016, les dépenses représentaient environ 554,4 millions de dollars, desquels environ 62,1 millions de dollars étaient affectés aux activités post-terrain.

L'évaluation

La portée de l'évaluation a été définie en fonction d'entrevues avec les principales divisions prenant part aux activités post-terrain du programme. Alors que de vastes consultations sur les produits du recensement ont été planifiées, élaborées et mises en œuvre dans le cadre du programme pendant l'évaluation, la pertinence des produits du Recensement de 2016 a été exclue de l'évaluation. L'évaluation portait plutôt sur les mécanismes internes de gouvernance, les structures de conception et d'exécution, ainsi que les approches axées sur l'utilisateur pour mettre au point les produits du recensement. On a relevé les domaines suivants aux fins d'examen dans le contexte de l'évaluation :

Suivant une approche d'évaluation axée sur l'utilisation, les méthodes de collecte de données quantitatives et qualitatives suivantes ont été utilisées :

• Examen des données administratives
  Examen des données administratives du programme sur les activités, les extrants et les résultats.
• Examen de la documentation
  Examen des documents stratégiques internes de l'organisme.
• Entrevues auprès d'informateurs clés (n = 40)
  Entrevues semi-structurées auprès de personnes travaillant dans les équipes suivantes :
  • domaines spécialisés (n = 20);
  • BGR et DOR (n = 10);
  • SDSR (n = 6);
  • autres divisions de Statistique Canada (n = 4).

Trois principales limites ont été cernées et un ensemble de stratégies d'atténuation a été utilisé :

Leçons apprises

1.1 Gouvernance des activités post-terrain du recensement

L'évaluation s'est penchée sur les rôles et les responsabilités des différents groupes ayant pris part aux activités post-terrain du recensement en ce qui a trait à la coordination horizontale et à la mise au point des produits du Recensement de 2016. L'évaluation a permis d'identifier des aspects à améliorer en ce qui concerne le Sous-projet de la diffusion, les révisions institutionnelles et le rôle du SDSR en tant que représentant et coordonnateur des domaines spécialisés.

Gestion matricielle

La Charte du projet du Recensement de 2016 a permis d'établir les bases de la structure de projet, de décrire les attentes en matière de gestion de projet, et d'assigner le SCA, Secteur 7, comme cadre responsable du programme et le DG, BGR, comme gestionnaire de projet du recensement. Elle a également permis de déterminer les rôles et les responsabilités du CGS, du CDR et de l'EPR.

Le recensement fonctionne au moyen d'une approche de gestion matricielle. Un certain nombre de sous-projets, supervisés par l'EPR, sont planifiés et mis en œuvre de manière à appuyer la réalisation globale du programme. Des chartes distinctes sont élaborées, et chaque sous-projet se voit ventilé en un certain nombre de tâches et de sous-tâches. Selon la nature du sous-projet, les gestionnaires peuvent provenir de différents secteurs fonctionnels de Statistique Canada. La figure1 illustre l'approche de gestion matricielle qui a été adoptée pour effectuer le recensement.

La description - Figure 1 Approche de gestion matricielle du recensement

La figure illustre la démarche théorique adoptée pour effectuer le recensement à l'aide d'une approche de gestion matricielle. Elle montre qu'il existe un certain nombre de sous-projets distincts associés à l'Équipe de projet du recensement. Chacun de ces sous-projets renferme une série de tâches qui comportent elles-mêmes un certain nombre de sous-tâches.

Notamment, dans la figure, sous la case Équipe de projet du recensement se trouvent deux cases (Sous-projet 1.0 et Sous-projet 2.0), ainsi que le symbole « … » qui signale la présence d'autres cases semblables (Sous-projet 3.0, Sous-projet 4.0 et ainsi de suite). Sous la case Sous-projet 1.0 se trouvent deux cases de tâches (Tâche 1.1 et Tâche 1.2). Sous chacune de ces cases de tâches se trouvent des cases de sous-tâches (Sous-tâche 1.1.1 et Sous-tâche 1.1.2). La même structure s'affiche sous la case Sous-projet 2.0.

Les rôles et les responsabilités n'étaient pas toujours clairement définis ou compris en ce qui concerne le Sous-projet de la diffusion

L'évaluation a permis de constater que les rôles et les responsabilités avaient été établis et communiqués en vue du Recensement de 2016 au moyen de la Charte du projet du recensement et des chartes de sous-projets connexes. Quatre principaux sous-projets figuraient dans les activités post-terrain :

• le Sous-projet du traitement
• le Sous-projet de la diffusion
• le Sous-projet des communications du recensement
• le Sous-projet des domaines spécialisés du Programme du recensement

En ce qui concerne le Sous-projet du traitement, lequel comprenait des tâches telles que le codage, l'échantillonnage et la pondération, ainsi que le CI, les rôles et les responsabilités étaient bien compris. La DOR a dirigé le traitement, avec la participation des domaines spécialisés et d'autres groupes comme le SDSR et la DMSS. On a également constaté que les rôles et les responsabilités étaient bien définis pour le Sous-projet des communications du recensement (dirigé par la DCD), lequel permettait de fournir des services de communication à l'appui des activités de diffusion. De façon similaire, les rôles et les responsabilités du Sous-projet des domaines spécialisés du Programme du recensement (dirigé par le SDSR), lequel comprenait des tâches telles que la détermination du contenu et l'attestation, étaient également bien définis.

Bien que les dates de diffusion officielles aient été respectées, l’incertitude au sujet des rôles et des responsabilités du Sous-projet de la diffusion a eu une incidence négative sur l'efficacité et l'efficience. Selon la charte du sous-projet, la DOR dirigeait le Sous-projet de la diffusion et était chargée de la gestion globale de la diffusion, y compris l'élaboration et l'examen de certains produits, ainsi que du processus décisionnel. Or, en pratique, les divisions avaient tendance à prendre en charge leurs produits (à s'en sentir responsables), car elles croyaient que ces derniers leur appartenaient puisqu'il s'agissait de produits finaux. Ce manque de clarté, de cohérence et d'application relativement aux rôles et aux responsabilités a créé des goulots d'étranglement tout au long du processus (par exemple, quels les changements pouvant être demandés, qui peuvent demander de tels changements, quelles personnes approuvent les produits et qui négocient les échéanciers). Cette situation s'est compliquée davantage, car différents chefs étaient chargés de l'élaboration de chaque produit (par exemple, l'élaboration des documents de référence, des documents analytiques, des tableaux de données, des vidéos et des infographies était dirigée par différents groupes ou différentes parties de Statistique Canada).

Les révisions institutionnelles ont créé un fardeau inattendu et des risques accrus

De façon générale, même si tous les échéanciers officiels de diffusion ont été respectés en 2016, l'exécution des révisions institutionnelles a eu une incidence l'efficience du processus.

Comme pour d'autres produits à Statistique Canada, la diffusion des produits du recensement devait suivre un processus d'approbation établi qui faisait intervenir des évaluations par les pairs, suivies des révisions institutionnelles. D'après la Politique sur les évaluations par les pairs et les révisions institutionnelles (2016) de Statistique Canada, l'évaluation par les pairs consiste en « une évaluation technique effectuée au sein ou à l'extérieur de l'organisme par des professionnels reconnus dans la ou les disciplines pertinentes qui vise à s'assurer que les analyses et les interprétations sont valables sur le plan méthodologique et bien étayées, qu'elles sont en accord avec les définitions et les autres caractéristiques des données, qu'elles démontrent une connaissance des recherches actuelles selon le cas, que les conventions terminologiques ont été respectées et que les limites des données ou de l'analyse sont énoncées clairement ». La politique définit, en outre, une révision institutionnelle comme « une évaluation faite par les cadres supérieurs de Statistique Canada pour s'assurer que les produits d'information interprétatifs, les produits analytiques et les produits méthodologiques diffusés au public ne comportent pas de matière pouvant compromettre la réputation de l'organisme sur le plan de la qualité, du professionnalisme, de l'impartialité politique, de l'objectivité et de la neutralité ».

Pour le Recensement de 2016, le SDSR a géré la coordination des évaluations par les pairs et des révisions institutionnelles. L'approbation du directeur du domaine spécialisé était requise après chaque type d'évaluation (figure 2) et les évaluations effectuées par les DG des domaines spécialisés et les SCA étaient requises avant la présentation du produit aux fins d'approbation par le SC.

Conformément à la politique, il y avait une commune compréhension au sein des divisions selon laquelle on aborderait les éléments techniques pendant les évaluations par les pairs et les éléments relatifs à l'organisme (c'est-à-dire la réputation de Statistique Canada en ce qui concerne la qualité, le professionnalisme, l'impartialité politique, l'objectivité et la neutralité) au cours des révisions institutionnelles. Les calendriers ont été élaborés en tenant compte du fait que les évaluations par les pairs nécessitent habituellement plus de temps que les révisions institutionnelles.

L'évaluation a permis de constater que le SDSR était efficace pour la réconciliation de la rétroaction et la gestion du processus d'évaluation en général, et que les évaluations par les pairs se déroulaient comme prévu. Les révisions institutionnelles, cependant, n'ont pas fonctionné telles que planifiées. La nature des commentaires fournis au cours des révisions institutionnelles s'apparentait davantage à celle des commentaires reçus pendant les évaluations par les pairs, qui avaient déjà été achevées. En outre, des évaluateurs n'ayant pas été inclus au départ dans le conseil de révision institutionnelle ont pris part au processus, ce qui a accru la quantité de commentaires à examiner et auxquels répondre. Cette situation a imposé un fardeau supplémentaire au personnel (par exemple, la réécriture de produits), a accru le risque et a donné lieu à des retards. Ces répercussions se sont accentuées davantage en raison du processus d'approbation à mesure que se formaient des goulots d'étranglement. À l'exception d'un certain nombre de produits, tous les autres produits nécessitaient l'approbation d'un directeur.^Note3 L'évaluation a permis de constater que le niveau d'expertise des analystes au sein des domaines spécialisés pourrait donner lieu à une structure d'approbation plus décentralisée pour certains produits.

La description - Figure 2 Processus d'évaluation et d'approbation des produits du recensement

La figure illustre le processus d'approbation des produits. Le processus commence par une ébauche de produit; une fois approuvée par le directeur du domaine spécialisé, cette ébauche est soumise à un examen par les pairs. Une fois l'examen par les pairs terminé, le directeur du domaine spécialisé donne son approbation, et l'ébauche de produit est ensuite soumise à une révision institutionnelle. Une fois la révision institutionnelle terminée, le directeur du domaine spécialisé donne son approbation, puis l'ébauche de produit est envoyée au statisticien en chef aux fins d'approbation finale. Une fois approuvé par le statisticien en chef, le produit est réputé définitif.

L'examen du directeur général et du statisticien en chef adjoint s'échelonne tout au long du processus d'examen.

L'orientation était suffisante, mais des changements tardifs ont entraîné des répercussions sur l'efficacité

L'évaluation a permis de constater que des directives suffisantes avaient été fournies pour orienter l'élaboration initiale des produits du recensement, cependant, des changements tardifs ayant été effectués par la suite ont eu une incidence négative sur les calendriers et la charge de travail (par exemple, des demandes relatives à de nouveaux points de vue analytiques, ainsi que de nouveaux produits de diffusion comme les cartes interactives). La contribution du SDSR à l'orientation des domaines spécialisés, en ce qui concerne les changements, s'est avérée efficace et a permis de préciser les attentes. L'approbation plus précoce de la stratégie de diffusion favoriserait une planification et une mise en œuvre plus efficaces du Sous-projet de la diffusion.

La coordination horizontale des domaines spécialisés pourrait être améliorée

Différents modèles de coordination horizontale ont été utilisés au fil du temps. Avant le Recensement de 2006, la fonction avait été intégrée à la DOR où le personnel coordonnait les travaux des domaines spécialisés liés à la diffusion. En ce qui concerne le Recensement de 2006, dans le but d'améliorer la coordination, la fonction fût centralisée au sein du Secteur 8 en créant le Programme des domaines spécialisés du recensement (PDSR), ce qui a permis de réunir les spécialistes du domaine et le personnel de coordination dans un même groupe. Quant au Recensement de 2011, le modèle fût restructuré et les spécialistes sont retournés dans leurs divisions respectives alors que le personnel de coordination est demeuré au sein du PDSR (dont le nom a été changé pour « SDSR »). Le même modèle a été utilisé lors du Recensement de 2016.

En ce qui concerne le Recensement de 2016, le mandat du SDSR était double. D'abord, il agissait comme gestionnaire du Sous-projet des domaines spécialisés du Programme du recensement, lequel comprenait la détermination du contenu, l'attestation, les révisions formelles des chiffres de population et des logements, ainsi que la détermination et l'analyse de la gamme de produits. Ensuite, il fournissait les services de représentation et de coordination des domaines spécialisés pour tous les autres sous-projets. Le SDSR était l'organe central assurant la coordination horizontale de tous les groupes spécialisés prenant part au recensement.

L'évaluation a permis de constater que le SDSR s'était acquitté efficacement de la première partie de son mandat, soit la gestion du Sous-projet des domaines spécialisés du Programme du recensement.

Quant à la seconde partie de son mandat, bien que certaines tâches aient été exécutées avec efficacité, l'évaluation a permis de déterminer des possibilités d'accroître tant l'efficacité que l'efficience. Le SDSR assumait un vaste éventail de tâches et de responsabilités : représenter les domaines spécialisés dans différents GT et comités; négocier, établir, compléter et surveiller les calendriers des sous-projets post-terrain lorsque les domaines spécialisés y prenaient part; servir d'intermédiaire entre la DOR et les domaines spécialisés dans le contexte de certains sous-projets (par exemple, le traitement et la diffusion); encourager l'échange d'informations entre les domaines spécialisés en matière de pratiques exemplaires et de leçons retenues; enfin, gérer l'accès à certains dossiers clés.

Le SDSR représentait les domaines spécialisés dans différents GT et comités, et, les faisait participer directement lorsqu'il était nécessaire d'aborder des enjeux plus complexes. Par exemple, les spécialistes du domaine ont pris part directement au travail portant sur leurs variables respectives pendant le CI. L'évaluation a permis de constater que le point de vue des domaines spécialisés n'était pas toujours défendu de manière adéquate et que les opinions des domaines spécialisés n'étaient pas toujours intégrées (c'est-à-dire que les domaines spécialisés ne « parlaient pas d'une seule voix ») par le SDSR. Cela a donné lieu à certaines situations dans lesquelles la prise de décision a été retardée ou des renseignements contradictoires ont été fournis.

Pour ce qui est de négocier, d'établir, de compléter et de surveiller les calendriers des sous-projets post-terrain auxquels prenaient part les domaines spécialisés, l'évaluation a permis de constater que bien que le SDSR ait fait preuve d'efficacité et de méticulosité dans l'élaboration de tous les calendriers, la gestion de ces derniers était loin d'être optimale. Les ressources du SDSR ont été divisées en équipes, en fonction des différentes activités post-terrain du programme (collecte et traitement, assurance de la qualité et diffusion). Souvent, les activités post-terrain étaient menées parallèlement avec les activités de traitement, d'attestation et de diffusion effectuées simultanément par les domaines spécialisés. Par moments, ces derniers ont reçu, de la part du SDSR, des échéances contradictoires ou se recoupant (par exemple, une date limite pour l'attestation et une autre pour la diffusion selon un échéancier serré). En outre, tous les calendriers n'ont pas été mis à jour tout au long du cycle en raison des pressions sur les ressources et des limites relatives à l'outil de gestion de projet. L'exécution tardive des calendriers et des mises à jour au SDSR par d'autres partenaires de la production s'est ajoutée aux défis de gestion des calendriers. Le SDSR pourrait renforcer l'intégration et la coordination des calendriers au sein de ses équipes avant de communiquer avec les domaines spécialisés, et les autres partenaires de la production devraient également être informés des répercussions de l'exécution tardive des calendriers et des mises à jour sur la coordination horizontale.

Le flux de communication entre la DOR et les domaines spécialisés, par l'entremise du SDSR, s'est avéré efficace dans le cas de certains sous-projets (par exemple, le traitement ainsi que les domaines spécialisés du Programme du recensement). Il fut constaté que l'utilisation des systèmes JIRA et Confluence, les répertoires partagés et les réunions régulières étaient des outils de communication efficients et efficaces. La voie de communication par l'intermédiaire du SDSR pendant le Sous-projet de la diffusion ne s'est pas toujours avérée efficace, opportune ou apportant une valeur ajoutée, surtout pendant les périodes occupées à volume élevé. Par conséquent, la communication a parfois eu lieu directement entre les groupes (plutôt que par l'entremise du SDSR) afin d'accroître l'efficience.

Quant à l'échange d'informations entre les domaines spécialisés en matière de pratiques exemplaires et de leçons retenues, même si l'on a constaté que de telles activités (par exemple, au sujet des outils de vérification) avaient eu lieu, il semblait qu'elles avaient principalement été guidées par les domaines spécialisés plutôt que par le SDSR. Le SDSR pourrait jouer un rôle plus important afin de favoriser la tenue de discussions et l'échange de pratiques visant à accroître l'efficacité et l'efficience.

L'échange entre les domaines spécialisés pendant l'élaboration des produits est important pour assurer l'uniformité des diffusions. Le SDSR a géré les permissions d'accès pour les produits, mais les domaines spécialisés les ont trouvées trop restrictives (approche selon l'accès sélectif). Les restrictions limitaient la capacité des domaines spécialisés à se partager l'accès aux produits, ce qui a posé des difficultés en ce qui concerne l'adoption d'approches uniformes pour les thématiques, notamment lorsque les diffusions faisaient intervenir des analyses à thèmes croisés. La situation s'est améliorée dans le cas des dernières diffusions, car il y a eu élargissement des permissions d'accès. Le SDSR est au courant de ce problème et a déclaré qu'il mettrait sur pied une stratégie afin d'accroître l'échange d'informations entre les domaines spécialisés dans le cadre du Recensement de 2021.

Les personnes interrogées ont formulé un certain nombre d'opinions sur les raisons pour lesquelles le SDSR a éprouvé des difficultés, dont : le manque de pouvoir décisionnel du SDSR; le manque d'expertise; et, le mandat difficile de devoir concilier les priorités, parfois contradictoires, entre le Secteur 7 et le Secteur 8. Même si l'on a déterminé des points à améliorer pour le SDSR, il était évident que ce dernier avait joué un rôle essentiel dans la réussite du recensement.

1.2 Conception et exécution des activités post-terrain du recensement

Étant donné que Statistique Canada s'efforce continuellement d'améliorer la rapidité d'exécution, l'évaluation a servi à déterminer les domaines où des mesures pourraient être mises en œuvre pour réduire les échéanciers de diffusion du recensement. Afin d'aborder cette problématique, l'évaluation s'est porté sur les initiatives mises en œuvre à l'appui du calendrier révisé de diffusion pour le Recensement de 2016, y compris les leçons retenues et les domaines supplémentaires possibles.

Le calendrier de diffusion pour le Recensement de 2016 était plus court que celui du Recensement de 2011 (tableau Rapidité d'exécution des diffusions relatives aux recensements de 2011 et de 2016). Même si la première diffusion (portant sur les chiffres de population et des logements) a été exécutée dans les mêmes délais pour les deux cycles, les autres diffusions ont été effectuées plus rapidement. La dernière diffusion relative au Recensement de 2016 (portant sur la scolarité, le travail, le déplacement domicile-travail, la langue de travail, et la mobilité et migration) a eu lieu 287 jours civils^Note4 plus tôt que la dernière diffusion relative au Recensement de 2011 (portant sur le revenu et le logement).

Changements apportés à l'appui du calendrier de diffusion de 2016

L'évaluation a permis de constater que toutes les activités post-terrain étaient assujetties à des évaluations aux échelons de projet, de sous-projet ou de tâche. Ces évaluations ont été menées par un groupe précis avec l'assistance d'autres groupes. En voici quelques exemples :

• évaluation du codage relatif au Recensement de 2016 (SDSR)
• rapport d'évaluation des tâches de CI de 2016 (DOR)
• processus de CI relatif au Recensement de 2016 (DMSS)
• aperçu des diffusions de données pour le Recensement de 2016 (DCD)
• évaluation de la diffusion relative aux domaines spécialisés du Recensement de 2016 (SDSR)
• rapport de clôture du projet du Recensement de 2016 (BGR)

Un certain nombre d'initiatives pour la plupart des activités post-terrain ont été mis en œuvre en vue d'un calendrier de diffusion plus serré (toutes les diffusions étant effectuées environ 18 mois après le jour du recensement). Compte tenu de la complexité et des interdépendances nombreuses qui existaient entre les différentes activités et à travers les divisions, il n'a pas été possible de déterminer le nombre précis de jours que chaque initiative a permis de sauver; cependant, des données probantes suggèrent que la nouvelle approche en matière de CI a eu un effet plus prononcé.

Contrôle et imputation

Au cours du Recensement de 2011, les modules de CI ont été traités de façon individuelle et séquentielle. Dès que la réussite du traitement d'un module avait été déterminée, on amorçait le traitement du module suivant, et ainsi de suite. Pour le Recensement de 2016, on a exécuté d'un coup le processus de CI en entier (c'est-à-dire une exécution en un seul essai), et l'on a accéléré le traitement parallèle et les processus se chevauchant afin de réduire le temps de production.

En prévision de la production en 2016, les activités de développement et de mise à l'essai ont été amorcées deux années d'avance, ce qui comprenait la détermination des rapports de dépendance entre tous les modules. Au niveau des mises à l'essai, on a utilisé les données issues du cycle antérieur pour s'assurer de la robustesse de la nouvelle approche (c'est-à-dire que les résultats produits au moyen du nouveau processus de CI étaient les mêmes que les résultats provenant du processus séquentiel précédent). Afin d'assurer un environnement stable pour le processus révisé de CI, le système utilisé aux fins du CI fut figé plus d'une année à l'avance pour éviter tout problème.

On a constaté que l'utilisation de JIRA pour gérer les changements et les problèmes avait grandement contribué au suivi, à l'exécution et à la surveillance des changements apportés aux modules et aux processus. JIRA a permis de simplifier le travail, surtout lorsqu'il fallait passer d'une tâche à l'autre (les tâches de traitement, d'attestation et de diffusion se recoupant souvent).

Codage

Un certain nombre d'initiatives ont été mises en œuvre et ont eu une incidence sur le calendrier de diffusion. Par exemple, des enregistrements similaires ont été codés simultanément pour gagner du temps, la taille des lots à coder a été réduite, et l'on a traité ces derniers à l'échelle des enregistrements plutôt qu'à l'échelle des questionnaires en vue d'un traitement plus rapide. Même si les initiatives de codage ont été prévues de façon à soutenir le calendrier révisé de diffusion, leur incidence s'est vue limitée pour quelques raisons. Par exemple, en raison des différences entre les variables quant à leur complexité, les initiatives n'ont pas été mises en œuvre uniformément dans tous les domaines spécialisés. Par conséquent, même si l'on a gagné du temps dans certains domaines, cela ne fut pas le cas dans d'autres domaines.

Échantillonnage et pondération

Dans le cadre de tous les changements, un soutien méthodologique a servi à garantir la qualité. Toutefois, il n'y a eu aucune initiative méthodologique précise ayant entraîné des répercussions sur le calendrier révisé de diffusion.

Évaluation de la qualité des données

Parmi les stratégies d'attestation élaborées par les domaines spécialisés, un certain nombre d'outils et d'approches visaient à réduire le temps nécessaire pour l'attestation des données. Par exemple, on a utilisé des outils automatisés (comme les tableaux), des niveaux géographiques inférieurs et des couplages de données secondaires. L'évaluation a permis de constater qu'aucun outil commun n'a été utilisé par les domaines spécialisés aux fins d'attestation; il s'agit d'une conclusion semblable à celle de l'Audit de l'assurance de la qualité— Recensement de 2016^Note5. Bien que l'on ait élaboré des outils pour exécuter plus rapidement l'attestation dans certains domaines spécialisés, l'économie de temps au moyen de cette activité ne s'est pas avérée importante.

Diffusion

Des mesures visant à créer des produits plus tôt (tels que des tableaux de données, le Dictionnaire du recensement et d'autres documents de référence comme les guides de référence, ainsi que des thématiques) ont été utilisées pour le Recensement de 2016. On a également créé des tableaux automatisés pour la vérification. Cependant, un certain nombre de facteurs ont limité les avantages découlant de l'élaboration précoce des produits. Premièrement, le retour du questionnaire détaillé obligatoire a modifié la portée accessible à l'analyse. Deuxièmement, les réorientations stratégiques ont modifié les priorités. Par exemple, les paramètres initiaux relatifs aux tableaux et aux thématiques ont été créés afin de fournir des données sur le fractionnement du revenu, mais on a abandonné cette pratique par la suite. Troisièmement, de nouvelles exigences provenant de la haute direction ont été mises en œuvre entre le jour du recensement et la première diffusion, ce qui a entraîné des répercussions sur les outils d'analyse et de diffusion. Par exemple, on a inclus une composante « Canada 150 » dans toutes les diffusions afin d'offrir aux Canadiens un point de vue historique sur les données. On a également lancé de nouveaux outils interactifs qui n'avaient pas été prévus au départ, afin de faciliter l'accès des Canadiens aux données. Ces changements ont eu une incidence positive, mais ils ont réduit les avantages de l'élaboration précoce des produits.

L'évaluation a permis de constater que, même si l'élaboration précoce des produits n'avait pas contribué à des gains importants, grâce à elle, on a disposé de plus de temps pendant les périodes de pointe, surtout lorsque des perspectives différentes et des produits de diffusion supplémentaires étaient demandés. L'élaboration précoce des produits a eu une incidence positive sur la gestion des diffusions en parallèle, laquelle était nécessaire en raison d'échéanciers plus serrés entre les dernières diffusions (c'est-à-dire les diffusions 4, 5 et 6).

Possibilités relatives à un calendrier de diffusion accélérée

L'évaluation a permis de conclure que le calendrier de diffusion du Recensement de 2016 pourrait être reproduit en 2021, et ce, tout en conservant la même approche pour la stratégie de diffusion (c'est-à-dire le nombre de produits et la fréquence des diffusions). Il faudrait toutefois revoir un certain nombre de volets, en particulier ceux qui concernent la gouvernance (comme il a été indiqué auparavant), pour s'assurer que le cycle est plus efficace et efficient.

Dans le contexte d'un calendrier de diffusion accélérée (moins de 18 mois), outre le traitement des questions de gouvernance, il faudrait réexaminer la stratégie de diffusion. Des gains de temps plus importants pourraient être réalisés en adoptant un modèle différent (par exemple, moins de produits et un calendrier échelonné). Dans une moindre mesure, des changements dans l'approche de codage pourraient également permettre de gagner du temps. Des modifications apportées au CI, à l'échantillonnage et à la pondération, ainsi qu'à l'évaluation de la qualité des données, auraient une incidence limitée.

Stratégie de diffusion révisée

Pour adopter un calendrier de diffusion accélérée, la stratégie de diffusion devrait être revue, surtout en ce qui concerne le nombre et le type de produits, ainsi que la fréquence des diffusions.

L'approche adoptée pour le dernier cycle, dans le cadre duquel une variété de produits était diffusée à une date donnée, pourrait être repensée. L'évaluation a permis de constater que les utilisateurs, surtout les partenaires gouvernementaux, peuvent avoir eu des difficultés à traiter l'ensemble des données. Les personnes interrogées ont suggéré qu'une approche plus échelonnée ou progressive soit adoptée; par exemple, un article du Quotidien, combiné à un nombre limité de tableaux et de produits interactifs, pourrait être diffusé à une date donnée, accompagné d'un communiqué décrivant les autres produits qui suivront dans un avenir rapproché.

L'évaluation a permis de constater qu'au fil du temps, les médias semblent moins intéressés par les séances d'information à huis clos (moins de médias sont représentés, moins de couverture médiatique et moins de demandes d'entrevue). Des données internes ont permis de constater que la première diffusion a accueilli le plus grand nombre de journalistes (n=40) et la deuxième, le plus petit nombre (n=23). Le nombre de journalistes pour les autres séances d'information à huis clos a varié entre 25 et 30. Bien que le nombre d'entrevues données pendant les séances d'information à huis clos soit demeuré relativement stable, le nombre d'entrevues données dans les jours suivant le jour de diffusion a diminué au fil du temps (33 pour la première diffusion et 6 pour la dernière diffusion). La couverture médiatique^Note6 a également diminué entre la première diffusion (n=525) et la dernière diffusion (n=238). Même si l'intérêt semble décroître au fil du temps, le degré de préparation nécessaire est demeuré le même, ce qui représentait un effort considérable pour un certain nombre de divisions.

Des objectifs mieux définis pour chaque type de produit (par exemple, les produits analytiques par rapport aux produits destinés au grand public et aux produits d'image de marque) pourraient également contribuer à adapter la stratégie de diffusion à différents objectifs. On a déterminé les produits de rechange et les produits souples, tels que les cubes de données au moyen desquels les utilisateurs pourraient bâtir leurs propres tableaux en fonction de leurs besoins, comme une approche à prendre en considération. Les cubes nécessiteraient moins de vérification, car seuls les tableaux principaux doivent être vérifiés.

Un certain nombre d'examens sont en cours, comme les analyses effectuées par le GT sur les tableaux de base, le GT sur l'organigramme du processus et le GT sur la diffusion accélérée, ainsi que la Consultation sur la diffusion du recensement (2019), ce qui permettra de recueillir directement des renseignements sur les possibilités à envisager.

Plus d'activités de codage automatisé

L'évaluation a permis de constater que des gains d'efficience pourraient potentiellement être réalisés dans le codage au moyen de trois voies principales : l'utilisation accrue de l'apprentissage automatique (c'est-à-dire l'intelligence artificielle) pour compléter l'approche de codage automatique; le recours aux outils de codage de l'organisme (c'est-à-dire l'Environnement de codage et de correction (ECC)); et une mise en application plus rapide du système Codefix utilisé pour coder des enregistrements, corriger des codes inexacts et vérifier le codage (attestation). Le GT sur le processus de codage, coprésidé par la DOR et la DMSS, évaluera et fournira une validation de concept en vue de l'introduction d'une technologie d'apprentissage automatique pour les processus de codage automatique de 2021. On s'attend à ce que l'utilisation de l'apprentissage automatique réduise le temps requis pour le codage, car elle permettrait d'accroître la rapidité du codage automatique de différentes variables. Cela permettrait également d'accroître la qualité globale, car l'intervention manuelle s'en trouverait réduite.

Risques relatifs au calendrier de diffusion

Même s'ils ne figuraient pas dans le champ de l'évaluation au départ, on a cerné quatres risques clés pour le Recensement de 2021 qui sont susceptibles d'avoir une incidence sur le calendrier de diffusion : le nouveau contenu potentiel, les nouveaux systèmes de diffusion, les processus d'attestation révisés et la capacité en ressources humaines.

Les questionnaires du test du Recensement de 2021, lesquels seront mis à l'essai au cours de la période à venir, incluent un contenu nouveau et révisé par rapport au Recensement de 2016. Même si, au moment de l'évaluation, il était trop tôt pour déterminer le contenu susceptible d'être inclus après la mise à l'essai, tout contenu nouveau et révisé aurait une incidence sur l'ensemble des activités post-terrain (c'est-à-dire le traitement, l'attestation et la diffusion).

On examine de nouveaux outils et systèmes en vue de les utiliser au Recensement de 2021. Un nouvel ensemble d'outils de totalisation centré sur G-Tab comme moteur de totalisation était en cours d'élaboration au moment de l'évaluation, et le programme se penche actuellement sur la possibilité de passer à la plateforme de diffusion organisationnelle, soit le Nouveau modèle de diffusion. La capacité et la fonctionnalité sont actuellement mises à l'essai pour les deux systèmes. On a également déterminé d'autres systèmes, tels que SharePoint et Codefix, ainsi que la grille SAS, qui présentent des risques.

La stratégie révisée d'attestation (toujours en cours d'élaboration au moment de l'évaluation) qui sera mise en œuvre pour 2021 pourrait accroître le niveau de complexité requis pour cette tâche. Pour ce qui est des ressources, en raison de la nature cyclique du recensement, la quantité de ressources requises varie d'une année à l'autre. Par conséquent, certaines difficultés sont associées au maintien en poste et au renouvellement de l'expertise d'un cycle à l'autre. Bien que des données probantes aient indiqué que les divisions mettaient en œuvre des mesures telles que la rotation des ressources et l'observation au poste de travail, d'autres discussions pourraient avoir lieu au sein des divisions et entre les divisions afin de mettre sur pied des stratégies en ressources humaines et de documenter des processus à l'appui des futures ressources (c'est-à-dire protéger les connaissances organisationnelles). En outre, les budgets plus modestes à la fin du cycle limitaient la capacité des domaines spécialisés à investir dans la recherche et le développement pour les cycles futurs afin de favoriser l'innovation.

1.3 Mécanismes favorisant une approche axée sur l'utilisateur

Étant donné que l'une des priorités de l'initiative de modernisation de Statistique Canada consiste à renforcer l'approche axée sur l'utilisateur, l'évaluation a servi à examiner les mécanismes en place afin de saisir des renseignements sur les besoins des utilisateurs ainsi que l'utilisation de tels renseignements dans l'élaboration de la stratégie de diffusion.

La vision intégrée des besoins des utilisateurs est lacunaire

L'évaluation a permis de constater que le programme dispose de différents mécanismes en place pour saisir des renseignements sur les besoins des utilisateurs. Les consultations ont lieu à chaque cycle pour recueillir des renseignements, et une évaluation antérieure portant sur le recensement a permis de constater que pour les cycles de 2011 et de 2016, les consultations avaient été adéquates.

La consultation relative à la stratégie de diffusion du Recensement de 2021 a été amorcée le 15 janvier 2019, et un questionnaire électronique a été envoyé aux utilisateurs connus. Le questionnaire a été accessible jusqu'à la fin du mois de mars 2019. Afin de joindre d'autres utilisateurs et de tirer parti des initiatives mises en œuvre en réponse au Rapport du vérificateur général du Canada (printemps 2014)^Note7, des bannières (dans le site Web de Statistique Canada et dans celui du recensement) ont été créées, au moyen desquelles on invitait les utilisateurs à répondre à cinq courtes questions, puis à répondre à un questionnaire électronique plus long. Des dépliants ont également été distribués lors de différents événements pour inviter les utilisateurs des données du recensement à répondre au questionnaire. On s'attend à ce que ces efforts permettent d'accroître la représentativité des utilisateurs consultés. La consultation a également porté sur de nouveaux sujets— des questions ont été posées sur la satisfaction des utilisateurs à l'égard des échéanciers (par exemple, le délai entre le jour du recensement et toutes les diffusions, et le délai entre les diffusions principales) et sur leurs préférences quant aux dates de diffusion et aux thèmes (le nombre de dates de diffusion par rapport aux thèmes abordés dans chaque diffusion). On prévoit que ces points de vue permettront d'orienter plus stratégiquement l'élaboration de la stratégie de diffusion du Recensement de 2021. À la suite de l'analyse des données sur la consultation, une série d'entrevues en profondeur seront effectuées afin de préciser les conclusions.

D'autres mécanismes ont également été utilisés pour saisir des renseignements sur les besoins des utilisateurs. Outre les consultations officielles sur le recensement, les domaines spécialisés ont également mené des activités de consultation au sein de leurs propres domaines d'expertise. Ces consultations n'étaient pas nécessairement centrées sur le recensement, mais elles ont néanmoins permis de saisir des renseignements pertinents. La relation constante entretenue par les domaines spécialisés avec les utilisateurs, en particulier les utilisateurs habituels, a permis aux domaines spécialisés de comprendre les besoins des utilisateurs et leur évolution au fil du temps. De plus, des mesures Web ont été utilisées pour estimer la mesure dans laquelle on a accédé aux produits du recensement (c'est-à-dire le nombre de téléchargements et d'appels de fichiers).

On n'a trouvé que peu d'indices permettant de confirmer que des renseignements étaient recueillis au sujet des utilisateurs dans les journées suivant les diffusions officielles. Les connaissances au sujet de ces types d'utilisateurs, des produits utilisés et de l'objet de leur utilisation le jour de la diffusion ou dans les jours suivant la diffusion fourniraient une contribution stratégique pour élaborer la stratégie de diffusion. La DOR se penche en ce moment sur des façons de saisir ce type de renseignements en vue du Recensement de 2021, par exemple, en plaçant dans le site Web une fenêtre contextuelle qui permettrait de poser de courtes questions aux utilisateurs. On prévoit que ces nouveaux renseignements seront utilisés dans le contexte du Recensement de 2026. Un autre secteur potentiel est l'élaboration d'un répertoire des demandes les plus populaires afin de mieux comprendre les besoins des utilisateurs dans tout le pays.

Bien que des sources multiples existent pour saisir des renseignements sur les besoins des utilisateurs, la présentation d'une vision intégrée est encore lacunaire. Celle-ci fournirait une vue d'ensemble des utilisateurs des données du recensement et de leurs besoins en ce qui concerne le contenu, les types et les formats de produits, l'utilisation de ces derniers et le moment des diffusions. Cela permettrait de mieux établir les priorités au moment d'élaborer la stratégie de diffusion. Aucun indice n'a permis de constater que de telles données intégrées avaient été produites pour appuyer l'élaboration de la stratégie de diffusion.

Les facteurs externes et internes sont pris en considération au moment d'élaborer la stratégie de diffusion

Pour ce qui est du Recensement de 2016, le SDSR, en consultation avec les domaines spécialisés par l'intermédiaire du GT sur la diffusion du recensement, a enclenché l'élaboration de la stratégie de diffusion (les produits et le calendrier). Un ensemble de recommandations a été formulé et présenté à la DOR (qui dirige le Sous-projet de la diffusion) aux fins d'examen. Ensuite, les recommandations définitives ont été présentées à l'EPR. La stratégie de diffusion proposée a alors suivi les structures de gouvernance de Statistique Canada et reçu l'approbation finale.

L'évaluation a permis de constater que le programme a tenu compte des besoins des utilisateurs et des besoins internes pour la stratégie de diffusion. Alors que les besoins des utilisateurs avaient été placés au premier plan de l'élaboration de la stratégie, d'autres facteurs ont considérablement influé sur l'élaboration de la stratégie de diffusion. L'un des plus grands facteurs était la tradition et l'histoire. Le nombre et le type de produits ayant été diffusés pendant le cycle antérieur ont servi de point de départ. Dans l'ensemble, le nombre de produits a varié au fil du temps, alors que la complexité des produits a augmenté. Par exemple, le nombre de tableaux de données a diminué depuis 2001, mais le nombre de cellules dans les tableaux a augmenté en raison de la fusion d'un certain nombre de tableaux. Cela s'explique, en partie, par la nécessité de créer des tableaux pour chaque point de données inclus dans les produits analytiques. Par conséquent, des efforts plus grands ont été déployés pour la création et la vérification des tableaux.

En ce qui a trait au Recensement de 2021, des travaux ont été amorcés par le GT sur les tableaux de base du Recensement de 2021 afin de dresser la liste des tableaux devant être produits (c'est-à-dire les tableaux portant sur les besoins d'un grand nombre d'utilisateurs, produits d'un cycle à l'autre ou nécessaires pour remplir les exigences législatives). L'un des objectifs consiste à permettre d'amorcer plus tôt la conception des tableaux. Ce GT, dirigé par le SDSR, inclut la DOR, les services à la clientèle, les bureaux régionaux et les domaines spécialisés.

On a également tenu compte des contraintes internes au moment d'élaborer la stratégie de diffusion, telles que les budgets et les ressources disponibles, les échéanciers et les systèmes de technologie de l'information disponibles. D'autres facteurs ont également été pris en compte, dont la continuité (c'est-à-dire la stabilité de l'information statistique et les exigences stratégiques ou législatives), les exigences en matière d'accessibilité (par exemple, la Norme sur l'accessibilité des sites Web du Secrétariat du Conseil du Trésor), la séquence de traitement (par exemple, on ne peut pas diffuser les données sur la scolarité avant les données sur la population ou le travail) et les approches adoptées dans les autres pays.

En déterminant les orientations futures pour la diffusion et la publication des données du recensement, il peut y avoir des leçons à tirer des expériences et des points de vue des autres organismes statistiques.

Le dirigeant principal et statisticien en chef de la Statistics Authority du Royaume-Uni a communiqué l'évaluation suivante: «Je suis convaincu que ce que nous ferons dans cinq ans sera radicalement différent. Plus de données seront en temps réel; nos services seront numériques par défaut; la qualité de nos conseils et de nos explications nous vaudra une place à la table où se prennent les plus importantes décisions» [traduction]^Note8. Dans ce contexte, l'Office for National Statistics (ONS) sera doté d'un système souple de diffusion qui permettra aux utilisateurs de créer leurs propres ensembles de données en sélectionnant la base géographique, la base de population et les variables requises par ces dernières, plutôt que d'attendre que l'ONS crée des tableaux. Le recensement sera, en outre, caractérisé par l'utilisation accrue des données administratives afin d'améliorer les produits supplémentaires, par des métadonnées plus facilement accessibles, et par une analyse et une compréhension des choses plus détaillées.^Note9

En ce qui concerne le Recensement de 2021, l'Australian Bureau of Statistics (ABS) procède actuellement à la conception de son recensement en vue d'une expérience utilisateur efficace. Les calendriers de diffusion et les produits font l'objet d'un examen pour déterminer les besoins non comblés des utilisateurs, la convivialité et l'accessibilité, ainsi que les occasions de tirer parti des nouvelles techniques de diffusion, et pour déterminer si les produits répondent aux objectifs. Les utilisateurs des données du Recensement de 2016 peuvent gérer et bâtir des tableaux personnalisés en ligne en s'inscrivant à l'outil TableBuilder dans le site Web de l'ABS.

Comment améliorer le programme

Gouvernance

En ce qui concerne le Recensement de 2016, des équipes ont travaillé en collaboration et ont livré des produits de grande qualité aux Canadiens. Cependant, l'évaluation a cerné des points à améliorer en matière de gouvernance des activités post-terrain— en particulier, les attentes relatives aux révisions institutionnelles, aux rôles et aux responsabilités liés au Sous-projet de la diffusion, ainsi qu'à la représentation et à la coordination des domaines spécialisés par le SDSR.

L'évaluation a conclu que le processus de révision institutionnelle pour le Recensement de 2016 n'avait pas fonctionné comme prévu. Cette situation, combinée à la nécessité des approbations répétées et au manque d'approbation préalable de la haute direction en ce qui concerne l'orientation relative aux produits de diffusion du recensement, a générée des pressions sur les échéanciers, une duplication des tâches (c'est-à-dire la réécriture de produits) et un fardeau accru exercé sur le personnel pour qu'il respecte le calendrier de diffusion de 18 mois. Le manque de clarté au sujet de l'ensemble des rôles et des responsabilités ayant trait au Sous-projet de la diffusion a eu une incidence sur l'efficacité et l'efficience. Ces défis persistent pour le Recensement de 2021.

Le SDSR est essentiel à la réussite du recensement. En ce qui concerne la coordination et la représentation, l'évaluation a permis de constater que le SDSR pourrait fonctionner de façon plus efficace et efficiente dans certains domaines. Au cours du Recensement de 2016, le SDSR a éprouvé des difficultés à gérer les calendriers, à communiquer et à favoriser l'échange d'informations en matière d'adoption de pratiques exemplaires et de leçons retenues.

Recommandation 1 :

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que les recommandations subséquentes soient suivies. En ce qui a trait aux révisions institutionnelles, on examine et adapte la gouvernance, les rôles et les responsabilités, ainsi que les processus pour s'assurer qu'il y a clarté et que les révisions adhèrent à la politique. Cette mesure devrait également prévoir un modèle d'approbation plus efficace. En outre, il faudrait mettre sur pied une approche pour que la haute direction puisse approuver plus tôt la stratégie de diffusion.

Recommandation 2 :

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que les recommandations subséquentes soient suivies. Les rôles et les responsabilités des secteurs (dont la Direction des communications et de la diffusion, le SDSR, la DOR et les domaines spécialisés) prenant part au Sous-projet de la diffusion sont précisés et mis à jour pour assurer l'exécution efficace et efficiente du Sous-projet. La gouvernance devrait faire en sorte que les rôles et les responsabilités demeurent clairs et qu'ils soient assumés au fil du temps.

Recommandation 3 :

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que les recommandations subséquentes soient suivies. Les rôles et les responsabilités du SDSR, en ce qui concerne la représentation et la coordination des domaines spécialisés, sont mis à jour et renforcés.

De plus, les processus, les outils et les stratégies du SDSR utilisés pour la gestion des calendriers, des privilèges d'accès et des flux de communication, ainsi que pour l'échange et l'adoption de pratiques exemplaires, sont examinés et mis à jour.

Conception et exécution

Dans le cadre du Recensement de 2016, un certain nombre d'initiatives ont été mises en œuvre pour appuyer le calendrier de diffusion de 18 mois. Bien que des initiatives aient été mises en œuvre dans la majorité des activités post-terrain, des indications suggèrent que les mesures adoptées pour les processus de CI avaient eu la plus grande incidence sur les échéanciers.

En ce qui concerne le Recensement de 2021, le programme vise à déterminer en ce moment d'autres gains d'efficience au sein des activités post-terrain au moyen de nombreux canaux, dont la Consultation sur la diffusion du recensement, le GT sur l'organigramme du processus, le GT sur les tableaux de base, le GT sur la diffusion accélérée et le GT sur le processus de codage. Pour un calendrier de diffusion accélérée (toutes les diffusions principales étant complétées en moins de 18 mois après le jour du recensement), la stratégie de diffusion et les activités de codage semblent présenter le plus grand potentiel.

On a cerné un certain nombre de risques susceptibles d'avoir une incidence sur le calendrier: les structures et les processus révisés d'attestation, le contenu supplémentaire potentiel pour le Recensement de 2021 et la capacité en matière de systèmes et de ressources humaines.

Recommandation 4 :

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que la recommandation subséquente soit suivie. Conformément au but de Statistique Canada, qui consiste à s'efforcer continuellement de diffuser des données selon un échéancier plus court, on examine toutes les activités post-terrain pour déterminer des mesures permettant éventuellement de gagner du temps et, en particulier, la stratégie de diffusion et les activités de codage, car ces dernières semblent présenter le plus grand potentiel. Il faudrait également tenir compte des risques déterminés au cours de l'évaluation au moment de planifier ces activités.

Approche axée sur l'utilisateur

Divers mécanismes sont utilisés pour recueillir des renseignements sur les besoins des utilisateurs des données du recensement, tels que des consultations officielles sur le recensement, des consultations et des interactions continues avec les utilisateurs habituels effectuées par les domaines spécialisés, ainsi que des mesures Web. L'évaluation a permis de constater que les domaines spécialisés étaient d'avis qu'ils comprenaient bien les besoins des utilisateurs dans leur secteur particulier. Pendant l'évaluation, de vastes consultations sur les produits du recensement ont été planifiées et mises en œuvre dans le cadre du programme. On prévoit que les renseignements recueillis permettront d'orienter l'élaboration de la stratégie de diffusion du Recensement de 2021.

Bien que les besoins des utilisateurs soient pris en considération pendant l'élaboration de la stratégie de diffusion, d'autres facteurs sont également influents : la tradition (par exemple, concevoir les mêmes produits que la dernière fois) et les contraintes internes (systèmes, ressources et accessibilité). Pour la stratégie de diffusion de 2021, les GT, tels que le GT sur les tableaux de base, mobilisent diverses divisions au sein de Statistique Canada afin de déterminer les tableaux qui seraient requis pour chaque cycle (par exemple, en vertu des exigences législatives).

Compte tenu de l'ampleur et de la quantité de renseignements disponibles, analyser ces derniers en totalité et en même temps afin d'avoir une vue d'ensemble des utilisateurs et de leurs besoins représente un défi considérable (contenu, types et formats de produits, utilisations et moment des diffusions). L'évaluation n'a pas permis de constater que des renseignements intégrés étaient produits pour soutenir l'élaboration d'une stratégie de diffusion et l'établissement des priorités relatives à cette dernière.

Recommandation 5 :

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que la recommandation subséquente soit suivie. Il faut effectuer une analyse détaillée et intégrée des besoins des utilisateurs. Par exemple, on pourrait créer des profils d'utilisateur fondés sur les multiples sources de renseignements déjà disponibles. La stratégie de diffusion pour 2021 devrait être guidée par les résultats et les conclusions d'une telle analyse et tenir compte des risques cernés au cours de l'évaluation.

Enfin, bien que les recommandations aient été divisées entre les trois thèmes traités par l'évaluation (la gouvernance, la conception et l'exécution, ainsi que l'approche axée sur l'utilisateur), il est essentiel de noter que ces derniers sont étroitement liés. Par exemple, l'adoption d'un calendrier de diffusion accélérée doit tenir compte de facteurs comme les renseignements sur les besoins des utilisateurs, le contenu du Recensement de 2021, les systèmes de technologie de l'information et la capacité en ressources humaines. En raison de l'interdépendance de chacun de ces thèmes et des recommandations sous-jacentes, une vision intégrée devrait être adoptée au moment d'élaborer les mesures à prendre et les plans d'action en matière de gestion afin de donner suite aux recommandations.

Réponse de la direction et plan d'action

Gouvernance

Recommandation 1 :

En ce qui a trait aux révisions institutionnelles, on examine et adapte la gouvernance, les rôles et les responsabilités, ainsi que les processus pour s'assurer qu'il y a clarté et que les révisions adhèrent à la politique. Cette mesure devrait également prévoir un modèle d'approbation plus efficace. En outre, il faudrait mettre sur pied une approche pour que la haute direction puisse approuver plus tôt la stratégie de diffusion.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Une nouvelle stratégie de diffusion sera élaborée pour le Programme du Recensement de 2021 et présentée au CDR. Nous nous inspirerons des leçons tirées de l'expérience de 2016 et des résultats de la présente évaluation pour procéder à l'examen et à l'ajustement des processus connexes ayant trait à l'examen des extrants analytiques destinés aux diffusions officielles.

La stratégie d'examen des documents analytiques avant la diffusion comprendra des responsabilités et des processus de gouvernance clairs pour l'examen des extrants analytiques. Cela concorde avec les politiques et les directives de Statistique Canada en matière d'examen des documents analytiques et de diffusion officielle.

Le BGR documentera la nouvelle stratégie de diffusion. La stratégie sera approuvée par le CDR. Le SDSR sera chargé de l'élaboration et de la documentation du processus d'examen des documents analytiques.

Livrables et échéanciers

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, présentera :

• une stratégie pour l'examen des documents analytiques avant la diffusion (décembre 2019);
• la version définitive de la stratégie de diffusion (mars 2020).

Recommandation 2 :

Les rôles et les responsabilités des secteurs (dont la Direction des communications et de la diffusion, le SDSR, la DOR et les domaines spécialisés) prenant part au Sous-projet de la diffusion sont précisés et mis à jour pour assurer l'exécution efficace et efficiente du Sous-projet. La gouvernance devrait faire en sorte que les rôles et les responsabilités demeurent clairs et qu'ils soient assumés au fil du temps.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Conformément à la nouvelle stratégie de diffusion, les livrables, les processus de production ainsi que des rôles et responsabilités clairs seront définis et documentés.

Les chartes de projet tiendront compte des livrables relatifs à la stratégie au niveau du programme, de même que pour chaque sous-projet en cause (p.ex. SDSR, Diffusion, RA/GEO, Communications du recensement).

Le BGR documentera les livrables au niveau du programme, comme la stratégie de diffusion et la charte de projet. Les responsables de chaque sous-projet documenteront la charte de leur sous-projet respectif.

Livrables et échéanciers

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, présentera :

• les chartes de projet (y compris les chartes de sous-projet) (décembre 2019);
• la version définitive de la stratégie de diffusion (mars 2020).

Recommandation 3 :

Les rôles et les responsabilités du SDSR, en ce qui concerne la représentation et la coordination des domaines spécialisés, sont mis à jour et renforcés.

De plus, les processus, les outils et les stratégies du SDSR utilisés pour la gestion des calendriers, des privilèges d'accès et des flux de communication, ainsi que pour l'échange et l'adoption de pratiques exemplaires, sont examinés et mis à jour.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Les processus relatifs à l'exécution de diverses activités post-collecte, de même qu'à la définition et à la production de divers extrants de la diffusion impliquent de multiples sous-projets, et les domaines spécialisés ont un rôle de premier plan à jouer dans la majorité de ceux-ci. Les rôles et responsabilités feront l'objet d'un examen pour ces domaines spécialisés afin de simplifier les pratiques de travail au besoin. Les responsabilités connexes du SDSR et des domaines spécialisés seront clairement définies et convenues avec les domaines spécialisés. Lorsque le SDSR conserve un rôle de coordination avec les domaines spécialisés, des outils et des processus seront mis en place en vue d'automatiser et de coordonner les calendriers et d'assurer l'optimisation de l'expertise du domaine spécialisé, de même que sa coordination et sa disponibilité, selon les besoins.

Le BGR documentera la charte de projet. Le SDSR documentera la charte de son sous-projet et élaborera le calendrier.

Livrables et échéanciers

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, présentera :

• les chartes de sous-projet des sous-projets visés (décembre 2019);
• un calendrier coordonné (mars 2020).

Conception et exécution

Recommandation 4 :

Conformément au but de Statistique Canada, qui consiste à s'efforcer continuellement de diffuser des données selon un échéancier plus court, on examine toutes les activités post-terrain pour déterminer des mesures permettant éventuellement de gagner du temps et, en particulier, la stratégie de diffusion et les activités de codage, car ces dernières semblent présenter le plus grand potentiel. Il faudrait également tenir compte des risques déterminés au cours de l'évaluation au moment de planifier ces activités.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Une nouvelle stratégie de diffusion sera élaborée pour le Programme du Recensement de 2021 et présentée au CDR. Les divers processus rattachés aux activités post-terrain seront soumis à un examen conformément à la pertinence et au calendrier. Cet examen permettra de détecter et d'atténuer les risques.

Il comprendra les documents pertinents sur les questions en suspens relatives à l'examen des fichiers de processus dans JIRA et aux risques majeurs saisis dans le registre des risques du Programme du recensement.

Livrables et échéanciers

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, présentera :

• les documents pertinents sur les questions en suspens (décembre 2019);
• le registre des risques du Programme du recensement (décembre 2019);
• la version définitive de la stratégie de diffusion (mars 2020).

Approche axée sur l'utilisateur

Recommandation 5 :

Il faut effectuer une analyse détaillée et intégrée des besoins des utilisateurs. Par exemple, on pourrait créer des profils d'utilisateur fondés sur les multiples sources de renseignements déjà disponibles. La stratégie de diffusion pour 2021 devrait être guidée par les résultats et les conclusions d'une telle analyse et tenir compte des risques cernés au cours de l'évaluation.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Une nouvelle stratégie de diffusion, élaborée pour le Programme du Recensement de 2021, présentera le processus en détail afin de préciser les besoins des utilisateurs, et sera soumise au CDR. La stratégie se fondera sur une segmentation des utilisateurs et une clarification des principaux besoins des utilisateurs de chaque segment. Cet examen permettra de détecter et d'atténuer les risques.

Les domaines spécialisés et le SDSR fourniront des renseignements sur les besoins des utilisateurs selon les relations et les réseaux externes créés par les spécialistes, en plus de renseignements recueillis dans les commentaires des utilisateurs à l'aide du questionnaire électronique et dans le cadre de rencontres individuelles.

Il comprendra les documents pertinents sur les questions en suspens relatives à l'examen des fichiers de processus dans JIRA et aux risques majeurs saisis dans le registre des risques du Programme du recensement.

Le BGR documentera la nouvelle stratégie de diffusion. L'EPR se charge des questions en suspens et des risques.

Livrables et échéanciers

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, présentera :

• les documents pertinents sur les questions en suspens (décembre 2019);
• le registre des risques du Programme du recensement (décembre 2019);
• un rapport de consultation sur la diffusion (décembre 2019);
• la version définitive de la stratégie de diffusion (mars 2020).