Le rapport en bref

La prestation des services à la clientèle de Statistique Canada (l'organisme) est basée sur un réseau d'unités qui répondent aux demandes de produits et services des clients. Les principales unités du réseau sont le Centre de contact, les bureaux régionaux, les divisions spécialisées, la Ligne info-médias et le réseau d'accès aux microdonnées. Ces unités sont responsables de la gestion des demandes et de la prestation des services en vertu des normes de service de l'organisme.

Le Système de gestion des relations avec les clients (SGRC) est le système qu'utilise l'organisme pour stocker et partager les renseignements sur les clients. Il permet également de s'acquitter de plusieurs autres fonctions, dont la facturation, la vérification du crédit et la création de lettres d'entente.

L'évaluation de la prestation des services à la clientèle a été réalisée conformément à la Politique sur les résultats du Secrétariat du Conseil du Trésor du Canada (2016) et au Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (de 2018-2019 à 2022-2023). Le principal objectif de l'évaluation était de présenter une analyse neutre et fondée sur des données probantes de la pertinence et du rendement de l'environnement de prestation des services à la clientèle de l'organisme à l'appui de la prise de décisions, de la responsabilisation et de l'amélioration. Il s'agissait de la première évaluation transversale de Statistique Canada.

La méthodologie d'évaluation comportait un examen des documents et des données administratives du SGRC, des entrevues d'informateurs clés (clients externes), un sondage en ligne auprès des clients externes, sondage interne auprès des utilisateurs et des gestionnaires du SGRC et une analyse internationale. La triangulation de ces méthodes de collecte de données a permis de déterminer les constatations générales de l'évaluation. Une analyse internationale des pratiques de prestation des services à la clientèle des organismes de statistique a également été réalisée.

Efficacité et efficience

L'évaluation a révélé que les clients de Statistique Canada souhaitent obtenir un service rapide, fiable, uniforme, transparent et professionnel à un coût raisonnable. Les clients ont déclaré qu'ils étaient satisfaits du professionnalisme du personnel et de la qualité des renseignements et des services offerts. Les clients ont reconnu le personnel comme étant bien informé, compétent et courtois.

Les clients étaient en général satisfaits du traitement des demandes simples; toutefois, le traitement des demandes plus complexes (dont celles ayant trait à des produits personnalisés et à des conseils d'expert) était parfois ardu. L'uniformité, la transparence, la rapidité d'exécution, la communication et le coût des services représentaient tous des domaines qui nécessitaient des améliorations.

Les sources d'insatisfaction pourraient être en grande partie attribuables à d'importantes lacunes au sein de l'organisme soit : un manque de clarté pour ce qui est des rôles et des responsabilités lors de la prestation des services à la clientèle, des processus non uniformes et l'utilisation de systèmes alternatifs. Ces lacunes entraînent une fragmentation de la prestation des services ainsi que des lacunes dans la gouvernance et le leadership organisationnels en ce qui a trait à la prestation des services à la clientèle.

Recommandation 1

Le statisticien en chef adjoint (SCA) du Secteur de l'engagement stratégique et des communications, en collaboration avec le SCA du Secteur du recensement, des services régionaux et des opérations et la SCA du Secteur des services intégrés, devrait s'assurer que une stratégie ou un plan de prestation des services à la clientèle à l'échelle de l'organisme soit élaboré et couvre la gouvernance et le leadership; les objectifs de l'organisme; les normes, y compris les cibles; les mesures du rendement; les rôles et responsabilités; les communications. La stratégie devrait porter sur la création d'une approche plus globale et uniforme qui aborde les divers enjeux soulignés pendant l'évaluation, tels que la rapidité d'exécution, la transparence, l'uniformité et les coûts.

Système de gestion des relations avec les clients

Le SGRC est la solution de prestation des services à la clientèle de l'organisme. Les utilisateurs ont indiqué que, même s'ils étaient satisfaits du traitement des demandes simples et de la facturation, le traitement des demandes complexes s'avérait ardu. L'évaluation a constaté que les processus d'affaires variaient au sein de l'organisme, et le système n'était pas utilisé de façon uniforme. En effet, l'utilisation d'autres systèmes ou logiciels était répandue, les gestionnaires connaissaient peu le SGRC et personne n'était responsable de s'assurer de l'adoption généralisée du système.

Recommandation 2

Le SCA du Secteur de l'engagement stratégique et des communications, en collaboration avec le SCA du Secteur du recensement, des services régionaux et des opérations et la SCA du Secteur des services intégrés, devrait s'assurer que le nouveau SGRC de l'organisme cadre avec la stratégie contenue dans la recommandation 1 et appuie ainsi une approche plus globale et uniforme.

Recommandation 3

Le SCA du Secteur de l'engagement stratégique et des communications, en collaboration avec le SCA du Secteur du recensement, des services régionaux et des opérations et la SCA du Secteur des services intégrés, devrait s'assurer que la qualité et la couverture des renseignements figurant dans le SGRC soient améliorées, et la connaissance des gestionnaires du SGRC s'accroît.

Contenu

L'évaluation a été réalisée conformément à la Politique sur les résultats du Secrétariat du Conseil du Trésor du Canada (2016) et au Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (de 2018‑2019 à 2022-2023). Le principal objectif de l'évaluation était de présenter une analyse neutre et fondée sur des données probantes de la pertinence et du rendement de l'environnement de prestation des services à la clientèle de l'organisme à l'appui de la prise de décisions, de la responsabilisation et de l'amélioration. Il s'agissait de la première évaluation transversale de l'organisme.

1.1 L'environnement de la prestation des services à la clientèle à Statistique Canada

L'environnement de la prestation des services à la clientèle à Statistique Canada est composé de deux éléments principaux : le réseau de prestation des services à la clientèle et le Système de gestion des relations avec les clients (SGRC).

1.1.1 Le réseau de prestation des services à la clientèle

L'organisme est structuré en fonction d'un modèle de services professionnels comportant plusieurs canaux de services à la clientèle offerts par des entités de service ayant des responsabilités de prestation de services fonctionnelles ou fondées sur le portefeuille. Les principales unités organisationnelles à Statistique Canada sont le Centre de contact, les bureaux régionaux, les divisions spécialisées à Ottawa, la Ligne info-médias et le réseau d'accès aux microdonnées. Ces unités organisationnelles sont chargées de gérer les demandes de renseignements et de fournir des services conformément aux normes de service de l'organisme.

Classification des demandes

• Niveau 1 : Une demande dont les renseignements se trouvent facilement sur le site Web de Statistique Canada ou qui nécessite une recherche minime.
• Niveau 2 : Une demande qui requiert une recherche, une extraction ou une personnalisation des données.
• Niveau 3 : Des questions méthodologiques complexes ou des totalisations personnalisées qui peuvent être répondues seulement par un secteur spécialisé.

Dans cette structure décentralisée, chaque fonction (divisions spécialisées et bureaux régionaux) a sa propre unité de service à la clientèle ou une unité de service à la clientèle partagée. Chacun est responsable de s'organiser en fonction des ressources disponibles, du volume de demandes, de l'expertise nécessaire pour répondre aux demandes et du niveau de connaissance des représentants du service à la clientèle (généralistes ou experts). La structure exige de nombreux échanges de renseignements entre les fonctions pour coordonner et acheminer les demandes selon le niveau d'expertise requis (voir la figure 1). Pour l'exercice 2017-2018, les recettes des demandes personnalisées et des ateliers s'élevaient à environ 3,4 millions de dollars^Note1.

Description pour la Figure 1 - Réseau actuel de prestation de services à la clientèle de Statistique Canada

La figure illustre le réseau de prestation de services à la clientèle de Statistique Canada et la façon dont les différentes unités sont interreliées. Elle comprend quatre unités de distribution principales par lesquelles une demande de client peut être acheminée à Statistique Canada. Les unités sont le site Web de Statistique Canada, le Service de renseignements statistiques, la division spécialisée et, enfin, un regroupement au service de certains utilisateurs.

Sur la figure, le client se trouve en haut. Les quatre chemins distincts par lesquels une demande peut être soumise y sont également représentés.

Un des chemins mène au site Web de Statistique Canada. À partir de là, des flèches mènent au Service de renseignements statistiques qui comprend le centre d’appels (« Contactez-nous ») et les Services consultatifs régionaux pour les demandes de niveau 2 ainsi que les divisions spécialisées qui comprennent les unités de service à la clientèle et les experts des demandes des niveaux 2 et 3. Il y a également une flèche qui relie le Service de renseignements statistiques aux divisions spécialisées, car les demandes des niveaux 2 et 3 envoyées à l’origine au Service de renseignements statistiques peuvent être transmises à une division spécialisée.

Il y a deux autres chemins qui permettent aux clients d’adresser leurs demandes directement au Service de renseignements statistiques ou aux divisions spécialisées sans passer par le site Web.

En ce qui concerne le dernier chemin, certains utilisateurs peuvent également solliciter les services des unités desservant une clientèle spécialisée. Cela comprend : l’unité de liaison parlementaire, l’unité de coopération internationale, la Ligne des relations avec les médias, l’Initiative de démocratisation des données, les centres de données de recherche et d’autres groupes d’accès aux microdonnées. Ces unités envoient leurs demandes aux divisions spécialisées concernées pour qu’elles y répondent.

Modifications prévues

Au cours de la phase de planification de l'évaluation, l'organisme a annoncé qu'il apporterait des changements à son modèle de prestation des services à la clientèle. Les bureaux régionaux renouvelleraient leur image de marque pour devenir des centres de services de données et fourniraient des services et une expertise à proximité des clients. Les centres offriraient un programme de services à la clientèle complet et intégré comprenant des services d'accès aux données, d'apprentissage et de sensibilisation. De plus, toutes les demandes de niveau 2 seraient traitées au sein de la structure organisationnelle régionale. Ce changement permettrait aux divisions spécialisées de concentrer leurs efforts sur la production de données, la gestion de leurs programmes respectifs et les demandes de niveau 3. Le modèle cadre avec un des principaux piliers de l'initiative de modernisation de l'organisme — la prestation de services axés sur l'utilisateur — selon lequelle « les utilisateurs disposent des renseignements et des données dont ils ont besoin, lorsqu'ils en ont besoin et de la manière dont ils souhaitent y accéder. Ils ont également les outils et les connaissances nécessaires pour en tirer pleinement parti ».

1.1.2 Le Système de gestion des relations avec les clients

En 2007, le SGRC a été lancé pour gérer et enregistrer en temps réel les activités quotidiennes liées aux services à la clientèle. Le système devait être l'outil organisationnel pour gérer tous les renseignements sur les clients et éliminer les inefficacités et les doublons découlant des nombreux systèmes (environ 15) qui étaient en place avant le SGRC. Lorsqu'il a été mis en œuvre, le SGRC ne comprenait que le module des services à la clientèle et devait :

• promouvoir l'échange de renseignements sur les clients entre les divisions pour éliminer les silos existants;
• améliorer la productivité des employés et la qualité des services;
• veiller à la satisfaction de la clientèle et au respect des politiques sur le service à la clientèle;
• produire des indicateurs de rendement uniformes pour tous les secteurs impliqués dans la prestation des services à la clientèle;
• promouvoir la collecte de renseignements afin de soutenir la gestion et la prise de décisions.

Au fil du temps, le SGRC a été modifié et personnalisé avec plus de 1 500 nouvelles configurations, y compris l'ajout de cinq modules liés de près ou de loin à la prestation des services à la clientèle (voir la figure 2). En 2010, deux nouveaux modules ont été ajoutés : un pour aider les centres de données de recherche à gérer les renseignements sur les chercheurs externes ayant accès aux microdonnées, et un autre pour gérer les problèmes de relations avec les répondants et les plaintes liées aux répondants aux enquêtes-entreprises. En 2015, un module a été ajouté pour gérer les activités de recouvrement des coûts, les lettres d'entente (LE) et les protocoles d'entente. Le système est utilisé par le personnel des divisions spécialisées : le Service de renseignements statistiques (SRS); les bureaux régionaux; la Direction des finances, de la planification et de l'approvisionnement; la Sous-section des relations avec les médias; la Division de l'accès aux microdonnées et du CDRE; l'ombudsman des enquêtes-entreprises. Le système relève de la Direction des communications stratégiques et du rayonnement. Pour l'exercice 2018-2019, environ 385 000 $ ont été consacrés à la gestion et à la maintenance du système par l'entremise de l'équipe du SGRC^Note2. Le système fait actuellement l'objet d'un examen, car il s'appuie sur une plateforme PeopleSoft désuète.

Description pour la Figure 2 - Fonctionnalités du Système de gestion des relations avec les clients

La figure illustre les modules et les activités du Système de gestion des relations avec les clients (SGRC). Elle commence à gauche avec les cinq modules du SGRC; une colonne énumère ensuite les activités de soutien et de documentation liées aux modules. Ces activités alimentent par la suite le SGRC, qui peut alors produire des rapports.

Les cinq modules sont les suivants : services à la clientèle, gestion des revenus, relations avec les répondants des entreprises, accès aux microdonnées, autres modules.

Les activités de soutien et de documentation comprennent les activités liées aux services à la clientèle – demandes (demandes de renseignements des niveaux 1 et 2, demandes personnalisées, ateliers, enquêtes statistiques et services connexes, médias) et activités de sensibilisation; les activités liées à la gestion des revenus – vérification de crédit, facturation et gestion des contrats; les activités liées aux relations avec les répondants des entreprises – plaintes des entreprises qui répondent aux enquêtes concernant le fardeau de réponse ou un traitement injuste; les activités liées à l’accès aux microdonnées – contrats des centres de données de recherche, accès à distance en temps réel aux ensembles de données, abonnements à l’Initiative de démocratisation des données; les activités liées aux autres modules – Fichier de restriction des contacts avec les clients, correspondance avec les répondants du recensement.

Le SGRC peut produire des rapports normalisés et personnalisés qui peuvent être utilisés pour évaluer les programmes, examiner les processus opérationnels, faciliter la prise de décisions et assurer la conformité aux politiques, aux directives et aux lignes directrices.

1.2 Évaluation

Au moment de la conception de l'évaluation, plusieurs facteurs ont été pris en considération, tels que la nature du modèle de prestation des services à la clientèle et le contexte changeant. Une approche hybride fondée sur les principes de l'évaluation évolutive et de l'évaluation axée sur l'utilisation a finalement été utilisée^Note3.

Une discussion avec la haute direction a permis de cerner trois enjeux à aborder dans l'évaluation (voir la Enjeux et questions d'évaluation). Pour répondre à ces questions, plusieurs méthodes ont été utilisées afin de s'assurer de la fiabilité des constatations et d'atténuer les limites rencontrées (voir la Outils de collecte, limitations et mesures d'atténuation).

Enjeux et questions d'évaluation

• Enjeu 1 : Les besoins, les attentes et le niveau de satisfaction des clients en ce qui concerne la prestation des services
  • Quels sont les besoins, les attentes et le niveau de satisfaction à l'égard des services à la clientèle?
  • Quel est le niveau d'intérêt pour des centres de services de données et la prestation de services en personne?
• Enjeu 2 : Le Système de gestion des relations avec les clients
  • Dans quelle mesure le SGRC répond-il aux besoins des utilisateurs?
  • Quels sont les obstacles et les défis qui ont une incidence sur l'utilisation du système?
• Enjeu 3 : Les facteurs contribuant à l'efficacité du programme de prestation des services à la clientèle
  • Quels sont les facteurs qui ont une incidence sur l'efficacité de la prestation des services?

Outils de collecte, limitations et mesures d'atténuation

Ce que nous avons appris

2.1 Portrait des clients de Statistique Canada

Questions d'évaluation

Quels sont les besoins, les attentes et le niveau de satisfaction à l'égard des services à la clientèle?

Quel est le niveau d'intérêt pour des centres de services de données et la prestation de services en personne?

Une organisation axée sur le client doit d'abord et avant tout bien comprendre les besoins et les attentes des clients^Note4. Un manque de compréhension des besoins et des attentes des clients peut entraîner leur insatisfaction, la perte de clients et des dépenses inutiles en produits et services qui ne sont pas pertinents. Par conséquent, dans le cadre de l'évaluation et compte tenu du contexte entourant la modernisation et la prestation de services axés sur l'utilisateur, il était essentiel de comprendre d'abord les besoins et les attentes des clients.

2.1.1 Clientèle de Statistique Canada et demandes de services

En 2018, 34 743 demandes externes ont été enregistrées dans le SGRC^Note5. Statistique Canada a une clientèle diversifiée ayant un vaste éventail de compétences techniques. Selon les résultats du sondage sur la prestation de services, elle provient en grande majorité du secteur public (60,0 %) et se concentre en Ontario (Toronto), au Québec (Montréal et Québec) et dans la région de la capitale nationale (Ottawa–Gatineau). Les clients ont communiqué avec Statistique Canada en moyenne de 2 à 5 fois sur une période de 12 mois. Les principaux points d'entrée pour recevoir des services ont été le centre « Contactez-nous » (46,2 %), les divisions spécialisées (22,0 %) et les bureaux régionaux (14,4 %). Les demandes les plus fréquentes concernaient la recherche de données sur le site Web et l'utilisation d'outils en ligne (16,7 %), les données personnalisées payantes (16,3 %) et les conseils d'experts (15,4 %).

Description pour la Figure 3 - Points d’entrée des demandes de données ou de services

Les barres indiquent la proportion de demandes provenant des points d’entrée énumérés.

Données pour la figure 3 :

Points d'entrée

Points d'entrée	pourcentage
Contactez-nous	46,2
Division ou direction statistique au bureau central à Ottawa	22,0
Bureaux régionaux	14,4
Division de l'accès aux microdonnées	7,4
Insititut de formation de Statistique Canada	4,6
Réseau canadien des centres de données de recherche	3,7
Autres	1,9

Description pour la Figure 4 - Types de demande

Les barres indiquent les types de demandes reçues en pourcentage du total des demandes.

Données pour la Figure 4 :

Types de demande

Types de demande	pourcentage
Recherche de statistiques sur le site Web et outils en ligne	16,7
Données personnalisées payantes	16,3
Conseils d'experts sur les données	15,4
Renseignements sur les programmes ou les enquêtes	12,7
Données personnalisées gratuites	10,6
Accès aux microdonnées et soutien dédié	9,6
Formation	6,4
Autres	5,1
Soutien analytique pour les données	4,3
Couplage d'enregistrements	2,8

2.1.2 Attentes des clients entourant la prestation de services

Les clients s'attendent à un service rapide, facile d'accès, fiable, transparent, uniforme, professionnel et à prix raisonnable. L'évaluation a révélé que Statistique Canada répondait aux besoins des clients sur le plan de la fiabilité, du professionnalisme et, dans une certaine mesure, de la facilité d'accès. En revanche, les répondants ont estimé que les coûts (valeur), la transparence, l'uniformité et la rapidité du service devraient être améliorer^Note6.

Le personnel est professionnel et courtois

La majorité des répondants et des personnes interviewées étaient satisfaits des compétences et du professionnalisme du personnel, ainsi que de leur dévouement et de leur courtoisie dans la prestation des services. Selon le sondage auprès de la clientèle mené par l'organisme en 2018, 95,5 % des répondants étaient satisfaits de l'attitude courtoise et respectueuse du personnel, et 88,4 % étaient satisfaits de la compréhension qu'avait le personnel de leurs besoins^Note7. Les répondants au sondage sur la prestation des services ont fait remarquer que si un problème se posait, le professionnalisme dont faisait preuve le personnel pour le résoudre contribuait au maintien de la confiance. Même les répondants qui étaient frustrés en raison de certaines de leurs expériences ont clairement établi une distinction entre le service qu'ils ont reçu et la personne ou les personnes qui ont fourni le service. Les problèmes sont rarement attribués à une personne, mais plutôt aux processus en place. Les répondants et les personnes interviewées ont souligné la valeur qu'ils accordaient au service offert par la personne avec qui ils avaient fait affaire et leur préférence d'avoir la même personne avec qui travailler de façon constante, ce qui leur permet d'établir une relation professionnelle.

Il n'est pas toujours facile de trouver la bonne personne; les produits personnalisés prennent trop de temps

Les répondants et les personnes interviewées ont signalé le besoin d'accéder rapidement aux données, y compris les données personnalisées, à l'aide du site Web et du personnel des services à la clientèle. Leurs attentes à l'égard des délais de prestation variaient en fonction de leur niveau d'urgence et de leur connaissance du processus des services à la clientèle. Il ressort clairement de l'évaluation que plus le nombre de personnes-ressources attitrées au service est élevé, plus le niveau de satisfaction est faible.

Selon le sondage sur la prestation des services à la clientèle, 88,4 % des répondants étaient satisfaits du niveau d'accès aux services, et près de 80,2 % ont indiqué qu'ils étaient satisfaits du temps de réponse à leurs demandes. Parmi les principaux points d'insatisfaction, les répondants et les personnes interviewées ont noté, le temps requis pour entrer en contact avec la personne-ressource en mesure de répondre à leur demande, surtout lorsqu'ils essayaient d'avoir accès à un spécialiste. En ce qui concerne la publication des normes de service, les personnes interviewées ont indiqué qu'ils étaient satisfaits des normes de service en matière de rapidité des services et que celles-ci étaient généralement respectées par l'organisme^Note8. Seuls quelques cas de non-conformité ont été soulevés, habituellement liés aux appels téléphoniques.

Plusieurs répondants et personnes interviewées se sont dits insatisfaits du temps écoulé entre la présentation d'une demande de données personnalisées et la réception du produit final. Les personnes interviewées ont indiqué qu'ils comprenaient que du temps était nécessaire pour traiter et clarifier les spécifications des demandes et pour en déterminer la faisabilité; toutefois, certains ont estimé que cette phase était lourde. L'évaluation a révélé que cette période pouvait prendre de quelques jours à de nombreux mois, selon la complexité de la demande et le nombre de domaines concernés. Le temps requis avait tendance à être beaucoup plus court pour un simple renouvellement, si les variables avaient été prédéterminées, ou dans les cas où le client avait une connaissance approfondie des données. Les demandes qui ont été considérées comme les plus insatisfaisantes par les personnes interviewées étaient celles du Recensement de la population, où certains ont indiqué qu'ils n'avaient toujours pas reçu leurs totalisations après six mois d'attente. Ils ont indiqué que le retard avait eu d'importantes répercussions sur leurs projets.

Les personnes interviewées à l’interne ont indiqué qu'une fois la confirmation d'achat reçue, le délai de prestation habituel était de quatre à six semaines, selon la complexité de la demande et la taille de la file d'attente pour la production. Les délais de prestation pouvaient varier cependant en raison des contraintes de ressources (p. ex. l'absence d'employés), les changements de priorités et les retards causés par d'autres demandes. Il a indiqué que la capacité à accélérer les choses même à un coût supplémentaire n'était pas possible.

Plus il y a de gens qui participent, plus le délai est long

La rapidité du service et la facilité d'accès sont étroitement liées. Tel qu'il a été mentionné précédemment, le temps qu'il faut pour répondre à une demande de service s'accroît avec le nombre de personnes-ressources impliquées; plus une demande circule d'une personne à l'autre, plus son traitement est long.

Certaines demandes passent par un intermédiaire (par exemple, un bureau régional) qui sert ensuite de principal point de contact tout au long du processus jusqu'à la prestation du service ou à la livraison du produit. L'intermédiaire assume une fonction de coordination et facilite la communication entre le demandeur et le fournisseur final. Les personnes interviewées ont généralement été satisfaites de leurs interactions avec les intermédiaires; toutefois, elles ont constaté à l'occasion que ces interactions se traduisaient en étapes inutiles et augmentaient le temps de réponse. Par exemple, certaines personnes interviewées n'ont pu communiquer avec des spécialistes qu'indirectement par l'entremise d'un intermédiaire. Cette façon de faire a représenté une étape supplémentaire et une augmentation du temps d'attente, tout en offrant souvent peu ou pas de valeur ajoutée. Certaines personnes interviewées ont indiqué qu'elles mettaient parfois fin prématurément aux échanges, même si elles avaient encore des questions, parce que cette façon de faire prenait trop de temps ou parce qu'elles n'avaient plus la patience d'attendre une réponse. D'autres ont indiqué qu'elles avaient trouvé elles-mêmes les coordonnées de spécialistes pour éviter de passer par un intermédiaire.

Les personnes interviewées ont noté que les retards peuvent varier selon la disponibilité des spécialistes, le moment de la demande, le délai et l'effort requis pour répondre à la demande et l'incidence sur d'autres activités de la division. Dans les cas où les spécialistes n'avaient pas été en mesure de répondre à la demande dans le délai requis, ils ont simplement renvoyé le client aux renseignements affichés sur le site Web.

Plus de la moitié des personnes interviewées à l'interne ont indiqué qu'il y a des possibilités d'améliorer la rapidité de la prestation de services et la capacité de répondre aux demandes. Outre l'ajout de ressources, les suggestions comprenaient un meilleur accès à des documents méthodologiques à jour, une documentation plus détaillée des variables disponibles pour les enquêtes, un répertoire des demandes antérieures et un document sous forme de foire aux questions (gestion des connaissances) qui aiderait les unités de service à répondre aux cas sans imposer de fardeau aux spécialistes.

Certaines personnes interviewées, dont des utilisateurs de données fréquents, n'étaient pas au courant des diverses options disponibles pour accéder aux services et présenter des demandes de données. Certains ont indiqué qu'ils croyaient que le module « Contactez-nous » sur le site Web était le seul point d'entrée pour toutes les demandes; ils ne savaient pas qu'ils pouvaient communiquer directement avec un conseiller d'un bureau régional.

Manque d'uniformité des prix et mises à jour sporadiques

Selon le sondage auprès de la clientèle de 2017, 30,6 % des répondants qui avaient acheté des produits et des services pour moins de 20 000 $ étaient insatisfaits du coût (achats entre 1 $ et 1 000 $, 27,2 %; achats entre 1 000 $ et 20 000 $, 33,3 %). Pendant les entrevues, bien que plusieurs personnes aient reconnu les efforts que Statistique Canada a déployés au fil des ans pour accroître le nombre de produits offerts sans frais, un fort désir d'obtenir encore plus de données gratuites demeure.

Les répondants et les personnes interviewées ont soulevé le manque d'uniformité des prix des produits personnalisés. À titre d'exemples, mentionnons des augmentations ou des diminutions de prix inexpliquées pour des demandes identiques d'une année à l'autre et le manque d'uniformité des prix demandés d'un type de client à l'autre et d'une division à l'autre à Statistique Canada. Cette situation a laissé croire à certaines personnes interviewées qu'il y a un manque d'équité dans les prix des totalisations personnalisées.

Parmi les répondants et les personnes interviewées qui ont acheté des totalisations personnalisées, plusieurs ont indiqué qu'ils avaient reçu peu de renseignements sur le progrès de leur commande et qu'ils n'étaient pas avisés des retards à moins de prendre l'initiative de faire un suivi. Certaines personnes interviewées ont mentionné qu'il y avait un manque d'uniformité entre les divisions avec lesquelles ils faisaient affaire : certaines étaient plus réceptives et plus axées sur les clients que d'autres.

L'uniformité et la transparence sont essentielles à la gestion des attentes des clients. Les personnes interviewées ont indiqué qu'ils voulaient être informés de ce à quoi il faut s'attendre de l'organisme, avant et pendant la prestation des services. Toutefois, à l'exception des normes de service publiées sur le site Web de Statistique Canada, aucun élément probant n’a permis d’identifier d’autres normes. En outre, les acheteurs éventuels des totalisations personnalisées ont reçu peu de renseignements sur les dates de prestation estimées avant la phase de l'entente.

Satisfaction à l'égard de la qualité

Selon le sondage auprès de la clientèle de 2017, la majorité des répondants étaient satisfaits globalement de la qualité des produits et des services qu'ils ont reçus. D'après le sondage sur la prestation des services à la clientèle et les entrevues, les éléments les plus communs d’insatisfactions étaient des cas où on n'a pas reçu de réponses en temps utile aux demandes initiales, les erreurs dans les tableaux personnalisés, les produits en retard et les produits ou réponses incomplets.

Profils des clients pour mieux comprendre les utilisateurs

Statistique Canada dessert un vaste spectre d'utilisateurs, allant des utilisateurs techniques très sophistiqués aux utilisateurs possédant peu de connaissance et d'expertise sur les statistiques. Les besoins que ces utilisateurs soumettent à un point de prestation des services à la clientèle peuvent varier de façon importante. Par exemple, les clients qui sont des spécialistes des données ou des intervenants clés ont besoin d'un accès direct aux spécialistes d'un domaine. Les unités de service, telles que les bureaux régionaux ou le SRS, peuvent fournir un certain niveau de service à ces clients, mais un accès direct aux spécialistes de domaine est impératif. Par contre, les clients qui n'utilisent qu'occasionnellement le site Web de Statistique Canada pour trouver des renseignements et qui possèdent des connaissances limitées sur les données disponibles peuvent bénéficier de l'interaction avec un représentant qui peut les aider à se retrouver dans les diverses options offertes.

Pour mieux répondre à leurs utilisateurs, l’Institut national de statistique du Royaume-Unis et l'Institut national de statistique, de géographie et d'informatique (INEGI, Mexique) ont élaboré des profils de clients afin de mieux comprendre ceux-ci et de veiller à ce que la conception de leurs services réponde aux besoins et aux attentes des divers types d'utilisateurs. En janvier 2019, la Direction des communications et de la diffusion de Statistique Canada a élaboré des profils de la clientèle en fonction des habitudes d'achat, du niveau de connaissance et de compréhension et de l'expérience du site Web. Ces profils pourraient être élargis pour inclure la prestation des services à la clientèle.

2.1.3 Centres de services de données et attentes en matière de services

L'un des principaux objectifs de l'évaluation était de jauger l'intérêt pour d'autres modes d'accès aux données et aux services, dont la création de centres de services de données. La plupart des clients interviewés dans le cadre de l'évaluation ont indiqué que les modes de service actuels, notamment le site Web, étaient adéquats et qu'il serait préférable de consacrer les ressources disponibles à l'amélioration des services existants au lieu d'en ajouter.

Questionnés au sujet des types de mécanismes de prestation de services qu'ils préféraient, 20,7 % des répondants ont indiqué que leur préférence allait, entre autres, à l'offre de service dans un centre de services de données de Statistique Canada. Un pourcentage beaucoup plus élevé préférait l'accès au moyen des services à distance seulement (77,8 %), comme le téléphone, le courriel et d'autres technologies. Cette tendance était constante, peu importe la ville de résidence du répondant. Tel qu’expliqué lors des entrevues, la proximité et la commodité constituaient des facteurs clés pour les clients. Par exemple, les personnes interviewées se trouvant dans la région de Toronto ont mentionné qu'ils utiliseraient rarement un centre de données à Toronto en raison des désagréments liés au déplacement et au stationnement. Des personnes interviewées provenant de d’autres municipalités ont indiqué que les centres de services de données devraient se trouver à moins d'une heure de leur lieu de travail pour qu'ils envisagent même de s'y rendre. La formation est cependant une exception à cela — particulièrement si elle ne peut être obtenue en ligne ou par vidéoconférence. Cependant, il convient de noter que des personnes interviewées de certaines petites municipalités ont indiqué qu'ils aimeraient qu'un représentant de Statistique Canada leur rende visite à l'occasion au cours d'une année.

Mécanisme de prestation de services préféré

Mécanisme de prestation de services	Nombre de répondants
	nombre	pourcentage
Centres de services de données seulement	143	11,1
Centres de services de données et services à distance	110	8,5
Centres de services de données et autres	14	1,1
Services à distance seulement	1 004	77,8
Autres	19	1,5
Total	1 290	100,0

En ce qui concerne les services particuliers, les répondants et les personnes interviewées ont indiqué qu'ils envisageraient d'utiliser les centres de services de données s'ils donnaient accès à des spécialistes ou à des microdonnées. Si de tels services étaient offerts, ces clients ont indiqué qu'ils utiliseraient potentiellement les centres de deux à cinq fois par année. Les répondants et les personnes interviewées ont également considéré comme positive la prestation de formation statistique et des services-conseils fournis par des spécialistes de la statistique, ce qui pourrait les aider à se retrouver dans les innombrables données disponibles ainsi que dans les concepts et méthodes statistiques.

Les personnes interviewées ont répondu favorablement à l'idée d'avoir un gestionnaire de compte attitré qui connaîtrait leurs besoins et qui pourrait répondre de façon efficiente et efficace à toutes leurs demandes, peu importe le domaine. De nombreuses personnes interviewées ont en fait déjà établi une telle relation avec un analyste-conseil ou un spécialiste de leur région.

Nouvelles technologies — succès et échecs

Sur la question de savoir si Statistique Canada devrait ou non investir dans de nouvelles options de service à la clientèle fondées sur de nouvelles technologies comme les applications mobiles, la messagerie texte, les médias sociaux et l'intelligence artificielle, de nombreux répondants et de personnes interviewées ont exprimé une ambivalence au sujet de l'utilité de ces types d'outils. Les résultats ne variaient pas selon le groupe d'âge. Les répondants et les personnes interviewées ont noté qu'il serait difficile de visualiser des tableaux de données et des graphiques sur un appareil mobile, et que la recherche de données en ligne est également quelque peu restreinte par la taille de l'écran.

Une fonctionnalité de clavardage en ligne est un type de nouvelle technologie qui a été relativement perçu de façon plus positive (16,1 % positif). Les répondants et les personnes interviewées ont indiqué qu'un tel service serait utile pourvu qu'ils puissent recevoir des réponses plus rapides par rapport aux modes traditionnels et que le service de clavardage comprenne la capacité de clavarder directement avec un spécialiste^Note9.

Les outils qui ont obtenu le niveau d'intérêt le plus élevé étaient les outils d'accès aux données libre-service et l'accès à distance à la formation. Les répondants et les personnes interviewées voulaient accéder gratuitement aux tableaux personnalisés existants sur le site Web et être en mesure de créer leurs propres tableaux en ligne personnalisés et semi-personnalisés. Les personnes interviewées croyaient qu'une période de six mois après la fourniture initiale d'un tableau personnalisé était appropriée avant qu'il soit disponible gratuitement. Elles étaient en général ouvertes à l'idée de partager des demandes personnalisées après une période donnée. Les répondants et les personnes interviewées voulaient aussi des outils qui leur permettraient de créer leur propre visualisation. Ces derniers éléments démontrent que la satisfaction à l'égard de la prestation des services à la clientèle est liée à de nombreux égards aux types d'outils et de renseignements mis à la disposition des utilisateurs^Note10.

2.1.4 Prestation des services à la clientèle et besoins des clients

Pour la plupart de ces clients, le mécontentement était centré sur deux principaux domaines : le manque de données détaillées pour des sujets donnés^Note11, pour certains niveaux géographiques et séries chronologiques historiques, et un accès limité aux microdonnées. Ils ont également noté que des efforts plus importants pourraient être déployés pour promouvoir les produits et services de l'organisme afin de faire connaître l'étendue et l'ampleur des renseignements disponibles. Ils ont commenté qu'il était parfois difficile de savoir si quelque chose était disponible ou non. Il s'ensuivait un gaspillage d'efforts pour rechercher des données et présenter des demandes pour des choses qui n'existaient tout simplement pas — il s'agit essentiellement d'une perte de temps.

Le site Web de Statistique Canada, plus particulièrement le moteur de recherche, a été désigné comme une source importante d'irritation. Les répondants et les personnes interviewées ont signalé qu'ils ont souvent choisi d'utiliser d'autres moteurs de recherche tels que Google ou des liens sauvegardés pour éviter d'utiliser le moteur de Statistique Canada. Dans la plupart des cas, les personnes interviewées n'étaient pas au courant des nouvelles fonctionnalités offertes par le site Web ni des produits tels que Mon StatCan. Les répondants et les personnes interviewées ont également indiqué qu'il est difficile de télécharger et de manipuler les tableaux du « nouveau CANSIM » et ont déploré la perte de Beyond 20/20. Plusieurs répondants et les personnes interviewées ont demandé que Statistique Canada réintroduise certaines des fonctionnalités qui ont été perdues.

Point de mire - Analyse internationale

Gestion des comptes des clients : Pays-Bas

Statistique Pays-Bas (SPB) a mis sur pied un programme de gestion de comptes en 2007 dans le but d'optimiser les contacts avec les ministères et les grandes organisations. Actuellement, le programme comprend environ 60 comptes. Les objectifs de l'initiative comprenaient la professionnalisation de la gestion des comptes, le passage de la prestation de statistiques normalisées à des statistiques adaptées aux besoins opérationnels ou stratégiques de l'organisation et l'élargissement de la gamme de services offerts par SPB. Un objectif à long terme consiste à faire de SPB un partenaire dans l'innovation et la co-création des renseignements.

Les gestionnaires de comptes coordonnent la relation globale avec une organisation et agissent en tant que principal point de contact. Ils communiquent de façon proactive avec l'organisation pour connaître ses besoins en renseignements et ses attentes envers SPB. Ils rencontrent souvent un vaste éventail d'employés pour en apprendre sur les besoins des diverses unités. Les gestionnaires de comptes tiennent l'organisation au courant des initiatives de SPB qui pourraient lui être bénéfiques, y compris les nouvelles diffusions de données, les progrès des travaux qui ont été confiés en sous-traitance et les possibilités de formation. Ils ont aussi le pouvoir de conclure des ententes et d'aider à préparer les contrats.

Prestations des services à la clientèle au Mexique : clavardage en ligne

L'Institut national de statistique, de géographie et d'informatique (INEGI) fournit un service de clavardage en ligne depuis plusieurs années. Il s'agit du mode de réponse le plus populaire pour les demandes de niveau 1 à l'INEGI. Depuis sa mise en œuvre, l'usage s'est accru radicalement et le service compte maintenant 57 % des demandes. Ce sont 15 employés qui travaillent à répondre aux questions du clavardage, et il n'est pas rare qu'un employé s'occupe de trois conversations en même temps, sans limites quant à la durée des discussions. Lorsqu'une demande nécessite une expertise plus précise, le client est renvoyé vers le service approprié au moyen d'une demande de service.

Le centre d'appels est le point central où toutes les demandes sont coordonnées et suivies dans l'ensemble de l'organisation. Une surveillance stricte des demandes est effectuée, y compris après un renvoi au niveau expert.

L'INEGI met actuellement en place le logiciel Microsoft Dynamics en tant que système de gestion des clients afin de s'assurer de l'efficience du service à la clientèle et de la gestion des cas.

2.2 Système de gestion des relations avec les clients

Questions d'évaluation

Dans quelle mesure le SGRC répond-il aux besoins des utilisateurs?

Quels sont les obstacles et les défis qui ont une incidence sur l'utilisation du système?

Selon la documentation du programme, le SGRC compte 884 utilisateurs, et on saisit dans le système environ 600 000 entrées et on y traite environ 65 000 transactions par année^Note12. Environ 60 % des utilisateurs du SGRC travaillent avec le module du service à la clientèle.

Selon les résultats du sondage auprès des utilisateurs internes du SGRC, les opinions étaient divisées sur la question de savoir si le module sur le service à la clientèle répond aux besoins opérationnels : 50 % des utilisateurs estimaient que le système répond à leurs besoins, alors que l'autre moitié estimait que ce n'était pas le cas. Les utilisateurs ont reconnu que le SGRC traitait bien les transactions simples et la facturation. La rétroaction la plus positive provenait des bureaux régionaux et du centre d'appels du SRS, où le SGRC était utilisé pour toutes les interactions avec les clients, et l'accent était principalement mis sur la gestion des demandes et le maintien des relations. En tant qu'outil organisationnel pour la vérification du crédit et de la facturation, le module de gestion de recettes du SGRC a été utilisé dans l'ensemble de l'organisme pour traiter les demandes de recouvrement de coûts.

Le SGRC était moins efficace pour le traitement de certaines autres activités. Par exemple, les utilisateurs ont signalé que les recherches de transactions antérieures dans la base de données étaient difficiles à faire et ne donnaient pas les résultats escomptés. En outre, la surveillance de l'état « en cours » des demandes de données de niveau 2 ou 3 était exigeante, étant donné qu'il était difficile de suivre les échanges de courriels et d'enregistrer les notes détaillées sur certaines transactions dans le SGRC. Cette situation était particulièrement vraie pour les projets de recouvrement de coûts, qui pouvaient comporter des spécifications complexes et nécessiter souvent plusieurs semaines ou mois. Le SGRC n'était pas simplement outillé pour contenir la granularité des renseignements nécessaires^Note13.

Tel qu'il a été mentionné précédemment, le SGRC a été modifié de nombreuses fois depuis sa mise en œuvre initiale. Ces changements cumulatifs ont contribué à la complexité du SGRC, à ses fonctionnalités, aux exigences en matière de maintenance et à la façon dont les divisions ont intégré le SGRC dans leurs activités.

2.2.1 Facteurs ayant une incidence sur l'utilisation du SGRC

Bien que la plupart des divisions aient utilisé le SGRC pour soutenir les processus d'affaires et les opérations, l'utilisation n'a été ni systématique ni uniforme. L'évaluation a révélé que, selon la division, le pourcentage des demandes de données reçues par les divisions spécialisées qui ont été saisies dans le module du service à la clientèle variait de 5 % à 90 %. Certains utilisateurs ont fait remarquer que les demandes simples qui exigeaient seulement un échange de courriels ou l'absence de services de recouvrement des coûts n'étaient pas nécessairement enregistrées. En revanche, les bureaux régionaux et le SRS ont indiqué qu'ils utilisaient le système uniformément et croyaient que la vaste majorité de leurs demandes étaient saisies dans le SGRC.

Un système lourd

Les utilisateurs ont indiqué qu'ils n'utilisaient pas le système surtout parce qu'ils ne le trouvaient pas convivial et que le processus de saisie des données était particulièrement lourd. Un peu plus de la moitié des utilisateurs (56 %) ont déclaré qu'ils croyaient que le processus de saisie des données était beaucoup plus long et compliqué que nécessaire. Certains ont signalé que, dans les cas complexes, l'enregistrement d'une demande de services à la clientèle dans le système pouvait prendre jusqu'à 10 minutes et l'enregistrement d'une LE, une demi-journée.

Les divisions spécialisées répondaient souvent que le personnel de la production et les analystes de données étaient occupés par des tâches reliées à la production de publications et à la diffusion de données. Comparativement aux demandes des clients, la production et la livraison de produits étaient considérées comme prioritaires, tandis que l'enregistrement des transactions dans le SGRC n'était pas jugé aussi important.

Les utilisateurs occasionnels du SGRC, c'est-à-dire ceux qui l'ont utilisé une fois ou deux par année pour créer des LE, ont mentionné que le système n'était pas intuitif et qu'ils avaient de la difficulté à se rappeler les étapes à suivre, ce qui se traduisait par une utilisation inefficace de leur temps et par beaucoup de frustration. Certaines divisions ont confié la gestion centralisée des LE à une unité ou un utilisateur expérimenté du SGRC pour traiter cet enjeu.

La majorité des unités de service à la clientèle ont déclaré avoir utilisé d'autres systèmes (ou logiciels) pour gérer des éléments de leurs processus plutôt que le module de service à la clientèle du SGRC. Ces logiciels ou systèmes de rechange pouvaient être, entre autres, Outlook, Excel, GCdocs, JIRA et OneNote. Elles ont indiqué que ces solutions de rechange étaient plus efficaces pour le traitement, la recherche et le suivi de cas. Toutes les divisions ont mentionné qu'elles avaient utilisé des courriels comme principal outil de communication entre les unités de travail au moment de gérer et de transférer les demandes des clients au lieu d'attribuer les cas et les tâches dans le SGRC : cette pratique a fait augmenter le risque d'erreurs.

Enfin, les changements aux opérations ou aux processus des divisions liés aux services à la clientèle n'étaient pas systématiquement communiqués à l'équipe du SGRC. Ce manque de communication a limité la capacité du système de répondre rapidement aux besoins des utilisateurs.

Avantages mal compris

De nombreux utilisateurs des divisions spécialisées ne croyaient pas que l'utilisation du SGRC présentait un grand avantage pour leurs activités, à l'exception de la production de factures pour les clients, une fonction obligatoire. Peu d'entre eux ont indiqué que leur direction avait demandé des rapports ou surveillé la prestation des services. Les bureaux régionaux étaient l'exception, car l'utilisation du SGRC faisait partie des ententes de rendement des employés. Ils ont utilisé abondamment le système et ont eu recours régulièrement aux renseignements et aux rapports du SGRC.

Avoir la capacité de fournir des renseignements qui permettent de surveiller et de contrôler un programme de services à la clientèle constitue un objectif important du SGRC. Outre quelques exemples dans les bureaux régionaux, il y avait peu d'indications à l'effet que les indicateurs de rendement fondés sur les données du SGRC étaient largement utilisés pour surveiller et gérer la prestation des services à Statistique Canada, que ce soit à l'échelle des divisions ou de l'organisme. De plus, rien ne démontrait que des mesures avaient été élaborées pour évaluer le rendement du SGRC et son utilisation.

Satisfaction à l'égard du soutien et de la formation

Les utilisateurs ont déclaré que la courbe d'apprentissage du système était longue et que les connaissances sur la façon d'utiliser le système étaient acquises principalement par l'expérience et l'utilisation répétée. Sur le plan de la formation, deux séances en classe ont été offertes par le passé par l'équipe du SGRC; toutefois, elles ont été remplacées par un outil en ligne^Note14. La majorité des utilisateurs étaient satisfaits du soutien et de la formation fournis par l'équipe du SGRC. Les utilisateurs ont suggéré que des outils et des méthodes plus personnalisés soient élaborés pour convenir à leurs besoins, dont l'accessibilité à de grands utilisateurs locaux qui offriraient du soutien aux utilisateurs débutants.

Suggestions pour améliorer le système

Les utilisateurs ont formulé plusieurs suggestions afin d'améliorer le SGRC et son utilisation. Afin de réduire le temps requis pour traiter un cas, certains utilisateurs ont suggéré la fusion ou la simplification des étapes de traitement pour créer des « occasions »^Note15. Les utilisateurs ont dit que les étapes dans les processus opérationnels doivent être plus claires et que le système devrait offrir plus de fonctions d'aide pour orienter les utilisateurs pendant les étapes.

Il a également été suggéré que le SGRC soit intégré à d'autres systèmes et programmes, particulièrement Outlook, de sorte que les courriels puissent être automatiquement enregistrés dans le SGRC par numéro de dossier. Les suggestions comprennent entre autres les suivantes :

• Incorporer un estimateur de temps et de coût des demandes de recouvrement des coûts.
• Ajouter des alertes et des notifications pour les demandes en suspens.
• Améliorer le moteur de recherche.
• Mettre à jour la liste de produits (y compris par thème).
• Permettre la personnalisation du système.
• Ajouter des tableaux de bord.
• Offrir plus d'options de production de rapports.
• Incorporer des messages et des avis aux utilisateurs dans le SGRC au lieu de les envoyer par courriel.

2.2.2 Qualité des données du SGRC

Étant donné que le SGRC n'est pas utilisé systématiquement pour enregistrer toutes les demandes des clients, la fiabilité des données est incertaine. En résumé, l'organisme n'a pas un portrait complet de toutes ses interactions avec les clients.

Tel qu'il a été mentionné précédemment, l'utilisation du SGRC dans les divisions spécialisées n'est pas uniforme. En plus du fait que le nombre de demandes enregistrées dans le SGRC est inexact, un examen d'un échantillon des transactions du SGRC a révélé que dans le cas de nombreuses transactions, les clients sont anonymes^Note16. Des champs vides ont été retrouvés dans de nombreux autres enregistrements, ce qui indique qu'un nombre important de cas n'ont été consignés que partiellement.

Des erreurs d'entrée et des enregistrements en double semblent également présenter une préoccupation. Un certain nombre d'utilisateurs ont mentionné que la fonction de recherche du SGRC ne donne pas toujours les résultats escomptés lors de la recherche d'un client, par conséquent, ils ont parfois créé un nouvel enregistrement pour un client existant, menant au dédoublement des enregistrements des clients. Cette duplication serait plus fréquente lorsque plusieurs divisions ont servi un même client. En outre, certaines divisions spécialisées ont maintenant pour pratique de créer un tout nouvel enregistrement du client chaque fois qu'elles reçoivent une demande d'un bureau régional afin de s'assurer que le niveau d'effort entrepris par la division a été reconnu. Le sous-produit de cette pratique cependant est la duplication des transactions dans le SGRC.

Une restriction imposée par le système (les utilisateurs du SGRC n'ont pas la permission de supprimer certaines entrées, vraisemblablement pour assurer l'intégrité du système) a également contribué à la duplication. Au lieu de travailler avec l'équipe du SGRC pour corriger une erreur, certains utilisateurs ont indiqué qu'ils créent parfois simplement un autre enregistrement pour contourner le problème. Ici encore, cette façon de faire crée une duplication des enregistrements et des données erronées résiduelles.

Des efforts en vue de résoudre ces types de problèmes imposent un fardeau important à l'équipe du SGRC^Note17. Une ressource à temps plein se consacre couramment à l'examen et au nettoyage des erreurs et des enregistrements en double du système. L'équipe de 3,5 équivalents temps plein répond également aux quelque 2 500 demandes d'utilisateurs pour des problèmes techniques ou des questions chaque année. Ce soutien est fourni en collaboration avec l'équipe du SRS. Des courriels d'information fréquents sont envoyés aux utilisateurs, et une réunion annuelle est également tenue avec les grands utilisateurs et les représentants des diverses divisions pour les sensibiliser et souligner l'importance de maintenir la qualité des données.

2.2.3 Utilisation du SGRC à des fins stratégiques

Seule une faible proportion de gestionnaires, principalement dans les bureaux régionaux, ont déclaré qu'ils se servaient du SGRC comme source de renseignements aux fins de prise de décisions stratégiques. Des préoccupations liées à l'exhaustivité et à l'exactitude des données du SGRC, ainsi qu'à un manque général de connaissance sur les données disponibles, ont été mentionnées comme principales raisons de ne pas les utiliser.

Tous les gestionnaires interviewés ont indiqué que les renseignements sur les clients étaient importants. Toutefois, plus de la moitié ont indiqué qu'ils n'utilisaient pas les renseignements contenus dans le SGRC pour la prise de décision. Ils s'en remettaient plutôt à d'autres mécanismes tels que les réunions du personnel, les consultations avec les clients, les comités et les groupes de travail, et les rapports d'autres systèmes utilisés pour suivre les activités transactionnelles. Les gestionnaires qui ont mentionné avoir utilisé des rapports du SGRC ont indiqué qu'ils estimaient les renseignements utiles, mais limités. Ils ont fait remarquer que, même si certains rapports normalisés étaient disponibles, un rapport personnalisé produit par l'équipe du SGRC était souvent le seul moyen de répondre aux exigences précises en matière de données, ce qui accroît la complexité et diminue la ponctualité puisque le délai de traitement des rapports personnalisés était d'environ deux semaines.

Enfin, il était clair qu'au niveau de la direction il y avait un manque de connaissances des capacités du système et des renseignements disponibles.

Les gestionnaires ont indiqué leurs principaux besoins en renseignements :

• les renseignements sur les clients qui demandent des données (reçus par le SRS);
• les besoins en données des clients;
• la nature des demandes pour les produits et services;
• les produits les plus demandés, sur le plan des enquêtes et des thèmes;
• les demandes auxquelles on ne pouvait pas répondre en raison des lacunes statistiques^Note18.

Les rapports trimestriels, les tableaux de bord et un système pour relever rapidement les lacunes statistiques ont été suggérés comme améliorations utiles potentielles au SGRC.

La mise en œuvre du SGRC à Statistique Canada a posé des problèmes qui sont communément associés au lancement des systèmes d'information. La mise en place d'un nouveau système influe sur les processus, les rôles et les tâches établis des employés et des divisions. On peut observer de la résistance au changement ou de l'évitement lorsque l'adoption d'un système est exigeante, ou perçue comme telle, et qu'elle nécessite des efforts et une formation. La solution ne repose pas nécessairement sur le fait d'obliger le personnel à utiliser le système. Cette décision peut aggraver le problème si les préoccupations de résistance ne sont pas réglées. Les stratégies visant à surmonter la résistance comprennent généralement la promotion de la participation des utilisateurs au processus de mise en œuvre, l'éducation, la formation, l'orientation de la gestion, l'utilisation d'incitatifs et les efforts pour rendre l'expérience de l'utilisateur aussi intuitive que possible.

En veillant à ce que le personnel comprenne les avantages offerts par un SGRC qui repose sur des données exactes et complètes, et en démontrant la façon d'utiliser les données de façon stratégique, une organisation pourra mieux comprendre et servir chaque client. Ce qui rend possible une prise de décision opérationnelle et stratégique efficace.

2.3 Autres facteurs ayant une incidence sur l'efficience et l'efficacité

Question d'évaluation

Quels sont les facteurs qui ont une incidence sur l'efficience de la prestation des services à la clientèle?

Tel qu'il a été mentionné précédemment, les clients ont relevé un certain nombre de problèmes avec la prestation des services. L'évaluation a révélé que la gouvernance et les processus non normalisés en étaient souvent les causes.

2.3.1 Orientation stratégique et gouvernance

Outre la documentation de 2011^Note19, l'évaluation a relevé peu d'indications d'une stratégie globale de prestation des services à la clientèle à l'échelle de l'organisme et d'un responsable organisationnel. Le seul plan stratégique récent trouvé (modernisation du SRS) abordait un aspect très précis de la prestation des services : la création de centres de services de données et la fusion des demandes de niveau 2^Note20. Pour ce qui est des responsables organisationnels, plusieurs personnes étaient responsables d'éléments précis de la prestation des services à la clientèle; toutefois, il n'y avait personne qui assurait une supervision globale à l'échelle de l'organisme. Ainsi, le directeur général (DG) des Communications et Diffusion était responsable du SGRC, le DG de la Collecte et Services régionaux était responsable du SRS et des régions, et chaque unité spécialisée relevait de son directeur ou DG.

En octobre 2014, le Secrétariat du Conseil du Trésor (SCT) a instauré la Politique sur les services et la Ligne directrice sur la gestion des services. Selon ces instruments, à compter de 2017, chaque organisation devait disposer d'une stratégie pluriannuelle de gestion des services organisationnels. Au moment de l'évaluation, il y avait certains éléments ciblés, mais il n'existait aucune stratégie organisationnelle. Le SCT a examiné 11 ministères pour connaître leur degré de conformité à la politique au moyen du Cadre de responsabilisation de gestion. À compter de 2019, la couverture sera élargie à d'autres institutions du gouvernement du Canada, dont Statistique Canada.

En ce qui concerne la gouvernance, même si des parties de la prestation des services à la clientèle semblaient relever de comités tels que le Comité de la diffusion et des communications, il y avait peu d'indications concernant le type de structure de gouvernance encadrant les activités à l'échelle de l'organisme. Il semblait plutôt que les unités de prestation des services, en grande partie, étaient opérées de façon indépendante. La seule orientation relevée dans l'ensemble de l'organisme était les Normes de service à la clientèle, qui présentent les engagements concernant la disponibilité, la promptitude, les frais et la satisfaction des besoins. Les normes sont publiées sur le site Web, ainsi que les coordonnées pouvant être utilisées par un client s'il croit que l'organisme n'a pas répondu à l'une des exigences. L'évaluation n'a relevé aucun renseignement sur la mesure dans laquelle l'organisme respectait ces normes.

Outre la séance fondée sur le SGRC, l'évaluation n'a trouvé aucune indication d'un mécanisme à l'échelle de l'organisme par lequel les unités de services à la clientèle pourraient mettre en commun des pratiques exemplaires et des renseignements. Les personnes interviewées à l'interne ont noté que cela serait utile et que dans le passé il y avait un forum sur les services à la clientèle.

2.3.2 Rôles et responsabilités, et processus non uniformes

L'évaluation a permis de constater qu'il y a peu de documentation exposant les rôles et responsabilités des diverses unités de services à la clientèle de l'organisme. Chaque unité comprend bien son propre rôle et ses propres responsabilités dans le contexte de sa division; toutefois, chacune d'elles a indiqué ne pas comprendre entièrement les rôles et responsabilités des autres unités de prestation de services à la clientèle au sein de l'organisme. Par exemple, plusieurs divisions spécialisées ont signalé qu'elles ne savaient pas vraiment comment les demandes étaient traitées dans les régions et inversement^Note21. Le manque général de connaissances à cet égard a contribué aux difficultés de répondre aux demandes complexes ou impliquant plusieurs divisions.

Tel qu'il a été noté précédemment, les processus de prestation des services à la clientèle différaient dans l'ensemble de l'organisme. Par exemple, certaines unités de prestation des services étaient structurées pour s'occuper uniquement du tri des demandes, tandis que d'autres fournissaient une vaste gamme de services, comme répondre aux questions complexes et traiter les demandes de recouvrement de coûts. En raison des différentes responsabilités des unités, les processus sous-jacents qu'elles utilisent sont souvent également différents. Ce manque d'uniformité dans l'ensemble de l'organisme a été noté par les clients qui ont été traités différemment selon l'endroit où ils ont été envoyés. Pour cette raison également, les demandes impliquant plusieurs divisions pouvaient être difficiles à coordonner, et il était inutilement compliqué et long pour un client de recevoir des renseignements de base (comme connaître l'état d'avancement). Les suggestions fournies pendant les entrevues internes comprenaient l'établissement de normes internes et l'élaboration d'une base de données commune des totalisations personnalisées.

Le manque d'uniformité avait également une incidence sur l'adoption du SGRC. Tel qu'il a été mentionné précédemment, les utilisateurs estimaient que le système est lourd et pénible. Cette situation peut être partiellement attribuée au fait que les processus varient et qu'ils ne peuvent donc pas être harmonisés avec le SGRC. Les régions étaient parmi les quelques unités dont les processus étaient les plus harmonisés avec le SGRC. La plupart des autres unités exerçaient leurs activités dans un environnement hybride, c'est-à-dire que certaines tâches étaient accomplies à l'aide du SGRC alors que d'autres étaient réalisées au moyen d'autres solutions. La décision d'utiliser ou non le SGRC semblait être fondée sur l'historique et l'harmonisation avec les processus.

L'évaluation a permis de constater qu'il existait des lacunes concernant la responsabilisation quant à l'adoption du SGRC. Bien que l'équipe du SGRC ait joué un rôle de soutien de premier plan, elle n'avait pas de pouvoir sur les processus des divers services à la clientèle et n'assumait pas de rôle de surveillance. Ainsi, même si le système était obligatoire, personne (comité ou individu) ne détenait la responsabilité de son adoption générale.

Comment améliorer la prestation des services à la clientèle

Recommandation 1

Le statisticien en chef adjoint (SCA) du Secteur de l'engagement stratégique et des communications, en collaboration avec le SCA du Secteur du recensement, des services régionaux et des opérations et la SCA du Secteur des services intégrés, devrait s'assurer que une stratégie ou un plan de prestation des services à la clientèle à l'échelle de l'organisme soit élaboré et couvre la gouvernance et le leadership; les objectifs de l'organisme; les normes, y compris les cibles; les mesures du rendement; les rôles et responsabilités; les communications. La stratégie devrait porter sur la création d'une approche plus globale et uniforme qui aborde les divers enjeux soulignés pendant l'évaluation, tels que la rapidité d'exécution, la transparence, l'uniformité et les coûts.

Recommandation 2

Le statisticien en chef adjoint (SCA) du Secteur de l'engagement stratégique et des communications, en collaboration avec le SCA du Secteur du recensement, des services régionaux et des opérations et la SCA du Secteur des services intégrés, devrait s'assurer que le nouveau SGRC de l'organisme cadre avec la stratégie contenue dans la recommandation 1 et appuie ainsi une approche plus globale et uniforme.

Recommandation 3

Le statisticien en chef adjoint (SCA) du Secteur de l'engagement stratégique et des communications, en collaboration avec le SCA du Secteur du recensement, des services régionaux et des opérations et la SCA du Secteur des services intégrés, devrait s'assurer que la qualité et la couverture des renseignements figurant dans le SGRC soient améliorées, et la connaissance des gestionnaires du SGRC s'accroît.

Réponse et plan d'action de la direction

Recommandation 1

Une stratégie ou un plan de prestation des services à la clientèle à l'échelle de l'organisme soit élaboré et couvre la gouvernance et le leadership; les objectifs de l'organisme; les normes, y compris les cibles; les mesures du rendement; les rôles et les responsabilités; les communications. La stratégie devrait porter sur la création d'une approche plus globale et uniforme qui aborde les divers enjeux soulignés pendant l'évaluation, tels que la rapidité d'exécution, la transparence, l'uniformité et les coûts.

Réponse de la direction

La direction accepte la recommandation.

Un groupe de travail sera mis sur pied pour élaborer une stratégie et un plan d'action à l'échelle de l'organisme afin de renforcer la conception des services existants, ce qui améliorera les relations avec les clients.

Produits livrables et échéancier

Le SCA du Secteur de l'engagement stratégique et des communications et le SCA du Secteur du recensement, des services régionaux et des opérations sont conjointement responsables de :

• mettre sur pied le Groupe de travail (GT) sur la conception des services pour la (nouvelle) conception d'un modèle de prestation de services à la clientèle (novembre 2019);
• avec l'aide d'un conseiller ou d'un expert-conseil externe, élaborer une stratégie ou un plan de prestation de services à la clientèle à l'échelle de l'organisme (rapport préliminaire en août 2020) qui couvre les aspects suivants :
  • la gouvernance et le leadership,
  • les objectifs de l'organisme,
  • les normes, y compris les cibles,
  • les mesures de rendement,
  • les rôles et les responsabilités,
  • l'image de marque et les communications;
• mettre en œuvre une stratégie qui comprend une supervision et une orientation de la part de la haute direction pour veiller à ce qu'une stratégie ou un plan de prestation de services à la clientèle à l'échelle de l'organisme soit mis en œuvre et utilisé uniformément dans l'ensemble de l'organisme (rapport final et début de la mise en œuvre en septembre 2020).

Recommandation 2

Le nouveau SGRC de l'organisme cadre avec la stratégie contenue dans la recommandation 1 et appuie ainsi une approche plus globale et uniforme.

Réponse de la direction

La direction accepte la recommandation.

L'élaboration de la nouvelle plateforme du SGRC s'alignera sur la nouvelle stratégie et les nouveaux processus en matière de relations avec les clients et de conception des services.

Produits livrables et échéancier

Le SCA du Secteur de l'engagement stratégique et des communications, avec le soutien du SCA du Secteur du recensement, des services régionaux et des opérations, la SCA du Secteur des services intégrés et le SCA du Secteur des solutions numériques, veillera à ce que :

• le GT sur le nouveau SGRC travaille avec un expert-conseil pour élaborer les exigences de la nouvelle plateforme du SGRC et s'aligne sur la stratégie de conception de services (la définition de la plateforme est prévue en août 2020);
• le GT présente les exigences de la plateforme au comité de modernisation avant la passation des marchés (septembre 2020).

Recommandation 3

La qualité et la couverture des renseignements figurant dans le SGRC soient améliorées, et la connaissance des gestionnaires du SGRC s'accroît.

Réponse de la direction

La direction accepte la recommandation.

Une approche à l'égard de la gestion du changement faisant appel à divers modes de communication (communications d'équipe individualisées, communications à l'échelle de l'organisme) et à la formation du personnel occupant des fonctions clés sera élaborée et mise en œuvre afin que les personnes concernées comprennent les processus du SGRC actuel et l'importance de contribuer au processus. Cette approche ouvrira également la voie à la mise en œuvre de la nouvelle technologie du SGRC.

Produits livrables et échéancier

Le SCA du Secteur de l'engagement stratégique et des communications, avec le soutien du SCA du Secteur du recensement, des services régionaux et des opérations, la SCA du Secteur des services intégrés et le SCA du Secteur des solutions numériques, veillera à ce que :

• une stratégie de communication axée sur l'adoption par les utilisateurs soit élaborée en communiquant la vision organisationnelle du SGRC et la façon dont elle s'inscrit dans l'orientation et la stratégie globales de l'organisme (décembre 2019);
• une formation soit établie qui vise à s'assurer que les utilisateurs et les gestionnaires comprennent leur rôle dans la prestation des services à la clientèle, les attentes à l'égard du SGRC et l'importance de saisir des renseignements uniformes et exacts (mars 2020);
• un réseau d'utilisateurs dans les secteurs soit créé pour mettre en commun les pratiques exemplaires (mars 2020).

Annexe 1 : Prestation des services à la clientèle à Statistique Canada

Les clients de Statistique Canada obtiennent des produits et des services en passant par différents points d'entrée selon la nature de leur demande, sa complexité et la présence d'un point d'entrée réservé pour le type de cette demande :

• Le site Web de Statistique Canada est un point d'accès libre-service pour obtenir des renseignements et des données statistiques.
• La Ligne info-médias constitue le premier point de contact des journalistes en quête d'information. La ligne est en fonction du lundi au vendredi, de 8 h 30 à 17 h (heure de l'Est). Un service est également offert après les heures normales pour répondre aux demandes urgentes des médias.
• Le Service de renseignements statistiques, situé à Montréal, est un centre pour les demandes de renseignements généraux, ouvert du lundi au vendredi, de 8 h 30 à 16 h 30 (pour tous les fuseaux horaires au Canada). Vingt agents d'information répondent aux questions du public par téléphone, courriel, téléscripteur et bientôt par clavardage. Les agents sont chargés de répondre aux questions de base et aux demandes de données de niveau 1 en ce qui concerne les renseignements statistiques déjà publiés. Lorsque les demandes sont plus complexes, les agents les acheminent aux analystes-conseils des bureaux régionaux les plus près ou aux spécialistes concernés. Les agents sont également responsables de traiter les demandes d'aide technique et de fournir un soutien aux répondants des enquêtes.
• Les services de conseils offerts par le réseau des bureaux régionaux constituent un autre point d'accès pour les clients. Des analystes-conseils se trouvent dans des centres de services partout au Canada, et ils fournissent des services de formation, coordonnent des demandes de données et fournissent des renseignements statistiques en fonction de leurs connaissances et de la nature des demandes. Les analystes-conseils des bureaux régionaux offrent des services de données de niveau 2 (totalisations complexes de données et autres produits et services payants).
• Les divisions spécialisées à Ottawa fournissent également des services directement aux clients. Il s'agit habituellement de demandes de grands utilisateurs, de demandes de niveau 2 et de niveau 3 (totalisations de données complexes ou soutien méthodologique) auxquelles seuls des experts peuvent répondre, ou de questions auxquelles les autres unités de service à la clientèle ne peuvent pas répondre. Les divisions spécialisées participent aussi systématiquement à la gestion des projets à recouvrement des coûts de plus de 20 000 $, puisque ce type de contrat exige un niveau élevé d'expertise. De nombreuses divisions spécialisées ont des employés affectés au service à la clientèle.
• Le Programme de liaison avec les Autochtones offre un point d'accès à divers services aux collectivités et aux organisations des Premières Nations, des Métis et des Inuits.

En plus des points d'accès offerts au public, il y a trois points d'accès spécialisés en microdonnées :

• L'Initiative de démocratisation des données permet d'offrir aux établissements d'enseignement postsecondaires l'accès aux données et aux microdonnées canadiennes clés ainsi qu'à des services continus de formation et de soutien.
• Les centres de données de recherche et les centres de données de recherche fédéraux offrent aux chercheurs autorisés un accès direct aux microdonnées dans des lieux sécurisés, situés dans des universités canadiennes, qui sont supervisés et gérés par des employés de Statistique Canada.
• Le système d'accès à distance en temps réel offre aux utilisateurs autorisés un service d'accès à des données informatisées.

Enfin, les membres du Parlement et les organisations internationales reçoivent des produits de données par l'entremise du bureau parlementaire et du bureau de coordination internationale.

Annexe 2 : Normes de service à la clientèle

Statistique Canada s'engage à servir ses clients de façon rapide, fiable, courtoise et juste. À cette fin, nous prenons les engagements qui suivent.

Disponibilité

La diffusion de l'information constitue l'un des aspects importants de nos activités. C'est pourquoi Statistique Canada s'engage à :

• communiquer avec les clients dans la langue officielle de leur choix;
• fournir des services durant les heures normales d'ouverture, soit de 8 h 30 à 16 h 30 dans tous les fuseaux horaires du Canada, à partir du Service de renseignements statistiques, au moyen du numéro de téléphone sans frais et par courriel;
• fournir des renseignements, sur demande, en divers formats (audio, braille, texte électronique et gros caractères) afin de répondre aux besoins des personnes handicapées.

Promptitude

Le temps de réponse varie selon la nature de la demande. Afin de garantir la rapidité du service, Statistique Canada fera en sorte :

• de rendre les appels téléphoniques des clients dans un délai d'un jour ouvrable;
• d'accuser réception des courriels ou d'y répondre dans un délai de deux jours ouvrables; dans le cas des lettres reçues par la poste ou par télécopieur, ce délai est de cinq jours ouvrables à compter de la date de réception;
• de répondre aux demandes de renseignements de base et de donner suite aux commandes de produits immédiatement disponibles dans les deux jours ouvrables à compter de la date de réception;
• de répondre aux demandes de produits ou de services personnalisés selon les conditions stipulées par écrit et en respectant l'échéancier fixé d'un commun accord avec le client;
• d'informer les clients de tout changement de la date de livraison et de leur expliquer clairement la raison de ce changement.

Frais

Statistique Canada fournit sans frais au public des renseignements d'intérêt général sur son site Web et dans des bibliothèques publiques de l'ensemble du Canada.

Statistique Canada recouvre les frais associés à la fourniture de produits et à la prestation de services spécialisés à des personnes et à des groupes divers. Pour ces produits et services, nous nous engageons à :

• toujours informer les clients du prix du produit ou du service avant d'entreprendre le travail;
• informer le client immédiatement de tout changement de prix et à en donner la raison.

Les frais sont fixés en fonction de facteurs comme la complexité de la demande, le temps nécessaire pour effectuer le travail, les exigences technologiques et les frais de transmission de données.

Satisfaction des besoins des clients

Afin de répondre aux besoins en information des clients, Statistique Canada :

• consultera le client afin de bien comprendre ses besoins;
• informera le client immédiatement des différences qu'il y aura entre le service demandé et celui fourni, le cas échéant, et en donnera la raison;
• proposera une solution gratuitement si le produit offert n'est pas conforme au produit demandé en raison d'une erreur commise par Statistique Canada.

Si vous, en tant que client, avez une raison de croire que ces normes n'ont pas été respectées lorsque vous avez traité avec Statistique Canada, vous êtes encouragé à communiquer avec nous :

Directeur général
Collecte et Services régionaux
Statistique Canada
170, promenade Tunney's Pasture
Immeuble Jean-Talon, 7e étage, section D5
Ottawa (Ontario)
K1A 0T6
Téléphone : 613-951-5077
Télécopieur : 613-951-2105
Courriel : infostats@statcan.gc.ca à l'attention du directeur général de la Direction de la collecte et des services régionaux

Annexe 3 : Analyse comparative entre les sexes plus

L'analyse comparative entre les sexes plus (ACS+) sert à évaluer les répercussions potentielles des politiques, des programmes ou des initiatives sur divers ensembles de personnes. En plus du sexe et du genre, l'ACS+ prend en considération d'autres facteurs, tels que les handicaps, l'âge, l'origine ethnique, la race, la religion, l'orientation sexuelle, le revenu, la région géographique, la scolarité et la culture.

Statistique Canada offre des services spécialement pour répondre aux besoins de certains segments de sa clientèle. Par exemple, par l'intermédiaire du Programme de liaison avec les Autochtones et de ses bureaux régionaux, l'organisme offre plusieurs types de services et de renseignements propres aux peuples autochtones, dont de la formation, des données et des présentations.

L'organisme répond aux normes en matière d'accessibilité pour les personnes handicapées. Un système de téléscripteur dans le centre d'appels permettant de communiquer avec des personnes ayant une déficience auditive ou un trouble de la parole et un site Web qui répond aux exigences fédérales en matière d'accessibilité en sont des exemples.

Le rapport en bref

Les données statistiques produites par le Programme du Recensement de la population dressent un portrait statistique du Canada et de sa population. Elles permettent de mesurer les changements qui se produisent au niveau des caractéristiques démographiques, sociales et économiques des Canadiens, et elles soutiennent les diverses exigences réglementaires et législatives. Les données sont utilisées par un large éventail d'organismes, tels que ceux des différents niveaux de gouvernement, les organismes privés et à but non lucratif, les établissements universitaires, ainsi que par les particuliers.

L'évaluation du programme a été réalisée par Statistique Canada, conformément à la Politique sur les résultats du Secrétariat du Conseil du Trésor (2016) et au Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2018-2019 à 2022-2023). Elle a porté sur les activités pos-terrain du Recensement de 2016 et les activités de planification connexes en vue du Recensement de 2021. L'objectif principal consistait à fournir une évaluation, objective et fondée sur des données probantes, de la gouvernance, de la conception et de l'exécution, ainsi que de l'approche axée sur l'utilisateur en ce qui concerne les activités post-terrain à l'appui de la prise de décision, de la responsabilisation et de l'amélioration. Alors que de vastes consultations sur les produits du recensement ont été planifiées et mises en œuvre dans le cadre du programme pendant l'évaluation, la pertinence des produits du Recensement de 2016 a été exclue de l'évaluation. On prévoit que les renseignements recueillis contribueront à orienter l'élaboration de la stratégie de diffusion du Recensement de 2021.

La méthodologie d'évaluation comportait l'examen de la documentation, l'examen des données administratives et des entrevues auprès d'informateurs clés faisant partie d'un vaste éventail de professionnels de Statistique Canada au service des domaines spécialisés du recensement, du Secrétariat des domaines spécialisés du recensement (SDSR), du Bureau de gestion du recensement (BGR), de la Division des opérations du recensement (DOR) et d'autres divisions pertinentes. On a eu recours à la triangulation de ces méthodes de collecte de données pour en arriver aux conclusions générales de l'évaluation.

Principales constatations et recommandations

De façon générale, les activités post-terrain du Recensement de 2016 ont été menées à bien, et différentes équipes ont travaillé ensemble afin d'offrir des produits de grande qualité aux Canadiens, et ce, plus rapidement que les recensements précédents. Bien que la vaste majorité des activités aient été menées de manière efficace et efficiente, l'évaluation a permis de déterminer certaines possibilités d'amélioration.

Gouvernance

Pour le Recensement de 2016, il y avait une structure de gouvernance en place qui, de façon globale, fonctionnait de manière efficace et efficiente. Les rôles et les responsabilités étaient bien définis, et les activités post-terrain se sont déroulées en grande partie telles qu'elles avaient été prévues. L'évaluation a cependant permis de constater que trois domaines qui pourraient être améliorés : le processus de révision institutionnelle du Recensement de 2016 a créé un fardeau inattendu sur les effectifs, des pressions sur l'échéancier et des risques accrus; les rôles et les responsabilités liés au Sous-projet de la diffusion manquaient de clarté; le SDSR aurait pu représenter et coordonner plus efficacement les domaines spécialisés ainsi que gérer plus efficacement les tâches opérationnelles relatives au calendrier et aux communications.

Le statisticien en chef adjoint (SCA), Secteur du recensement, services régionaux et opérations (Secteur 7), en collaboration avec le SCA, Secteur de la statistique sociale, de la santé et du travail (Secteur 8), devrait s'assurer que les recommandations subséquentes soient suivies.

Recommandation 1

En ce qui a trait aux révisions institutionnelles, on examine et adapte la gouvernance, les rôles et les responsabilités, ainsi que les processus pour s'assurer qu'il y a clarté et que les révisions adhèrent à la politique. Cette mesure devrait également prévoir un modèle d'approbation plus efficace. En outre, il faudrait mettre sur pied une approche pour que la haute direction puisse approuver plus tôt la stratégie de diffusion.

Recommandation 2

Les rôles et les responsabilités des secteurs (dont la Direction des communications et de la diffusion, le SDSR, la DOR et les domaines spécialisés) prenant part au Sous-projet de la diffusion sont précisés et mis à jour pour assurer l'exécution efficace et efficiente du Sous-projet. La gouvernance devrait faire en sorte que les rôles et les responsabilités demeurent clairs et qu'ils soient assumés au fil du temps.

Recommandation 3

Les rôles et les responsabilités du SDSR, en ce qui concerne la représentation et la coordination des domaines spécialisés, sont mis à jour et renforcés.

De plus, les processus, les outils et les stratégies du SDSR utilisés pour la gestion des calendriers, des privilèges d'accès et des flux de communication, ainsi que pour l'échange et l'adoption de pratiques exemplaires, sont examinés et mis à jour.

Conception et exécution

Par rapport à 2011, la dernière diffusion du Recensement de 2016 a eu lieu environ dix mois plus tôt (c'est-à-dire que l'on a mené à bien l'ensemble des diffusions 18 mois après le jour du recensement, comparativement à 28 mois). En ce qui concerne le Recensement de 2021, le programme vise à déterminer en ce moment les gains d'efficience supplémentaires, dans les activités post-terrain, au moyen de nombreux groupes de travail et de nombreuses consultations. Pour un calendrier de diffusion accélérée (toutes les diffusions principales étant effectuées en moins de 18 mois après le jour du recensement), la stratégie de diffusion et les activités de codage semblent présenter le plus grand potentiel de gains.

On a cerné un certain nombre de risques susceptibles d'avoir une incidence sur le calendrier : les structures et les processus révisés d'attestation, le contenu supplémentaire potentiel pour le Recensement de 2021 et la capacité en matière de systèmes et de ressources humaines.

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que la recommandation subséquente soit suivie.

Recommandation 4

Conformément au but de Statistique Canada, qui consiste à s'efforcer continuellement de diffuser des données selon un échéancier plus court, on examine toutes les activités post-terrain pour déterminer des mesures permettant éventuellement de gagner du temps et, en particulier, la stratégie de diffusion et les activités de codage, car ces dernières semblent présenter le plus grand potentiel. Il faudrait également tenir compte des risques déterminés au cours de l'évaluation au moment de planifier ces activités.

Approche axée sur l'utilisateur

Divers mécanismes sont utilisés pour recueillir des renseignements sur les besoins des utilisateurs des données du recensement, tels que des consultations officielles sur le recensement, des consultations et des interactions continues avec les utilisateurs habituels effectuées par les domaines spécialisés, ainsi que des mesures Web. Compte tenu de l'ampleur et de la quantité de renseignements disponibles, analyser ces derniers en totalité et en même temps afin d'avoir une vue d'ensemble des utilisateurs et de leurs besoins représente un défi considérable (contenu, types et formats des produits, utilisations et moment des diffusions). L'évaluation n'a pas permis de constater que des renseignements intégrés étaient produits pour soutenir l'élaboration d'une stratégie de diffusion et l'établissement des priorités relatives à cette dernière.

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que la recommandation subséquente soit suivie.

Recommandation 5

Il faut effectuer une analyse détaillée et intégrée des besoins des utilisateurs. Par exemple, on pourrait créer des profils d'utilisateur fondés sur les multiples sources de renseignements déjà disponibles. La stratégie de diffusion pour 2021 devrait être guidée par les résultats et les conclusions d'une telle analyse et tenir compte des risques cernés au cours de l'évaluation.

Contenu

L'évaluation a été réalisée conformément à la Politique sur les résultats du Secrétariat du Conseil du Trésor (2016) et au Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2018-2019 à 2022-2023). À l'appui de la prise de décision, de la responsabilisation et de l'amélioration, l'objectif principal de l'évaluation consistait à fournir un examen, objectif et fondé sur des données probantes, de la gouvernance, de la conception et de l'exécution, ainsi que de l'approche axée sur l'utilisateur en ce qui concerne les activités post-terrain. L'évaluation a porté sur le Recensement de 2016 et les activités de planification pertinentes ayant trait au Recensement de 2021.

Le recensement

En vertu de la Loi sur la statistique (L.R.C. (1985), ch.S-19), Statistique Canada est tenu d'effectuer un recensement de la population à tous les cinq ans. Le recensement dresse un portrait statistique du Canada et de sa population, et porte sur divers sujets démographiques et sociaux. Les renseignements statistiques appuient la mesure des changements qui surviennent dans les caractéristiques démographiques, sociales et économiques des Canadiens. Ils soutiennent, en outre, diverses exigences réglementaires et législatives. Les données sont utilisées par un large éventail d'organismes, comme : les différents niveaux de gouvernement, les organismes privés et à but non lucratif, les établissements universitaires, ainsi que les particuliers. Le Recensement de 2016 portait sur un vaste éventail de sujets : les chiffres de population (y compris l'âge et le sexe) et des logements (y compris les types de logements); les familles, les ménages et l'état matrimonial; la langue (y compris la langue de travail); le revenu; l'immigration et la diversité ethnoculturelle; le logement; les peuples autochtones; la scolarité; le travail; le déplacement domicile-travail; la mobilité et la migration.

Les données sont recueillies au moyen d'un questionnaire abrégé et d'un questionnaire détaillé obligatoires. Le questionnaire abrégé est envoyé à l'ensemble de la population. Le questionnaire détaillé, qui comporte les mêmes questions que le questionnaire abrégé, auxquelles s'ajoutent des questions sur des sujets comme la scolarité et le travail, est envoyé à un échantillon de la population. Certains renseignements sont obtenus directement de dossiers administratifs, tels que le revenu, obtenu de l'Agence du revenu du Canada, et la catégorie d'immigrants, obtenue d'Immigration, Réfugiés et Citoyenneté Canada.

Pendant le recensement, Statistique Canada mène un certain nombre d'activités, telles que la détermination du contenu, les opérations sur le terrain (collecte des données) et les opérations post-terrain.^Note1 Dès que l'on a recueilli les données du recensement, on effectue un certain nombre d'activités post-terrain :

• codage— toutes les réponses écrites dans les questionnaires sont converties en codes numériques;
• contrôle et imputation (CI)— les omissions et les incohérences dans les données recueillies sont détectées et corrigées;
• échantillonnage et pondération— les réponses finales sont pondérées afin qu'elles soient représentatives de la population canadienne;
• évaluation de la qualité des données— une évaluation des données est effectuée pour en assurer la qualité globale (les évaluations ont lieu pendant les différentes phases, de la détermination du contenu jusqu'à sa diffusion);
• diffusion— les produits de données sont diffusés dans divers formats afin de répondre aux besoins des utilisateurs.

Le Programme du Recensement de la population est géré par le Bureau de gestion du recensement (BGR) et fait intervenir un grand nombre de divisions fonctionnelles au sein de Statistique Canada, lesquelles mènent leurs activités à différents échelons tout au long du cycle. Selon le profil de l'information sur le rendement du Recensement de la population, les principales organisations prenant part aux activités post-terrain sont les suivants :

• Le BGR : joue un rôle essentiel quant à la planification et à la coordination du programme. La fonction principale du BGR consiste à diriger et à soutenir le projet du recensement dans son ensemble. Il s'agit d'assurer la coordination et l'intégration de plans et de budgets, la recherche sur le recensement, la mise à l'essai et la gestion de la qualité.
• Les domaines spécialisés : formulent des commentaires et des conseils d'experts sur le contenu, le codage des réponses écrites, les règles de CI et la diffusion. Ils mènent également des activités clés précises à l'appui des opérations sur le terrain, du traitement, de l'attestation et de la diffusion. Ils évaluent et analysent des données, fournissent des conseils professionnels et une assistance aux utilisateurs de données. Les domaines spécialisés font partie de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie (DDSRSSD) et de la Direction de la statistique de l'éducation, du travail et du revenu (DSETR).
• Le Secrétariat des domaines spécialisés du recensement (SDSR) : gère le Sous-projet des domaines spécialisés du Programme du recensement et coordonne la participation des domaines spécialisés, détermine et optimise les occasions de collaboration et de coopération au sein des domaines spécialisés et avec les autres équipes du recensement, et facilite le développement ainsi que le maintien de l'expertise des domaines spécialisés du recensement.
• La Division des opérations du recensement (DOR) : fournit l'infrastructure et le personnel pour les opérations sur le terrain, les envois postaux ou les retours par la poste (y compris l'impression du questionnaire), le traitement, la diffusion et les autres services de soutien.
• La Direction des communications et de la diffusion (DCD) : élabore et met en œuvre les stratégies de communication qui soutiennent le programme.
• La Division des méthodes de la statistique sociale (DMSS) : fournit des services d'ordre méthodologique et des conseils sur l'évaluation de la qualité en matière d'échantillonnage, la méthodologie de collecte des données, la pondération ainsi que d'autres aspects techniques du programme.

Le Comité de gestion stratégique (CGS),^Note2 composé du statisticien en chef (SC) et des statisticiens en chef adjoints (SCA), agit comme organe de gouvernance principal pour le programme. Le Comité de direction du recensement (CDR), qui relève directement du CGS, se compose de cadres supérieurs prenant part au programme. Il est coprésidé par le SCA, Secteur du recensement, services régionaux et opérations (Secteur 7), et du SCA, Secteur de la statistique sociale, de la santé et du travail (Secteur 8). Le CDR exerce une fonction d'orientation et d'échange d'informations. L'Équipe de projet du recensement (EPR), qui relève directement du CDR, se compose de gestionnaires de sous-projets et est présidée par le directeur général (DG) du BGR. Elle sert d'organe de prise de décision et de gestion. Un certain nombre de groupes de travail (GT) et de comités relèvent de l'EPR.

Au cours du cycle du Recensement de 2016, les dépenses représentaient environ 554,4 millions de dollars, desquels environ 62,1 millions de dollars étaient affectés aux activités post-terrain.

L'évaluation

La portée de l'évaluation a été définie en fonction d'entrevues avec les principales divisions prenant part aux activités post-terrain du programme. Alors que de vastes consultations sur les produits du recensement ont été planifiées, élaborées et mises en œuvre dans le cadre du programme pendant l'évaluation, la pertinence des produits du Recensement de 2016 a été exclue de l'évaluation. L'évaluation portait plutôt sur les mécanismes internes de gouvernance, les structures de conception et d'exécution, ainsi que les approches axées sur l'utilisateur pour mettre au point les produits du recensement. On a relevé les domaines suivants aux fins d'examen dans le contexte de l'évaluation :

Suivant une approche d'évaluation axée sur l'utilisation, les méthodes de collecte de données quantitatives et qualitatives suivantes ont été utilisées :

• Examen des données administratives
  Examen des données administratives du programme sur les activités, les extrants et les résultats.
• Examen de la documentation
  Examen des documents stratégiques internes de l'organisme.
• Entrevues auprès d'informateurs clés (n = 40)
  Entrevues semi-structurées auprès de personnes travaillant dans les équipes suivantes :
  • domaines spécialisés (n = 20);
  • BGR et DOR (n = 10);
  • SDSR (n = 6);
  • autres divisions de Statistique Canada (n = 4).

Trois principales limites ont été cernées et un ensemble de stratégies d'atténuation a été utilisé :

Leçons apprises

1.1 Gouvernance des activités post-terrain du recensement

L'évaluation s'est penchée sur les rôles et les responsabilités des différents groupes ayant pris part aux activités post-terrain du recensement en ce qui a trait à la coordination horizontale et à la mise au point des produits du Recensement de 2016. L'évaluation a permis d'identifier des aspects à améliorer en ce qui concerne le Sous-projet de la diffusion, les révisions institutionnelles et le rôle du SDSR en tant que représentant et coordonnateur des domaines spécialisés.

Gestion matricielle

La Charte du projet du Recensement de 2016 a permis d'établir les bases de la structure de projet, de décrire les attentes en matière de gestion de projet, et d'assigner le SCA, Secteur 7, comme cadre responsable du programme et le DG, BGR, comme gestionnaire de projet du recensement. Elle a également permis de déterminer les rôles et les responsabilités du CGS, du CDR et de l'EPR.

Le recensement fonctionne au moyen d'une approche de gestion matricielle. Un certain nombre de sous-projets, supervisés par l'EPR, sont planifiés et mis en œuvre de manière à appuyer la réalisation globale du programme. Des chartes distinctes sont élaborées, et chaque sous-projet se voit ventilé en un certain nombre de tâches et de sous-tâches. Selon la nature du sous-projet, les gestionnaires peuvent provenir de différents secteurs fonctionnels de Statistique Canada. La figure1 illustre l'approche de gestion matricielle qui a été adoptée pour effectuer le recensement.

La description - Figure 1 Approche de gestion matricielle du recensement

La figure illustre la démarche théorique adoptée pour effectuer le recensement à l'aide d'une approche de gestion matricielle. Elle montre qu'il existe un certain nombre de sous-projets distincts associés à l'Équipe de projet du recensement. Chacun de ces sous-projets renferme une série de tâches qui comportent elles-mêmes un certain nombre de sous-tâches.

Notamment, dans la figure, sous la case Équipe de projet du recensement se trouvent deux cases (Sous-projet 1.0 et Sous-projet 2.0), ainsi que le symbole « … » qui signale la présence d'autres cases semblables (Sous-projet 3.0, Sous-projet 4.0 et ainsi de suite). Sous la case Sous-projet 1.0 se trouvent deux cases de tâches (Tâche 1.1 et Tâche 1.2). Sous chacune de ces cases de tâches se trouvent des cases de sous-tâches (Sous-tâche 1.1.1 et Sous-tâche 1.1.2). La même structure s'affiche sous la case Sous-projet 2.0.

Les rôles et les responsabilités n'étaient pas toujours clairement définis ou compris en ce qui concerne le Sous-projet de la diffusion

L'évaluation a permis de constater que les rôles et les responsabilités avaient été établis et communiqués en vue du Recensement de 2016 au moyen de la Charte du projet du recensement et des chartes de sous-projets connexes. Quatre principaux sous-projets figuraient dans les activités post-terrain :

• le Sous-projet du traitement
• le Sous-projet de la diffusion
• le Sous-projet des communications du recensement
• le Sous-projet des domaines spécialisés du Programme du recensement

En ce qui concerne le Sous-projet du traitement, lequel comprenait des tâches telles que le codage, l'échantillonnage et la pondération, ainsi que le CI, les rôles et les responsabilités étaient bien compris. La DOR a dirigé le traitement, avec la participation des domaines spécialisés et d'autres groupes comme le SDSR et la DMSS. On a également constaté que les rôles et les responsabilités étaient bien définis pour le Sous-projet des communications du recensement (dirigé par la DCD), lequel permettait de fournir des services de communication à l'appui des activités de diffusion. De façon similaire, les rôles et les responsabilités du Sous-projet des domaines spécialisés du Programme du recensement (dirigé par le SDSR), lequel comprenait des tâches telles que la détermination du contenu et l'attestation, étaient également bien définis.

Bien que les dates de diffusion officielles aient été respectées, l’incertitude au sujet des rôles et des responsabilités du Sous-projet de la diffusion a eu une incidence négative sur l'efficacité et l'efficience. Selon la charte du sous-projet, la DOR dirigeait le Sous-projet de la diffusion et était chargée de la gestion globale de la diffusion, y compris l'élaboration et l'examen de certains produits, ainsi que du processus décisionnel. Or, en pratique, les divisions avaient tendance à prendre en charge leurs produits (à s'en sentir responsables), car elles croyaient que ces derniers leur appartenaient puisqu'il s'agissait de produits finaux. Ce manque de clarté, de cohérence et d'application relativement aux rôles et aux responsabilités a créé des goulots d'étranglement tout au long du processus (par exemple, quels les changements pouvant être demandés, qui peuvent demander de tels changements, quelles personnes approuvent les produits et qui négocient les échéanciers). Cette situation s'est compliquée davantage, car différents chefs étaient chargés de l'élaboration de chaque produit (par exemple, l'élaboration des documents de référence, des documents analytiques, des tableaux de données, des vidéos et des infographies était dirigée par différents groupes ou différentes parties de Statistique Canada).

Les révisions institutionnelles ont créé un fardeau inattendu et des risques accrus

De façon générale, même si tous les échéanciers officiels de diffusion ont été respectés en 2016, l'exécution des révisions institutionnelles a eu une incidence l'efficience du processus.

Comme pour d'autres produits à Statistique Canada, la diffusion des produits du recensement devait suivre un processus d'approbation établi qui faisait intervenir des évaluations par les pairs, suivies des révisions institutionnelles. D'après la Politique sur les évaluations par les pairs et les révisions institutionnelles (2016) de Statistique Canada, l'évaluation par les pairs consiste en « une évaluation technique effectuée au sein ou à l'extérieur de l'organisme par des professionnels reconnus dans la ou les disciplines pertinentes qui vise à s'assurer que les analyses et les interprétations sont valables sur le plan méthodologique et bien étayées, qu'elles sont en accord avec les définitions et les autres caractéristiques des données, qu'elles démontrent une connaissance des recherches actuelles selon le cas, que les conventions terminologiques ont été respectées et que les limites des données ou de l'analyse sont énoncées clairement ». La politique définit, en outre, une révision institutionnelle comme « une évaluation faite par les cadres supérieurs de Statistique Canada pour s'assurer que les produits d'information interprétatifs, les produits analytiques et les produits méthodologiques diffusés au public ne comportent pas de matière pouvant compromettre la réputation de l'organisme sur le plan de la qualité, du professionnalisme, de l'impartialité politique, de l'objectivité et de la neutralité ».

Pour le Recensement de 2016, le SDSR a géré la coordination des évaluations par les pairs et des révisions institutionnelles. L'approbation du directeur du domaine spécialisé était requise après chaque type d'évaluation (figure 2) et les évaluations effectuées par les DG des domaines spécialisés et les SCA étaient requises avant la présentation du produit aux fins d'approbation par le SC.

Conformément à la politique, il y avait une commune compréhension au sein des divisions selon laquelle on aborderait les éléments techniques pendant les évaluations par les pairs et les éléments relatifs à l'organisme (c'est-à-dire la réputation de Statistique Canada en ce qui concerne la qualité, le professionnalisme, l'impartialité politique, l'objectivité et la neutralité) au cours des révisions institutionnelles. Les calendriers ont été élaborés en tenant compte du fait que les évaluations par les pairs nécessitent habituellement plus de temps que les révisions institutionnelles.

L'évaluation a permis de constater que le SDSR était efficace pour la réconciliation de la rétroaction et la gestion du processus d'évaluation en général, et que les évaluations par les pairs se déroulaient comme prévu. Les révisions institutionnelles, cependant, n'ont pas fonctionné telles que planifiées. La nature des commentaires fournis au cours des révisions institutionnelles s'apparentait davantage à celle des commentaires reçus pendant les évaluations par les pairs, qui avaient déjà été achevées. En outre, des évaluateurs n'ayant pas été inclus au départ dans le conseil de révision institutionnelle ont pris part au processus, ce qui a accru la quantité de commentaires à examiner et auxquels répondre. Cette situation a imposé un fardeau supplémentaire au personnel (par exemple, la réécriture de produits), a accru le risque et a donné lieu à des retards. Ces répercussions se sont accentuées davantage en raison du processus d'approbation à mesure que se formaient des goulots d'étranglement. À l'exception d'un certain nombre de produits, tous les autres produits nécessitaient l'approbation d'un directeur.^Note3 L'évaluation a permis de constater que le niveau d'expertise des analystes au sein des domaines spécialisés pourrait donner lieu à une structure d'approbation plus décentralisée pour certains produits.

La description - Figure 2 Processus d'évaluation et d'approbation des produits du recensement

La figure illustre le processus d'approbation des produits. Le processus commence par une ébauche de produit; une fois approuvée par le directeur du domaine spécialisé, cette ébauche est soumise à un examen par les pairs. Une fois l'examen par les pairs terminé, le directeur du domaine spécialisé donne son approbation, et l'ébauche de produit est ensuite soumise à une révision institutionnelle. Une fois la révision institutionnelle terminée, le directeur du domaine spécialisé donne son approbation, puis l'ébauche de produit est envoyée au statisticien en chef aux fins d'approbation finale. Une fois approuvé par le statisticien en chef, le produit est réputé définitif.

L'examen du directeur général et du statisticien en chef adjoint s'échelonne tout au long du processus d'examen.

L'orientation était suffisante, mais des changements tardifs ont entraîné des répercussions sur l'efficacité

L'évaluation a permis de constater que des directives suffisantes avaient été fournies pour orienter l'élaboration initiale des produits du recensement, cependant, des changements tardifs ayant été effectués par la suite ont eu une incidence négative sur les calendriers et la charge de travail (par exemple, des demandes relatives à de nouveaux points de vue analytiques, ainsi que de nouveaux produits de diffusion comme les cartes interactives). La contribution du SDSR à l'orientation des domaines spécialisés, en ce qui concerne les changements, s'est avérée efficace et a permis de préciser les attentes. L'approbation plus précoce de la stratégie de diffusion favoriserait une planification et une mise en œuvre plus efficaces du Sous-projet de la diffusion.

La coordination horizontale des domaines spécialisés pourrait être améliorée

Différents modèles de coordination horizontale ont été utilisés au fil du temps. Avant le Recensement de 2006, la fonction avait été intégrée à la DOR où le personnel coordonnait les travaux des domaines spécialisés liés à la diffusion. En ce qui concerne le Recensement de 2006, dans le but d'améliorer la coordination, la fonction fût centralisée au sein du Secteur 8 en créant le Programme des domaines spécialisés du recensement (PDSR), ce qui a permis de réunir les spécialistes du domaine et le personnel de coordination dans un même groupe. Quant au Recensement de 2011, le modèle fût restructuré et les spécialistes sont retournés dans leurs divisions respectives alors que le personnel de coordination est demeuré au sein du PDSR (dont le nom a été changé pour « SDSR »). Le même modèle a été utilisé lors du Recensement de 2016.

En ce qui concerne le Recensement de 2016, le mandat du SDSR était double. D'abord, il agissait comme gestionnaire du Sous-projet des domaines spécialisés du Programme du recensement, lequel comprenait la détermination du contenu, l'attestation, les révisions formelles des chiffres de population et des logements, ainsi que la détermination et l'analyse de la gamme de produits. Ensuite, il fournissait les services de représentation et de coordination des domaines spécialisés pour tous les autres sous-projets. Le SDSR était l'organe central assurant la coordination horizontale de tous les groupes spécialisés prenant part au recensement.

L'évaluation a permis de constater que le SDSR s'était acquitté efficacement de la première partie de son mandat, soit la gestion du Sous-projet des domaines spécialisés du Programme du recensement.

Quant à la seconde partie de son mandat, bien que certaines tâches aient été exécutées avec efficacité, l'évaluation a permis de déterminer des possibilités d'accroître tant l'efficacité que l'efficience. Le SDSR assumait un vaste éventail de tâches et de responsabilités : représenter les domaines spécialisés dans différents GT et comités; négocier, établir, compléter et surveiller les calendriers des sous-projets post-terrain lorsque les domaines spécialisés y prenaient part; servir d'intermédiaire entre la DOR et les domaines spécialisés dans le contexte de certains sous-projets (par exemple, le traitement et la diffusion); encourager l'échange d'informations entre les domaines spécialisés en matière de pratiques exemplaires et de leçons retenues; enfin, gérer l'accès à certains dossiers clés.

Le SDSR représentait les domaines spécialisés dans différents GT et comités, et, les faisait participer directement lorsqu'il était nécessaire d'aborder des enjeux plus complexes. Par exemple, les spécialistes du domaine ont pris part directement au travail portant sur leurs variables respectives pendant le CI. L'évaluation a permis de constater que le point de vue des domaines spécialisés n'était pas toujours défendu de manière adéquate et que les opinions des domaines spécialisés n'étaient pas toujours intégrées (c'est-à-dire que les domaines spécialisés ne « parlaient pas d'une seule voix ») par le SDSR. Cela a donné lieu à certaines situations dans lesquelles la prise de décision a été retardée ou des renseignements contradictoires ont été fournis.

Pour ce qui est de négocier, d'établir, de compléter et de surveiller les calendriers des sous-projets post-terrain auxquels prenaient part les domaines spécialisés, l'évaluation a permis de constater que bien que le SDSR ait fait preuve d'efficacité et de méticulosité dans l'élaboration de tous les calendriers, la gestion de ces derniers était loin d'être optimale. Les ressources du SDSR ont été divisées en équipes, en fonction des différentes activités post-terrain du programme (collecte et traitement, assurance de la qualité et diffusion). Souvent, les activités post-terrain étaient menées parallèlement avec les activités de traitement, d'attestation et de diffusion effectuées simultanément par les domaines spécialisés. Par moments, ces derniers ont reçu, de la part du SDSR, des échéances contradictoires ou se recoupant (par exemple, une date limite pour l'attestation et une autre pour la diffusion selon un échéancier serré). En outre, tous les calendriers n'ont pas été mis à jour tout au long du cycle en raison des pressions sur les ressources et des limites relatives à l'outil de gestion de projet. L'exécution tardive des calendriers et des mises à jour au SDSR par d'autres partenaires de la production s'est ajoutée aux défis de gestion des calendriers. Le SDSR pourrait renforcer l'intégration et la coordination des calendriers au sein de ses équipes avant de communiquer avec les domaines spécialisés, et les autres partenaires de la production devraient également être informés des répercussions de l'exécution tardive des calendriers et des mises à jour sur la coordination horizontale.

Le flux de communication entre la DOR et les domaines spécialisés, par l'entremise du SDSR, s'est avéré efficace dans le cas de certains sous-projets (par exemple, le traitement ainsi que les domaines spécialisés du Programme du recensement). Il fut constaté que l'utilisation des systèmes JIRA et Confluence, les répertoires partagés et les réunions régulières étaient des outils de communication efficients et efficaces. La voie de communication par l'intermédiaire du SDSR pendant le Sous-projet de la diffusion ne s'est pas toujours avérée efficace, opportune ou apportant une valeur ajoutée, surtout pendant les périodes occupées à volume élevé. Par conséquent, la communication a parfois eu lieu directement entre les groupes (plutôt que par l'entremise du SDSR) afin d'accroître l'efficience.

Quant à l'échange d'informations entre les domaines spécialisés en matière de pratiques exemplaires et de leçons retenues, même si l'on a constaté que de telles activités (par exemple, au sujet des outils de vérification) avaient eu lieu, il semblait qu'elles avaient principalement été guidées par les domaines spécialisés plutôt que par le SDSR. Le SDSR pourrait jouer un rôle plus important afin de favoriser la tenue de discussions et l'échange de pratiques visant à accroître l'efficacité et l'efficience.

L'échange entre les domaines spécialisés pendant l'élaboration des produits est important pour assurer l'uniformité des diffusions. Le SDSR a géré les permissions d'accès pour les produits, mais les domaines spécialisés les ont trouvées trop restrictives (approche selon l'accès sélectif). Les restrictions limitaient la capacité des domaines spécialisés à se partager l'accès aux produits, ce qui a posé des difficultés en ce qui concerne l'adoption d'approches uniformes pour les thématiques, notamment lorsque les diffusions faisaient intervenir des analyses à thèmes croisés. La situation s'est améliorée dans le cas des dernières diffusions, car il y a eu élargissement des permissions d'accès. Le SDSR est au courant de ce problème et a déclaré qu'il mettrait sur pied une stratégie afin d'accroître l'échange d'informations entre les domaines spécialisés dans le cadre du Recensement de 2021.

Les personnes interrogées ont formulé un certain nombre d'opinions sur les raisons pour lesquelles le SDSR a éprouvé des difficultés, dont : le manque de pouvoir décisionnel du SDSR; le manque d'expertise; et, le mandat difficile de devoir concilier les priorités, parfois contradictoires, entre le Secteur 7 et le Secteur 8. Même si l'on a déterminé des points à améliorer pour le SDSR, il était évident que ce dernier avait joué un rôle essentiel dans la réussite du recensement.

1.2 Conception et exécution des activités post-terrain du recensement

Étant donné que Statistique Canada s'efforce continuellement d'améliorer la rapidité d'exécution, l'évaluation a servi à déterminer les domaines où des mesures pourraient être mises en œuvre pour réduire les échéanciers de diffusion du recensement. Afin d'aborder cette problématique, l'évaluation s'est porté sur les initiatives mises en œuvre à l'appui du calendrier révisé de diffusion pour le Recensement de 2016, y compris les leçons retenues et les domaines supplémentaires possibles.

Le calendrier de diffusion pour le Recensement de 2016 était plus court que celui du Recensement de 2011 (tableau Rapidité d'exécution des diffusions relatives aux recensements de 2011 et de 2016). Même si la première diffusion (portant sur les chiffres de population et des logements) a été exécutée dans les mêmes délais pour les deux cycles, les autres diffusions ont été effectuées plus rapidement. La dernière diffusion relative au Recensement de 2016 (portant sur la scolarité, le travail, le déplacement domicile-travail, la langue de travail, et la mobilité et migration) a eu lieu 287 jours civils^Note4 plus tôt que la dernière diffusion relative au Recensement de 2011 (portant sur le revenu et le logement).

Changements apportés à l'appui du calendrier de diffusion de 2016

L'évaluation a permis de constater que toutes les activités post-terrain étaient assujetties à des évaluations aux échelons de projet, de sous-projet ou de tâche. Ces évaluations ont été menées par un groupe précis avec l'assistance d'autres groupes. En voici quelques exemples :

• évaluation du codage relatif au Recensement de 2016 (SDSR)
• rapport d'évaluation des tâches de CI de 2016 (DOR)
• processus de CI relatif au Recensement de 2016 (DMSS)
• aperçu des diffusions de données pour le Recensement de 2016 (DCD)
• évaluation de la diffusion relative aux domaines spécialisés du Recensement de 2016 (SDSR)
• rapport de clôture du projet du Recensement de 2016 (BGR)

Un certain nombre d'initiatives pour la plupart des activités post-terrain ont été mis en œuvre en vue d'un calendrier de diffusion plus serré (toutes les diffusions étant effectuées environ 18 mois après le jour du recensement). Compte tenu de la complexité et des interdépendances nombreuses qui existaient entre les différentes activités et à travers les divisions, il n'a pas été possible de déterminer le nombre précis de jours que chaque initiative a permis de sauver; cependant, des données probantes suggèrent que la nouvelle approche en matière de CI a eu un effet plus prononcé.

Contrôle et imputation

Au cours du Recensement de 2011, les modules de CI ont été traités de façon individuelle et séquentielle. Dès que la réussite du traitement d'un module avait été déterminée, on amorçait le traitement du module suivant, et ainsi de suite. Pour le Recensement de 2016, on a exécuté d'un coup le processus de CI en entier (c'est-à-dire une exécution en un seul essai), et l'on a accéléré le traitement parallèle et les processus se chevauchant afin de réduire le temps de production.

En prévision de la production en 2016, les activités de développement et de mise à l'essai ont été amorcées deux années d'avance, ce qui comprenait la détermination des rapports de dépendance entre tous les modules. Au niveau des mises à l'essai, on a utilisé les données issues du cycle antérieur pour s'assurer de la robustesse de la nouvelle approche (c'est-à-dire que les résultats produits au moyen du nouveau processus de CI étaient les mêmes que les résultats provenant du processus séquentiel précédent). Afin d'assurer un environnement stable pour le processus révisé de CI, le système utilisé aux fins du CI fut figé plus d'une année à l'avance pour éviter tout problème.

On a constaté que l'utilisation de JIRA pour gérer les changements et les problèmes avait grandement contribué au suivi, à l'exécution et à la surveillance des changements apportés aux modules et aux processus. JIRA a permis de simplifier le travail, surtout lorsqu'il fallait passer d'une tâche à l'autre (les tâches de traitement, d'attestation et de diffusion se recoupant souvent).

Codage

Un certain nombre d'initiatives ont été mises en œuvre et ont eu une incidence sur le calendrier de diffusion. Par exemple, des enregistrements similaires ont été codés simultanément pour gagner du temps, la taille des lots à coder a été réduite, et l'on a traité ces derniers à l'échelle des enregistrements plutôt qu'à l'échelle des questionnaires en vue d'un traitement plus rapide. Même si les initiatives de codage ont été prévues de façon à soutenir le calendrier révisé de diffusion, leur incidence s'est vue limitée pour quelques raisons. Par exemple, en raison des différences entre les variables quant à leur complexité, les initiatives n'ont pas été mises en œuvre uniformément dans tous les domaines spécialisés. Par conséquent, même si l'on a gagné du temps dans certains domaines, cela ne fut pas le cas dans d'autres domaines.

Échantillonnage et pondération

Dans le cadre de tous les changements, un soutien méthodologique a servi à garantir la qualité. Toutefois, il n'y a eu aucune initiative méthodologique précise ayant entraîné des répercussions sur le calendrier révisé de diffusion.

Évaluation de la qualité des données

Parmi les stratégies d'attestation élaborées par les domaines spécialisés, un certain nombre d'outils et d'approches visaient à réduire le temps nécessaire pour l'attestation des données. Par exemple, on a utilisé des outils automatisés (comme les tableaux), des niveaux géographiques inférieurs et des couplages de données secondaires. L'évaluation a permis de constater qu'aucun outil commun n'a été utilisé par les domaines spécialisés aux fins d'attestation; il s'agit d'une conclusion semblable à celle de l'Audit de l'assurance de la qualité— Recensement de 2016^Note5. Bien que l'on ait élaboré des outils pour exécuter plus rapidement l'attestation dans certains domaines spécialisés, l'économie de temps au moyen de cette activité ne s'est pas avérée importante.

Diffusion

Des mesures visant à créer des produits plus tôt (tels que des tableaux de données, le Dictionnaire du recensement et d'autres documents de référence comme les guides de référence, ainsi que des thématiques) ont été utilisées pour le Recensement de 2016. On a également créé des tableaux automatisés pour la vérification. Cependant, un certain nombre de facteurs ont limité les avantages découlant de l'élaboration précoce des produits. Premièrement, le retour du questionnaire détaillé obligatoire a modifié la portée accessible à l'analyse. Deuxièmement, les réorientations stratégiques ont modifié les priorités. Par exemple, les paramètres initiaux relatifs aux tableaux et aux thématiques ont été créés afin de fournir des données sur le fractionnement du revenu, mais on a abandonné cette pratique par la suite. Troisièmement, de nouvelles exigences provenant de la haute direction ont été mises en œuvre entre le jour du recensement et la première diffusion, ce qui a entraîné des répercussions sur les outils d'analyse et de diffusion. Par exemple, on a inclus une composante « Canada 150 » dans toutes les diffusions afin d'offrir aux Canadiens un point de vue historique sur les données. On a également lancé de nouveaux outils interactifs qui n'avaient pas été prévus au départ, afin de faciliter l'accès des Canadiens aux données. Ces changements ont eu une incidence positive, mais ils ont réduit les avantages de l'élaboration précoce des produits.

L'évaluation a permis de constater que, même si l'élaboration précoce des produits n'avait pas contribué à des gains importants, grâce à elle, on a disposé de plus de temps pendant les périodes de pointe, surtout lorsque des perspectives différentes et des produits de diffusion supplémentaires étaient demandés. L'élaboration précoce des produits a eu une incidence positive sur la gestion des diffusions en parallèle, laquelle était nécessaire en raison d'échéanciers plus serrés entre les dernières diffusions (c'est-à-dire les diffusions 4, 5 et 6).

Possibilités relatives à un calendrier de diffusion accélérée

L'évaluation a permis de conclure que le calendrier de diffusion du Recensement de 2016 pourrait être reproduit en 2021, et ce, tout en conservant la même approche pour la stratégie de diffusion (c'est-à-dire le nombre de produits et la fréquence des diffusions). Il faudrait toutefois revoir un certain nombre de volets, en particulier ceux qui concernent la gouvernance (comme il a été indiqué auparavant), pour s'assurer que le cycle est plus efficace et efficient.

Dans le contexte d'un calendrier de diffusion accélérée (moins de 18 mois), outre le traitement des questions de gouvernance, il faudrait réexaminer la stratégie de diffusion. Des gains de temps plus importants pourraient être réalisés en adoptant un modèle différent (par exemple, moins de produits et un calendrier échelonné). Dans une moindre mesure, des changements dans l'approche de codage pourraient également permettre de gagner du temps. Des modifications apportées au CI, à l'échantillonnage et à la pondération, ainsi qu'à l'évaluation de la qualité des données, auraient une incidence limitée.

Stratégie de diffusion révisée

Pour adopter un calendrier de diffusion accélérée, la stratégie de diffusion devrait être revue, surtout en ce qui concerne le nombre et le type de produits, ainsi que la fréquence des diffusions.

L'approche adoptée pour le dernier cycle, dans le cadre duquel une variété de produits était diffusée à une date donnée, pourrait être repensée. L'évaluation a permis de constater que les utilisateurs, surtout les partenaires gouvernementaux, peuvent avoir eu des difficultés à traiter l'ensemble des données. Les personnes interrogées ont suggéré qu'une approche plus échelonnée ou progressive soit adoptée; par exemple, un article du Quotidien, combiné à un nombre limité de tableaux et de produits interactifs, pourrait être diffusé à une date donnée, accompagné d'un communiqué décrivant les autres produits qui suivront dans un avenir rapproché.

L'évaluation a permis de constater qu'au fil du temps, les médias semblent moins intéressés par les séances d'information à huis clos (moins de médias sont représentés, moins de couverture médiatique et moins de demandes d'entrevue). Des données internes ont permis de constater que la première diffusion a accueilli le plus grand nombre de journalistes (n=40) et la deuxième, le plus petit nombre (n=23). Le nombre de journalistes pour les autres séances d'information à huis clos a varié entre 25 et 30. Bien que le nombre d'entrevues données pendant les séances d'information à huis clos soit demeuré relativement stable, le nombre d'entrevues données dans les jours suivant le jour de diffusion a diminué au fil du temps (33 pour la première diffusion et 6 pour la dernière diffusion). La couverture médiatique^Note6 a également diminué entre la première diffusion (n=525) et la dernière diffusion (n=238). Même si l'intérêt semble décroître au fil du temps, le degré de préparation nécessaire est demeuré le même, ce qui représentait un effort considérable pour un certain nombre de divisions.

Des objectifs mieux définis pour chaque type de produit (par exemple, les produits analytiques par rapport aux produits destinés au grand public et aux produits d'image de marque) pourraient également contribuer à adapter la stratégie de diffusion à différents objectifs. On a déterminé les produits de rechange et les produits souples, tels que les cubes de données au moyen desquels les utilisateurs pourraient bâtir leurs propres tableaux en fonction de leurs besoins, comme une approche à prendre en considération. Les cubes nécessiteraient moins de vérification, car seuls les tableaux principaux doivent être vérifiés.

Un certain nombre d'examens sont en cours, comme les analyses effectuées par le GT sur les tableaux de base, le GT sur l'organigramme du processus et le GT sur la diffusion accélérée, ainsi que la Consultation sur la diffusion du recensement (2019), ce qui permettra de recueillir directement des renseignements sur les possibilités à envisager.

Plus d'activités de codage automatisé

L'évaluation a permis de constater que des gains d'efficience pourraient potentiellement être réalisés dans le codage au moyen de trois voies principales : l'utilisation accrue de l'apprentissage automatique (c'est-à-dire l'intelligence artificielle) pour compléter l'approche de codage automatique; le recours aux outils de codage de l'organisme (c'est-à-dire l'Environnement de codage et de correction (ECC)); et une mise en application plus rapide du système Codefix utilisé pour coder des enregistrements, corriger des codes inexacts et vérifier le codage (attestation). Le GT sur le processus de codage, coprésidé par la DOR et la DMSS, évaluera et fournira une validation de concept en vue de l'introduction d'une technologie d'apprentissage automatique pour les processus de codage automatique de 2021. On s'attend à ce que l'utilisation de l'apprentissage automatique réduise le temps requis pour le codage, car elle permettrait d'accroître la rapidité du codage automatique de différentes variables. Cela permettrait également d'accroître la qualité globale, car l'intervention manuelle s'en trouverait réduite.

Risques relatifs au calendrier de diffusion

Même s'ils ne figuraient pas dans le champ de l'évaluation au départ, on a cerné quatres risques clés pour le Recensement de 2021 qui sont susceptibles d'avoir une incidence sur le calendrier de diffusion : le nouveau contenu potentiel, les nouveaux systèmes de diffusion, les processus d'attestation révisés et la capacité en ressources humaines.

Les questionnaires du test du Recensement de 2021, lesquels seront mis à l'essai au cours de la période à venir, incluent un contenu nouveau et révisé par rapport au Recensement de 2016. Même si, au moment de l'évaluation, il était trop tôt pour déterminer le contenu susceptible d'être inclus après la mise à l'essai, tout contenu nouveau et révisé aurait une incidence sur l'ensemble des activités post-terrain (c'est-à-dire le traitement, l'attestation et la diffusion).

On examine de nouveaux outils et systèmes en vue de les utiliser au Recensement de 2021. Un nouvel ensemble d'outils de totalisation centré sur G-Tab comme moteur de totalisation était en cours d'élaboration au moment de l'évaluation, et le programme se penche actuellement sur la possibilité de passer à la plateforme de diffusion organisationnelle, soit le Nouveau modèle de diffusion. La capacité et la fonctionnalité sont actuellement mises à l'essai pour les deux systèmes. On a également déterminé d'autres systèmes, tels que SharePoint et Codefix, ainsi que la grille SAS, qui présentent des risques.

La stratégie révisée d'attestation (toujours en cours d'élaboration au moment de l'évaluation) qui sera mise en œuvre pour 2021 pourrait accroître le niveau de complexité requis pour cette tâche. Pour ce qui est des ressources, en raison de la nature cyclique du recensement, la quantité de ressources requises varie d'une année à l'autre. Par conséquent, certaines difficultés sont associées au maintien en poste et au renouvellement de l'expertise d'un cycle à l'autre. Bien que des données probantes aient indiqué que les divisions mettaient en œuvre des mesures telles que la rotation des ressources et l'observation au poste de travail, d'autres discussions pourraient avoir lieu au sein des divisions et entre les divisions afin de mettre sur pied des stratégies en ressources humaines et de documenter des processus à l'appui des futures ressources (c'est-à-dire protéger les connaissances organisationnelles). En outre, les budgets plus modestes à la fin du cycle limitaient la capacité des domaines spécialisés à investir dans la recherche et le développement pour les cycles futurs afin de favoriser l'innovation.

1.3 Mécanismes favorisant une approche axée sur l'utilisateur

Étant donné que l'une des priorités de l'initiative de modernisation de Statistique Canada consiste à renforcer l'approche axée sur l'utilisateur, l'évaluation a servi à examiner les mécanismes en place afin de saisir des renseignements sur les besoins des utilisateurs ainsi que l'utilisation de tels renseignements dans l'élaboration de la stratégie de diffusion.

La vision intégrée des besoins des utilisateurs est lacunaire

L'évaluation a permis de constater que le programme dispose de différents mécanismes en place pour saisir des renseignements sur les besoins des utilisateurs. Les consultations ont lieu à chaque cycle pour recueillir des renseignements, et une évaluation antérieure portant sur le recensement a permis de constater que pour les cycles de 2011 et de 2016, les consultations avaient été adéquates.

La consultation relative à la stratégie de diffusion du Recensement de 2021 a été amorcée le 15 janvier 2019, et un questionnaire électronique a été envoyé aux utilisateurs connus. Le questionnaire a été accessible jusqu'à la fin du mois de mars 2019. Afin de joindre d'autres utilisateurs et de tirer parti des initiatives mises en œuvre en réponse au Rapport du vérificateur général du Canada (printemps 2014)^Note7, des bannières (dans le site Web de Statistique Canada et dans celui du recensement) ont été créées, au moyen desquelles on invitait les utilisateurs à répondre à cinq courtes questions, puis à répondre à un questionnaire électronique plus long. Des dépliants ont également été distribués lors de différents événements pour inviter les utilisateurs des données du recensement à répondre au questionnaire. On s'attend à ce que ces efforts permettent d'accroître la représentativité des utilisateurs consultés. La consultation a également porté sur de nouveaux sujets— des questions ont été posées sur la satisfaction des utilisateurs à l'égard des échéanciers (par exemple, le délai entre le jour du recensement et toutes les diffusions, et le délai entre les diffusions principales) et sur leurs préférences quant aux dates de diffusion et aux thèmes (le nombre de dates de diffusion par rapport aux thèmes abordés dans chaque diffusion). On prévoit que ces points de vue permettront d'orienter plus stratégiquement l'élaboration de la stratégie de diffusion du Recensement de 2021. À la suite de l'analyse des données sur la consultation, une série d'entrevues en profondeur seront effectuées afin de préciser les conclusions.

D'autres mécanismes ont également été utilisés pour saisir des renseignements sur les besoins des utilisateurs. Outre les consultations officielles sur le recensement, les domaines spécialisés ont également mené des activités de consultation au sein de leurs propres domaines d'expertise. Ces consultations n'étaient pas nécessairement centrées sur le recensement, mais elles ont néanmoins permis de saisir des renseignements pertinents. La relation constante entretenue par les domaines spécialisés avec les utilisateurs, en particulier les utilisateurs habituels, a permis aux domaines spécialisés de comprendre les besoins des utilisateurs et leur évolution au fil du temps. De plus, des mesures Web ont été utilisées pour estimer la mesure dans laquelle on a accédé aux produits du recensement (c'est-à-dire le nombre de téléchargements et d'appels de fichiers).

On n'a trouvé que peu d'indices permettant de confirmer que des renseignements étaient recueillis au sujet des utilisateurs dans les journées suivant les diffusions officielles. Les connaissances au sujet de ces types d'utilisateurs, des produits utilisés et de l'objet de leur utilisation le jour de la diffusion ou dans les jours suivant la diffusion fourniraient une contribution stratégique pour élaborer la stratégie de diffusion. La DOR se penche en ce moment sur des façons de saisir ce type de renseignements en vue du Recensement de 2021, par exemple, en plaçant dans le site Web une fenêtre contextuelle qui permettrait de poser de courtes questions aux utilisateurs. On prévoit que ces nouveaux renseignements seront utilisés dans le contexte du Recensement de 2026. Un autre secteur potentiel est l'élaboration d'un répertoire des demandes les plus populaires afin de mieux comprendre les besoins des utilisateurs dans tout le pays.

Bien que des sources multiples existent pour saisir des renseignements sur les besoins des utilisateurs, la présentation d'une vision intégrée est encore lacunaire. Celle-ci fournirait une vue d'ensemble des utilisateurs des données du recensement et de leurs besoins en ce qui concerne le contenu, les types et les formats de produits, l'utilisation de ces derniers et le moment des diffusions. Cela permettrait de mieux établir les priorités au moment d'élaborer la stratégie de diffusion. Aucun indice n'a permis de constater que de telles données intégrées avaient été produites pour appuyer l'élaboration de la stratégie de diffusion.

Les facteurs externes et internes sont pris en considération au moment d'élaborer la stratégie de diffusion

Pour ce qui est du Recensement de 2016, le SDSR, en consultation avec les domaines spécialisés par l'intermédiaire du GT sur la diffusion du recensement, a enclenché l'élaboration de la stratégie de diffusion (les produits et le calendrier). Un ensemble de recommandations a été formulé et présenté à la DOR (qui dirige le Sous-projet de la diffusion) aux fins d'examen. Ensuite, les recommandations définitives ont été présentées à l'EPR. La stratégie de diffusion proposée a alors suivi les structures de gouvernance de Statistique Canada et reçu l'approbation finale.

L'évaluation a permis de constater que le programme a tenu compte des besoins des utilisateurs et des besoins internes pour la stratégie de diffusion. Alors que les besoins des utilisateurs avaient été placés au premier plan de l'élaboration de la stratégie, d'autres facteurs ont considérablement influé sur l'élaboration de la stratégie de diffusion. L'un des plus grands facteurs était la tradition et l'histoire. Le nombre et le type de produits ayant été diffusés pendant le cycle antérieur ont servi de point de départ. Dans l'ensemble, le nombre de produits a varié au fil du temps, alors que la complexité des produits a augmenté. Par exemple, le nombre de tableaux de données a diminué depuis 2001, mais le nombre de cellules dans les tableaux a augmenté en raison de la fusion d'un certain nombre de tableaux. Cela s'explique, en partie, par la nécessité de créer des tableaux pour chaque point de données inclus dans les produits analytiques. Par conséquent, des efforts plus grands ont été déployés pour la création et la vérification des tableaux.

En ce qui a trait au Recensement de 2021, des travaux ont été amorcés par le GT sur les tableaux de base du Recensement de 2021 afin de dresser la liste des tableaux devant être produits (c'est-à-dire les tableaux portant sur les besoins d'un grand nombre d'utilisateurs, produits d'un cycle à l'autre ou nécessaires pour remplir les exigences législatives). L'un des objectifs consiste à permettre d'amorcer plus tôt la conception des tableaux. Ce GT, dirigé par le SDSR, inclut la DOR, les services à la clientèle, les bureaux régionaux et les domaines spécialisés.

On a également tenu compte des contraintes internes au moment d'élaborer la stratégie de diffusion, telles que les budgets et les ressources disponibles, les échéanciers et les systèmes de technologie de l'information disponibles. D'autres facteurs ont également été pris en compte, dont la continuité (c'est-à-dire la stabilité de l'information statistique et les exigences stratégiques ou législatives), les exigences en matière d'accessibilité (par exemple, la Norme sur l'accessibilité des sites Web du Secrétariat du Conseil du Trésor), la séquence de traitement (par exemple, on ne peut pas diffuser les données sur la scolarité avant les données sur la population ou le travail) et les approches adoptées dans les autres pays.

En déterminant les orientations futures pour la diffusion et la publication des données du recensement, il peut y avoir des leçons à tirer des expériences et des points de vue des autres organismes statistiques.

Le dirigeant principal et statisticien en chef de la Statistics Authority du Royaume-Uni a communiqué l'évaluation suivante: «Je suis convaincu que ce que nous ferons dans cinq ans sera radicalement différent. Plus de données seront en temps réel; nos services seront numériques par défaut; la qualité de nos conseils et de nos explications nous vaudra une place à la table où se prennent les plus importantes décisions» [traduction]^Note8. Dans ce contexte, l'Office for National Statistics (ONS) sera doté d'un système souple de diffusion qui permettra aux utilisateurs de créer leurs propres ensembles de données en sélectionnant la base géographique, la base de population et les variables requises par ces dernières, plutôt que d'attendre que l'ONS crée des tableaux. Le recensement sera, en outre, caractérisé par l'utilisation accrue des données administratives afin d'améliorer les produits supplémentaires, par des métadonnées plus facilement accessibles, et par une analyse et une compréhension des choses plus détaillées.^Note9

En ce qui concerne le Recensement de 2021, l'Australian Bureau of Statistics (ABS) procède actuellement à la conception de son recensement en vue d'une expérience utilisateur efficace. Les calendriers de diffusion et les produits font l'objet d'un examen pour déterminer les besoins non comblés des utilisateurs, la convivialité et l'accessibilité, ainsi que les occasions de tirer parti des nouvelles techniques de diffusion, et pour déterminer si les produits répondent aux objectifs. Les utilisateurs des données du Recensement de 2016 peuvent gérer et bâtir des tableaux personnalisés en ligne en s'inscrivant à l'outil TableBuilder dans le site Web de l'ABS.

Comment améliorer le programme

Gouvernance

En ce qui concerne le Recensement de 2016, des équipes ont travaillé en collaboration et ont livré des produits de grande qualité aux Canadiens. Cependant, l'évaluation a cerné des points à améliorer en matière de gouvernance des activités post-terrain— en particulier, les attentes relatives aux révisions institutionnelles, aux rôles et aux responsabilités liés au Sous-projet de la diffusion, ainsi qu'à la représentation et à la coordination des domaines spécialisés par le SDSR.

L'évaluation a conclu que le processus de révision institutionnelle pour le Recensement de 2016 n'avait pas fonctionné comme prévu. Cette situation, combinée à la nécessité des approbations répétées et au manque d'approbation préalable de la haute direction en ce qui concerne l'orientation relative aux produits de diffusion du recensement, a générée des pressions sur les échéanciers, une duplication des tâches (c'est-à-dire la réécriture de produits) et un fardeau accru exercé sur le personnel pour qu'il respecte le calendrier de diffusion de 18 mois. Le manque de clarté au sujet de l'ensemble des rôles et des responsabilités ayant trait au Sous-projet de la diffusion a eu une incidence sur l'efficacité et l'efficience. Ces défis persistent pour le Recensement de 2021.

Le SDSR est essentiel à la réussite du recensement. En ce qui concerne la coordination et la représentation, l'évaluation a permis de constater que le SDSR pourrait fonctionner de façon plus efficace et efficiente dans certains domaines. Au cours du Recensement de 2016, le SDSR a éprouvé des difficultés à gérer les calendriers, à communiquer et à favoriser l'échange d'informations en matière d'adoption de pratiques exemplaires et de leçons retenues.

Recommandation 1 :

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que les recommandations subséquentes soient suivies. En ce qui a trait aux révisions institutionnelles, on examine et adapte la gouvernance, les rôles et les responsabilités, ainsi que les processus pour s'assurer qu'il y a clarté et que les révisions adhèrent à la politique. Cette mesure devrait également prévoir un modèle d'approbation plus efficace. En outre, il faudrait mettre sur pied une approche pour que la haute direction puisse approuver plus tôt la stratégie de diffusion.

Recommandation 2 :

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que les recommandations subséquentes soient suivies. Les rôles et les responsabilités des secteurs (dont la Direction des communications et de la diffusion, le SDSR, la DOR et les domaines spécialisés) prenant part au Sous-projet de la diffusion sont précisés et mis à jour pour assurer l'exécution efficace et efficiente du Sous-projet. La gouvernance devrait faire en sorte que les rôles et les responsabilités demeurent clairs et qu'ils soient assumés au fil du temps.

Recommandation 3 :

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que les recommandations subséquentes soient suivies. Les rôles et les responsabilités du SDSR, en ce qui concerne la représentation et la coordination des domaines spécialisés, sont mis à jour et renforcés.

De plus, les processus, les outils et les stratégies du SDSR utilisés pour la gestion des calendriers, des privilèges d'accès et des flux de communication, ainsi que pour l'échange et l'adoption de pratiques exemplaires, sont examinés et mis à jour.

Conception et exécution

Dans le cadre du Recensement de 2016, un certain nombre d'initiatives ont été mises en œuvre pour appuyer le calendrier de diffusion de 18 mois. Bien que des initiatives aient été mises en œuvre dans la majorité des activités post-terrain, des indications suggèrent que les mesures adoptées pour les processus de CI avaient eu la plus grande incidence sur les échéanciers.

En ce qui concerne le Recensement de 2021, le programme vise à déterminer en ce moment d'autres gains d'efficience au sein des activités post-terrain au moyen de nombreux canaux, dont la Consultation sur la diffusion du recensement, le GT sur l'organigramme du processus, le GT sur les tableaux de base, le GT sur la diffusion accélérée et le GT sur le processus de codage. Pour un calendrier de diffusion accélérée (toutes les diffusions principales étant complétées en moins de 18 mois après le jour du recensement), la stratégie de diffusion et les activités de codage semblent présenter le plus grand potentiel.

On a cerné un certain nombre de risques susceptibles d'avoir une incidence sur le calendrier: les structures et les processus révisés d'attestation, le contenu supplémentaire potentiel pour le Recensement de 2021 et la capacité en matière de systèmes et de ressources humaines.

Recommandation 4 :

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que la recommandation subséquente soit suivie. Conformément au but de Statistique Canada, qui consiste à s'efforcer continuellement de diffuser des données selon un échéancier plus court, on examine toutes les activités post-terrain pour déterminer des mesures permettant éventuellement de gagner du temps et, en particulier, la stratégie de diffusion et les activités de codage, car ces dernières semblent présenter le plus grand potentiel. Il faudrait également tenir compte des risques déterminés au cours de l'évaluation au moment de planifier ces activités.

Approche axée sur l'utilisateur

Divers mécanismes sont utilisés pour recueillir des renseignements sur les besoins des utilisateurs des données du recensement, tels que des consultations officielles sur le recensement, des consultations et des interactions continues avec les utilisateurs habituels effectuées par les domaines spécialisés, ainsi que des mesures Web. L'évaluation a permis de constater que les domaines spécialisés étaient d'avis qu'ils comprenaient bien les besoins des utilisateurs dans leur secteur particulier. Pendant l'évaluation, de vastes consultations sur les produits du recensement ont été planifiées et mises en œuvre dans le cadre du programme. On prévoit que les renseignements recueillis permettront d'orienter l'élaboration de la stratégie de diffusion du Recensement de 2021.

Bien que les besoins des utilisateurs soient pris en considération pendant l'élaboration de la stratégie de diffusion, d'autres facteurs sont également influents : la tradition (par exemple, concevoir les mêmes produits que la dernière fois) et les contraintes internes (systèmes, ressources et accessibilité). Pour la stratégie de diffusion de 2021, les GT, tels que le GT sur les tableaux de base, mobilisent diverses divisions au sein de Statistique Canada afin de déterminer les tableaux qui seraient requis pour chaque cycle (par exemple, en vertu des exigences législatives).

Compte tenu de l'ampleur et de la quantité de renseignements disponibles, analyser ces derniers en totalité et en même temps afin d'avoir une vue d'ensemble des utilisateurs et de leurs besoins représente un défi considérable (contenu, types et formats de produits, utilisations et moment des diffusions). L'évaluation n'a pas permis de constater que des renseignements intégrés étaient produits pour soutenir l'élaboration d'une stratégie de diffusion et l'établissement des priorités relatives à cette dernière.

Recommandation 5 :

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, devrait s'assurer que la recommandation subséquente soit suivie. Il faut effectuer une analyse détaillée et intégrée des besoins des utilisateurs. Par exemple, on pourrait créer des profils d'utilisateur fondés sur les multiples sources de renseignements déjà disponibles. La stratégie de diffusion pour 2021 devrait être guidée par les résultats et les conclusions d'une telle analyse et tenir compte des risques cernés au cours de l'évaluation.

Enfin, bien que les recommandations aient été divisées entre les trois thèmes traités par l'évaluation (la gouvernance, la conception et l'exécution, ainsi que l'approche axée sur l'utilisateur), il est essentiel de noter que ces derniers sont étroitement liés. Par exemple, l'adoption d'un calendrier de diffusion accélérée doit tenir compte de facteurs comme les renseignements sur les besoins des utilisateurs, le contenu du Recensement de 2021, les systèmes de technologie de l'information et la capacité en ressources humaines. En raison de l'interdépendance de chacun de ces thèmes et des recommandations sous-jacentes, une vision intégrée devrait être adoptée au moment d'élaborer les mesures à prendre et les plans d'action en matière de gestion afin de donner suite aux recommandations.

Réponse de la direction et plan d'action

Gouvernance

Recommandation 1 :

En ce qui a trait aux révisions institutionnelles, on examine et adapte la gouvernance, les rôles et les responsabilités, ainsi que les processus pour s'assurer qu'il y a clarté et que les révisions adhèrent à la politique. Cette mesure devrait également prévoir un modèle d'approbation plus efficace. En outre, il faudrait mettre sur pied une approche pour que la haute direction puisse approuver plus tôt la stratégie de diffusion.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Une nouvelle stratégie de diffusion sera élaborée pour le Programme du Recensement de 2021 et présentée au CDR. Nous nous inspirerons des leçons tirées de l'expérience de 2016 et des résultats de la présente évaluation pour procéder à l'examen et à l'ajustement des processus connexes ayant trait à l'examen des extrants analytiques destinés aux diffusions officielles.

La stratégie d'examen des documents analytiques avant la diffusion comprendra des responsabilités et des processus de gouvernance clairs pour l'examen des extrants analytiques. Cela concorde avec les politiques et les directives de Statistique Canada en matière d'examen des documents analytiques et de diffusion officielle.

Le BGR documentera la nouvelle stratégie de diffusion. La stratégie sera approuvée par le CDR. Le SDSR sera chargé de l'élaboration et de la documentation du processus d'examen des documents analytiques.

Livrables et échéanciers

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, présentera :

• une stratégie pour l'examen des documents analytiques avant la diffusion (décembre 2019);
• la version définitive de la stratégie de diffusion (mars 2020).

Recommandation 2 :

Les rôles et les responsabilités des secteurs (dont la Direction des communications et de la diffusion, le SDSR, la DOR et les domaines spécialisés) prenant part au Sous-projet de la diffusion sont précisés et mis à jour pour assurer l'exécution efficace et efficiente du Sous-projet. La gouvernance devrait faire en sorte que les rôles et les responsabilités demeurent clairs et qu'ils soient assumés au fil du temps.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Conformément à la nouvelle stratégie de diffusion, les livrables, les processus de production ainsi que des rôles et responsabilités clairs seront définis et documentés.

Les chartes de projet tiendront compte des livrables relatifs à la stratégie au niveau du programme, de même que pour chaque sous-projet en cause (p.ex. SDSR, Diffusion, RA/GEO, Communications du recensement).

Le BGR documentera les livrables au niveau du programme, comme la stratégie de diffusion et la charte de projet. Les responsables de chaque sous-projet documenteront la charte de leur sous-projet respectif.

Livrables et échéanciers

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, présentera :

• les chartes de projet (y compris les chartes de sous-projet) (décembre 2019);
• la version définitive de la stratégie de diffusion (mars 2020).

Recommandation 3 :

Les rôles et les responsabilités du SDSR, en ce qui concerne la représentation et la coordination des domaines spécialisés, sont mis à jour et renforcés.

De plus, les processus, les outils et les stratégies du SDSR utilisés pour la gestion des calendriers, des privilèges d'accès et des flux de communication, ainsi que pour l'échange et l'adoption de pratiques exemplaires, sont examinés et mis à jour.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Les processus relatifs à l'exécution de diverses activités post-collecte, de même qu'à la définition et à la production de divers extrants de la diffusion impliquent de multiples sous-projets, et les domaines spécialisés ont un rôle de premier plan à jouer dans la majorité de ceux-ci. Les rôles et responsabilités feront l'objet d'un examen pour ces domaines spécialisés afin de simplifier les pratiques de travail au besoin. Les responsabilités connexes du SDSR et des domaines spécialisés seront clairement définies et convenues avec les domaines spécialisés. Lorsque le SDSR conserve un rôle de coordination avec les domaines spécialisés, des outils et des processus seront mis en place en vue d'automatiser et de coordonner les calendriers et d'assurer l'optimisation de l'expertise du domaine spécialisé, de même que sa coordination et sa disponibilité, selon les besoins.

Le BGR documentera la charte de projet. Le SDSR documentera la charte de son sous-projet et élaborera le calendrier.

Livrables et échéanciers

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, présentera :

• les chartes de sous-projet des sous-projets visés (décembre 2019);
• un calendrier coordonné (mars 2020).

Conception et exécution

Recommandation 4 :

Conformément au but de Statistique Canada, qui consiste à s'efforcer continuellement de diffuser des données selon un échéancier plus court, on examine toutes les activités post-terrain pour déterminer des mesures permettant éventuellement de gagner du temps et, en particulier, la stratégie de diffusion et les activités de codage, car ces dernières semblent présenter le plus grand potentiel. Il faudrait également tenir compte des risques déterminés au cours de l'évaluation au moment de planifier ces activités.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Une nouvelle stratégie de diffusion sera élaborée pour le Programme du Recensement de 2021 et présentée au CDR. Les divers processus rattachés aux activités post-terrain seront soumis à un examen conformément à la pertinence et au calendrier. Cet examen permettra de détecter et d'atténuer les risques.

Il comprendra les documents pertinents sur les questions en suspens relatives à l'examen des fichiers de processus dans JIRA et aux risques majeurs saisis dans le registre des risques du Programme du recensement.

Livrables et échéanciers

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, présentera :

• les documents pertinents sur les questions en suspens (décembre 2019);
• le registre des risques du Programme du recensement (décembre 2019);
• la version définitive de la stratégie de diffusion (mars 2020).

Approche axée sur l'utilisateur

Recommandation 5 :

Il faut effectuer une analyse détaillée et intégrée des besoins des utilisateurs. Par exemple, on pourrait créer des profils d'utilisateur fondés sur les multiples sources de renseignements déjà disponibles. La stratégie de diffusion pour 2021 devrait être guidée par les résultats et les conclusions d'une telle analyse et tenir compte des risques cernés au cours de l'évaluation.

Réponse de la direction

La direction est d'accord avec la recommandation formulée.

Une nouvelle stratégie de diffusion, élaborée pour le Programme du Recensement de 2021, présentera le processus en détail afin de préciser les besoins des utilisateurs, et sera soumise au CDR. La stratégie se fondera sur une segmentation des utilisateurs et une clarification des principaux besoins des utilisateurs de chaque segment. Cet examen permettra de détecter et d'atténuer les risques.

Les domaines spécialisés et le SDSR fourniront des renseignements sur les besoins des utilisateurs selon les relations et les réseaux externes créés par les spécialistes, en plus de renseignements recueillis dans les commentaires des utilisateurs à l'aide du questionnaire électronique et dans le cadre de rencontres individuelles.

Il comprendra les documents pertinents sur les questions en suspens relatives à l'examen des fichiers de processus dans JIRA et aux risques majeurs saisis dans le registre des risques du Programme du recensement.

Le BGR documentera la nouvelle stratégie de diffusion. L'EPR se charge des questions en suspens et des risques.

Livrables et échéanciers

Le SCA, Secteur 7, en collaboration avec le SCA, Secteur 8, présentera :

• les documents pertinents sur les questions en suspens (décembre 2019);
• le registre des risques du Programme du recensement (décembre 2019);
• un rapport de consultation sur la diffusion (décembre 2019);
• la version définitive de la stratégie de diffusion (mars 2020).

Le rapport en bref

Le présent rapport soumet les résultats de l'évaluation du Programme de la statistique de la fabrication, du commerce de gros, du commerce de détail et des industries de services (PSFCGCDIS). L'évaluation, menée par la Division de l'évaluation de Statistique Canada, couvre la période de 2012-2013 à 2016-2017 et, dans une certaine mesure, celle de 2017-2018. L'évaluation a porté sur la pertinence et le rendement du programme, conformément aux exigences de la Politique sur les résultats du Secrétariat du Conseil du Trésor (2016). L'évaluation a également porté sur des domaines d'intérêt particuliers du programme pour faciliter la prise de décisions, la responsabilisation et l'amélioration.

Le PSFCGCDIS est responsable de l'apport de renseignements statistiques et de conseils sur les secteurs du commerce, de la fabrication et des services, à l'intention des gouvernements, des organismes privés et des établissements institutionnels. Le programme vise à permettre à la population canadienne et aux secteurs public et privé d'avoir accès à des renseignements statistiques de qualité et aux services de soutien connexes afin d'éclairer le débat public, la recherche et la prise de décisions.

Principales constatations

Le PSFCGCDIS concorde bien avec les rôles et responsabilités du gouvernement fédéral, ses priorités et les objectifs de Statistique Canada. Les activités de ce programme soutiennent les priorités du gouvernement en matière de croissance économique et d'innovation, en plus de fournir d'importantes données pour le calcul du produit intérieur brut (PIB), un indicateur qui sert à évaluer la santé de l'économie.

Il apparaît nettement que le PSFCGCDIS répond à un besoin permanent. Les renseignements statistiques du programme servent à divers besoins et à un vaste éventail d'utilisateurs. Le programme est considéré comme une source fiable de renseignements et, bien qu'il existe certaines sources d'information complémentaires, on n'en trouve aucune autre équivalente. Des consultations auprès d'utilisateurs externes permettent au programme d'être à jour, ce qui contribue à combler les besoins actuels et émergents des utilisateurs, même si les participants ont dit qu'il y aurait plus à faire pour les tenir au courant. L'évaluation a permis de détecter des lacunes, notamment en ce qui concerne l'envergure, l'accès, la fréquence, le niveau de détail et l'actualité. Plusieurs initiatives sont en cours pour combler une partie de ces lacunes.

L'évaluation a révélé que les renseignements statistiques du PSFCGCDIS étaient habituellement jugés accessibles, exacts, cohérents et intelligibles, malgré les possibilités d'amélioration présentes dans chaque facette. La plupart des répondants à l'enquête et des personnes interviewées se disaient plutôt satisfaits de la qualité de leurs données personnalisées et de la capacité de réponse des secteurs de services de soutien une fois qu'ils avaient pu joindre la bonne personne.

L'actualité est la facette de la qualité qui présente certains problèmes. Bien que les utilisateurs se soient montrés très intéressés à obtenir l'information plus tôt, surtout celle sur l'enquête mensuelle sur le commerce de détail, la plupart n'étaient pas prêts à sacrifier l'exactitude pour améliorer l'actualité. Ils préféraient que la situation demeure la même. L'évaluation a révélé qu'il existait sans doute des possibilités d'améliorer l'actualité en réduisant les renseignements analytiques connexes à chaque diffusion, à condition de donner de l'information sur la cohérence et de préciser les changements apportés à la méthodologie. Enfin, il pourrait y avoir des possibilités d'améliorer l'actualité au moyen du processus de diffusion.

Dans l'ensemble, les preuves démontraient que la gestion des ressources financières s'avérait difficile en raison de changements dans les activités et les ressources du programme durant la période de l'évaluation. En effet, un certain nombre de mesures ont été prises durant cette période en vue de réduire les coûts et d'augmenter l'efficience opérationnelle. L'adoption d'outils communs sera porteuse de bienfaits et d'efficience à long terme, mais la période de transition a eu des répercussions sur la capacité à maintenir la qualité et sur la charge de travail des employés. En règle générale, une saine gestion et une bonne surveillance semblent être exercées, même s'il était possible d'intégrer davantage d'activités et de mieux orienter le personnel.

Recommandations

Recommandation 1 : Lacunes en matière de données

L'évaluation a révélé que des relations efficaces sont entretenues avec les utilisateurs et les partenaires du programme et que les lacunes du programme sont ainsi bien comprises. Des consultations exhaustives ont eu lieu pendant la période d'évaluation, et les renseignements recueillis ont été utilisés pour élaborer des plans visant à combler autant de lacunes que possible dans les limites des ressources allouées.

Il est recommandé que les plans tiennent compte des principales lacunes suivantes :

• Commerce électronique et nouvelle économie — il faut adopter une démarche à l'échelle de l'organisme, puisque le sujet s'étend à plusieurs programmes. Malgré les efforts actuellement déployés dans plusieurs secteurs, il y a un manque de coordination, les rôles et responsabilités ne sont pas clairs et la haute direction doit s'investir davantage.
• Niveau de détail plus élevé — au fil du temps, les utilisateurs ont constaté une perte de détail. Le PSFCGCDIS doit poursuivre son travail avec des partenaires et des intervenants clés (internes et externes) pour examiner de nouvelles solutions à cette situation.
• Données sur les services — alors que les services occupent une place prépondérante dans l'économie, les renseignements statistiques à leur sujet sont plutôt limités. Il est recommandé de veiller à ce que le PSFCGCDIS examine les possibilités d'accroître la fréquence de ses enquêtes et l'étendue des services couverts.

Dans l'examen de ces lacunes, le programme doit continuer d'appliquer une solide démarche axée sur les utilisateurs.

Recommandation 2 : Actualité

Les résultats étaient partagés par rapport au degré de satisfaction à l'égard de l'actualité des diffusions (82 % des répondants de l'enquête et 55 % des personnes interviewées étaient satisfaits des délais actuels de diffusion). À la présentation de divers scénarios sacrifiant l'exactitude au profit de l'actualité, les utilisateurs ne tenaient pas, en général, à renoncer à l'exactitude (plus de la moitié préférant le statu quo). Certains utilisateurs ont mentionné être prêts à accepter une perte de qualité pour obtenir des renseignements plus actuels durant les saisons de pointe (p. ex. données sur le commerce de détail dans la période de Noël).

Il est recommandé que le PSFCGCDIS :

• passe en revue son processus relatif aux diffusions pour que les délais soient les plus courts possible, en tenant compte d'autres objectifs importants comme la pertinence et l'exactitude; il faudra, entre autres, examiner la possibilité de réduire l'analyse contextuelle pour améliorer l'actualité, et cibler et coordonner l'établissement des dates de diffusion;
• procède à une consultation exhaustive auprès de ses principaux utilisateurs avant de prendre toute mesure visant à améliorer l'actualité qui aurait une incidence sur l'exactitude.

Recommandation 3 : Établissement des priorités

Le PSFCGCDIS tente actuellement de combler les lacunes et les besoins mentionnés durant des consultations antérieures et de s'adapter au programme de modernisation et à d'autres initiatives de l'organisme. Ces activités s'ajoutent au programme régulier prévu dans son mandat.

Il est recommandé que, au cours de cette période de transition, la direction du PSFCGCDIS donne à ses employés plus de précisions sur les priorités.

Recommandation 4 : Sensibilisation et services à la clientèle

Étant donné l'évolution rapide du programme et le grand éventail d'utilisateurs, il est impératif que le PSFCGCDIS maintienne des liens solides avec ses utilisateurs et procède activement à la promotion de ses renseignements statistiques. L'évaluation a permis de prouver la présence d'activités de sensibilisation continues, mais peu de traces d'un élément stratégique, comme un plan écrit.

Les services à la clientèle constituent un important point de contact avec les utilisateurs. Durant les conversations avec les personnes interviewées à propos des services d'accès et du recouvrement des coûts, plusieurs ont souligné que les services à la clientèle pourraient être améliorés. Ils ont parlé plus précisément du fait que le niveau et la qualité de la réactivité manquaient de constance (p. ex. capacité de réponse moindre en périodes de pointe).

Il est recommandé que le PSFCGCDIS :

• élabore et applique un plan de sensibilisation complet, fondé sur des renseignements obtenus dans le cadre des consultations et de la part du personnel et d'autres partenaires concernés (internes et externes); le plan doit comporter des mécanismes de communication continue avec les utilisateurs pour les informer de l'évolution du programme et les sensibiliser davantage;
• prépare une stratégie visant à renforcer la prestation des services à la clientèle.

1. Contenu

Cette évaluation a été réalisée conformément à la Politique sur les résultatsdu Secrétariat du Conseil du Trésor(2016) et au Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2017-2018 à 2021-2022). Son principal objectif consistait à faire un examen neutre et fondé sur des données probantes de la pertinence et du rendement du Programme de la statistique de la fabrication, du commerce de gros, du commerce de détail et des industries de services (PSFCGCDIS) pour faciliter la prise de décisions, la responsabilisation et l'amélioration. L'évaluation portait sur des activités entreprises de 2012-2013 à 2016-2017 et, dans une certaine mesure, en 2017-2018. Il s'agit de la première évaluation du programme.

Le programme

Le PSFCGCDIS a pour mandat de fournir un ensemble de données fiables, pertinentes et exhaustives sur les secteurs de la fabrication, du commerce de gros, du commerce de détail et des services afin d'éclairer le débat public concernant les enjeux économiques, d'appuyer l'élaboration, la mise en œuvre et l'évaluation des politiques économiques, et de guider les entreprises dans leurs décisions. Les dépenses totales du PSFCGCDIS sur une période de 5 ans (2012-2013 à 2016-2017) s'élèvent à environ 127 millions de dollars.

La Division de la fabrication et du commerce de gros (DFCG) et la Division du commerce de détail et des industries de service (DCDIS) sont les deux divisions chargées de la compilation, de l'analyse et de la diffusion d'une grande variété de statistiques exhaustives et intégrées qui dépeignent la production, les ventes, les activités financières et les types de produits des secteurs de la fabrication, du commerce de détail, du commerce de gros et des services au Canada.

L'évaluation

À la suite de conversations entre le PSFCGCDIS et la haute direction, les sept secteurs suivants ont été retenus pour faire l'objet d'un examen dans le cadre de l'évaluation :

• Pertinence et capacité de réponse aux besoins
  1. Concordance avec les rôles et responsabilités du gouvernement fédéral, ses priorités et ses objectifs
  2. Besoin continu du programme
  3. Capacité de réponse aux besoins des utilisateurs
• Rendement : efficacité
  4. Qualité — accès, exactitude, cohérence et intelligibilité
  5. Qualité — actualité
• Rendement : efficience
  6. Utilisation des ressources
  7. Efficience

Guidées par une approche d'évaluation axée sur l'utilisation, les méthodes de collecte quantitatives et qualitatives suivantes ont été utilisées :^{Note de bas de page 1}

Le programme a aussi demandé un examen plus approfondi des quatre sujets suivants :

• équilibre entre actualité et exactitude;
• fréquence accrue de l'Enquête sur les marchandises vendues au détail;
• diffusion rapide des grandes enquêtes annuelles du programme (Enquête annuelle sur les industries manufacturières et de l'exploitation forestière, Enquête annuelle sur le commerce de détail, Enquête annuelle sur le commerce de gros);
• réduction des analyses contextuelles pour accélérer la parution.

2. Leçons apprises

2.1. Concordance avec les rôles et responsabilités du gouvernement fédéral, ses priorités et ses objectifs

Comme le stipule la Loi sur la statistique, Statistique Canada doit « recueillir, compiler, analyser, dépouiller et publier des renseignements statistiques portant sur les activités commerciales, industrielles, financières, sociales, économiques et générales de la population canadienne et sur l'état de celle-ci^{Note de bas de page 2} ». Selon cette Loi, Statistique Canada doit aussi « favoriser et mettre au point des statistiques sociales et économiques intégrées concernant l'ensemble du Canada et chacune des provinces, et coordonner des projets pour l'intégration de telles statistiques^{Note de bas de page 3}. » La Loi mentionne précisément des sujets comme la fabrication, le commerce de gros et le commerce de détail^{Note de bas de page 4}.

Les données tirées du PSFCGCDIS sont absolument nécessaires pour le calcul du produit intérieur brut (PIB). Le programme comprend 15 des 24 secteurs faisant partie du Système de classification des industries de l'Amérique du Nord (SCIAN). En tant que facteur important pour le calcul du PIB, le PSFCGCDIS soutient également l'engagement constitutionnel du gouvernement fédéral et du Parlement de verser des paiements de péréquation aux provinces et aux territoires^{Note de bas de page 5}. Les calculs annuels des paiements de péréquation sont faits conformément à la Loi sur les arrangements fiscaux entre le gouvernement fédéral et les provinces, qui inclut le PIB^{Note de bas de page 6}. Les renseignements statistiques du PSFCGCDIS servent en outre à établir des transferts de la taxe de vente harmonisée selon les termes des Ententes intégrées globales de coordination fiscale conclues entre le gouvernement fédéral et les provinces.

Pour traduire l'importance relative des industries couvertes par le programme, le gouvernement a pris, de 2012 à 2017, un certain nombre de mesures ciblées par l'entremise de budgets afin de stimuler la croissance. Les discours du Trône, les documents budgétaires et les lettres de mandat, par exemple, ont tous mentionné la croissance des secteurs de la fabrication et de l'exportation en tant que priorité essentielle. Le PSFCGCDIS soutient aussi le gouvernement en produisant et en diffusant des renseignements statistiques exigés en vertu d'un certain nombre d'accords internationaux, comme la Norme spéciale de diffusion des données du Fonds monétaire international.

2.2. Besoin continu du programme

L'évaluation a trouvé des preuves selon lesquelles le PSFCGCDIS constitue la principale source d'information pour la fabrication, le commerce de gros, le commerce de détail et les industries de service — tous d'importants indicateurs du rendement économique du pays. La communauté d'affaires, le gouvernement fédéral et les gouvernements provinciaux sont les principaux utilisateurs des produits du PSFCGCDIS.

Des représentants de la communauté d'affaires ont mentionné utiliser les données du PSFCGCDIS principalement pour procéder à des analyses économiques des tendances et de l'évolution de l'industrie, surtout pour comprendre et interpréter la manière dont la fabrication, le commerce de gros, le commerce de détail et les industries de service s'en sortent dans le contexte de l'économie canadienne dans son ensemble. Autre utilisation importante des données du PSFCGCDIS : la modélisation et les prévisions économétriques. Les données servent par exemple à prévoir les conséquences engendrées par des modifications aux politiques économiques dans les secteurs de l'économie concernés, ainsi qu'à prédire les ventes durant diverses périodes de vacances ou de fêtes. Enfin, certains représentants de la communauté d'affaires (notamment ceux qui représentent des sociétés-conseils et des associations commerciales) utilisent les données du PSFCGCDIS pour rédiger des rapports et des publications à l'intention de leurs clients.

Comme les utilisateurs de la communauté d'affaires, les intervenants des gouvernements fédéral et provinciaux utilisent également les données du PSFCGCDIS pour des prévisions économiques. Des représentants de gouvernements provinciaux ont dit qu'ils se servent des données du PSFCGCDIS pour calculer les estimations des comptes économiques provinciaux, produire des rapports sur les estimations du PIB provincial et estimer les dépenses des ménages de la province.

L'évaluation a en outre révélé que des distributeurs secondaires réorganisent les données CANSIM du programme dans des formats plus faciles à utiliser pour leurs clients; les établissements universitaires utilisent les données du PSFCGCDIS à des fins de recherche et les intègrent à leurs propres publications; les médias demandent et utilisent ces renseignements pour étayer des recherches et des articles précis.

Un examen des tendances sur le Web montre que c'est le gouvernement du Canada qui utilise le plus fréquemment les produits du PSFCGCDIS, Innovation, Sciences et Développement économique Canada étant l'utilisateur le plus régulier. Les données mensuelles sur le commerce de détail sont les plus souvent consultées, suivies des données mensuelles sur la fabrication, puis des données mensuelles sur le commerce de gros. Les répondants et les personnes interviewées ont dit consulter fréquemment les données du PSFCGCDIS tous les jours.

Les constatations ont aussi montré que le programme ne reproduit ou ne chevauche aucune autre source d'information. Les personnes interviewées ont mentionné que les renseignements statistiques générés par des fournisseurs commerciaux de données et d'autres organismes venaient compléter les extrants du programme et ne servaient qu'à des fins précises ou pour combler des lacunes particulières. D'autres sources d'information, comme les enquêtes menées par l'industrie et des associations professionnelles, ou des données publiées par des firmes d'études de marché ne couvrent habituellement qu'un sous-ensemble de la population du PSFCGCDIS (p. ex. données provenant de membres d'associations ou de panels, et données sur le commerce électronique). Les répondants ont aussi précisé que les données de Statistique Canada sont plus accessibles et plus fiables que celles d'autres sources d'information. Seuls quelques chercheurs ont répondu que les données de Statistique Canada leur servaient de source secondaire visant à compléter, à vérifier ou à revérifier leurs propres données.

2.3. Capacité de réponse aux besoins des utilisateurs

Les personnes interviewées ont mentionné que Statistique Canada joue un rôle de premier plan pour aider les utilisateurs à déceler les tendances émergentes et donner des éclaircissements sur la manière privilégiée de regrouper et de classer les renseignements. Le SCIAN et d'autres systèmes de classification (p. ex. Système de classification des produits de l'Amérique du Nord) sont considérés comme des obstacles n'ayant pas gardé la cadence de la nouvelle économie en évolution rapide. La documentation interne montre que la Division des normes de Statistique Canada travaille en ce moment à ce problème et que des pourparlers sont en cours avec des partenaires trilatéraux en vue de tenir plus fidèlement compte de l'économie numérique dans la prochaine révision du SCIAN, en 2022.

Dans l'ensemble, l'équipe d'évaluation a trouvé que les représentants du PSFCGCDIS comprenaient bien les besoins actuels et émergents et que plusieurs initiatives étaient en cours pour combler les lacunes mentionnées par les participants à l'évaluation.

Niveau de détail

La principale lacune mentionnée par les répondants clés concernait le niveau de détail offert. Près de 60 % des répondants de l'enquête ont exprimé leur insatisfaction à l'égard du niveau de détail, et de nombreuses personnes interviewées partageaient ce point de vue. Ils ont suggéré d'apporter des améliorations, notamment une plus grande désagrégation des niveaux à cinq et à six chiffres du SCIAN; la communication d'un plus grand nombre de données sur le commerce de détail et la fabrication à des niveaux géographiques inférieurs; la réalisation de plus d'analyses détaillées aux niveaux régional, infrarégional et inframétropolitain.

Des participants à l'évaluation ont aussi manifesté de l'inquiétude concernant les suppressions de données, dans certaines régions, pour des raisons de confidentialité. Bien que les répondants clés comprennent les motifs des suppressions de données, ils se demandent si Statistique Canada pourraient en supprimer moins.

Le programme a lancé plusieurs initiatives à la suite des consultations de 2015 relativement à la fabrication et au commerce de gros, et en 2016, pour la DCDIS. Ces initiatives comprennent entre autres :

• des estimations plus détaillées du dollar constant pour les trois enquêtes essentielles à la mission, diffusées en juillet 2018 pour le commerce de gros et plus tard, pour les autres;
• plus de données locales : depuis juin 2017, intégration de trois RMR à l'enquête mensuelle sur le commerce de détail qui couvrait 30 % des ventes totales du commerce de détail au Canada (ajout de cinq nouvelles RMR en janvier 2019); pour la fabrication, diffusion de 11 RMR en novembre 2016, et des données supplémentaires pour 12 RMR qui paraîtront en 2018-2019;
• ajout d'ajustements saisonniers plus détaillés au niveau de l'industrie dans l'Enquête mensuelle sur le commerce de gros, depuis août 2017;
• installation du logiciel G-Confid^{Note de bas de page 7} et examen des spécifications pour s'assurer de l'application du niveau adéquat de protection des cellules confidentielles et de la perte minimale d'information.

Les utilisateurs internes ont mentionné que, pour que les utilisateurs obtiennent des renseignements plus détaillés, les entreprises devraient assumer un plus lourd fardeau de réponse aux enquêtes (p. ex. longueur du questionnaire et capacité des entreprises à recueillir des renseignements). Le PSFCGCDIS comprend ce compromis et s'efforce de trouver le juste équilibre.

Commerce électronique et nouvelle économie

Les répondants ont fait mention d'une autre lacune, qui constitue en outre la tendance la plus marquée, soit le commerce électronique, qui est à la hausse et qui gagne en importance dans l'économie. Les personnes interviewées ont dit qu'il fallait mettre davantage l'accent sur le commerce électronique. Elles ont fait ressortir certains éléments, comme la création de séries relatives au commerce électronique, la classification des données sur le commerce électronique par catégorie de produit et par type de point de vente (p. ex. épiceries en ligne), la séparation des coûts d'expédition des coûts réels du commerce électronique, et la mesure dans laquelle les détaillants prennent part à l'économie numérique. Il a été précisé que de meilleures données sur le commerce électronique permettraient aux détaillants de mieux comprendre le marché (et son degré de saturation), de rivaliser pour des parts des ventes au détail et d'accorder la priorité aux marchandises destinées aux ventes en ligne par rapport à celles destinées aux ventes en personne.

Une autre lacune importante ayant été mentionnée était la mesure dans laquelle la population canadienne achète des biens en ligne à des détaillants internationaux, surtout des détaillants américains. Cette lacune fait en sorte qu'il est difficile de comprendre les retombées du commerce électronique dans l'économie canadienne. Un répondant a dit ceci : « Nous ne voyons pratiquement rien de ce qui se passe. »

Les représentants du programme sont conscients de cette lacune, mais ils font remarquer qu'ils disposent de peu d'options et que tous les pays sont confrontés aux mêmes problèmes. Au moment de l'évaluation, le programme prenait des mesures visant à accroître le nombre d'extrants liés au commerce électronique, dont certains devraient paraître en 2018. Il a été précisé que les options relatives aux données sur les transactions des ménages (entre particuliers) étaient limitées, de même que celles portant sur les questions entourant les détaillants internationaux de vente en ligne. En général, les personnes interviewées venant de l'extérieur ont reconnu que Statistique Canada est au fait de l'importance du problème et qu'il a accru la disponibilité des données sur le commerce électronique au cours des dernières années^{Note de bas de page 8}.

Définir le commerce électronique représente aussi un défi. Certaines personnes interviewées ont souligné la présence de différences dans les définitions du commerce électronique faites par Statistique Canada et d'autres organismes qui peut donner lieu à des estimations et à des prévisions extrêmement différentes quant à la proportion de ventes faites en ligne par rapport à celles aux points de vente. De plus, comme le précise un document interne, il reste encore à donner une définition commune aux divers programmes d'enquête, puisque le mot « numérique » sert parfois de synonyme aux termes « Internet » et « en ligne », ce qui cause des problèmes conceptuels dans la classification des produits et, de facto, au rapport de vente qui sera fait sur le produit numérique.

De nombreux répondants ont mentionné que les frontières entre les secteurs et les industries de l'économie deviennent de plus en plus floues. À titre d'exemple, tous les intermédiaires de la chaîne d'approvisionnement peuvent maintenant vendre directement aux consommateurs finaux au moyen du commerce électronique, les services sont jumelés aux extrants manufacturés et les entreprises diversifient leurs produits et services, ce qui les rend plus difficiles à distinguer et à classifier. Certaines épiceries servent par exemple des aliments et des boissons qui ressemblent en bien des façons à ceux d'un restaurant (« épiceries-restaurants »), et d'autres vendent aussi des vêtements.

Les représentants du programme font remarquer que les frontières nébuleuses entre les secteurs ont toujours existé, mais elles sont devenues plus marquées avec la croissance de l'industrie des services et l'utilisation de la numérisation. Le PSFCGCDIS travaille à la comparaison des données provenant des divers secteurs (fabrication, commerce de gros et commerce de détail) et à la révision continuelle du registre des entreprises pour que les entreprises y soient classées avec exactitude. Cependant, malgré ces efforts, les limites demeurent. Certains représentants du programme ont proposé la réalisation d'analyses multidisciplinaires, par industrie, et la création de tableaux connexes en ligne qui intégreraient les trois secteurs, mais il faudrait y injecter des ressources.

Une autre tendance évoquée concerne la manière dont l'expansion de la numérisation crée de nouveaux produits et services, comme les marchés en ligne (p. ex. eBay et Amazon), la publication numérique, la diffusion de données en continu (p. ex. Netflix), ainsi que des produits et services générés par les ménages (p. ex. Uber, Airbnb, vlogeurs). Plusieurs facteurs — comme le cadre et les outils statistiques disponibles pour évaluer le nombre de transactions des ménages (entre particuliers), l'organigramme des entreprises qui exploitent des plateformes électroniques, et les lois canadiennes — entravent la capacité à évaluer l'économie du partage dans son ensemble. On s'entend généralement sur le fait que le commerce numérique constitue une lacune à combler. Statistique Canada a pris de nombreuses initiatives pour corriger la situation, notamment la tenue d'une enquête à réponse rapide auprès des ménages canadiens sur leur usage des plateformes et des technologies numériques, et la création d'un nouveau compte économique de l'économie numérique. La Division de l'investissement, des sciences et de la technologie (DIST) compte en outre lancer une Enquête canadienne sur l'utilisation d'Internet qui couvrira une partie de ces éléments.

En règle générale, il semble que cette question requiert une plus grande cohésion au sein de Statistique Canada. Lorsque l'équipe d'évaluation a parlé des soucis soulevés par le commerce électronique et la nouvelle économie avec les représentants du programme, elle n'a pu dégager aucune réponse précise. Bien que tous conviennent de l'importance de la lacune et font référence à plusieurs mesures spéciales et initiatives prises à ce jour, il ne semble y avoir aucune vision précise ni aucune démarche coordonnée. Cela pourrait s'expliquer par le fait que les divisions des statistiques économiques de Statistique Canada s'organisent principalement autour de l'industrie, ce qui ne laisse en soi aucune place au sujet. En 2016, la DIST, qualifiée par beaucoup comme l'expert interne en matière de commerce électronique, a formé le Comité spécialisé de la statistique de l'économie numérique afin d'améliorer les échanges de renseignements entre les divisions qui travaillent sur l'économie numérique. Il a été souligné que, depuis sa création, le comité ne s'est réuni qu'à six reprises, et que peu de ses membres y ont assisté. De nombreux participants ont convenu qu'il fallait plus d'implication et d'engagement de la part de la haute direction pour créer plus de synergies, accroître la sensibilisation au sein des différentes divisions et renforcer la responsabilisation des divisions afin d'assurer un effort de collaboration sur la question du commerce numérique^{Note de bas de page 9}.

Autres tendances et besoins

Les répondants ont souligné, entre autres tendances, les changements survenus dans l'industrie des services alimentaires (options de livraison d'aliments par des tiers et entreprises de repas-minute de meilleure qualité, comme Freshii), la croissance de l'économie « circulaire » faisant intervenir la revente et la réutilisation des biens, les conséquences de la légalisation du cannabis et l'impact de la fluctuation du prix de l'essence sur les données relatives aux ventes au détail. Les personnes interviewées ont aussi parlé de la nécessité de saisir les répercussions de la conjoncture politique sur les ventes dans le domaine de la fabrication, notamment les négociations liées à l'ALENA et autres accords commerciaux.

Certaines personnes interviewées ont mentionné le changement d'utilisation de l'espace de vente au détail au nombre des tendances émergentes. Il est devenu impossible de prévoir comme avant les ventes au détail physiques; de grands détaillants libèrent de l'espace, cet espace traditionnellement réservé à la vente au détail servant de plus en plus à la prestation des services. Ce phénomène a fait augmenter le besoin d'obtenir plus de détails sur les taux de vacances dans le secteur de l'immobilier commercial, notamment des données sur le nombre de magasins disponibles par emplacement géographique, le prix et les ventes par pied carré.

Enfin, les répondants clés ont dit que les changements technologiques sont une tendance importante. Des données sur la main-d'œuvre, l'emploi et la productivité sont nécessaires. On a aussi fait remarquer le manque de compréhension quant au mode d'utilisation de ces technologies, leurs utilisateurs^{Note de bas de page 10} et leurs répercussions sur l'économie (p. ex. technologies liées à la chaîne de blocs et cryptomonnaies).

Services

Presque tous les utilisateurs de services de données sont d'avis qu'il faudrait apporter plus d'améliorations. Les utilisateurs de données ont massivement signalé que bien que les services occupent une place prépondérante dans l'économie, les renseignements statistiques à leur sujet sont plutôt limités. Voici quelques-unes des lacunes précises mentionnées :

• renseignements sur les industries, comme les services de soins personnels (p. ex. services d'optométrie, salons de coiffure, salons de massage, centres de conditionnement physique, gymnases) et services de soins de santé;
• plus de renseignements (historiques et actuels) sur le commerce des services intrasectoriel et intersectoriel;
• plus de désagrégation régionale et infrarégionale (p. ex. pour faciliter l'atteinte de cibles mentionnées dans les plans de croissance provinciaux), de données métropolitaines (tourisme) et plus de catégories et sous-catégories de l'industrie (p. ex. sous-catégorie dans le classement des restaurants qui couvrirait les restaurants décontractés à service rapide; précisions sur la distinction entre sociétés d'ingénierie, d'architecture et autres);
• plus grande désagrégation par taille et par type de société (p. ex. en fonction du type de restaurant, à savoir s'il fait ou non partie d'une chaîne);
• statistiques financières et autres dans l'enquête annuelle sur les services de restauration et de débits de boissons (p. ex. nombre d'années d'exploitation, ventes par siège, superficie en pieds carrés du restaurant, nombre de plats servis, filiale d'une franchise, facture moyenne par client, nombre de permis d'alcool).

Les améliorations relatives à l'accès, à la fréquence et à l'actualité ont également été soulevées. En ce qui a trait à l'accès, nombreux sont ceux qui consultent Le Quotidien en tant que point d'entrée. Ils estiment que Le Quotidien pourrait diffuser plus souvent des renseignements sur l'industrie des services et qu'il serait judicieux de consacrer une page Web à ce sujet. Un regroupement des données sur les services et des diffusions importantes rendrait les renseignements plus visibles pour les utilisateurs potentiels.

La fréquence des données est aussi jugée inadéquate; des parutions semestrielles seraient souhaitées. Des utilisateurs internes ont mentionné que des parutions plus fréquentes des données procureraient des intrants de meilleure qualité pour des estimations comme le PIB. L'évaluation a révélé que dans le passé, Statistique Canada avait généré des indicateurs trimestriels des services, mais personne n'était en mesure de parler de la qualité de ces produits. Une des solutions de rechange proposées consistait à diffuser un produit de services intégré, à l'instar de celui des États-Unis.

Consultations et sensibilisation

L'évaluation a constaté que les représentants du PSFCGCDIS demeuraient habituellement en contact au moyen des conférences; des conversations officielles et non officielles avec les principaux utilisateurs (c.-à-d. clients provinciaux et fédéraux, clients auprès de qui les coûts sont recouvrés et grandes associations) et leurs homologues américains; des visites d'entreprises; des groupes de travail et des comités interministériels dirigés par Statistique Canada ou par d'autres ministères, comme Patrimoine Canada, chargé de ceux sur la culture.

Un examen des documents et des entrevues internes a montré que des initiatives comme l'analyse environnementale de la fabrication et du commerce de gros réalisée en 2015, le groupe d'experts sur le commerce de détail de 2016 et la table ronde culturelle de 2018 correspondaient aux formules les plus efficaces pour définir les besoins. Comme il est précisé dans les sections précédentes, la majorité des initiatives entreprises par le programme pour combler les lacunes découlaient de ces vastes consultations. Bien que certains représentants du programme estiment qu'il s'agit des meilleures formules, ces types de consultations conviennent mieux aux situations où les utilisateurs et les associations sont bien connus. Ces formules sont moins efficaces lorsqu'il s'agit de consulter des utilisateurs non représentés par de grandes associations de l'industrie (p. ex. industries de services).

Certaines personnes interviewées ont dit que l'objectif, les attentes et les résultats des consultations devraient être mieux précisés. Il faudrait par exemple organiser des comptes rendus après les consultations. Pour terminer, certains répondants ont mentionné que les consultations constituaient une occasion de les sensibiliser davantage aux produits, surtout ceux qui ne sont pas offerts sur le site Web.

Tous les répondants internes ont fait état d'une excellente collaboration et de communications bilatérales efficaces avec le PSFCGCDIS. La plupart des intervenants externes ayant été interviewés ont exprimé un degré élevé de satisfaction à l'égard du processus de consultation et ils avaient le sentiment que leurs préoccupations avaient été prises au sérieux. Ceux qui ont participé aux consultations convenaient qu'une grande variété d'intervenants avaient été réunis et que l'animation des discussions était efficace. Toutefois, ils ont commenté le fait qu'il aurait pu y avoir plus de représentants invités, comme des détaillants, par opposition aux personnes qui surveillent le commerce de détail. Selon l'enquête, 19 % des répondants qui n'avaient jamais pris part à une consultation étaient prêts à y participer et à collaborer avec Statistique Canada.

On a aussi suggéré que Statistique Canada communique régulièrement avec des utilisateurs pour s'assurer qu'ils sont au courant de la disponibilité des données (c.-à-d. nouveaux produits et services). L'évaluation a trouvé peu de traces de plans ou de démarches formelles de relations stratégiques externes^{Note de bas de page 11}; les activités semblaient plutôt se rattacher à des plans de voyage ou de conférence. La seule exception décelée concernait un plan de communication dans le secteur du commerce de gros qui remontait à quelques années. Selon ce plan, la division du commerce de gros a tenu une séance publique de questions et réponses d'une journée. Plusieurs activités ont eu lieu durant la période, notamment une séance Parlons statistique, un événement intitulé « Les données et leur histoire », une séance de clavardage avec un expert et quelques visites d'entreprises. Des activités limitées ont été menées par la suite, en raison d'autres priorités. De plus, il existe peu de preuves d'un travail concerté de représentants du programme avec des bureaux régionaux et le Service de renseignements statistiques en vue de les informer sur leurs produits.

2.4. Qualité — accès, exactitude, cohérence et intelligibilité

Dans l'ensemble, les preuves démontraient que les renseignements statistiques du PSFCGCDIS étaient jugés accessibles, exacts, cohérents et intelligibles. Il y a toutefois eu des suggestions quant à la manière possible de les améliorer.

Accès

Site Web

Les renseignements statistiques présentés sur le site Web sont en règle générale jugés accessibles une fois que les utilisateurs se sont familiarisés avec le site. Les problèmes rencontrés avec le site Web comprennent une mauvaise navigation, de la difficulté à trouver des renseignements particuliers, des problèmes techniques avec le site Web et avec le téléchargement de données, de même que des difficultés entourant la manipulation de tableaux CANSIM^{Note de bas de page 12}. Deux suggestions portaient plus particulièrement sur la publication des dates de diffusion des enquêtes autres que mensuelles et l'ajout de renseignements sur la disponibilité de fichiers de microdonnées. Sur une note positive, certains répondants clés ont reconnu les améliorations apportées au site Web ces dernières années.

Services à la clientèle

De façon générale, la plupart des répondants à l'enquête et des personnes interviewées se disaient très satisfaits de la qualité de leurs données personnalisées et de la capacité de réponse des secteurs de services de soutien une fois qu'ils avaient pu joindre la bonne personne. Des utilisateurs réguliers ont souligné que le niveau de service offert par différentes parties de l'organisme n'était pas uniforme et que parfois, ils avaient connu de longs délais d'exécution.

Certains utilisateurs réguliers des produits personnalisés sont d'avis que la disponibilité des renseignements dépend de la personne à qui ils parlent dans l'organisme. Ils ont donné des exemples de situations où leurs demandes avaient d’abord été refusées, puis approuvées. Des personnes interviewées ont aussi fait état d'une diminution du niveau de connaissance du programme et des connaissances concernant les demandes antérieures. Pour ces raisons, certaines d'entre elles ont évité de recourir aux sous sections du service à la clientèle (et à la ligne de contact principale) et ont plutôt cherché à joindre directement des personnes dans les divisions spécialisées.

Des représentants du programme ont dit que, selon le moment de la soumission d'une demande, la capacité pourrait poser un problème. Il pourrait être difficile de répondre à des demandes au moment de diffusions majeures, par exemple, ou lorsque les demandes exigent le recours à une quantité importante de ressources. Cette affirmation est confirmée par des clients externes qui ont remarqué que la capacité de réponse était parfois inégale, certaines demandes étaient retardées ou restaient sans réponse. En règle générale, les principales raisons pour ne pas répondre à des demandes, selon les représentants du programme, reposent sur des soucis de qualité ou de confidentialité.

L'évaluation a montré qu'une préparation proactive des diffusions pourrait faciliter la gestion de certaines demandes. Dans la DFCG, par exemple, qui reçoit un grand nombre de demandes de données détaillées, le groupe de diffusion crée à l'avance des tableaux qui tiennent compte de l'exactitude et de la confidentialité. Grâce à ces tableaux, le groupe de diffusion peut omettre l'analyse nécessaire pour savoir s'il est possible de transmettre les renseignements statistiques. La capacité de réponse est donc renforcée, car les clients n'ont plus à passer par l'étape de préévaluation.

Pour terminer, des répondants clés et des représentants du programme ont dit que le coût constitue aussi un obstacle pour les produits personnalisés et les enquêtes à frais recouvrables. Au cours des dernières années, le programme a fait état de la perte de certaines enquêtes à frais recouvrables. D'autres raisons invoquées étaient la confidentialité et des délais d'exécution trop longs.

Exactitude

La vaste majorité des répondants à l'enquête se sont dits satisfaits ou très satisfaits de l'exactitude des données (88,5 %). Ce niveau de satisfaction est aussi confirmé durant les entrevues, où la majorité des personnes ont dit que l'exactitude était grande ou, au moins, qu'elle convenait à leurs besoins. Un examen des indicateurs d'exactitude réalisé de 2015 à 2017 a montré que le programme atteignait convenablement ses cibles (tableau 1).

De plus, la majorité des répondants à l'enquête (75,4 %) et des personnes interviewées ont dit que les taux de révision actuels des enquêtes mensuelles essentielles au mandat étaient acceptables. Les personnes interviewées sont d'avis que les modifications sont mineures et que, dans la majorité des cas, elles n'ont aucun effet sur le récit.

Malgré une satisfaction générale à l'égard de l'exactitude, les répondants ont exprimé quelques inquiétudes quant à la variabilité des estimations à des niveaux de détail inférieurs. Des répondants (externes et internes) ont posé des questions sur la fiabilité des estimations annuelles depuis la mise en œuvre du Programme intégré de la statistique des entreprises (PISE), en 2013. L'évaluation a révélé que malgré un niveau d'exactitude maintenu généralement à l'intérieur des cibles durant la mise en œuvre, on observe un certain déclin. L'imputation de données pour les établissements a aussi été remise en question par des utilisateurs internes, surtout en ce qui a trait aux petites entités. Durant les conversations avec des représentants du programme, ils ont confirmé qu'il faut maintenant travailler davantage pour assurer l'exactitude et qu'ils ne diffusent plus de renseignements à des niveaux à cinq et à six chiffres par souci d'exactitude (p. ex. Enquête annuelle sur les industries manufacturières et les exploitations forestières [EAMEF]).

Cohérence et intelligibilité

Malgré une satisfaction générale en ce qui a trait à la cohérence des données, les répondants clés étaient néanmoins insatisfaits de la gestion de la rupture des séries survenue au moment du transfert des enquêtes au PISE. Ils ont précisé ne disposer à ce jour d'aucun renseignement leur permettant de connaître l'ampleur détaillée des répercussions^{Note de bas de page 14}.

Les utilisateurs, tant internes qu'externes, ont mentionné avoir des problèmes lorsqu'ils comparent des estimations mensuelles avec des estimations annuelles (p. ex. entre l'Enquête mensuelle sur les industries manufacturières [EMIM] et l'Enquête annuelle sur les industries manufacturières et de l'exploitation forestière [EAMEF]) et qu'ils examinent des secteurs entre diverses enquêtes (c.-à-d. la fabrication par rapport au commerce de gros par rapport au commerce de détail). Les représentants du programme ont expliqué que les rapprochements entre les enquêtes mensuelles et annuelles posaient des problèmes en raison des différentes méthodologies appliquées et des différentes périodes annuelles des entreprises (p. ex. certaines font appel aux années civiles, tandis que d'autres utilisent les exercices financiers ou différentes périodes). De plus, les enquêtes annuelles et mensuelles servent à différentes fins — les enquêtes annuelles ciblent les facettes structurelles et les enquêtes mensuelles, les tendances et indicateurs. En ce qui a trait à la comparabilité avec des données externes, certaines personnes interviewées ont l'impression que les catégorisations et les ventilations utilisées par Statistique Canada ne concordent pas toujours avec la façon dont les détaillants catégorisent leurs produits ou celle dont d'autres cabinets spécialisés en recherches rapportent les données.

En matière d'intelligibilité, plusieurs points à améliorer ont été mentionnés. Des répondants clés ont dit que les définitions accompagnant les données sont parfois difficiles à comprendre, surtout pour le commerce électronique. On a évoqué la nécessité d'avoir une plus grande quantité de documents de meilleure qualité (p. ex. des documents pour faciliter l'interprétation de l'exactitude des estimations, des renseignements sur ceux visés par un échantillonnage et la méthode utilisée, des descriptions de la création de l'enquête, des désaisonnalisations et la façon dont les données ont été transformées). Un examen de la Base de métadonnées intégrée, reposant sur un échantillon d'enquêtes, a montré que d'importants renseignements, comme des taux de réponse et des valeurs sur l'exactitude, n'étaient pas mis à jour systématiquement ou étaient tout simplement manquants, surtout pour 2013 et 2014. Les représentants du programme ont affirmé qu'il fallait plusieurs jours de travail et des ressources pour fournir des coefficients de variation, et qu'ils préfèrent mettre les renseignements à jour de façon périodique.

Pour terminer, les variables agrégées, comme « autres dépenses » ou « sous-secteur divers », empêchent les utilisateurs d'obtenir un portrait complet. À titre d'exemple, le « sous-secteur divers » cause parfois d'importantes variations dans le secteur du commerce de gros^{Note de bas de page 15}.

2.5. Qualité — actualité

Dans le cadre de l'évaluation, la dimension de qualité de l'actualité a fait l'objet d'un examen plus approfondi. Les répondants et les personnes interviewées ont plus particulièrement été invités, tout d'abord, à dire s'ils voulaient plus de données actuelles, puis à préciser s'ils répondraient différemment dans le cas où leur réponse aurait des conséquences sur l'exactitude.

Actualité

En ce qui a trait aux degrés de satisfaction à l'égard du calendrier de diffusion actuel, l'évaluation a perçu une différence entre, d'une part, les répondants à l'enquête et les utilisateurs internes et, d'autre part, les personnes interviewées. Des répondants à l'enquête, 82 %^{Note de bas de page 16} ont dit être satisfaits des délais de diffusion actuels, et les utilisateurs internes au sein de l'organisme ont manifesté un degré élevé de satisfaction quant aux délais de diffusion des enquêtes mensuelles. Le pourcentage était cependant plus faible chez les personnes interviewées (environ 55 %). Ces dernières avaient des problèmes qui s'étendaient à tous les secteurs (c.-à-d. fabrication, commerce de détail, commerce de gros et industrie des services) et couvraient les enquêtes annuelles et les enquêtes mensuelles.

À la question de l'actualité des enquêtes annuelles, le très petit nombre de personnes interviewées^{Note de bas de page 17} qui utilisent ces produits ont dit qu'il serait utile de disposer des estimations tout au plus 12 mois après la période de référence, au lieu des 18 mois actuels, et reconnaissent que la diffusion de l'EAMEF s'est beaucoup améliorée. De plus, 52 % des répondants à l'enquête, surtout des utilisateurs provinciaux et municipaux, ont dit que le fait de raccourcir le délai des diffusions annuelles à 12 mois aurait des retombées favorables sur leurs analyses et leur surveillance de l'économie. Il semblait aussi que les délais de diffusion actuels de certaines enquêtes sur la culture étaient trop longs (puisque la fréquence de certaines enquêtes était de 24 mois), ce qui avait des répercussions sur la pertinence de l'information.

On a demandé explicitement aux répondants à l'enquête et aux personnes interviewées ce qu'ils pensaient de la possibilité d'accroître la fréquence de l'Enquête sur les marchandises vendues au détail, qui passerait de trimestrielle à mensuelle. Bien que la plupart d'entre eux voyaient ce changement d'un œil favorable, ils ont fait remarquer qu'il ne s'agissait pas d'une grande priorité selon eux.

Figure 1 - Nombre de jours de décalage après la période de référence pour les enquêtes mensuelles (moyenne)

Les données du programme sur les délais de diffusion des enquêtes annuelles portent à croire qu'il a été difficile d'atteindre les cibles en matière de diffusion. En 2013 et en 2014, 91 % et 53 %, respectivement, des produits statistiques annuels n'ont pas respecté la norme interne de diffusion de Statistique Canada établie à 18 mois. Des améliorations sont apportées à partir de 2015, et cette tendance perdure depuis lors. Des preuves obtenues durant les entrevues internes étayent le fait que de 2013 à 2015, des difficultés découlent de la mise en œuvre du PISE, des questionnaires électroniques et du SCIAN de 2012. Conformément à ces constatations, les entrevues internes ont révélé que, à compter de 2015, les problèmes de mise en œuvre ont commencé à être résolus et qu'il y a eu depuis un retour progressif à l'atteinte des délais de diffusion et même, dans certains cas, des délais plus courts que prévu. En ce qui concerne l'EAMEF, des fonds supplémentaires provenant d'Affaires mondiales Canada ont contribué à raccourcir les délais de diffusion à 12 mois.

Un examen des données administratives a révélé que les délais de diffusion de deux enquêtes mensuelles essentielles au mandat (à savoir l'EMIM et l'Enquête mensuelle sur le commerce de gros [EMCG]) devenaient de plus en plus longs (figure 1). Plus particulièrement, le délai moyen de diffusion de l'EMIM, qui était de 45,25 jours en 2015-2016, devrait être de 46,17 jours en 2018-2019. On observe des résultats du même ordre pour les délais de diffusion moyens de l'EMCG. Le délai moyen de diffusion était de 48,75 jours en 2015-2016 et devrait être de 51,17 jours en 2018-2019. Pour ce qui est du commerce de détail mensuel, la tendance est à peu près stable. D'un autre côté, les jours de décalage se sont améliorés pour les enquêtes comme l'Enquête du ciment^{Note de bas de page 18} et l'Enquête mensuelle sur les services de restauration et débits de boissons.

Des personnes externes interviewées ont dit souhaiter des délais de diffusion plus courts pour les trois enquêtes essentielles au mandat, surtout le commerce de gros et le commerce de détail. Disposer plus tôt des renseignements sur ces enquêtes permettrait aux utilisateurs d'examiner plus rapidement les tendances en cours et les retombées saisonnières et, ainsi, de prendre d'importantes décisions et de faire des prévisions pour leurs entreprises. Les détaillants souhaiteraient par exemple disposer plus tôt de renseignements sur les ventes avant Noël pour mieux planifier leurs achats et leurs stocks.

Exactitude contre actualité

En règle générale, il semble que même si les utilisateurs et les intervenants préféreraient disposer plus tôt des données, ils ne sont pas pour autant prêts à sacrifier l'exactitude pour une diffusion plus rapide.

À la question « Quelle est l'importance de l'actualité des renseignements statistiques dans votre travail comparativement à leur exactitude? », seulement 14,3 % des répondants ont dit que l'actualité était plus importante. Des personnes interviewées, près de la moitié ont dit qu'aucun compromis entre exactitude et actualité n'était acceptable à leurs yeux, alors que l'autre moitié aurait été prête à perdre un petit peu d'exactitude.

Voici quatre scénarios permettant d'examiner plus attentivement ce compromis :

Des répondants à l'enquête, 54 % optaient pour le statu quo (scénario D), 18,6 %, pour le scénario B, 15,3 %, pour le scénario A et, enfin, 11,9 %, pour le scénario C.

Les préférences des personnes interviewées étaient à peu près les mêmes : environ la moitié optaient pour le statu quo, et les autres optaient pour le scénario B, puis le scénario A et, finalement, le scénario C. Il est à noter qu'un seul répondant clé a préféré le scénario C. Les personnes interviewées travaillant dans des établissements financiers étaient plus portées à vouloir des délais de diffusion plus courts, au détriment d'une certaine exactitude. Ces personnes ont dit souhaiter que les diffusions soient faites de 15 à 30 jours après la période de référence afin d'être en mesure de produire des estimations du PIB. Elles reconnaissaient toutefois que, même si elles voulaient obtenir les données plus tôt, elles ne voudraient pas de révisions très marquées.

Deux facteurs peuvent expliquer ces résultats. Plusieurs répondants ont dit que les délais proposés dans les scénarios, qui allaient de quelques jours à une semaine et demie, n'auraient pas d'incidence sur leur travail; selon eux, le compromis n'en valait pas la peine. L'autre facteur serait lié à la structure de l'économie canadienne. Selon le rapport de l'Institut C.D. Howe, [traduction] «> comme l'économie du Canada a moins d'importance à l'échelle mondiale et dépend des tendances observées dans l'économie américaine, les utilisateurs de données canadiennes sont plus enclins à sacrifier un peu d'actualité pour obtenir des données plus exactes^{Note de bas de page 19} ».

Interrogés sur la priorité à accorder aux types de données à diffuser plus tôt, les répondants clés et les répondants à l'enquête ont opté pour les renseignements sur le commerce de détail en premier, ensuite les données sur la fabrication, puis celles sur le commerce de gros. En matière de type de statistiques, les données sur les ventes étaient les plus privilégiées. Les conséquences d'une diffusion plus rapide des données comprenaient la capacité à produire des rapports, à publier et à fournir des analyses aux clients dans de meilleurs délais, surtout dans le domaine des ventes au détail d'aliments dans les épiceries et les grands magasins. Fait intéressant, plus de 70 % des répondants à l'enquête ont dit ne pas avoir besoin d'une diffusion plus rapide de données mensuelles particulières.

Autres occasions potentielles d'accroître l'actualité

L'évaluation a fait ressortir d'autres occasions potentielles d'accroître l'actualité sans nécessairement toucher à l'exactitude. Il existe d'abord des occasions d'améliorer l'actualité en joignant moins d'analyses contextuelles aux diffusions de données. À cet égard, 68 % des répondants à l'enquête ont dit être prêts à sacrifier les analyses contextuelles pour obtenir des données plus actuelles, en grande partie parce qu'ils font leurs propres analyses contextuelles. Ils ont toutefois précisé vouloir conserver les explications entourant l'exactitude et les changements de méthodologie.

Une autre option consiste à mieux cibler les dates de parution. Les preuves démontrent qu'il appartient à la sous-section responsable d'une diffusion de décider de la date de parution et que les sous-sections communiquent peu entre elles lorsqu'elles fixent ces dates. La coordination des dates de parution mensuelles pourrait être améliorée pour que les renseignements soient plus opportuns pour les entreprises financières ayant dit vouloir les données avant la parution mensuelle du PIB.

Une collaboration entre les représentants du programme et les intervenants serait aussi favorable à une amélioration de l'actualité. La collaboration avec les principales associations, les entreprises, les secteurs de services et les représentants de l'enquête mensuelle sur l'alimentation constitue une pratique exemplaire adoptée par les représentants du programme qui a permis de raccourcir d'une semaine le délai de diffusion. Ces personnes ont collaboré étroitement pendant six mois pour établir un équilibre adéquat entre le niveau de révision, l'actualité et le taux de réponse de l'enquête.

2.6. Utilisation des ressources

L'évaluation a examiné la mesure dans laquelle le PSFCGCDIS, y compris les secteurs spécialisés et les outils internes spécialisés, utilisait ses ressources comme prévu. Dans l'ensemble, les preuves démontrent que la gestion des ressources financières s'avérait difficile en raison de changements dans les activités et les ressources du programme durant la période de l'évaluation.

Durant cette période, le programme a subi plusieurs réorganisations. La plus importante a eu lieu au début de 2014, lorsque :

• les programmes Fabrication et Commerce de gros ont été fusionnés pour former une nouvelle division, soit la Division de la fabrication et du commerce de gros (DFCG);
• la Division des industries de service et le Programme du commerce de détail ont été fusionnés pour former une nouvelle division, à savoir la Division du commerce de détail et des industries de service (DCDIS);
• la Division de la statistique du commerce a été démantelée.

Par souci de cohérence pendant la période d'évaluation, les renseignements financiers ont été répartis en fonction de l'élément d'activité.

Les dépenses de programmes au cours de la période de 5 ans de l'évaluation s'élevaient à environ 96,8 millions de dollars (exception faite du fonctionnement et de l'entretien)^{Note de bas de page 20}. De l'exercice financier 2012-2013 à 2016-2017, les renseignements financiers montrent que les dépenses pour des activités liées à la DFCG dépassaient sans cesse le budget (figure 2). Pour la DCDIS, les données financières montrent que, de 2012-2013 à 2014-2015, les dépenses du programme étaient inférieures au budget et qu'elles ont ensuite commencé à le dépasser à partir de 2015-2016, principalement en raison d'une hausse des dépenses salariales (figure 3)^{Note de bas de page 21}.

Figure 2 - Portion du programme consacrée à la fabrication et au commerce de gros — budget actuel par rapport aux dépenses, de 2012-2013 à 2016-2017^{Note de bas de page 22}

Figure 3 - Portion du programme consacrée au commerce de détail et aux services — budget actuel par rapport aux dépenses, de 2012-2013 à 2016-2017^{Note de bas de page 23}

Durant la période couverte par l'évaluation, les budgets alloués aux secteurs de services, comme la collecte, ont largement dépassé les dépenses qu'ils ont rapportées; cet écart avait rétréci à la fin de la période de l'évaluation^{Note de bas de page 24}.

En dernier lieu, les données financières montrent que, de 2012-2013 à 2016-2017, les revenus tirés des activités à recouvrement des coûts ont augmenté de 450 %, principalement en raison du financement supplémentaire obtenu d'Affaires mondiales Canada, alors que le nombre de projets diminuait.

2.7. Efficience

Gouvernance et gestion

Les constatations montrent la présence de mécanismes de gouvernance adéquats de même qu'une collaboration et une coordination efficaces avec les utilisateurs internes et les secteurs de services pour assurer une saine gestion et le suivi des questions stratégiques et opérationnelles clés, des discussions sur les données et l'échange d'information, ainsi que la mise en œuvre de projets. Ces mécanismes de gouvernance comprennent des réunions hebdomadaires au niveau des cadres et à celui des chefs, des groupes de discussion sur les données, des comités directeurs, des groupes de travail et des réunions bilatérales entre cadres de division.

Sur le plan opérationnel, la réorganisation des divisions et la réinstallation des employés sur le même étage auront facilité les échanges quotidiens entre employés, surtout au sein de la DFCG. La fusion des sous sections du commerce de gros et de la fabrication au sein d'une même division a entraîné une amélioration des communications, de la capacité à résoudre les problèmes (résolution de problèmes de données complexes et de production de rapports) et de l'expertise. En comparaison, les preuves montrent une coordination moindre au sein de la DCDIS, en raison d'une connexion naturelle moindre entre le commerce de détail et les services. Entre les deux sous-sections, la coordination est aussi limitée en raison de la nature des programmes et du travail.

Sur la question de la gestion du programme, un certain nombre de représentants a signalé la nécessité d'une plus grande orientation. On a demandé au personnel de maintenir ses activités courantes, de travailler à des initiatives mentionnées durant des consultations antérieures pour combler les lacunes en matière de données et de renseignements, et d'examiner de nouveaux projets pour appuyer les initiatives de modernisation de Statistique Canada. De l'avis des personnes interviewées, on demande souvent au personnel d'exécuter toutes ces tâches avec les mêmes ressources. Pour répondre à ces demandes, de nombreux représentants du programme ont dit avoir besoin de directives précises de la part des gestionnaires (y compris la haute direction) sur l'endroit où ils doivent concentrer leurs efforts.

Quelques représentants ont affirmé que la solution à la gestion de multiples priorités résidait dans une réflexion stratégique au sein de la division et à l'échelle du programme. Ils ont l'impression que l'échange de connaissances et les discussions sur la manière de gagner en efficience sont limités. Il existerait des possibilités de communiquer les leçons apprises et les pratiques exemplaires, d'utiliser les normes communes à toutes les divisions pour des processus similaires d'enquête (p. ex. enquêtes mensuelles), d'examiner les processus et d'éliminer les activités à faible valeur ajoutée, de revoir l'organisation du travail et d'examiner la séquence des enquêtes pour faciliter le partage d'employés entre les enquêtes et les divisions.

Des efforts concertés entre divisions procureraient une nette valeur ajoutée aux utilisateurs. On trouve un bon exemple de cela dans le travail coordonné réalisé en réaction aux feux de forêt de Fort McMurray, en 2016. Les trois équipes d'enquêtes essentielles au mandat ont joint leurs efforts pour créer un module de questionnaire électronique (QE) qui permettait le recours à des questions spéciales pour mesurer les répercussions d'événements ou de phénomènes particuliers sur l'économie. Un autre exemple est celui du travail visant à simplifier l'échantillonnage à deux phases des enquêtes annuelles pour accélérer la phase de précollecte et présenter plus rapidement les résultats.

Outils et processus communs

Statistique Canada a mis en œuvre de grands projets dès 2009 en vue d'accroître son efficacité, sa robustesse et sa capacité à répondre aux besoins des utilisateurs. La mise en œuvre du PISE visait à accroître la qualité des données en normalisant et en rehaussant la qualité et l'actualité des échantillons, tout en réduisant le fardeau de réponse et les coûts permanents en vue de réaliser des économies^{Note de bas de page 25}. L'organisme a profité d'une autre possibilité de faire des gains d'efficacité en déplaçant toutes les enquêtes entreprises dans l'environnement du Portail de collecte des données auprès des entreprises. S'y ajoutait l'adoption d'un questionnaire électronique — le principal mode de collecte. Les efficiences découlaient de la réduction du nombre de plateformes logicielles différentes, de la mise en œuvre de nouveaux processus et outils, et de l'augmentation de la proportion de réponses électroniques.

Comme il a été mentionné précédemment, même si l'adoption d'outils communs entraînera des avantages et des efficiences à long terme, la transition a eu une incidence sur la capacité du programme à maintenir la qualité de ses extrants et sur la conciliation travail et vie personnelle des employés (augmentation du stress, de la frustration et des heures supplémentaires).

De nombreux représentants du programme ont aussi fait état de la frustration ressentie à l'égard de la lenteur du processus de transition. Ils ont eu l'impression que le système de QE était moins efficient en raison d'un lourd procédé bureaucratique et qu'il était moins efficace. Plus particulièrement, il est difficile, à l'heure actuelle, de modifier des éléments d'enquête et, lorsque les changements s'effectuent, ils comportent un grand nombre d'erreurs qui exigent de longues révisions. Cela se traduit par un surcroît de temps et d'efforts à consacrer pour s'assurer de l'exactitude des changements et de l'absence d'erreurs. On a également fait remarquer que les changements sont coûteux et qu'ils ont fait naître de la frustration chez les clients des enquêtes à frais recouvrables. Par conséquent, il serait judicieux d'améliorer la communication et d'accroître la coordination entre les groupes.

3. Comment s'améliorer

Analyse FFPD

Forces

• Les renseignements statistiques ne reproduisent aucune autre source
• Les représentants du programme comprennent bien les besoins actuels et émergents
• Les mécanismes de consultation sont efficaces pour déceler les besoins des utilisateurs et les possibilités
• Bonne qualité et confiance
• Expertise et professionnalisme reconnus
• Utilisation d'outils communs pour normaliser les processus

Faiblesses

• Manque de cohésion et de vision entourant le commerce électronique et la nouvelle économie (à l'échelle de l'organisme)
• L'envergure et la fréquence de parution des renseignements sur les services ne répondent pas aux besoins des utilisateurs
• Manque d'activités de sensibilisation et lacunes dans la prestation de services
• Gestion de priorités concurrentes (éclaircissement et affectation des ressources) et de ressources conflictuelles

Possibilités

• La nouvelle économie et les renseignements interfonctionnels accroissent les possibilités de nouveaux produits et de collaboration
• Ouverture des principaux intervenants et entreprises à la collaboration et à l'échange d'information
• Collaboration accrue au sein des divisions et entre celles-ci pour innover et pour accroître l'efficience

Défis

• Combler des besoins diversifiés exprimés par un vaste éventail d'intervenants, dans des délais raisonnables
• Manque de compréhension du programme par les utilisateurs
• Évaluation des domaines à évolution rapide, comme la nouvelle économie
• Manque d'agilité des processus, comme le QE
• Nécessité accrue de données désagrégées (géographiques et au niveauà cinq ou à six chiffres pour le SCIAN)

Recommandations

Recommandation 1 : Lacunes en matière de données

L'évaluation a révélé que des relations efficaces sont entretenues avec les utilisateurs et les partenaires du programme et que les lacunes du programme sont ainsi bien comprises. Des consultations exhaustives ont eu lieu pendant la période d'évaluation et les renseignements recueillis ont été utilisés pour élaborer des plans visant à combler autant de lacunes que possible dans les limites des ressources allouées.

Il est recommandé que les plans tiennent compte des principales lacunes suivantes :

• Commerce électronique et nouvelle économie — il faut adopter une démarche à l'échelle de l'organisme, puisque le sujet s'étend à plusieurs programmes. Malgré les efforts actuellement déployés dans plusieurs secteurs, il manque de coordination, les rôles et responsabilités ne sont pas clairs et la haute direction doit s'investir davantage.
• Niveau de détail plus élevé — au fil du temps, les utilisateurs ont constaté une perte de détail. Le PSFCGCDIS doit poursuivre son travail avec des partenaires et des intervenants clés (internes et externes) pour examiner de nouvelles solutions à cette situation.
• Données sur les services — alors que les services occupent une place prépondérante dans l'économie, les renseignements statistiques à leur sujet sont plutôt limités. Il est recommandé de veiller à ce que le PSFCGCDIS examine les possibilités d'accroître la fréquence de ses enquêtes et l'étendue des services couverts.

Dans l'examen de ces lacunes, le programme doit continuer d'appliquer une solide démarche axée sur les utilisateurs.

Recommandation 2 : Actualité

Les résultats étaient partagés par rapport au degré de satisfaction à l'égard de l'actualité des diffusions (82 % des répondants de l'enquête et 55 % des personnes interviewées étaient satisfaits des délais actuels de diffusion). À la présentation de divers scénarios sacrifiant l'exactitude au profit de l'actualité, les utilisateurs ne tenaient pas, en général, à renoncer à l'exactitude (plus de la moitié préférant le statu quo). Certains utilisateurs ont mentionné être prêts à accepter une perte de qualité pour obtenir des renseignements plus actuels durant les saisons de pointe (p. ex. données sur le commerce de détail dans la période de Noël).

Il est recommandé que le PSFCGCDIS :

• passe en revue son processus relatif aux diffusions pour que les délais soient les plus courts possible, en tenant compte d'autres objectifs importants comme la pertinence et l'exactitude; il faudra, entre autres, examiner la possibilité de réduire l'analyse contextuelle pour améliorer l'actualité, et cibler et coordonner l'établissement des dates de diffusion;
• procède à une consultation exhaustive auprès de ses principaux utilisateurs avant de prendre toute mesure visant à améliorer l'actualité qui aurait une incidence sur l'exactitude.

Recommandation 3 : Établissement des priorités

Le PSFCGCDIS tente actuellement de combler les lacunes et les besoins mentionnés durant des consultations antérieures et de s'adapter au programme de modernisation et à d'autres initiatives de l'organisme. Ces activités s'ajoutent au programme régulier prévu dans son mandat.

Il est recommandé que, au cours de cette période de transition, la direction du PSFCGCDIS donne à ses employés plus de précisions sur les priorités.

Recommandation 4 : Sensibilisation et services à la clientèle

Étant donné l'évolution rapide du programme et le grand éventail d'utilisateurs, il est impératif que le PSFCGCDIS maintienne des liens solides avec ses utilisateurs et procède activement à la promotion de ses renseignements statistiques. L'évaluation a permis de prouver la présence d'activités de sensibilisation continues, mais peu de traces d'un élément stratégique, comme un plan écrit.

Les services à la clientèle constituent un important point de contact avec les utilisateurs. Durant les conversations avec les personnes interviewées à propos des services d'accès et du recouvrement des coûts, plusieurs ont souligné que les services à la clientèle pourraient être améliorés. Ils ont parlé plus précisément du fait que le niveau et la qualité de la réactivité manquaient de constance (p. ex. capacité de réponse moindre en périodes de pointe).

Il est recommandé que le PSFCGCDIS :

• élabore et applique un plan de sensibilisation complet, fondé sur des renseignements obtenus dans le cadre des consultations et de la part du personnel et d'autres partenaires concernés (internes et externes); le plan doit comporter des mécanismes de communication continue avec les utilisateurs pour les informer de l'évolution du programme et les sensibiliser davantage;
• prépare une stratégie visant à renforcer la prestation des services à la clientèle.

4. Réponse et plan d'action de la direction

Annexe 1 : Description du programme

Le Programme de la statistique de la fabrication, du commerce de gros, du commerce de détail et des industries de services (PSFCGCDIS) planifie, dirige, coordonne et contrôle l'apport de renseignements statistiques et de conseils sur les secteurs du commerce, de la fabrication et des services, à l'intention des gouvernements, des organismes privés et des établissements institutionnels. Le programme fournit au Système canadien des comptes macroéconomiques les données nécessaires aux fins de la réglementation sur les arrangements fiscaux entre le gouvernement fédéral et les provinces et de la Norme spéciale de diffusion des données du Fonds monétaire international. Les données sont exigées dans le cadre de la participation du Canada à l'Accord de libre-échange nord-américain, en vertu de la disposition sur le retour au droit de la nation la plus favorisée, et dans l'application de l'article 427 de la Loi sur les banques. Le programme satisfait en outre aux besoins en information des ministères fédéraux, des gouvernements provinciaux, des organismes internationaux, des associations industrielles, du milieu universitaire et du public en général.

La Division de la fabrication et du commerce de gros (DFCG) et la Division du commerce de détail et des industries de service (DCDIS) sont les deux divisions chargées de la compilation, de l'analyse et de la diffusion d'une grande variété de statistiques exhaustives et intégrées qui dépeignent la production, les ventes, les activités financières et les types de produits des secteurs de la fabrication, du commerce de détail et du commerce de gros, de même qu'un certain nombre de secteurs de services au Canada. Ensemble, ils représentent 15 des 24 secteurs faisant partie du Système de classification des industries de l'Amérique du Nord (SCIAN) et correspondent à une part importante du produit intérieur brut (PIB)^{Note de bas de page 26} du Canada, ainsi que de l'emploi.

La DFCG et la DCDIS fonctionnent en tant qu'entités opérationnelles et financières distinctes, chacune ayant un ensemble unique d'extrants et son propre organigramme.

Fabrication

Les secteurs de la fabrication et de l'exploitation forestière se composent d'établissements dont l'activité principale est la transformation chimique, mécanique ou physique de matières ou de substances pour en faire de nouveaux produits (groupes du SCIAN 31 à 33, fabrication). Ces produits peuvent être finis, dans le sens où ils sont prêts à être utilisés ou consommés, ou semi-finis, c'est-à-dire qu'ils deviennent un intrant qu'un établissement utilisera dans une fabrication ultérieure. Les activités connexes — comme l'assemblage des composants de produits fabriqués; le mélange de matières; la finition de produits manufacturés par des opérations de teinture, de traitement thermique, de placage et autres — sont aussi traitées en tant qu'activités de fabrication.

La DFCG diffuse des renseignements sous forme de tableaux mensuels et annuels dans l'Entrepôt commun de données de sortie^{Note de bas de page 27}, de publications en ligne et de tableaux spéciaux pour des clients.

La grande variété d'indicateurs de l'activité économique du programme de la fabrication comprend :

• des estimations mensuelles sur les ventes, les stocks et la valeur des commandes en carnet et des nouvelles commandes pour 28 agrégats de l'industrie de la fabrication, à l'échelle provinciale et nationale;
• des estimations mensuelles de la production et de la destination des expéditions de papier-toiture asphalté, de produits de scierie, et de production et disposition des produits du tabac^{Note de bas de page 28};
• des indicateurs annuels sur les revenus de la fabrication, l'emploi, les salaires et traitements, le coût des matières premières et fournitures utilisées, le coût des services publics d'énergie et d'eau, les stocks, de même que les renseignements sur les produits générés et utilisés dans le processus de production (p. ex. complément de l'EAMEF).

Commerce de gros et commerce de détail

Le secteur du commerce de gros établit le lien entre les producteurs et les détaillants de biens dans les économies nationales et mondiales. De nombreux grossistes sont organisés pour vendre de la marchandise en grandes quantités à des entreprises de détail et à des clients institutionnels. Cependant, certains grossistes, surtout ceux qui fournissent des biens d'équipement non destinés à au grand public, vendent de la marchandise à l'unité à des utilisateurs finaux. Ce secteur compte deux grands types de grossistes : les grossistes marchands qui vendent des biens pour leur propre compte, et les courtiers qui organisent des ventes et des achats pour autrui, habituellement en échange d'une commission ou d'honoraires.

Le processus de vente au détail constitue la dernière étape de la chaîne de distribution des marchandises. Le secteur du commerce de détail se compose d'établissements dont l'activité principale est la vente au détail de marchandises, habituellement sans transformation, et l'offre de services liés à la vente de marchandise. Les détaillants sont organisés pour vendre de la marchandise en petites quantités au grand public, ce qui devient un indicateur de premier plan de la demande des consommateurs. Le secteur se compose de deux grands types de détaillants : en magasin et hors magasin. Les détaillants en magasin exploitent des points de vente fixes dont l'emplacement et la conception visent à attirer un grand volume de clients occasionnels. Les détaillants hors magasin atteignent la clientèle et vendent la marchandise par des méthodes comme la diffusion de publireportages, la diffusion et la publication d'annonces publicitaires à réponse directe, la publication de catalogues traditionnels et électroniques, la sollicitation porte-à-porte, la démonstration à domicile, l'exposition temporaire de marchandises (kiosques) et la distribution dans des machines distributrices.

La DFCG est chargée de la production de statistiques mensuelles et annuelles sur le groupe 41 du SCIAN (commerce de gros), par industrie et détail géographique. La DCDIS produit le même genre de renseignements sur les groupes 44 et 45 du SCIAN (commerce de détail). Ensemble, les deux programmes diffusent les tableaux de l'Entrepôt commun de données de sortie et des tableaux spéciaux pour les clients sur :

• des renseignements annuels relatifs aux recettes d'exploitation, aux dépenses et aux stocks des grossistes et des détaillants;
• des estimations mensuelles relatives aux ventes, aux stocks et au ratio stocks/ventes pour les grossistes;
• des estimations mensuelles relatives aux ventes des détaillants;
• une ventilation mensuelle des ventes au détail nationales de produits, pour un panel d'environ 80 grands détaillants;
• la ventilation trimestrielle des ventes au détail de produits, par détail géographique;
• des ventes de véhicules automobiles neufs en unités et en dollars, par type de véhicule, origine du fabricant et région.

Services

Le secteur des services se distingue par des établissements principalement engagés dans des activités où le capital humain constitue l'intrant majeur. Ces établissements mettent à la disposition de la clientèle les connaissances et les compétences de leurs employés afin de créer une valeur ajoutée, par opposition à la production de biens concrets. Les statistiques couvrant seulement une partie du secteur des services relèvent de la DCDIS, puisque d'autres divisions produisent aussi des indicateurs de services (éducation, transports, tourismes et autres). Les indicateurs produits par la DCDIS couvrent des portions des secteurs de services suivants, sur une base annuelle :

• Services immobiliers et services de location et de location à bail (53);
• Services professionnels, scientifiques et techniques (54);
• Industrie de l'information et industrie culturelle (51);
• Services administratifs, services de soutien, services de gestion des déchets et services d'assainissement (56);
• Services d'hébergement et de restauration (72);
• Autres services (sauf les administrations publiques) (81);
• Gestion de sociétés et d'entreprises (55);
• Arts, spectacles et loisirs (71).

L'extrant du programme se compose d'une série d'indicateurs annuels, par industrie et province, pour divers types de revenus et de dépenses, de stocks et d'exportations.

Mises à part les données financières, le programme diffuse un vaste éventail de renseignements sur des caractéristiques particulières de différentes industries de services, comme la répartition des ventes par type de client (services d'ingénierie), le nombre d'écrans (cinémas), les revenus de publicité et de tirage (éditeurs de périodiques), etc.

Le programme diffuse également un indicateur mensuel de la valeur des ventes des restaurants, des traiteurs et des débits de boissons, par province et territoire, et par industrie.

Processus internes

Les renseignements destinés aux estimations sur la fabrication, le commerce de gros, le commerce de détail et les services sont compilés à l'aide d'une combinaison de données d'enquête et de données administratives. Les enquêtes annuelles et mensuelles recueillent des renseignements principalement auprès d'établissements de grande et moyenne taille; les données fiscales tirées des fichiers de déclarations T1, T2 et de TPS servent à estimer l'activité de production des petites unités.

Ces dernières années, à la suite d'un certain nombre d'initiatives internes relevant de l'Architecture opérationnelle du Bureau, un effort concerté aura permis de simplifier et de normaliser l'infrastructure, les méthodes et les concepts liés à ces programmes. Ainsi, le profil des programmes est nettement plus axé sur l'analyse et la diffusion, et moins sur la collecte et le traitement des données^{Note de bas de page 29}.

Résultats attendus

Le PSFCGCDIS fait partie de l'Activité de programme de la Statistique économique et environnementale (sous-programme 1.2, Statistique de l'industrie), dans l'Architecture d'alignement des programmes de Statistique Canada. Il contribue aux Résultats stratégiques de Statistique Canada, dont les suivants :

• « Les Canadiens ont accès à des renseignements statistiques actuels, pertinents et de qualité sur l'économie et la société canadiennes en pleine évolution, et qui servent à alimenter les débats de fond, la recherche et la prise de décisions sur des questions d'ordre social et économique. » (résultat stratégique 1)
• « Les besoins particuliers des clients en matière de services statistiques de grande qualité offerts en temps opportuns sont satisfaits. » (résultat stratégique 2)

Bien que Statistique Canada appartienne au secteur de résultats des « Affaires gouvernementales » du cadre pangouvernemental, l'organisme et ses programmes contribuent à la majorité des résultats du gouvernement fédéral dans les domaines des affaires économiques, sociales, internationales et gouvernementales.

Le modèle logique suivant décrit les principales activités, les extrants et les résultats du PSFCGCDIS. Il est basé sur le Cadre d'assurance de la qualité^{Note de bas de page 30} de Statistique Canada, qui décrit les six dimensions de la gestion de la qualité (accessibilité, actualité, exactitude, intelligibilité, cohérence et pertinence^{Note de bas de page 31}) et s'applique à toutes les données et à tous les produits statistiques de Statistique Canada.

Figure 4 - Modèle logique du PSFCGCDIS

Annexe 2 : Limites et stratégies d'atténuation

Cinq grandes limites ont été cernées et un ensemble de stratégies d'atténuation, employé :

Limites :

1. L'objectif de l'évaluation ne comportait pas de mesure détaillée des dimensions de la qualité de produits statistiques particuliers.
2. Ces divisions administrent un grand nombre d'enquêtes. Il est impossible d'évaluer de façon détaillée la totalité des enquêtes et des produits.
3. Le PSFCGCDIS a un grand nombre de partenaires et d'utilisateurs issus d'une variété de secteurs professionnels. Il était impossible de les joindre tous pour une entrevue.
4. La collecte des données auprès d'intervenants externes constituait peut-être un fardeau pour certains répondants en raison de consultations récentes et continues du programme auprès d'eux.
5. De récents changements organisationnels au sein du PSFCGCDIS ont limité la capacité d'analyse de l'efficience.

Stratégies d'atténuation :

1. Le recours à une démarche inductive généralisée a fourni la souplesse nécessaire pour réaliser des analyses en profondeur si et quand des problèmes importants étaient observés.
2. Plus d'accent sur l'évaluation :
   de la pertinence et du rendement d'enquêtes essentielles au mandat (EMIM, EMCG, EMCD).
   de l'approche de l'industrie des services et des lacunes potentielles en matière de données statistiques (sauf dans les enquêtes liées à la culture).
   d'analyse secondaire d'autres composantes du PSFCGCDIS par des entrevues auprès d'intervenants et des enquêtes auprès d'utilisateurs.
3. L'appel à d'autres sources de données, comme une enquête auprès d'utilisateurs clés, a permis d'optimiser la portée et la collecte des données auprès des utilisateurs.
4. L'évaluation s'est servie des données existantes recueillies par le PSFCGCDIS qui étaient pertinentes pour éviter les doublons (p. ex. rapports de consultation de clients, consultations de l'enquête sur la culture).
5. Examen des dépenses financières annuelles dans le contexte des changements organisationnels. Repérage des problèmes d'efficience grâce à des entrevues auprès de répondants clés.

Rapport d'évaluation

Décembre 2018

• Le rapport en bref
• 1. Contenu
• 2. Leçons apprises
  • 2.1 Harmonisation avec les rôles et responsabilités du gouvernement fédéral, ainsi que les priorités et engagements du gouvernement
  • 2.2 Besoin continu du programme et harmonisation avec les besoins des utilisateurs
  • 2.3 Harmonisation avec les rôles et responsabilités du gouvernement fédéral
  • 2.3. Consultations sur le programme
  • 2.4. Qualité de l'information
  • 2.5. Méthodes et diffusions novatrices
  • 2.6. Portée du programme
  • 2.7. Utilisation de l'information
  • 2.8. Utilisation des ressources
  • 2.9. Facteurs ayant une incidence sur l'efficience
• 3. Comment améliorer le programme
• 4. Réponse et plan d'action de la direction
• Annexe 1 : Description du programme
• Annexe 2 : Limites de l'évaluation et stratégies d'atténuation

Le rapport en bref

Le Programme des comptes et de la statistique de l'environnement (PCSE) recueille, compile, analyse et publie des données environnementales. Il fournit aux utilisateurs des statistiques cohérentes, exhaustives, actuelles et pertinentes qui leur permettent de mieux comprendre la relation entre l'activité humaine et l'environnement. Le programme comprend neuf enquêtes et produit quatre ensembles de comptes ainsi qu'un rapport annuel sur une vaste gamme de sujets environnementaux, y compris les comptes de l'eau, les écosystèmes et les émissions.

Statistique Canada a mené une évaluation du PCSE conformément à la Politique sur les résultats (2016) du Conseil du Trésor ainsi qu'au Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2016-2017 à 2020-2021). Il s'agit de la toute première évaluation du programme, qui porte sur la période allant de 2012-2013 à 2016-2017. Le principal objectif de l'évaluation était de fournir une analyse, neutre et fondée sur des faits, à propos de la pertinence et du rendement du programme pour appuyer la prise de décisions, la responsabilisation et l'amélioration.

La méthodologie d'évaluation comprenait un examen de la documentation et une revue de la littérature, des examens de données, des entrevues avec des informateurs clés, un sondage auprès des utilisateurs, une évaluation bibliométrique et webométrique, de même qu'une analyse internationale. On a eu recours à la triangulation de ces méthodes de collecte de données pour en arriver aux constatations globales de l'évaluation.

Principales constatations

Le PCSE est harmonisé avec les rôles, les responsabilités et les engagements du gouvernement fédéral. Les partenaires fédéraux utilisent les données statistiques du programme pour satisfaire aux exigences de diverses lois, y compris la Loi canadienne sur la protection de l'environnement et la Loi fédérale sur le développement durable. Le programme collabore activement avec des partenaires à des projets, comme ceux du Cadre pancanadien sur la croissance propre et les changements climatiques, et il est actif à l'échelle internationale avec des organisations telles que l'Organisation des Nations Unies (ONU) et l'Organisation de coopération et de développement économiques.

Bien que le besoin en données statistiques sur l'environnement évolue constamment et qu'il soit en constante croissance, les utilisateurs des données du PCSE sont généralement satisfaits de l'information dont ils disposent. Certaines lacunes ont été relevées dans des domaines tels que les écosystèmes et les comptes de l'eau, mais les responsables du PCSE en sont conscients et prennent des mesures pour y remédier. En général, les utilisateurs étaient très satisfaits de la qualité de l'information produite par le programme. Toutefois, des préoccupations ont été soulevées au sujet de l'actualité et de la périodicité de l'information.

Les responsables du PCSE communiquent régulièrement avec les utilisateurs des données et les partenaires, surtout grâce à des mécanismes informels et à certaines activités de sensibilisation. Il semblerait toutefois qu'il soit possible d'améliorer ces activités. Par exemple, même si le PCSE a élaboré un plan de sensibilisation en 2015-2016, ce dernier n'a été mis en œuvre que partiellement. Les répondants externes ont souligné que des efforts supplémentaires pourraient être déployés pour promouvoir l'information produite par le programme.

Bien que certains domaines de collaboration entre le PCSE, le Programme de la statistique des transports et le Programme de la statistique de l'énergie aient été cernés, il reste des possibilités inexplorées qui pourraient accroître l'efficience globale de la Division de la statistique de l'environnement, de l'énergie et des transports (DSEET). Par exemple, le personnel du PCSE pourrait obtenir de l'aide ou du soutien pour réaliser des activités de diffusion.

Recommandations

Recommandation 1

Il est recommandé que le PCSE améliore sa stratégie de sensibilisation afin d'assurer une approche structurée et systématique des activités de consultation et de promotion. La stratégie devrait être exhaustive et s'adresser à tous les intervenants clés, et des communications de suivi devraient avoir lieu. Il devrait y avoir des discussions internes avec le personnel pour favoriser la mobilisation et il faudrait envisager d'utiliser des outils de l'organisme pour mesurer le succès et la satisfaction de la clientèle.

Recommandation 2

Il est recommandé que le PCSE, ainsi que les programmes de l'énergie et des transports de la DSEET, détermine d'autres domaines de collaboration et mette en œuvre des mécanismes officiels pour les appuyer. En outre, pour assurer la poursuite des efforts à l'avenir, la DSEET devrait créer une tribune où elle pourrait discuter des idées de collaboration.

Recommandation 3

Il est recommandé que le PCSE revoie son approche actuelle de suivi et de gestion des demandes des clients. L'approche révisée devrait être examinée au niveau divisionnaire pour tenir compte des systèmes qu'utilisent le Programme de la statistique de l'énergie et le Programme de la statistique des transports.

Recommandation 4

Il est recommandé que le PCSE envisage des possibilités d'accroître la fréquence de ses enquêtes et de combler les lacunes relevées. De plus, le Programme devrait prendre des mesures pour améliorer l'actualité de ses publications afin d'atteindre la cible visée à cet égard.

1. Contenu

La présente évaluation a été réalisée conformément à la Politique sur les résultats (2016) du Conseil du Trésor ainsi qu'au Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2016-2017 à 2020-2021). Le principal objectif de l'évaluation est de fournir une analyse neutre et fondée sur des faits, à propos de la pertinence et du rendement du programme pour appuyer la prise de décisions, la responsabilisation et l'amélioration. Il s'agit de la première et l'évaluation du programme et elle a porté sur les activités du PCSE de 2012-2013 à 2016-2017.

Le Programme

L'objectif du PCSE consiste à recueillir, élaborer, compiler, analyser et publier des données sur l'environnement, en mettant l'accent sur leur intégration aux données socioéconomiques. L'information produite a pour but de fournir aux utilisateurs du gouvernement, du secteur privé et du secteur public des statistiques cohérentes, exhaustives, opportunes et pertinentes qui leur permettent de mieux comprendre la relation entre l'activité humaine et l'environnement. Les statistiques et les comptes cherchent à aider et à appuyer les décideurs, à soutenir la recherche environnementale et à rendre compte de l'environnement à l'intention du public canadien. Les dépenses totales du PCSE au cours de la période de cinq ans se sont élevées à environ 35 millions de dollars. Le Programme gère neuf enquêtes et produit quatre ensembles de comptes ainsi qu'un rapport annuel :

• Enquête sur l'eau dans les industries (EEI) (biennale);
• Enquête sur les usines de traitement de l'eau potable (EUTEP) (biennale);
• Enquête sur l'eau dans l'agriculture (EEA) (occasionnelle);
• Enquête sur la gestion des fermes (EGF) (effectuée tous les cinq ans, recouvrement des coûts);
• Enquête sur les dépenses de protection de l'environnement (EDPE) (biennale);
• Enquête sur l'industrie de la gestion des déchets (EIGD) (biennale) — secteurs des entreprises et du gouvernement;
• Enquête sur les biens et services environnementaux (EBSE) (biennale^{Note de bas de page 1});
• Enquête sur les ménages et l'environnement (EME) (biennale);
• Enquête sur l'utilisation de l'énergie par les ménages (EUEM) (effectuée tous les quatre ans en tant que supplément de l'EME);
• Comptes des flux physiques (CFP) (annuels);
• Comptes des actifs en ressources naturelles (CARN) (annuels et trimestriels);
• Comptes des écosystèmes (irréguliers);
• Compte économique des produits environnementaux et de technologies propres (CEPETP) (annuel, recouvrement des coûts);
• Bulletin sur la disponibilité et écoulement d'énergie (BDEE) (annuel, recouvrement des coûts).

De plus, le PCSE produit des publications techniques et analytiques, comme la Série de documents analytiques et techniques (irréguliers) sur les comptes et la statistique de l'environnement, Envirostats (irrégulier) et L'activité humaine et l'environnement (AHE) (annuelle). À l'instar d'autres programmes de Statistique Canada, le PCSE diffuse divers produits dérivés de ses enquêtes et de ses comptes, comme les tableaux du Système canadien de gestion de l'information socioéconomique (CANSIM), des tableaux sommaires, des totalisations personnalisées, des articles du Quotidien, l'analyse géospatiale et les couches de données. Une description plus détaillée figure à l'annexe 1.

L'évaluation

À la suite de discussions avec les responsables du PCSE et la haute direction, les neuf domaines suivants ont été retenus en vue de faire partie de l'évaluation :

• Pertinence et réponse aux besoins
  1. Harmonisation avec les rôles et responsabilités du gouvernement fédéral, ainsi qu'avec les priorités et les engagements du gouvernement
  2. Besoin continu du programme et harmonisation avec les besoins des utilisateurs
  3. Consultations sur le programme
• Rendement : efficacité
  4. Qualité de l'information
  5. Méthodes et diffusions novatrices
  6. Portée du programme
  7. Utilisation de l'information
• Rendement : efficience
  8. Utilisation des ressources
  9. Facteurs ayant une incidence sur l'efficience

Suivant une approche d'évaluation axée sur l'utilisation, les méthodes de collecte de données quantitatives et qualitatives suivantes ont été utilisées^{Note de bas de page 2} :

2. Leçons apprises

2.1 Harmonisation avec les rôles et responsabilités du gouvernement fédéral, ainsi que les priorités et engagements du gouvernement

Au Canada, l'environnement est une responsabilité partagée entre le gouvernement fédéral et les gouvernements provinciaux et territoriaux (PT). L'environnement n'était pas explicitement défini aux articles 91 et 92 de la Loi constitutionnelle de 1867, puisqu'il n'était pas envisagé à l'époque, ni même considéré, comme un élément nécessitant une protection gouvernementale. Les responsabilités en matière d'environnement sont généralement attribuées en fonction des sujets qui décrivent le mieux le corps du règlement. Par exemple, les biens publics, le droit pénal, les pêches et les côtes maritimes, la navigation et le transport des marchandises, de même que les « terres réservées aux Indiens » relèvent de la responsabilité fédérale. Par conséquent, les questions environnementales liées à ces sujets relèvent de la compétence fédérale. Compte tenu de son champ de compétence, le gouvernement fédéral adopte des lois et des règlements, comme la Loi canadienne sur la protection de l'environnement et la Loi fédérale sur le développement durable.

Environnement et Changement climatique Canada (ECCC) utilise l'information statistique du PCSE, en particulier les données de l'EEPE, pour remplir les exigences en matière d'information de la Loi canadienne sur la protection de l'environnement. Les données de quatre autres enquêtes du PCSE^{Note de bas de page 3} font partie de l'initiative des Indicateurs canadiens de durabilité de l'environnement (ICDE), dirigée par ECCC. Cette initiative est le principal instrument de mesure des progrès réalisés par la stratégie fédérale de durabilité régie par la Loi fédérale sur le développement durable.

Comme le prévoit la Loi sur la statistique, Statistique Canada est tenu de recueillir et de produire des renseignements statistiques sur les activités et les conditions sociales, économiques, et générales de la population canadienne^{Note de bas de page 4}. Cela comprend les renseignements statistiques sur l'environnement. Outre son rôle de collecte et de production, Statistique Canada a notamment le devoir de « collaborer avec les ministères à la collecte, à la compilation et à la publication de renseignements statistiques, y compris les statistiques qui découlent des activités de ces ministères^{Note de bas de page 5} » et de « veiller à prévenir le double emploi dans la collecte des renseignements par les ministères^{Note de bas de page 6} ».

Le Cadre pancanadien sur la croissance propre et les changements climatiques est un exemple de collaboration entre les ordres de gouvernement. Il a été élaboré pour donner suite à l'engagement que le Canada a pris à la Conférence des Nations Unies sur les changements climatiques (COP21), au cours de laquelle le gouvernement fédéral a convenu de réduire les émissions de gaz à effet de serre (GES) et d'appuyer la transition vers une économie mondiale à faibles émissions de carbone. Le budget de 2016 précisait que les technologies propres joueraient un rôle essentiel dans la transformation du Canada vers une économie à faibles émissions de carbone. Par conséquent, on y proposait un investissement de 2,1 millions de dollars sur deux ans pour améliorer les données sur les technologies propres, un effort de collaboration entre Ressources naturelles Canada (RNCan), Statistique Canada et Innovation, Sciences et Développement économique Canada (ISDE). L'objectif est d'avoir des données exhaustives et régulièrement mises à jour pour surveiller la contribution du secteur des technologies propres à l'économie canadienne. Pour répondre à ce nouveau besoin, le PCSE a élargi la portée de l'EBSE et entrepris la création d'un compte satellite des technologies propres, ainsi qu'une étude de faisabilité sur les manières d'améliorer les estimations de la quantité d’énergie renouvelable qui est produite au Canada^{Note de bas de page 7}. Le compte satellite (le Compte économique des produits environnementaux et des technologies propres) saisit toutes les transactions de l'ensemble de l'économie dans le secteur des technologies propres, comme l'énergie propre et la ferraille^{Note de bas de page 8}. Il est en voie d'élaboration, en collaboration avec la Division des comptes économiques nationaux de la Direction des comptes macroéconomiques. Les données sont importantes en raison de la priorité que le gouvernement fédéral accorde à l'élargissement du secteur des technologies propres. Le projet exploratoire de Statistique Canada — Transition vers une économie à faibles émissions de carbone — répond aux besoins d'information liés à la Stratégie de mesure du carbone (p. ex. technologies propres). Ces travaux ont obtenu des fonds supplémentaires dans le budget de 2017, grâce au financement jusqu'en 2020-2021 au moyen d'ententes de recouvrement des coûts avec RNCan et ISDE.

Le Canada est un membre actif d'organisations internationales, y compris l'ONU et l'OCDE, qui exigent régulièrement la présentation de la statistique de l'environnement. Par exemple, selon les exigences de la Convention-cadre des Nations Unies sur les changements climatiques, le Canada doit déclarer ses émissions et ses absorptions de GES^{Note de bas de page 9}. Le PCSE collabore à ces rapports internationaux sur les GES en élaborant le Bulletin sur la disponibilité et écoulement d'énergie, une source de données clés pour le rapport d'inventaire national sur les émissions de GES produit par ECCC. En fournissant des données sur l'énergie, la protection de l'environnement et les ressources naturelles, le PCSE permet au Canada de respecter ses engagements et ses responsabilités à l'échelle internationale^{Note de bas de page 10}.

Dans l'ensemble, bien qu'aucun règlement canadien particulier ne régisse la statistique et les comptes de l'environnement qui doivent être produits, il semblerait que le PCSE aide le Canada à respecter ses engagements envers la population, qui sont précisés dans le budget de 2017 (« faire en sorte que les générations futures soient en mesure de vivre dans un monde propre et sécuritaire » et dans le budget de 2016 (« léguer aux générations futures de Canadiens un pays durable et prospère »).

2.2 Besoin continu du programme et harmonisation avec les besoins des utilisateurs

Les renseignements statistiques produits par le PCSE sont fondés sur deux documents d'orientation importants : le Cadre sur la statistique de l'environnement fondé sur le concept de capital naturel et le Système de comptabilité économique et environnementale l'Organisation des Nations Unies (SCEE de l'ONU^{Note de bas de page 12}). Le Cadre a été élaboré en 2012 par le PCSE à la suite de vastes consultations auprès des utilisateurs de données et des partenaires. Il repose sur le concept du capital naturel; essentiellement, il s'agit de la théorie voulant que les stocks d'actifs environnementaux fournissent des flux de biens et services qui contribuent au bien-être humain. Le capital naturel comprend les ressources naturelles, l'eau, la terre et les écosystèmes. Il n'est pas nécessaire que les biens et services fournis par le capital naturel soient échangés dans l'économie pour être considérés comme importants pour la société. On trouve un exemple de mesures du capital naturel dans les CARN du PCSE, qui saisissent les principales ressources naturelles commerciales (c.-à-d. les minéraux métalliques et non métalliques, les combustibles fossiles, le bois d'œuvre et les terres) ainsi que les fluctuations annuelles de ces stocks résultant des processus naturels et de l'activité humaine^{Note de bas de page 13}. Le SCEE de l'ONU est une ligne directrice internationale conçue pour relier l'information sur l'environnement et l'entrepôt de données économiques que constitue le Système de comptabilité nationale (SCN). Le SCEE de l'ONU favorise la cohérence à l'échelle internationale, aide à comprendre les interactions entre les questions environnementales et économiques et respecte le concept de capital naturel.

Les personnes interrogées ont fait savoir que le PCSE intégrait les principaux comptes du SCEE de l'ONU. Certains informateurs clés ont toutefois mentionné qu'il était possible d'accroître la pertinence de certains des comptes qui sont produits. Par exemple, ils ont souligné que, bien que les dépenses de protection soient axées sur les entreprises, elles pourraient brosser un tableau plus complet si les dépenses des gouvernements et des ménages étaient également incluses. Par ailleurs, les données sur les biens et services environnementaux ne portent que sur certains fournisseurs, et on obtiendrait un tableau plus complet en élargissant de l'éventail de fournisseurs. Ils ont également précisé que l'ajout des comptes des activités environnementales donnerait un indice de la mesure dans laquelle des sommes sont dépensées pour atténuer les dommages causés à l'environnement.

Au cours des dernières années, les responsables du PCSE ont pris des mesures afin de produire un ensemble élargi de données sur les biens et services environnementaux à l'aide des fonds prévus dans les budgets de 2016 et de 2017. En 2016-2017, des travaux avaient été entrepris pour mettre à l'essai une version élargie de l'EBSE (diffusée en octobre et en décembre 2017). Le PCSE a commencé à élaborer des comptes des dépenses de l'environnement, y compris les dépenses gouvernementales, en travaillant de concert avec la Division de la statistique du secteur public sur le volet environnemental de la Classification des fonctions des administrations publiques (diffusée en janvier 2018^{Note de bas de page 14}).

On a constaté trois lacunes statistiques récurrentes dans toutes les sources de données^{Note de bas de page 15} :

• le niveau de désagrégation des données (p. ex. au niveau provincial-territorial, régional, municipal et industriel ou de l'installation);
• les données sur les écosystèmes, y compris sur les biens et services écosystémiques;
• les comptes de l'eau (p. ex. qualité de l'eau, utilisation de l'eau, eaux usées, gestion de l'eau et eaux souterraines).

Le PCSE a pris des mesures pour aborder ces trois domaines. Par exemple, pour répondre aux besoins de statistique sur les eaux usées, le PCSE s'est tourné vers ECCC pour discuter de l'utilisation de ses données administratives de son Règlement sur les effluents des systèmes d'assainissement des eaux usées pour la production de statistique sur les eaux usées. Il a également organisé des discussions régulières avec le Réseau canadien de l'eau pour cerner des possibilités de déterminer des données sur la disponibilité l'eau et sur les eaux usées relativement au financement de l'élaboration d'outils stratégiques destinés aux municipalités et, conjointement avec l'Université de Toronto, il élabore une étude de faisabilité afin d'enquêter sur les capacités du PCSE de produire des tableaux croisés plus détaillés sur l'utilisation industrielle de l'eau, tout en respectant les exigences en matière de confidentialité. Pour faciliter l'accès aux données et leur intelligibilité, le PCSE a inclus des données sur l'eau dans l'AHE de 2016, qui a fourni un atlas pour chacune des régions de drainage du Canada^{Note de bas de page 16}.

En ce qui concerne la désagrégation des données, le PCSE a répondu aux demandes des provinces de l'Ontario, de l'Alberta et du Québec d'obtenir des résultats provinciaux des CFP sur la consommation d'énergie et les émissions de GES. Cela a mené à l'élaboration d'une méthodologie et de données préliminaires qui ont été fournies aux provinces intéressées par l'entremise de leurs coordonnateurs statistiques. Des données au niveau de petites régions géographiques ont également été offertes pour d'autres produits de données. Par exemple, les données de l'AHE sur la couverture terrestre, l'utilisation des terres et les écosystèmes étaient à la disposition de toutes les régions métropolitaines de recensement. Des variables pour l'EME étaient également disponibles pour des régions métropolitaines de recensement et des agglomérations de recensement, avec des tableaux CANSIM élaborés ou élargis au cours des dernières années pour faciliter l'accès à ces données.

En ce qui concerne les écosystèmes, le PCSE produit des comptes expérimentaux des écosystèmes et il est actif à l'échelle internationale, car il s'agit d'une priorité émergente commune à l'échelle mondiale. Le PCSE a participé aux premières réunions du Groupe intergouvernemental sur l'observation de la Terre (GEO^{Note de bas de page 17}) afin de promouvoir les connaissances acquises au Canada sur l'utilisation des données de télédétection servant à mesurer les services écosystémiques. Le PCSE est membre du comité directeur de l'initiative des comptes nationaux du capital des États-Unis (Powell Center, United States Geological Survey), qui appuie la création de comptes des terres, de l'eau et des écosystèmes aux niveaux national et infranational et fait partie du comité directeur de l'initiative GEO EO4EA des États-Unis. Des fonds pour les exercices 2016-2017 et 2017-2018 ont été versés par l'entremise de la Conférence des grandes idées 2 de Statistique Canada pour préparer une proposition pour le Recensement de l'environnement, un projet interministériel qui permettrait de quantifier tous les stocks des écosystèmes du Canada. Bien que d'autres ministères aient manifesté leur intérêt, aucun financement supplémentaire n'a été obtenu pour développer davantage cette initiative.

Quelques autres lacunes statistiques ont été cernées, notamment en ce qui concerne les émissions atmosphériques, l'impact des changements climatiques ou la vulnérabilité à ces changements, l'économie verte, les comptes de déchets, la biodiversité et l'analyse spatiale. Cependant, dans l'ensemble, toutes les sources de données laissent entendre que les intervenants sont généralement satisfaits de la disponibilité actuelle des comptes et de la statistique de l'environnement.

Au cours des cinq dernières années, le PCSE a fait des efforts pour déterminer et prioriser les lacunes dans les données et il produit maintenant ou il est en voie de produire des renseignements statistiques sur la majorité des besoins exprimés par les intervenants : les technologies propres, les comptes écosystémiques, les comptes physiques, des données liées au ménage, les ressources naturelles, la protection de l'environnement, la gestion des déchets, l'eau, l'utilisation des terres, l'analyse spatiale et l'agriculture. L'élaboration de comptes pour les écosystèmes et les réserves d'eau renouvelables et la mise en œuvre du Cadre sur la statistique de l'environnement fondé sur le concept du capital naturel et l'utilisation des écosystèmes comme point de mire des mesures ont été des priorités de la Division au cours des trois derniers exercices (2014-2015 à 2016-2017). Ces travaux se sont poursuivis, le PCSE collaborant avec la Division des normes afin de publier les données géographiques sur les écorégions à titre de données géographiques officielles de Statistique Canada^{Note de bas de page 18}.

Enfin, bien que les responsables du PCSE soient au courant des lacunes statistiques actuelles et qu'ils adaptent leurs priorités en conséquence, ce programme ne dispose pas d'un mécanisme officiel pour mesurer la satisfaction des utilisateurs. À l'heure actuelle, cette question dépend en grande partie des discussions informelles qui ont lieu par l'intermédiaire des réseaux professionnels du personnel. Étant donné que Statistique Canada fait maintenant des efforts pour mesurer la satisfaction des utilisateurs, le PCSE devrait examiner comment ces efforts pourraient être harmonisés avec leurs besoins.

2.3 Consultations sur le programme

En 2011-2012, un comité consultatif externe, le Comité consultatif de la statistique de l'environnement (CCEE), a été créé, surtout pour informer le PCSE de l'établissement des priorités liées à la mise en œuvre du Cadre sur la statistique de l'environnement. Le CCEE ne s'est réuni qu'à quelques reprises et il est inactif depuis 2012. Les répondants qui ont participé aux travaux du CCEE ont mentionné que cette approche était utile pour recueillir différents points de vue externes et ainsi orienter le programme statistique. Le Comité a par la suite été dissous, mais la raison de sa dissolution ne semble pas avoir été transmise aux membres externes.

Il semblerait que le PCSE ait opté pour une approche différente afin de recueillir les conseils d'experts externes en statistique de l'environnement : les communautés de pratique. Ces communautés seraient une tribune où partager des connaissances et de l'expérience pour améliorer la qualité des données et se concentrer sur les priorités. Le plan de sensibilisation du PCSE en 2015-2016 proposait des communautés de pratique dans plusieurs domaines : les activités environnementales, les flux physiques, les biens et services écosystémiques, l'application de la télédétection à l'analyse de l'évolution de la couverture terrestre et la comptabilisation des réserves d'eau. Il a été prouvé que certaines de ces communautés ont été mises en place par le PCSE grâce à des consultations continues dans des domaines tels que les technologies propres, les déchets solides, le Recensement de l'environnement et l'offre et la demande d'énergie.

L'évaluation a permis de constater que le PCSE était étroitement lié avec les utilisateurs de données grâce à des mécanismes formels et informels. En 2013-2014, un atelier formel a été organisé pour obtenir des renseignements stratégiques en vue de la mise en œuvre du Cadre sur la statistique de l'environnement. En 2015-2016 et en 2016-2017, le PCSE a mené 35 activités de consultation en personne, au téléphone et par courriel. Il a consulté des intervenants différents au gouvernement fédéral (p. ex. RNCan, ECCC, Affaires mondiales Canada [AMC] et Agriculture et Agroalimentaire Canada [AAC]), dans des administrations municipales, provinciales et territoriales (p. ex. Recycling Association of Alberta, la Ville de Toronto, le ministère de l'Environnement et de l'Énergie de la Nouvelle-Écosse, le ministère des Finances de l'Ontario, le ministère de l'Innovation et de l'Enseignement supérieur de l'Alberta et le Conseil canadien des ministres de l'Environnement [CCME]), dans le milieu des affaires (p. ex. ECO Canada, l'Association pour le recyclage des produits électroniques, Enbridge Gaz Distribution Inc., Econometrica, l'Association canadienne des eaux potables et usées et l'Association canadienne des producteurs pétroliers), dans les médias (p. ex. StrategyCorp et la Société Radio-Canada Montréal), dans des organisations non gouvernementales (ONG) (p. ex. la Fondation GLOBE et The Natural Step), de même que dans le milieu universitaire^{Note de bas de page 20}. Même si les activités de consultation n'ont été signalées comme étant effectuées qu'une seule fois ou à l'occasion en 2015-2016, les réunions avec des groupes tels que des ministères fédéraux (p. ex. ECCC, RNCan) et des ministères provinciaux (p. ex. CCME) ont été plus fréquentes en 2016-2017.

Les personnes interrogées ont formulé quelques suggestions pour améliorer les activités de consultation, comme la nécessité d'améliorer l'inclusivité et la communication. Pour ce qui est de l'inclusivité, certaines personnes interrogées étaient d'avis que des intervenants importants, comme des chercheurs, la Fédération canadienne des municipalités (FCM) et les intervenants PT, n'étaient pas systématiquement inclus dans les processus de consultation du PCSE. En ce qui concerne la communication, l'importance de faire un suivi auprès des intervenants une fois les consultations terminées (p. ex. résultats des activités de consultation, décisions faites) a été mentionnée comme un point à améliorer.

2.4 Qualité de l'information

À Statistique Canada et ailleurs, le niveau de satisfaction à l'égard de la qualité (actualité, exactitude, intelligibilité, cohérence et accessibilité) des produits du PCSE est élevé. Le niveau de satisfaction à l'égard de la qualité est le même pour l'information statistique de base qui est produite et pour les produits et les services offerts selon le principe du recouvrement des coûts. Les données probantes montrent que la qualité des extrants produits par le PCSE ne pose pas de problème majeur. Cela est peut-être en partie attribuable à l'utilisation du Cadre sur la statistique de l'environnement et du SCEE de l'ONU, qui assurent un certain niveau de cohérence internationale et une capacité d'analyse plus solide pour élaborer les produits du PCSE. Toutefois, des problèmes ont été cernés en ce qui a trait à l'actualité, à la fréquence et à l'accessibilité.

L'actualité et la fréquence des enquêtes sont deux problèmes qui ont été soulevés par de nombreux informateurs clés de différents secteurs. L'actualité de l'information statistique renvoie à l'intervalle entre la fin de la période de référence et la date à laquelle l'information est disponible. Dans plusieurs cas, les données ont été diffusées deux ans après la période de référence (p. ex. les données de 2015 sont sorties vers la fin de 2017). Pour de nombreux informateurs, cela était problématique.

L'indicateur de l'actualité du programme était nettement inférieur à la cible (90 %) en 2015-2016 (36 %) et en 2016-2017 (63 %), bien qu'il y ait eu une certaine amélioration^{Note de bas de page 21}. Il semblerait que le PCSE remédie en quelque sorte à ce problème. Grâce aux réunions avec les représentants provinciaux par l'entremise du CCME, la date de collecte est plus tôt pour l'EIGD biennale; de même, une stratégie de diffusion échelonnée permet de diffusion plus tôt les variables les plus populaires.

Par fréquence, on entend le rythme auquel une enquête est menée. Même si l'AHE est publiée une fois l'an et que les futures EBSE seront menées une fois par année, la plupart des enquêtes du PCSE sont biennales^{Note de bas de page 22}. Les personnes interrogées ont souligné que les enquêtes biennales du PCSE étaient uniques en leur genre, mais de manière négative, par rapport à d'autres programmes statistiques de Statistique Canada.

En raison des problèmes liés à l'actualité, auxquels s'ajoute la nature biennale de la plupart des enquêtes, certaines données sont plutôt désuètes, ce qui a une incidence sur la pertinence de l'information.

Les publications sur les enquêtes étaient l'un des moyens employés par le PCSE pour diffuser ses données. Or, dernièrement, en raison de ressources limitées, le PCSE est passé des publications sur les enquêtes à des tableaux CANSIM, des articles du Quotidien et des feuillets d'information. Cette transition a été perçue comme étant négative par un certain nombre d'utilisateurs qui ont mentionné que les publications étaient utiles.

Pour ce qui est de l'accessibilité, la méthode de diffusion du PCSE était considérée comme étant au « milieu du peloton ». Les personnes interrogées n'étaient généralement pas satisfaites du site Web de Statistique Canada, ce qui s'est avéré être l'un des principaux problèmes (p. ex. « difficile de s'y retrouver » et « pas intuitif »). Bien qu'il s'agisse d'un enjeu organisationnel connu, auquel le nouveau modèle de diffusion cherche à remédier, cela a une incidence négative sur l'accessibilité des produits du PCSE. La Politique sur la protection des renseignements personnels et la confidentialité de Statistique Canada a également une incidence sur l'accessibilité des produits du PCSE : les données provinciales et municipales, qui sont importantes pour certains utilisateurs, ne sont souvent pas disponibles en raison des exigences en matière de confidentialité. Enfin, les centres de données de recherche étaient généralement accueillis favorablement par la poignée de personnes interrogées qui les ont utilisés. Au moment de l'évaluation, seules les données de l'EME étaient disponibles par l'entremise de ces centres, tandis que les données de l'Enquête sur les usines de traitement de l'eau potable étaient disponibles par l'intermédiaire du Centre canadien d'élaboration de données et de recherche économique.

Bien que le problème le plus important en matière d'accessibilité soit de nature organisationnelle (le site Web), le PCSE met en œuvre des initiatives pour y remédier (p. ex. élaboration d'un catalogue de produits et réacheminement des utilisateurs vers l'information).

2.5 Méthodes et diffusions novatrices

Les répondants ont dit que plusieurs produits et services du PCSE étaient novateurs, mais il y avait relativement peu de chevauchement entre les réponses, car ils avaient tendance à nommer les quelques produits qu'ils connaissaient. Deux méthodes de diffusion possibles ont été mentionnées plus d'une fois par les personnes interrogées à l'interne et à l'externe. La première approche concerne l'intégration des données environnementales et économiques. Statistique Canada est considéré comme un chef de file dans cette transition graduelle. Le couplage des données économiques et environnementales permet aux utilisateurs d'avoir une vue d'ensemble et de comprendre les répercussions de l'activité humaine sur l'environnement.

La seconde méthode est la publication d'ensembles de données sur la Plateforme géospatiale fédérale (PGF), environnement de collaboration en ligne comprenant des données géospatiales, des services et des applications faisant autorité, tous déployés sur une infrastructure commune^{Note de bas de page 23}. La PGF était jugée novatrice par les répondants internes et externes. La PGF n'est pas gérée par le PCSE ou par Statistique Canada, mais plutôt par RNCan. Le PCSE y collabore en produisant des données qui sont incluses dans la plateforme. La diffusion par l'entremise de la PGF est le fruit des efforts déployés par le PCSE pour moderniser sa méthode de diffusion de l'AHE. En avril 2017, le PCSE avait publié deux ensembles de données sur la PGF : « Ruissellement annuel moyen au Canada (1971 à 2013) » et « Régions de drainage du Canada ». De plus, le PCSE a affiché de l'information géospatiale semblable sur le site Web de Statistique Canada et les Cartes ouvertes, l'équivalent public de la PGF.

2.6 Portée du programme

Au cours de la période d'évaluation, les responsables du PCSE ont sensibilisé la population aux produits du Programme en réalisant un certain nombre d'activités, comme des ateliers et des conférences (p. ex. « Parlons statistiques : Une série de discussions avec StatCan » sous le sujet « Statistiques de l'environnement : Mesurer le capital naturel pour assurer le bien-être à long terme des Canadiens » (octobre 2014); une conférence sur les données sur l'énergie et la politique de tarification du carbone (octobre 2017), des présentations, des cours de formation, des trousses pour les enseignants (p. ex. Statistiques environnementales : trousse de l'enseignant et ressources éducatives [16-507-X], et « L'Enquête sur les ménages et l'environnement – trousse de l'enseignant de niveau élémentaire » [16-507-x2015001], des campagnes dans les médias sociaux par l'entremise des comptes officiels de Facebook et Twitter de Statistique Canada (p. ex. AHE et EnviroStats), des articles du Quotidien, d'autres publications (p. ex. EnviroStats) et des communications par courriel. Ces activités ciblaient surtout les utilisateurs connus (p. ex. ateliers, conférences, cours de formation, médias sociaux, articles du Quotidien et communications par courriel), les établissements d'enseignement (p. ex. trousses de l'enseignant) et le public (p. ex. médias sociaux et articles du Quotidien). Bien qu'on ait constaté des preuves des diverses activités, l'information manquait de précisions, comme des renseignements sur l'efficacité des activités.

En 2015-2016, le PCSE a élaboré un plan de sensibilisation dans le but d'améliorer la qualité des données et l'accès à ses produits ainsi que d'accroître la sensibilisation. Selon le plan, on pourrait améliorer la sensibilisation et l'accès grâce à des techniques de marketing et de communication. Quatre domaines prioritaires ont été cernés : la liaison avec les intervenants, les communautés de pratique, Le Quotidien et d'autres publications, ainsi que la participation à des conférences et à des réunions d'experts.

Pour sa mise en œuvre, le plan de sensibilisation du PCSE proposait deux phases comportant diverses activités. La phase 1 était consacrée au lancement du plan (p. ex. préparation de documents pour la sensibilisation). À la phase 2, on proposait des activités en vue d'assurer la mise en œuvre continue du plan. Pour assurer son succès, on y recommandait également qu'un cadre supérieur à temps plein se consacre à la mise en œuvre du plan de sensibilisation.

De nombreux répondants ont souligné qu'il existait des lacunes dans la sensibilisation et que les activités de promotion pourraient être améliorées. Parmi leurs propositions, mentionnons l'amélioration de la communication des produits et des services du PCSE (y compris l'évolution dans le temps) au sein du gouvernement fédéral; la rencontre directe des utilisateurs et des utilisateurs éventuels; la transmission d'un plus grand nombre de courriels sur les publications; la promotion des publications à l'aide des médias sociaux; la tenue de plus d'ateliers, de présentations, de webinaires et de conférences; de même que l'élargissement des activités de sensibilisation aux municipalités, aux étudiants, aux universitaires, aux chercheurs et à d'autres organisations qui ne connaissent pas les produits du PCSE. Des lacunes dans les activités de promotion du PCSE ont été relevées par tous les groupes interrogés, y compris les partenaires fédéraux, le secteur public et les ONG. Il a été établi que les canaux de promotion, comme des bulletins réguliers, les médias sociaux et des webinaires, permettent de joindre le plus grand nombre d'utilisateurs.

Il semblerait que les activités de sensibilisation pourraient être améliorées. Au sujet de la sensibilisation, il est possible d'adopter une méthode de promotion plus systématique en utilisant les médias sociaux ou d'autres formes de communication régulière. De plus, rien ne donne à penser qu'une méthode intégrée ait été adoptée pour la mise en œuvre du plan de sensibilisation de 2015-2016. Ce plan n'a pas été mis en œuvre par un cadre supérieur spécialisé à temps plein, comme cela était recommandé, mais chacun des membres du personnel était plutôt jugé responsable de sa mise en œuvre. Il y a des raisons de croire que le plan a fini par devenir un document d'orientation et que des activités de sensibilisation ont été organisées de façon informelle par l'entremise des réseaux professionnels du personnel.

La Division de la statistique de l'environnement, de l'énergie et des transports (DSEET) élabore actuellement un plan de sensibilisation révisé, qui se divise selon ses trois programmes (environnement, énergie et transports). La composante du PCSE est conçue pour assurer la pertinence du programme, élargir la clientèle, gérer les projets offerts selon le principe du recouvrement des coûts et respecter les obligations internationales du Canada. Selon l'ébauche du plan de sensibilisation, les futures activités de sensibilisation cibleront les ministères fédéraux, les ministères PT, la communauté internationale, le milieu des affaires et les ONG. Durant l'évaluation, on ne disposait d'aucune information sur la mise en œuvre du plan (p. ex. par des employés spécialisés ou par tous, comme le plan précédent) ni sur la façon dont son succès serait mesuré.

Bien que les personnes interrogées aient souligné qu'il fallait améliorer l'approche du PCSE en matière de sensibilisation, les sentiments étaient partagés à l'interne au sujet du plan de sensibilisation révisé à venir. Même si les cadres supérieurs ont fait état de son utilité pour recueillir des données sur les besoins des utilisateurs et la promotion des produits du PCSE, d'autres ont mentionné que le plan aurait peu d'incidence sur leur travail.

Étant donné que le plan de sensibilisation précédent n'a pas été entièrement mis en œuvre, comme prévu au départ, et que les intervenants ont cerné des possibilités d'amélioration, il faudrait concentrer les efforts sur une approche plus systématique et intégrée, y compris des processus qui permettent de mesurer le succès.

2.7 Utilisation de l'information

Selon toutes les sources de données, l'information statistique du PCSE est utilisée par les secteurs privé et public pour orienter les débats, la recherche et l'analyse, ainsi que pour la prise de décisions et l'élaboration de politiques. L'évaluation a révélé d'autres indices selon lesquels les partenaires fédéraux du PCSE utilisaient plus les données statistiques du PCSE que tout autre utilisateur.

ECCC, qui est un intervenant clé, utilise plusieurs ensembles de données du PCSE à des fins précises. Les exemples comprennent les résultats d'enquête de l'ICDE (un élément clé de la Stratégie fédérale de développement durable [SFDD] exigé en vertu de la Loi fédérale sur le développement durable), des enquêtes et des comptes qui appuient la SFDD, l'EDPE pour répondre aux exigences en matière d'information de la Loi sur la protection de l'environnement, des enquêtes sur la gestion des déchets pour orienter la prise de décisions, l'Enquête sur l'industrie de la gestion des déchets dangereux^{Note de bas de page 24} pour obtenir des renseignements sur la quantité de déchets dangereux qui sont traités par l'industrie de la gestion des déchets dangereux, ainsi que le compte des ressources minières dans la SFDD de 2010 à 2013 pour démontrer l'importance économique des ressources minières dans l'économie canadienne.

En plus d'ECCC, le PCSE compte trois principaux clients visés par le recouvrement des coûts : RNCan, ISDE et AAC. ECCC et RNCan financent le Bulletin sur la disponibilité et écoulement d'énergie. Plus récemment, ISDE s'est joint à RNCan pour fournir des fonds selon le principe du recouvrement des coûts de la statistique sur les technologies propres et AAC finance l'Enquête sur la gestion des fermes. Les exemples d'utilisation par ces clients comprennent les détails sur l'utilisation du matériel et du mazout de chauffage domiciliaire ainsi que du matériel consommateur d'énergie dans les ménages qui sont recueillis dans l'EME, de même que les renseignements sur les fermes de bétail et de cultures recueillis par l'EGF pour mesurer le rendement environnemental dans le secteur agricole pour AAC. Puisque les écosystèmes et les technologies propres sont perçus comme de nouvelles priorités aux niveaux international et national, on a également constaté un intérêt pour les renseignements statistiques du PCSE sur les répercussions de la tarification du carbone sur l'économie canadienne.

Statistique Canada est également responsable de l'objectif 17^{Note de bas de page 25} des objectifs de 2020 du Canada visant à respecter la Convention sur la diversité biologique. Le but de cet objectif est de veiller à ce que les diverses valeurs de la biodiversité, sa contribution au maintien des services écosystémiques et les possibilités découlant de sa conservation et de son utilisation durable soient pleinement prises en compte dans tous les cadres décisionnels publics et privés pertinents^{Note de bas de page 26}. Le PCSE rend compte de cet indicateur à l'aide des publications de l'AHE et d'EnviroStats.

Voici d'autres exemples de l'utilisation des données du PCSE qui ont été constatées durant l'évaluation :

Il semblerait également que les partenaires internes aient utilisé l'information statistique du PCSE, dans certains cas, pour valider et consolider leurs propres données. Par exemple, le PCSE partage les données des CARN avec la Direction des comptes macroéconomiques pour les inclure dans les Comptes du bilan national (CBN). L'intégration des données sur les ressources naturelles dans les CBN permet de brosser un tableau plus complet de la richesse canadienne et aide à équilibrer les CBN.

L'information statistique du PCSE est également utilisée par des gouvernementaux provinciaux (p. ex. le gouvernement du Québec se sert des mesures de l'étalement urbain du PCSE comme complément à son système d'information géographique, des comptes provinciaux sur les émissions de GES ont été élaborés à l'aide des données de l'EEI et des comptes provinciaux sur le capital naturel ont été produits à l'aide de l'EBSE), des administrations municipales (p. ex. la Ville de Toronto utilise les données de l'EME), des organismes de recherche et d'éducation (p. ex. l'Université de Toronto se sert des données de l'EEI), des ONG (p. ex. la Fondation David Suzuki a publié une analyse sur l'expansion des peuplements sur les meilleures terres agricoles du Canada à l'aide des données du PCSE, et l'Indice de progrès véritable — Atlantique et le Centre d'étude des niveaux de vie ont utilisé les données des comptes des actifs en ressources naturelles et les indicateurs connexes pour analyser le lien entre l'environnement et l'économie), des organisations internationales (p. ex. le SCEE de l'ONU et l'OCDE), le secteur privé (p. ex. les comptes de l'eau ont servi à déterminer la durabilité d'un modèle commercial), ainsi que le public canadien et les médias.

L'évaluation bibliométrique et webométrique effectuée pour cette évaluation a démontré que les produits du PCSE étaient cités en référence sur Internet et dans des revues scientifiques internationales. L'évaluation webométrique a permis de trouver 943 hyperliens sur Internet menant à des produits publiés par le PCSE, et l'évaluation bibliométrique, de trouver 371 entrées (ou citations) bibliographiques dans la base de données^{Note de bas de page 27} renvoyant aux documents du PCSE. Le secteur universitaire représentait la majorité des entrées bibliométriques (surtout des chercheurs canadiens), suivi du secteur public (principalement AAC et ECCC). Les hyperliens menant à des produits du PCSE se trouvaient le plus souvent sur des sites Web du secteur privé (41 %), suivis des sites Web privés sans but lucratif (37 %), des sites Web du secteur public (20 %) et des sites Web universitaires (2 %).

Même s'il y a lieu de croire que des renseignements statistiques sur l'environnement sont utilisés, le PCSE n'a pas mis en place de mécanisme pour mesurer les répercussions d'une telle utilisation. C'est ce qu'on a aussi constaté à l'échelle internationale dans les autres programmes de la statistique de l'environnement qui ont été examinés.

2.8 Utilisation des ressources

Au cours de la période, les dépenses globales du programme se sont élevées à environ 35 millions de dollars (voir le tableau ci-dessous) (moyenne annuelle d'environ 7 millions de dollars^{Note de bas de page 28}). Les dépenses ont augmenté de façon constante au cours des cinq années, sauf en 2014-2015, et les dépenses les plus élevées, enregistrées en 2016-2017, s'établissaient à environ 8,9 millions de dollars.

Le programme comptait en moyenne 67 équivalents temps plein (ETP) par année. Le nombre d'ETP a été ramené de 71 en 2013-2014 à 55 en 2014-2015. Toutefois, le nombre d'ETP a augmenté au cours des deux années suivantes.

Le PCSE a été touché par les réductions découlant du budget de 2012. Par exemple, le projet triennal de la Mesure des biens et services écosystémiques (MMSE) a pris fin un an plus tôt que prévu et un certain nombre d'employés expérimentés sont partis. On s'est efforcé de maintenir le plus possible le programme de base^{Note de bas de page 29}, ce qui pourrait expliquer en partie la diminution des dépenses et des ETP en 2014-2015.

L'évaluation n'a pas révélé d'autres fluctuations importantes des dépenses de programme, et rien ne montre qu'il y a eu des dépenses excessives ou insuffisantes ou un excédent de ressources. Lorsqu'on leur a demandé si les ressources financières étaient suffisantes, les personnes interrogées à l'interne ont convenu qu'elles étaient en mesure de répondre aux principaux besoins des utilisateurs. Néanmoins, les intervenants ont souligné divers besoins en données et, comme le PCSE ne peut pas répondre à tous ces besoins avec ses ressources actuelles, il doit les classer par ordre de priorité. Il est important de préciser que certains besoins en données peuvent être attribuables au fait que la statistique de l'environnement est relativement nouvelle par rapport aux autres domaines mieux établis, comme les statistiques économiques ou sociales, et que les besoins en données sur l'environnement augmentent sans cesse depuis quelques années, en partie en raison des engagements internationaux et de l'importance stratégique accrue accordée à des questions telles que les changements climatiques. Les personnes interrogées ont également convenu que les travaux du PCSE sur les technologies propres ne pourraient être réalisés sans les fonds prévus dans les budgets de 2016 et de 2017.

En 2014-2015, la décision a été prise de joindre les programmes de la statistique de l'environnement, de l'énergie et des transports en raison des liens qui existent entre ces programmes. Les programmes de l'environnement et de l'énergie relevaient auparavant de divisions distinctes. La création de la DSEET visait, en partie, à accroître le niveau de coordination entre les programmes. Il semblerait que l'on ait tâché d'améliorer la collaboration et l'intégration entre les programmes, mais que des opportunités demeurent.

La haute direction est d'avis que la création de la DSEET a déjà simplifié le travail de l'équipe et qu'elle continuera de le faire parce que cela permet une intégration plus facile des données provenant de différentes sources et une meilleure compréhension du travail de chacun des programmes par les autres. De plus, il y a lieu de croire que des analyses transversales ont été effectuées. Par exemple, on a produit trois articles analytiques qui portaient sur des questions combinant les points de vue de l'énergie, des transports et de l'environnement. Un de ces articles examinait les secteurs pétrolier et gazier dans l'optique des trois programmes. On a également effectué une analyse de la cohérence et assuré la validation des données, par exemple, en utilisant les données sur l'énergie des ménages recueillies dans le cadre du PCSE pour valider les données sur l'électricité recueillies dans le cadre du Programme de la statistique de l'énergie. L'équipe du Programme de la statistique des transports a aussi aidé à examiner l'AHE sur l'eau douce.

Un autre exemple est le travail d'équipe entre le PCSE et le Programme de la statistique de l'énergie dans le cadre de l'intégration des données sur l'offre et la demande d'énergie dans les CFP et le BDEE. Ces deux composantes ont été regroupées dans le PCSE pour tirer parti de son expertise en compilation de comptes et ainsi favoriser l'élaboration du BDEE.

Bien que des efforts aient été déployés pour favoriser les occasions de collaboration en matière de production de données, les personnes interrogées à l'interne n'étaient pas convaincues que la nouvelle division avait pleinement profité de ces occasions. Pour assurer l'intégration, elles ont notamment proposé des possibilités liées à l'aspect technique de leur travail (p. ex. production de statistiques et de publications connexes) et à l'aspect administratif. Par exemple, la plupart des enquêtes du PCSE sont menées tous les deux ans, tandis que le Programme de la statistique de l'énergie et le Programme de la statistique des transports publient des données une fois par année, par trimestre et par mois^{Note de bas de page 30}. Comme le personnel du PCSE entreprend rarement le processus de diffusion, celui-ci peut exiger beaucoup de temps, car le personnel doit réapprendre des choses, ce qui limite sa capacité de réaliser d'autres activités. Elles ont mentionné qu'un processus de partage des connaissances en matière de diffusion, ou même une équipe centrale de diffusion au sein de la DSEET, pourrait être un domaine de collaboration qui permettrait d'améliorer l'efficience.

Une collaboration accrue dans la DSEET pourrait aider le PCSE à donner suite aux recommandations formulées dans l'évaluation. L'échange d'information et le partage des pratiques exemplaires pourraient permettre au PCSE de mener ses enquêtes de manière plus efficiente. Une collaboration accrue pourrait également renforcer la stratégie de sensibilisation du PCSE. Une méthode de sensibilisation coordonnée, par exemple, avec un employé spécialisé chargé de superviser les activités de sensibilisation dans l'ensemble de la division, pourrait assurer le succès de ces activités. Bien que les programmes de la statistique de l'énergie et des transports ne fassent pas partie de cette évaluation, une collaboration accrue pourrait aussi leur être bénéfique, par exemple, la collaboration continue en matière d'analyse spatiale. De même, des discussions sur les besoins transversaux pourraient mener à la production d'analyses et de publications qui répondent simultanément aux besoins de multiples intervenants.

Même si l'intégration est l'un des sujets de discussion durant les réunions de gestion bihebdomadaires de la DSEET, on n'a relevé aucune preuve d'une tribune spécialisée au niveau de la division où ce genre d'occasions d'améliorer l'efficience pourrait faire l'objet d'une discussion approfondie.

Il existe des preuves de collaboration avec des secteurs spécialisés à l'extérieur de la DSEET, notamment une approche intégrée de l'analyse géospatiale avec la Division de l'agriculture, la Division des registres statistiques et de la géographie et le Comité de la statistique de l'environnement auquel participent plusieurs partenaires des secteurs spécialisés et de la prestation de services. Le PCSE entretient également des liens avec la Direction des comptes macroéconomiques; pendant la période de l'évaluation, des estimations trimestrielles des comptes des actifs en ressources naturelles ont été élaborées et publiées. Ces estimations sont directement intégrées dans le bilan national trimestriel.

Enfin, il semble que deux systèmes soient utilisés dans le PCSE pour gérer les demandes des clients. Le premier, le Système de gestion des relations avec les clients (SGRC^{Note de bas de page 31}), est utilisé par certains pour faire le suivi des demandes et y répondre. Le deuxième, la boîte de courriel « Environ », est utilisé par d'autres pour faire le suivi des demandes et les gérer. Une personne est chargée de surveiller la boîte de courriel et de répartir les demandes dans le PCSE, et une autre gère le SGRC, qui crée également un dossier dans la boîte de courriel. Tous les renseignements demandés dans la boîte de courriel ne sont pas enregistrés dans le SGRC. Bien que rien ne montre que des demandes aient été mal gérées, il y a un risque que l'on perde des demandes et que du travail soit réalisé en double, d'autant plus que le nombre de demandes augmente constamment. Par ailleurs, on perd les avantages d'avoir un système au niveau de l'organisation, comme un point de vue global de la clientèle. Le PCSE devrait envisager de revoir son approche de suivi et de gestion des demandes des clients.

2.9 Facteurs ayant une incidence sur l'efficience

Le PCSE collabore avec ses principaux intervenants, tant externes qu'internes, et entretient des partenariats avec eux. Des partenariats clés ont été établis avec des ministères fédéraux, y compris ECCC et RNCan. Par exemple, le PCSE est membre du Comité directeur de l'ICDE avec ECCC et Santé Canada, ainsi que du Comité directeur de la SFDD avec ECCC et plusieurs autres ministères fédéraux. Le PCSE fait également partie du Comité trilatéral sur les changements climatiques au niveau^{Note de bas de page 32} des sous-ministres adjoints (SMA), qui comprend RNCan et ECCC. Enfin, de concert avec RNCan, ISDE, AMC, ECCC, AAC, le ministère des Pêches et des Océans (MPO), Transports Canada et le Bureau du Conseil privé, le PCSE fait partie du Groupe de travail sur les technologies propres.

Le PCSE a conclu des ententes de partage de données avec diverses organisations fédérales et provinciales (comme ECCC, RNCan, AAC, le MPO, le ministère des Affaires municipales et de l'Occupation du territoire du Québec, et le ministère de l'Agriculture et des Forêts de l'Alberta) et des lettres de collaboration interministérielle avec plusieurs organisations fédérales. Par exemple, le PCSE a conclu une entente avec un plusieurs ministères qui régissent l'utilisation des microdonnées du Recensement des mines, mené par RNCan. Les données sont capitales pour les CFP et les comptes des actifs en ressources naturelles. En 2016-2017, des efforts ont été déployés pour accroître le nombre d'ententes de partage de données, y compris celles conclues en vertu des articles 11 et 12 pour l'EBSE et l'EIGD.

De nombreux informateurs clés ont formulé des commentaires positifs sur l'efficacité de la participation du PCSE aux partenariats, notamment le fait qu'il était réceptif, ouvert et disposé à travailler avec les intervenants.

Des personnes interrogées ont également souligné que la gouvernance des données et de la statistique de l'environnement pourrait devenir plus inclusive, et certains ont proposé que les partenariats informels deviennent plus officiels. Certains répondants ont cité en exemple le Centre canadien de la statistique juridique ou le CCME (ou, dans ce dernier cas, une éventuelle plateforme) pour intégrer les points de vue et l'expertise d'organisations et d'organismes qui, à l'heure actuelle, ne jouent pas un rôle important dans la gouvernance. Ils ont également proposé l'élaboration d'un mécanisme qui fonctionnerait parallèlement aux mécanismes en place pour appuyer la collaboration gouvernementale aux activités liées à la biodiversité, ou la création d'un groupe directeur supérieur qui serait composé de représentants au niveau des sous-ministres ou des SMA.

À l'heure actuelle, le PCSE ne dirige aucun des comités ou des groupes de travail interministériels, mais il en est membre. À cet égard, relativement peu d'intervenants étaient en mesure de faire des commentaires sur l'efficacité des mécanismes actuels de gouvernance de PCSE, même si plusieurs ont mentionné que le programme était en voie d'élaborer ou améliorer des mécanismes pour gérer la production de l'information statistique sur l'environnement, notamment le Recensement de l'environnement et une « communauté de pratique » qui découlerait de la structure de gouvernance mise en place pour l'initiative de l'EBSE (« EBSE Plus »).

Le PCSE fait partie d'organisations internationales, comme le Groupe de Londres, tribune servant à partager l'expertise nationale et internationale. En préconisant l'adoption de normes statistiques et de pratiques exemplaires, le Groupe de Londres aide à améliorer constamment le PCSE. Le Programme est un membre actif du Groupe de travail de l'OCDE sur l'information environnementale, dont l'objectif est d'échanger de l'information, de favoriser l'élaboration de données de grande qualité et comparables à l'échelle internationale sur les conditions et les tendances environnementales, et de promouvoir l'élaboration d'indicateurs liés à l'environnement et au développement durable^{Note de bas de page 33}. Enfin, des membres du personnel de divers niveaux prennent part à des activités visant à élaborer et à mettre en œuvre le SCEE de l'ONU, notamment la participation au niveau des statisticiens en chef adjoints au Comité d'experts de la comptabilité de l'environnement de l'ONU.

Certains informateurs clés à l'échelle internationale ont souligné un manque de coordination, d'orientation, de cohérence et de collaboration au niveau mondial, ce qui pourrait avoir une incidence sur la cohérence de l'information statistique sur l'environnement qui est disponible. Un autre défi mentionné par certains informateurs clés était la capacité limitée de diverses organisations en matière de comptabilité de l'environnement, puisque la communauté internationale d'experts dans ce domaine est relativement restreinte. Selon certaines personnes interrogées, la coordination et la collaboration à l'échelle mondiale sont essentielles pour faciliter la pratique de la comptabilité de l'environnement au niveau international. La collaboration et les partenariats internationaux du Canada peuvent être utiles en ce sens. Les informateurs clés avaient une idée positive de la collaboration et des partenariats internationaux du PCSE. Aucun des informateurs clés ne les jugeait inefficaces.

3. Comment améliorer le programme

Il semblerait que le PCSE soit harmonisé avec les rôles, les responsabilités et les engagements du gouvernement fédéral et que les renseignements qu'il produit soient de grande qualité. Puisque la production de nombreuses parties du PCSE est relativement récente, que les besoins liés aux comptes et à la statistique de l'environnement évoluent constamment et que les préoccupations environnementales ne cessent de croître ces dernières années, il reste des lacunes statistiques dans le programme. En raison de son lien étroit avec les principaux utilisateurs et partenaires, les responsables du PCSE sont au courant de ces lacunes et prennent des mesures pour les combler, dans la mesure du possible.

Sensibilisation

Étant donné l'évolution rapide du domaine de la statistique de l'environnement, il est essentiel que le PCSE entretienne de solides relations avec les utilisateurs et qu'il fasse activement la promotion de son information statistique. Le plan de sensibilisation élaboré par le Programme en 2015-2016 n'a été mis en œuvre qu'en partie. Bien que plusieurs activités aient eu lieu au cours de la période visée, il semblerait que le plan soit devenu un document d'orientation et que les activités de sensibilisation aient été menées de façon informelle par l'entremise des réseaux professionnels du personnel.

Les résultats des consultations sont documentés dans les rapports de fin d'année et montrent que des changements ont été apportés au Programme à la suite de diverses consultations. Toutefois, les répondants externes ont souligné que l'inclusivité des intervenants et l'approche de communication pourraient être améliorées.

Recommandation 1

Il est recommandé que le PCSE améliore sa stratégie de sensibilisation afin d'assurer une approche structurée et systématique des activités de consultation et de promotion. La stratégie devrait être inclusive et s'adresser à tous les intervenants clés, et des communications de suivi devraient avoir lieu. Il devrait y avoir des discussions internes avec le personnel pour favoriser la mobilisation et il faudrait envisager d'utiliser des outils de l'organisme pour mesurer le succès et la satisfaction de la clientèle.

Intégration

Il semblerait que le PCSE ait commencé à tirer parti de l'intégration des programmes de l'environnement, de l'énergie et des transports. Or, des possibilités d'intégration sont encore inexploitées. Ces possibilités ont été cernées à la fois au niveau technique (p. ex. production de statistiques et de publications connexes) et au niveau opérationnel (p. ex. diffusion). La collaboration pourrait également appuyer une approche plus intégrée et stratégique de la sensibilisation.

Recommandation 2

Il est recommandé que le PCSE, ainsi que les programmes de l'énergie et des transports de la DSEET, détermine d'autres domaines de collaboration et mette en œuvre des mécanismes officiels pour les appuyer. En outre, pour assurer la poursuite des efforts à l'avenir, la DSEET devrait créer une tribune où elle pourrait discuter des idées de collaboration.

Gestion des demandes des clients

Les données probantes montrent que le PCSE utilise deux systèmes différents pour gérer les demandes des clients : le SGRC et la boîte de courriel « Environ ». Même si rien ne montre que des demandes ont été mal traitées, l'utilisation de deux systèmes, gérés par deux employés, risque d'entraîner l'oubli de certaines demandes et le dédoublement du travail. Le risque sera accru, car les demandes de statistique de l'environnement ne cessent d'augmenter.

Recommandation 3

Il est recommandé que le PCSE revoie son approche actuelle de suivi et de gestion des demandes des clients. L'approche révisée devrait être examinée au niveau divisionnaire pour tenir compte des systèmes qu'utilisent le Programme de la statistique de l'énergie et le Programme de la statistique des transports.

Actualité et portée du programme

Dans l'ensemble, alors que les utilisateurs des données du PCSE sont satisfaits de l'information statistique sur l'environnement qui est offerte et de sa qualité, ils ont fait état de plusieurs lacunes dans les données, souligné la nature peu fréquente de bon nombre des enquêtes et fait des commentaires sur la diffusion tardive. Tous ces facteurs influent sur la pertinence et l'utilité de l'information.

Recommandation 4

Il est recommandé que le PCSE envisage des possibilités d'accroître la fréquence de ses enquêtes et de combler les lacunes relevées. De plus, le Programme devrait prendre des mesures pour améliorer l'actualité de ses publications afin d'atteindre la cible visée à cet égard.

4. Réponse et plan d'action de la direction

Annexe 1 : Description du Programme

Le programme de la statistique de l'environnement de Statistique Canada a vu le jour au début des années 1970, sous la direction du conseiller principal de l'intégration. Son principal produit était L'activité humaine et l'environnement, dont le premier numéro a été publié en 1978. Un an plus tard, Statistique Canada a diffusé la publication Towards a Comprehensive Framework for Environmental Statistics: A Stress-Response Approach^{Note de bas de page 35}. Ce cadre a ensuite servi de base aux statistiques de l'environnement de l'ONU (Cadre pour le développement des statistiques de l'environnement), de l'OCDE et de plusieurs organismes statistiques nationaux.

La DSEET, qui fait partie de la Direction de la statistique de l'agriculture, de l'énergie, de l'environnement et des transports (Secteur de la statistique économique), est responsable du PCSE. Le mandat du Programme consiste à recueillir, élaborer, compiler, analyser et publier des données sur l'environnement, en mettant l'accent sur leur intégration aux données socioéconomiques. Son objectif est de fournir aux utilisateurs du gouvernement, aux entreprises et au public des statistiques harmonisées, exhaustives, pertinentes et opportunes, qui permettent d'examiner le lien entre l'environnement et l'activité humaine. Pour remplir son mandat et atteindre ses objectifs, le PCSE réalise quatre activités principales :

• les comptes de l'environnement : l'intégration des données sur l'environnement (celles recueillies au sein de Statistique Canada et à l'extérieur de l'organisme) et des données sociologiques sous la forme de bases de données cohérentes et exhaustives, qui font usage d'une foule de cadres organisationnels;
• la statistique de l'environnement : la collecte de données sur l'environnement directement auprès des entreprises, des ménages et des gouvernements à l'aide d'enquêtes permanentes et occasionnelles, ainsi que l'intégration des données administratives provenant d'autres sources;
• l'analyse spatiale : la recherche et l'élaboration de la statistique de l'environnement (p. ex. stocks des écosystèmes et flux des biens et services écosystémiques) pour les régions géographiques qui représentent les caractéristiques du territoire plutôt que les limites politiques ou administratives;
• la diffusion : la diffusion de la statistique de l'environnement grâce à un grand nombre de produits catalogués présentant une analyse descriptive et des statistiques en format électronique.

Le PCSE relève du statisticien en chef adjoint du Secteur de la statistique économique, et ses activités sont supervisées par le directeur général de la Direction de la statistique de l'agriculture, de l'énergie, de l'environnement et des transports et le directeur de la DSEET. La gestion opérationnelle du PCSE est dirigée par un directeur adjoint, qui est appuyé par cinq chefs. Le programme de la statistique comprend trois éléments principaux liés aux programmes de services votés et offerts selon le principe du recouvrement des coûts :

• Comptes de l'environnement :
  • Comptes des actifs en ressources naturelles (CARN);
  • Comptes des flux physiques (CFP);
  • Compte économique des produits environnementaux et de technologies propres (CEPETP);
  • Comptes des écosystèmes.
• Enquêtes sur l'environnement (entre 2011 et 2018) :
  • Enquête sur l'industrie de la gestion des déchets (EIGD);
  • Enquête sur les biens et services environnementaux (EBSE);
  • Enquête sur les dépenses de protection de l'environnement (EDPE);
  • Enquête sur l'eau dans les industries (EEI);
  • Enquête sur l'eau dans l'agriculture (EEA);
  • Enquête sur les usines de traitement de l'eau potable (EUTEP);
  • Enquête sur les ménages et l'environnement (EME);
  • Enquête sur l'utilisation de l'énergie par les ménages (EUEM);
  • Enquête sur la gestion agroenvironnementale (EGA);
  • Bulletin sur la disponibilité et écoulement d'énergie au Canada (BDEE).
• Publications techniques et analytiques :
  • Série de documents analytiques et techniques sur les comptes et la statistique de l'environnement;
  • EnviroStats;
  • L'activité humaine et l'environnement (AHE).

Résultats attendus

Le PCSE fait partie de l'activité de programme Statistique économique et environnementale (sous-programme 1.4, Statistique de l'environnement) de l'Architecture d'alignement des programmes de Statistique Canada. Il aide à atteindre le résultat stratégique 1 de Statistique Canada : Les Canadiens ont accès à des renseignements statistiques actuels, pertinents et de qualité sur l'économie et la société canadiennes en pleine évolution, et qui servent à alimenter les débats de fond, la recherche et la prise de décisions sur des questions d'ordre social et économique. Pour atteindre les objectifs du PCSE, la DSEET a cerné les principales priorités stratégiques suivantes^{Note de bas de page 36} :

• maintenir la production continue des actuels produits statistiques sur l'environnement;
• continuer de transférer les enquêtes-entreprises sur l'environnement au Programme intégré de la statistique des entreprises;
• mettre en œuvre le Cadre sur la statistique de l'environnement dans les domaines prioritaires définis;
• terminer la planification à long terme, la continuité et le maintien de la qualité, ainsi que les projets autofinancés.

Le modèle logique suivant décrit les activités, les extrants et les résultats clés du PCSE. Il est fondé sur le Cadre d'assurance de la qualité de Statistique Canada^{Note de bas de page 37} qui décrit les six dimensions de la gestion de la qualité (accessibilité, actualité, exactitude, intelligibilité, cohérence et pertinence^{Note de bas de page 38}) et qui s'applique à tous les produits et données statistiques.

Figure 1. Modèle logique du Programme des comptes et de la statistique de l'environnement

Ressources du programme

Les dépenses du PCSE pour les cinq derniers exercices ont totalisé 34 964 232 $.

Rapport d'évaluation

Juillet 2017

Résumé

1. Contexte
2. Constatations : Pertinence
   • 2.1 Caractère nécessaire permanent du programme du Centre canadien de la statistique juridique
   • 2.2 Alignement sur les priorités du gouvernement et de partenaires clés
   • 2.3 Harmonisation avec les rôles et responsabilités du gouvernement fédéral
3. Constatations : Rendement — Atteinte des résultats attendus
   • 3.1 Exactitude
   • 3.2 Actualité
   • 3.3 Accessibilité
   • 3.4 Cohérence
   • 3.5 Intelligibilité
   • 3.6 Pertinence
   • 3.7 Utilisation des renseignements statistiques
4. Constatations : Rendement — Démonstration d'efficience et d'économie
5. Conclusions et recommandations
   • 5.1 Conclusions
   • 5.2 Recommandations
6. Réponse et plan d'action de la direction

• Annexe 1 : Références
• Annexe 2 : Gouvernance de l'Entreprise nationale relative à la statistique juridique
• Annexe 3 : Enquêtes et produits de données importants du Centre canadien de la statistique juridique
• Annexe 4 : Modèle logique du Centre canadien de la statistique juridique
• Annexe 5 : Enjeux et questions d'évaluation
• Annexe 6 : Stratégie d'évaluation
• Annexe 7 : Priorités énoncées dans les lettres de mandat

Résumé

La Division de l'évaluation et des pratiques professionnelles (DEPP) de la Direction de l'audit et de l'évaluation de Statistique Canada a procédé à une évaluation indépendante du programme du Centre canadien de la statistique juridique (CCSJ). Les résultats permettent d'obtenir des renseignements objectifs et des recommandations à l'appui de l'amélioration du programme, ainsi que d'éclairer les décisions futures prises par Statistique Canada et par le Parlement en ce qui a trait à la gestion des ressources et des programmes par le gouvernement.

L'évaluation a été conçue et menée en conformité avec la Politique sur l'évaluation (2009)^{Note de bas de page 1} du Conseil du Trésor et les directives et normes connexes, et elle respecte un engagement en matière de reddition de comptes énoncé dans le Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2013-2014 à 2015-2016). L'objectif est de fournir des renseignements crédibles et neutres sur la pertinence et le rendement continus (efficacité, efficience et économie) du programme.

1. Contexte

En tant qu'organisme national de statistique du Canada, Statistique Canada joue un rôle fondamental dans la production de renseignements sur les conditions socioéconomiques du pays. Les données statistiques sont utilisées pour éclairer la prise de décision du gouvernement à tous les échelons du fait qu'elles décrivent l'évolution des conditions, facilitent l'analyse des politiques et des programmes et permettent de suivre les résultats des programmes. Certaines données produites par Statistique Canada sont exigées en vertu de la loi.

2. Constatations : Pertinence

La présente section résume les constatations tirées de l'évaluation dans le cadre du processus de collecte des données. Elle porte essentiellement sur la pertinence du programme du CCSJ en explorant le caractère essentiel démontrable du programme, sa conformité aux priorités du gouvernement et son harmonisation avec les rôles et les responsabilités du gouvernement fédéral.

3. Constatations : Rendement — Atteinte des résultats attendus

La présente section résume les résultats de l'évaluation liés à la concrétisation des résultats attendus du programme. Elle aborde des questions sur le rendement et s'intéresse à la mesure dans laquelle des renseignements statistiques de qualité et du soutien sont accessibles, et à la mesure dans laquelle les renseignements sont pertinents et utilisés. Il est important de noter que le CAQ^{Note de bas de page 27} et les Lignes directrices concernant la qualité de Statistique Canada définissent la qualité comme étant un concept englobant six dimensions connexes : l'exactitude, la rapidité de diffusion de l'information, l'accessibilité, la cohérence, la pertinence et l'intelligibilité. Ces éléments cadrent avec les normes internationales reconnues pour évaluer l'efficacité des programmes statistiques.

Pour gérer la qualité, Statistique Canada doit atteindre un équilibre entre, d'une part, ces éléments de la qualité et, d'autre part, les contraintes des ressources financières et humaines, de la volonté des répondants de fournir les données de base et des demandes concurrentes pour une plus grande quantité de renseignements plus détaillés. L'incidence potentielle du programme (c.-à-d. la mesure dans laquelle l'information est utilisée dans le cadre du processus décisionnel) est directement corrélée à la qualité et à la pertinence des renseignements statistiques qui sont accessibles. À cet égard, le rapport d'évaluation décrit chaque dimension de qualité des renseignements statistiques accessibles, et ce, de l'exactitude des renseignements à l'ampleur de leur utilisation.

3.2 Actualité

Sommaire

La majorité des produits du CCSJ sont diffusés en temps opportun, mais les utilisateurs de données souhaitent obtenir des renseignements plus actuels pour la prise de décisions sur les politiques et les programmes. On reconnaît cependant que la rapidité de diffusion dépend, du moins en partie, de la nature administrative des données. La diffusion des renseignements en temps opportun dépend de l'actualité des données d'entrée reçues des secteurs de compétence et des fournisseurs de données qui n'ont pas tous les mêmes capacités.

La plupart des produits du CCSJ sont diffusés conformément au calendrier établi. Parmi les 90 produits diffusés par le CCSJ au cours des exercices 2011-2012 à 2015-2016, la majorité (80/90 ou 89 %) ont respecté les dates de diffusion fixées par le programme. Les produits qui n'ont pas respecté les dates de diffusion préétablies se rapportaient aux enquêtes sur les services policiers (5), aux tribunaux (2), aux services correctionnels (1) et à l'analyse de l'ESG (2). La majorité des produits qui n'ont pas respecté les dates de diffusion établies par le programme (8/10) ont été diffusés en 2011-2012 ou en 2012-2013, ce qui démontre une augmentation du taux de respect des dates de diffusion préétablies au cours des dernières années.

L'actualité des données statistiques correspond au délai entre le point de référence (ou la fin de la période de référence) auquel se rapporte l'information et la date à laquelle les données sont accessibles. Il doit souvent y avoir compromis entre l'actualité et l'exactitude de l'information. L'actualité de l'information influera sur sa pertinence.

Les résultats des interviews auprès des répondants clés et de l'enquête auprès des utilisateurs étaient mitigés sur la question de la rapidité de diffusion de l'information. Les répondants de l'enquête auprès des utilisateurs étaient fortement satisfaits de la rapidité de diffusion des données (105/141 ou 74 %). Toutefois, seule une minorité de répondants clés interviewés étaient satisfaits de la rapidité de diffusion des renseignements du CCSJ.

Dans l'ensemble, les répondants clés souhaitent pouvoir accéder plus rapidement aux données du CCSJ. Les secteurs de compétence souhaitent obtenir les renseignements les plus actuels pour prendre des décisions appropriées en matière de programmes et de politiques et réagir aux enjeux immédiats dans les médias.

« La norme actuelle consiste presque à obtenir des données en temps réel. Quand on réfléchit à quelque chose qui remonte à plus d'un exercice et que des personnes veulent prendre des décisions, on constate un certain retard si ces personnes n'ont pas leurs propres données pour évaluer des programmes ou si elles n'utilisent pas ces données pour faciliter leur prise de décisions. »

Certains répondants clés ont aussi établi un lien entre l'actualité des données et la pertinence de celles-ci. On a mentionné que les données diffusées, particulièrement celles relatives aux tribunaux et aux services correctionnels, reflétaient des tendances observées jusqu'à un an auparavant, voire plus. Quelques-uns de ces répondants clés ont mentionné que les données qui dataient de six à douze mois étaient moins pertinentes pour la planification et la prise de décisions en matière de politiques et de programmes.

On a aussi mentionné que l'actualité peut dépendre de certains cycles d'enquête (p. ex. l'ESG sur la victimisation qui n'est réalisée que tous les cinq ans). On souhaite également à l'échelle internationale que le Canada publie plus fréquemment des renseignements sur la victimisation. Par exemple, certains pays étudient la victimisation sur une période plus courte (annuellement ou tous les deux ans)^{Note de bas de page 31}.

Contrairement au Programme DUC, l'ESG sur la victimisation recueille des données sur les incidents criminels, et ce, qu'ils aient été portés ou non à l'attention de la police. Cette enquête est la seule enquête nationale sur la victimisation autodéclarée et ses données sont recueillies dans l'ensemble des provinces et des territoires. Elle permet d'évaluer le nombre et les caractéristiques des victimes et des incidents criminels. Étant donné que les crimes ne sont pas tous signalés à la police, l'enquête offre un complément important au taux de criminalité officiel. Elle mesure les crimes signalés à la police et ceux qui ne sont pas déclarés. Elle aide également à comprendre les raisons qui poussent les gens à signaler ou non un crime à la police^{Note de bas de page 32}.

Défis relatifs à l'actualité

« Je peux me plaindre de la rapidité de diffusion des données, mais je sais également que mon propre secteur de compétence transmet ses données en retard au CCSJ. J'estime que le CCSJ fait le meilleur travail possible, mais j'aimerais que les renseignements soient diffusés plus rapidement. Nous les voulons plus tôt, mais nous comprenons pourquoi nous ne pouvons pas les obtenir plus rapidement la plupart du temps. »

Les répondants clés ont mentionné les problèmes qui posent des défis pour la diffusion rapide des données. Quelques-uns ont attribué ces problèmes aux secteurs de compétence qui fournissent les données, tandis que d'autres ont mentionné qu'il faut du temps pour regrouper et analyser correctement les données de partout au pays. On a également reconnu que l'actualité pourrait être liée au rythme lent des activités du système de justice, ce qui rend difficile la tâche consistant à demeurer au fait des questions immédiates et émergentes.

Des répondants clés internes ont également reconnu que la diffusion des renseignements en temps opportun dépend de l'actualité des données d'entrée reçues des secteurs de compétence. Ils ont mentionné que certains secteurs de compétence pourraient ne pas être en mesure de répondre aussi rapidement que nécessaire. Cela peut s'expliquer par des priorités concurrentes, par le fait que ce ne sont pas tous les secteurs de compétence qui ont des systèmes adéquats en place (p. ex. la technologie) pour fournir des renseignements actuels, ou par un manque de ressources financières. On a fait remarquer qu'il y a déjà eu du financement pour aider les secteurs de compétence à développer leurs capacités, mais que celui-ci n'est plus disponible.

« La rapidité de diffusion des données dépend de la réponse des autres secteurs de compétence. Je ne dis pas que le processus du CCSJ est lent, mais la méthode de collecte des renseignements est longue, et j'ignore s'il peut y changer quoi que ce soit. Je crois que le CCSJ devrait préconiser ce type de chose (c.-à-d. la création d'une plateforme universelle de partage des données) et expliquer pourquoi cela s'avérerait avantageux pour la population canadienne. »

Le CCSJ dépend fortement des fournisseurs de données, et, dans ce contexte, la collecte de données est majoritairement indépendante de la volonté de l'organisme statistique. La réception des données à temps est cruciale pour les principales diffusions. Elle peut avoir une incidence sur la pertinence des données, puisque ces dernières risquent d'être désuètes au moment de leur diffusion.

La question de l'actualité s'harmonise bien avec les ouvrages publiés sur l'utilisation et les limites des données administratives. Ceux-ci indiquent que de nombreux facteurs du processus de collecte peuvent empêcher un fournisseur de transmettre ses données en temps opportun. Ces facteurs peuvent être classés en trois catégories, comme l'illustre la figure 1 : l'aspect financier (fonds), l'aspect humain (formation et connaissance) et l'aspect politique (volonté des secteurs de compétence). Les solutions visant à améliorer l'actualité des données dépendent d'une bonne compréhension des éléments en jeu : les acteurs (efficacité et appui), le système en place (seulement aussi rapide que le fournisseur le plus lent) et les données elles-mêmes (exhaustivité, quantité et politiques en place)^{Note de bas de page 33}.

 

Figure 1
Facteurs contribuant au retard dans la présentation des données

Source : National Association for Public Health Statistics and Information System (NAPHSIS), 2013.

Malgré ces défis relatifs à l'actualité, les répondants clés étaient reconnaissants que le CCSJ explique immédiatement pourquoi les délais proposés sont impossibles et ils ont déclaré que le CCSJ respecte ses engagements quand il promet de fournir des données.

4. Constatations : Rendement — Démonstration d'efficience et d'économie

La présente section résume l'évaluation de l'efficience et de l'économie du CCSJ. Les constatations sont basées sur l'analyse de l'utilisation des ressources du programme par rapport à la production de ses produits et des progrès réalisés en vue des résultats prévus, et s'appuient sur de l'information qualitative tirée de l'étude des documents et des interviews auprès de la direction du programme.

Comme on l'a mentionné à la section sur les limites de l'évaluation, la structure actuelle de l'information financière, soit sur une base opérationnelle plutôt que sur la base du projet, limite l'analyse de l'incidence des enjeux et des initiatives sur les coûts et le budget total des activités d'enquête.

Sommaire

Les constatations tirées de l'évaluation démontrent que la direction du CCSJ reste déterminée à offrir des données de qualité sur la criminalité et la justice qui répondent aux besoins et respectent les priorités malgré les pressions financières. Les répondants clés ont déclaré que les ressources humaines faisaient l'objet de plus de pression en raison des besoins grandissants en matière d'information et de la transition vers des outils communs et une infrastructure partagée.

Pendant la période de cinq ans, le CCSJ fonctionnait avec des dépenses générales de programme se chiffrant à 40,7 millions de dollars (comme l'indique le tableau 5). Les dépenses ont fluctué au cours des trois premières années; elles ont atteint leur niveau le plus élevé en 2013-2014, puis elles ont diminué durant les deux dernières années pour atteindre 7,5 millions de dollars en 2015-2016.

Tableau 5
Dépenses du programme du Centre canadien de la statistique juridique ($)

Dépenses	Exercice					Total
	2011-2012	2012-2013	2013-2014	2014-2015	2015-2016
Source : Statistique Canada, système financier et information calculée.
Salariales ($)	5 527 653	5 177 883	6 460 329	6 102 641	5 321 653	28 590 159
Non salariales ($)	865 336	350 120	568 416	515 680	383 376	2 682 928
Avantages sociaux et régimes de retraite ($)	1 105 531	1 035 577	1 292 066	1 220 528	1 064 331	5 718 033
Coût des locaux ($)	718 595	673 125	839 843	793 343	691 815	3 716 721
Total ($)	8 217 114	7 236 704	9 160 654	8 632 193	7 461 175	40 707 839
Équivalents temps plein	72	68	90	77	65	Moyenne annuelle 74

La hausse en 2013-2014 coïncide avec les dépenses en recouvrement externe des coûts les plus élevées et les plus importantes propositions d'investissement de la période (voir la figure 2). Les dépenses en recouvrement externe des coûts ont représenté environ 20 % et plus des dépenses salariales et non salariales annuelles jusqu'en 2015-2016, moment où le recouvrement externe des coûts a diminué pour atteindre 11 % des dépenses salariales et non salariales totales. Cette situation était liée à la diminution du financement par recouvrement des coûts de deux enquêtes durant la période, soit l'Enquête sur la préparation aux situations d'urgence et sur la résilience et l'élimination progressive de l'Enquête sur les crimes motivés par la haine en 2015-2016.

 

Figure 2
Dépenses du programme du Centre canadien de la statistique juridique de 2011-2012 à 2015-2016

Source : Statistique Canada, système financier et information calculée.

Les données financières du financement du programme indiquent que l'utilisation des ressources du financement de base pour la réalisation du programme a été plus importante que prévu pour les deux dernières années (2014-2015 et 2015-2016) de la période d'évaluation (+7,9 % et +8,8 % respectivement), mais moins élevée que prévu pour les trois premières années.

« [C]ela signifie que les ressources sont utilisées à un point tel qu'une maladie ou un événement quelconque retarderait la production et ralentirait les activités [...], et la qualité pourrait être à risque. »

Les activités du programme du CCSJ ont nécessité en moyenne 74 ETP par année, ce qui comprend les spécialistes en la matière (CCSJ) et le personnel des secteurs de service (p. ex. collecte, méthodologie, technologies de l'information, Division des opérations et de l'intégration). Les dépenses salariales représentaient 70 % du total des dépenses. L'évaluation a révélé que la plupart des employés avaient des connaissances spécialisées en criminologie ou dans un autre domaine s'y rapportant et qu'ils étaient très attachés au domaine spécialisé, lequel est très précis. Cette expertise facilite le traitement des enquêtes et contribue au maintien de bonnes relations avec les partenaires.

Les résultats figurant au tableau 5 montrent que le nombre d'ETP du CCSJ a diminué au cours des deux derniers exercices, passant de 90 en 2013-2014 à 65 en 2015-2016. Des répondants clés internes ont exprimé leurs préoccupations relativement à l'équilibre entre la production et la satisfaction des besoins croissants en matière d'information. Par exemple, en plus d'entreprendre des activités liées directement à l'analyse et à la diffusion des enquêtes, le CCSJ a d'autres responsabilités et demandes de renseignements.

• Le CCSJ est représenté au sein de comités FPT qui sont propres à certains domaines spécialisés, comme les victimes ou la criminalité. Le CCSJ est souvent invité à de tels comités pour commenter de nouveaux enjeux ou répondre à des besoins d'information précis.
• En tant que spécialiste en la matière, le CCSJ doit souvent transmettre des renseignements à des comités du Sénat et de la Chambre des communes sur des questions relatives à la justice et à la sécurité publique. La préparation des renseignements pour ces comités exige beaucoup de temps et représente habituellement du travail externe qui s'ajoute à celui requis en vue de préparer et d'analyser les données nécessaires pour répondre aux demandes d'information nouvelles et émergentes.
• Le CCSJ fournira des renseignements à l'appui de 15 priorités énoncées dans les lettres de mandat ministérielles, ce qui constitue une charge de travail additionnelle dans le contexte des ressources actuelles.

Malgré la réduction du personnel depuis 2013-2014, le CCSJ continue de fournir des produits de données normalisés et de répondre aux demandes de renseignements continues et émergentes en matière de statistiques juridiques afin de répondre aux besoins d'information du gouvernement et de respecter ses priorités en constante évolution.

5. Conclusions et recommandations

6. Réponse et plan d'action de la direction

Annexe 1 : Références

Affaires AUTOCHTONES et du Nord Canada. 2014. Stratégie de mesure du rendement - 2.2 Développement social.

Bureau du vérificateur général du Canada. 2002. Rapport de la vérificatrice générale du Canada Chapitre 4 — Le système de justice pénale : des défis importants à relever.

Citoyenneté et Immigration Canada. 2010. Évaluation de la Stratégie de collecte de données uniformisée à l'échelle nationale sur les crimes motivés par la haine.

Entreprise nationale relative à la statistique juridique. 2010. Carnet de route de l'information sur la justice. Document interne.

Entreprise nationale relative à la statistique juridique. 2015a. Carnet de route de l'information sur la justice. Document interne.

Entreprise nationale relative à la statistique juridique. 2015b. Mandat. Document interne.

Gouvernement du Canada. 2015. Budget 2015 — Un leadership fort : un budget équilibré et un plan axé sur des impôts bas pour favoriser l'emploi, la croissance et la sécurité.

Gouvernement du Canada. 2016. Budget 2016 — Assurer la croissance de la classe moyenne.

Loi sur la statistique, L.R.C., 1985, ch. S-19. Statistique criminelle.

National Association for Public Health Statistics and Information Systems. 2013. More. Better. Faster. Strategies for Improving the Timeliness of Vital Statistics. Avril.

Réseau canadien des Centres de données de recherche.

Secrétariat du Conseil du Trésor du Canada. 2015. Cadre pangouvernemental.

Statistique Canada. 2002. Le cadre d'assurance de la qualité de Statistique Canada, produit n^o 12-586-X au catalogue, Ottawa.

Statistique Canada. 2009a. Statistique Canada : lignes directrices concernant la qualité (cinquième édition), produit n^o 12-539-X au catalogue, Ottawa.

Statistique Canada. 2009b. Cadre de gestion organisationnel de Statistique Canada.

Statistique Canada. 2010. Groupe de travail sur le financement du Comité des agents de liaison de l'Entreprise nationale relative à la statistique juridique. Décembre.

Statistique Canada. 2012a. « Statistiques sur les services correctionnels pour les adultes au Canada, 2010-2011 », Juristat, produit n^o 85-002-X au catalogue.

Statistique Canada. 2012b. Plan opérationnel du Centre canadien de la statistique juridique et de l'Entreprise nationale relative à la statistique juridique de 2013-2014. Novembre.

Statistique Canada. 2013. Plan d'entreprise 2013-2014 à 2015-2016.

Statistique Canada. 2014a. Évaluation du Programme de la statistique démographique, de la statistique autochtone et des autres statistiques sociales, 2010-2011 à 2012-2013. Rapport.

Statistique Canada. 2014b. Ordre du jour de la réunion du Comité des informations et statistiques policières (CISP) — Les 14 et 15 avril 2015. Document interne.

Statistique Canada. 2014c. Plan opérationnel du Centre canadien de la statistique juridique de 2014-2015.

Statistique Canada. 2015a. Entreprise nationale relative à la statistique juridique. Mandat. Document interne.

Statistique Canada. 2015b. Audit des statistiques juridiques.

Statistique Canada. 2015c. Stratégie de mesure du rendement. Centre canadien de la statistique juridique. Document interne.

Statistique Canada. 2015d. Rapport annuel de rétroaction : Centre canadien de la statistique juridique. Document interne.

Statistique Canada. 2016a. Plan d'entreprise de Statistique Canada, de 2016-2017 à 2018-2019. Document interne.

Statistique Canada. 2016b. Ébauche — Document de travail du secteur 8 : lettres de mandat renvoyant à la thématique sociale. Document de travail interne.

Statistique Canada. 2016c. Rapport sur les plans et les priorités 2016-2017.

Statistique Canada. 2017a. Enquête sociale générale : l'aperçu.

Statistique Canada. 2017b. « Mesurer le crime organisé au Canada : résultats d'un projet pilote », Juristat, produit n^o 85-002-X au catalogue.

Annexe 2 : Gouvernance de l'Entreprise nationale relative à la statistique juridique^{Note de bas de page 52}

Annexe 3 : Enquêtes et produits de données importants du Centre canadien de la statistique juridique

Annexe 4 : Modèle logique du Centre canadien de la statistique juridique

Le modèle logique du programme présenté à la figure 3 ci-dessous se base sur le Cadre d'assurance de la qualité de Statistique Canada^{Note de bas de page 53}, qui décrit les six dimensions de la gestion de la qualité de tous les renseignements et produits statistiques (c.-à-d. l'accessibilité, l'actualité, l'exactitude, l'intelligibilité, la cohérence et la pertinence). Le modèle logique s'aligne également sur le Cadre de gestion organisationnel de Statistique Canada^{Note de bas de page 54}, qui illustre comment l'organisme obtient ses résultats stratégiques. Les six dimensions de la gestion de la qualité sont intégrées au cadre en tant que moteurs suivant un ordre hiérarchique, de l'accès à la qualité (y compris l'exactitude, l'intelligibilité et la cohérence) puis à la pertinence^{Note de bas de page 55}.

Figure 3
Modèle logique du Centre canadien de la statistique juridique

Annexe 5 : Enjeux et questions d'évaluation

Annexe 6 : Stratégie d'évaluation

Pour chaque question, l'évaluation s'appuyait sur plusieurs sources de données composées de méthodes quantitatives et qualitatives de collecte des données, décrites ci-après. Les sources de données multiples fournissent de l'information de différentes perspectives, ce qui facilite la triangulation et la validation des constatations tirées de l'évaluation et qui augmente par le fait même leur exactitude et leur crédibilité, tout en renforçant la validité des conclusions.

L'évaluation reposait sur les approches suivantes :

• Approche axée sur les résultats : Cette approche permet d'évaluer les progrès réalisés par les composantes du programme en vue d'obtenir les résultats escomptés, et de déterminer si les ressources étaient adéquates et si les possibilités d'amélioration ont été exploitées.
• Approche axée sur l'utilisation : Cette approche oriente certaines parties de l'évaluation vers des aspects du programme choisis en fonction des besoins des utilisateurs principaux, à des fins particulières et pour la prise de décisions. Cette approche nécessite une consultation préliminaire de l'équipe de direction du programme pour discuter des problèmes et des questions d'évaluation, de l'approche et de la portée, et pour cerner les composantes potentielles.

Annexe 7 : Priorités énoncées dans les lettres de mandat

Le Centre canadien de la statistique juridique peut appuyer diverses priorités actuelles du gouvernement en fournissant des renseignements aux fins suivantes^{Note de bas de page 58} :