Évaluation du Programme du Recensement de la population
(2009-2010 à 2014-2015)

Sommaire et Réponse et plan d'action de la direction

Septembre 2016

• Sommaire
• Réponse et plan d'action de la direction

Remerciements

L'Équipe d'évaluation du projet remercie les personnes qui ont contribué à ce projet, et plus particulièrement les membres du Comité ministériel d'évaluation, ainsi que toutes les personnes interviewées, dont les réflexions et commentaires se sont avérés essentiels à la présente évaluation.

Le présent rapport a été approuvé par le statisticien en chef du Canada.

Conformément aux exigences de reddition de comptes de la Politique sur l'évaluation du Conseil du Trésor (2009) et de la directive connexe, le présent rapport est mis à la disposition du grand public et est affiché sur le site Internet de l'organisme, dans les deux langues officielles.

Statistique Canada a aussi mis en commun ce rapport avec ses partenaires de l'exécution du programme et les intervenants clés, y compris le Conseil national de la statistique.

Préparé par la Division de l'évaluation et de la mesure du rendement – Direction de l'audit et de l'évaluation. Nanci Comtois était à la tête de l'Équipe d'évaluation du projet, qui comprenait Valeria Pandelieva et Sonia Demers.

Liste des sigles et des abréviations

Repop

Recensement de la population

PC

Patrimoine canadien

SCHL

Société canadienne d'hypothèques et de logement

SDR

Subdivision de recensement

C.V.

Coefficient de variation

DEMR

Division de l'évaluation et de la mesure du rendement

EDSC

Emploi et Développement social Canada

TGN

Taux global de non-réponse

AANC

Affaires autochtones et du Nord Canada

IRCC

Immigration, Réfugiés et Citoyenneté Canada

ISQ

Institut de la statistique du Québec

ENM

Enquête nationale auprès des ménages

BVG

Bureau du vérificateur général du Canada

FMGD

Fichier de microdonnées à grande diffusion

CDR

Centre de données de recherche

ADTR

Accès à distance en temps réel

SPC

Services partagés Canada

CT

Conseil du Trésor

SCT

Secrétariat du Conseil du Trésor

Sommaire

La Division de l'évaluation et de la mesure du rendement (DEMR) de la Direction de l'audit et de l'évaluation de Statistique Canada a procédé à une évaluation indépendante du Programme du Recensement de la population (Repop), y compris l'Enquête nationale auprès des ménages (ENM). Les résultats ont permis d'obtenir des renseignements objectifs et des recommandations à l'appui de l'amélioration du programme, ainsi que d'éclairer les décisions futures de Statistique Canada et du Parlement en ce qui a trait à la gestion des ressources et des programmes par le gouvernement.

L'évaluation a été conçue et menée en conformité avec la Politique sur l'évaluation (2009) du Conseil du Trésor (CT) et les directives et normes connexes, et elle respecte un engagement en matière de reddition de comptes énoncé dans le Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2012-2013 à 2014-2015). L'objectif de l'évaluation est de fournir des renseignements crédibles et neutres sur la pertinence et le rendement continus (efficacité, efficience et économie) du programme.

Le présent rapport comprend les résultats de l'évaluation du Programme du Recensement de la population, y compris l'ENM. Il a été soumis au Comité ministériel d'évaluation et approuvé par le statisticien en chef du Canada.

Programme du Recensement de la population

L'objectif du Programme du Recensement de la population est de planifier, d'élaborer et de mettre en œuvre toutes les activités de collecte, de traitement et de diffusion des données des recensements décennaux et quinquennaux de la population, qui présentent un inventaire national des principaux phénomènes socioéconomiques du Canada. Le recensement dresse un portrait statistique du Canada et de sa population. Ce programme est la seule source fiable de renseignements détaillés concernant de petits groupes (p. ex., les familles monoparentales, les groupes ethniques, les catégories d'industries et de professions et les immigrants), ainsi que des secteurs aussi petits que les quartiers d'une ville, ou aussi vastes que l'ensemble du pays.

Avant 2011, l'approche adoptée pour le Programme du Recensement de la population comprenait à la fois un questionnaire abrégé obligatoire et un questionnaire détaillé obligatoire. L'Enquête nationale auprès des ménages (ENM) a été mise en œuvre en 2011, en vue de remplacer le questionnaire détaillé. L'enquête a été administrée sur une base volontaire à 30 % des ménages, parallèlement au questionnaire abrégé du Recensement de 2011. L'ENM avait été conçue pour recueillir le même type de renseignements que l'ancien questionnaire détaillé. En 2011, environ 2,7 millions de logements ont répondu à l'ENM.

Portée et méthodologie de l'évaluation

L'évaluation a été axée sur le rendement du Recensement de la population et de l'ENM de 2009-2010 à 2014-2015. Les données pour la présente évaluation ont été recueillies à partir de cinq sources, y compris des examens des ouvrages publiés, de la documentation et des données financières et administratives, des interviews auprès de 84 représentants du secteur public, du secteur privé, d'organisations non gouvernementales et d'universités, et une étude bibliométrique et webométrique. La stratégie d'évaluation a été fondée sur des données qualitatives et quantitatives. Les données de ces sources ont été analysées et triangulées pour élaborer les constatations et produire des recommandations à partir des conclusions.

Dans le cadre de l'évaluation, la pertinence, l'efficacité et l'efficience du cycle du Programme du Recensement de la population de 2011 ont été évaluées, ainsi que les répercussions des changements méthodologiques entre les cycles de 2006 et de 2011. De même, dans le cadre de l'évaluation, la capacité du programme d'atteindre ses résultats a été évaluée, compte tenu de la centralisation des processus opérationnels internes. À cette fin, les données disponibles concernant la planification du cycle de 2016 ont été examinées, ainsi que les renseignements liés à la mise en œuvre des pratiques exemplaires et les leçons retenues des cycles précédents.

Il est important de noter que les recommandations comprises dans la présente évaluation ont été modifiées, afin de rendre compte du changement contextuel récent lié au Programme du Recensement de la population, à savoir qu'en novembre 2015, pendant l'étape de la production du rapport d'évaluation, le gouvernement du Canada a décidé de rétablir le questionnaire détaillé obligatoire du recensement.

Constatations

Les constatations de l'évaluation viennent confirmer la position de Statistique Canada à propos de la qualité des renseignements statistiques du Programme du Recensement de la population de 2011. Elles confirment aussi les constatations d'autres sources indépendantes, comme le Rapport du printemps 2014 du vérificateur général du Canada.

Pertinence du programme

Le recensement est la seule source nationale qui offre des renseignements de base sur chaque personne et chaque ménage, qui sont recueillis à un moment précis, à intervalles réguliers, ainsi qu'une couverture géographique complète. Ces renseignements sont essentiels pour appuyer l'administration, la gouvernance et les politiques publiques à l'échelle nationale. Le recensement joue un rôle crucial en ce qui a trait à l'intégrité du système statistique national, étant donné qu'il fournit une base pour la validation des données recueillies par Statistique Canada, ainsi que par d'autres institutions publiques et privées.

Rendement du programme – Atteinte des résultats attendus

Comparativement au cycle de 2006 (considéré comme la base), la qualité du recensement s'est améliorée en 2011. Toutefois, la mise en œuvre de l'approche de 2011 a entraîné des coûts additionnels, par rapport à ce qui avait été prévu, et a eu des effets défavorables sur la qualité des renseignements statistiques recueillis dans le cadre de l'ENM.

La qualité des renseignements statistiques du Recensement de 2011 répond aux objectifs du programme. Toutefois, même si l'ENM est de grande qualité pour une enquête sociale à participation volontaire, il existe des préoccupations concernant des aspects particuliers, comme la cohérence et l'exactitude, pour les populations de petits domaines. Le changement de méthodologie a eu des répercussions sur la confiance des utilisateurs des statistiques officielles produites par le Programme du Recensement de la population, même si ces répercussions ne sont pas toujours justifiées et peuvent être considérées comme un résultat de perceptions biaisées. Les faits saillants qui suivent comportent plus de détails :

• L'exactitude des données du Recensement de 2011 est excellente et légèrement plus grande qu'en 2006. L'exactitude des données de l'ENM de 2011 est beaucoup plus grande que ce que l'on avait prévu en 2010, mais plus faible que celle des données du questionnaire détaillé du Recensement de 2006. Il existe une incertitude considérable parmi les utilisateurs externes, à savoir si les différences entre les données de l'ENM de 2011 et les données du questionnaire détaillé du recensement précédent sont le résultat de véritables changements dans la population ou de changements méthodologiques.
• Les données et les produits du Recensement de 2011 et de l'ENM ont été diffusés rapidement, compte tenu des ressources disponibles et du délai nécessaire pour le traitement, ainsi que le contrôle et l'assurance de la qualité.
• L'accessibilité des produits du Programme du Recensement de la population s'est améliorée de façon significative avec le temps. Depuis 2012, tous les produits normalisés découlant du programme, y compris ceux relatifs au Recensement de 2011 et à l'ENM, ont été diffusés et sont accessibles au grand public en plusieurs formats électroniques, sans frais. L'accessibilité des données pour les petites régions géographiques a été compromise par le niveau de suppression plus élevé établi pour les statistiques de l'ENM de 2011, et par le fait que le coût des services et des totalisations personnalisés (dans ce contexte seulement) représente un obstacle pour certains utilisateurs qui font face à des restrictions budgétaires.
• Les données du Recensement de la population de 2011 sont cohérentes. Dans le cadre du programme, on a fait des efforts considérables pour évaluer et réduire les répercussions de la nature volontaire de l'ENM sur la comparabilité des estimations. Toutefois, le changement de méthodologie a fait en sorte qu'il est difficile pour les utilisateurs de comparer les données de l'ENM et les données antérieures.
• Il n'existe pas de problèmes quant à l'intelligibilité des données du Recensement de 2011. Toutefois, il a été reconnu que pour pouvoir interpréter et utiliser de façon appropriée les données de l'ENM de 2011, les utilisateurs doivent en savoir davantage au sujet de la méthodologie, ce qui n'était pas le cas auparavant. Les données recueillies laissent supposer qu'une aide additionnelle a été fournie aux utilisateurs des données sous forme de renseignements plus détaillés.
   
  Néanmoins, pour les utilisateurs (et plus particulièrement les utilisateurs des données pour les petites régions géographiques et les sous-populations, ou ceux qui ont une moins grande capacité analytique), il n'est pas toujours facile de savoir quelles sont les données fiables et comment elles peuvent être interprétées. Les utilisateurs ont aussi souligné l'importance de diffuser des rapports techniques rapidement, ainsi que toutes les métadonnées nécessaires.
• Les données statistiques du Programme du Recensement de la population répondent aux besoins des utilisateurs globalement. En ce qui a trait au contenu, aucune lacune importante n'a été déterminée dans les renseignements. L'ENM répond davantage aux besoins d'information à l'échelle nationale et provinciale et, dans une moindre mesure, aux besoins liés à des niveaux géographiques moins élevés, à des caractéristiques rares et à la comparabilité au fil du temps pour certaines régions, comparativement au cycle de 2006. Par conséquent, la capacité du programme de répondre aux besoins varie selon le type d'utilisateur. Le changement d'approche a aussi entraîné des inconvénients ou des coûts pour les utilisateurs (p. ex., en ce qui a trait à la somme d'efforts nécessaire pour comprendre les changements, utiliser les données, procéder à une validation ou utiliser des données de remplacement). Toutefois, il n'existe pas de preuve claire que les utilisateurs et les intervenants externes qui ont été consultés ont mis en œuvre de nouvelles enquêtes en raison de besoins non comblés.
• Les données du Programme du Recensement de la population sont utilisées de façon exhaustive par tous les niveaux de gouvernement pour s'acquitter de leur mandat et de leurs responsabilités, par les chercheurs universitaires, par les organismes non gouvernementaux, par le secteur privé et par les Canadiens. À Statistique Canada, les données du recensement sont utilisées dans d'autres enquêtes, pour l'échantillonnage et l'étalonnage. Dans le cadre de l'évaluation, on a déterminé que les changements méthodologiques de 2011 avaient certaines répercussions du point de vue de la façon dont les données sont utilisées, et à quelles fins.

Rendement du programme – Efficience et économie

La décision tardive de modifier l'approche du cycle de 2011 a eu des répercussions significatives et a entraîné des défis à divers niveaux pour les acteurs internes et externes : défis financiers, défis opérationnels, défis liés à l'atteinte des résultats souhaités (qualité) et, enfin, défis en ce qui a trait à la crédibilité des données statistiques disponibles. Dans l'ensemble, les décisions tardives concernant l'approche à adopter par le gouvernement du Canada (en 2010 et 2015) ont eu des répercussions négatives sur l'efficience du programme.

Malgré les circonstances exceptionnelles découlant du moment où la décision a été prise, on reconnaît que de bonnes pratiques de gestion ont entraîné la mise en œuvre réussie du programme pendant l'ensemble du cycle de 2011 et les premières années du cycle de 2016. Globalement, le Programme est administré de façon efficace, et ses gestionnaires ont démontré un engagement à en réduire le coût, tout en assurant sa durabilité à long terme. Les coûts prévus du cycle de 2011 étaient raisonnables, en comparaison avec ceux des cycles précédents, en ce qui a trait à la production des produits prévus et l'atteinte des résultats attendus. Toutefois, la décision de modifier la méthodologie a entraîné une augmentation des coûts pour le cycle de 2011. En ce qui a trait à la mise en œuvre du cycle de 2016, des défis importants sont liés au partenariat actuel avec Services partagés Canada (SPC), et ils pourraient avoir des répercussions sur l'efficience du Programme du Recensement.

Dans le cadre du Programme du Recensement de la population, un engagement à explorer d'autres façons d'atteindre les résultats attendus a été démontré. Des possibilités peuvent être envisagées pour les cycles futurs, étant donné que l'on s'attend à ce que le Recensement de la population du Canada évolue. Les changements prévus ne sont pas un phénomène propre au Canada : la plupart des organismes statistiques des pays développés explorent actuellement et mettent en œuvre des approches et des méthodologies innovatrices (p. ex., augmentation de l'utilisation des données administratives et des autres données disponibles). La transition réussie à des recensements plus efficaces, qui produisent des données de meilleure qualité, avec un coût et un fardeau réduits pour les répondants, exige une planification et des efforts considérables à long terme.

Conclusions et recommandations

La qualité des données statistiques du Recensement de 2011 répond aux objectifs du programme. Toutefois, même si l'ENM est de grande qualité pour une enquête sociale à participation volontaire, il existe des préoccupations concernant des aspects particuliers, comme l'accessibilité (données pour les petites régions et les sous-populations), la cohérence et l'exactitude.

Par suite de l'analyse de la mise en œuvre du cycle de 2016 et du changement récent d'orientation, c'est-à-dire le passage d'une enquête à participation volontaire à une enquête à participation obligatoire, on s'attend à ce que la qualité des données statistiques de la composante de l'ENM s'améliore au cours du cycle actuel.

Recommandation nº 1 – Pertinence et rendement (accessibilité, exactitude et cohérence)

Dans le cadre du Programme du Recensement de la population, il est recommandé que l'on énonce de façon détaillée les mesures prises pour améliorer la qualité des données statistiques pour les aspects de l'accessibilité (données pour les petites régions et les sous-populations), l'exactitude et la cohérence, afin de répondre aux besoins des utilisateurs du cycle de 2016.

Le changement de méthodologie a eu des répercussions sur la confiance des utilisateurs à l'égard des statistiques officielles produites par le Programme du Recensement de la population, même si ces répercussions ne sont pas toujours justifiées et peuvent être considérées comme un résultat de perceptions biaisées. Par conséquent, la crédibilité des données statistiques parmi les utilisateurs a eu des répercussions sur le niveau d'utilisation.

Recommandation nº 2 – Rendement (confiance et utilisation)

Dans le cadre du Programme du Recensement de la population, il est recommandé de s'assurer qu'un système de communication efficace et proactif est mis en œuvre pour informer les Canadiens, et plus particulièrement les utilisateurs directs des données du programme, de l'orientation de celui-ci et de la nature exacte (qualité) des données qui sont et seront produites, afin de maintenir la crédibilité du programme et de ses produits au fil du temps.

Les renseignements recueillis semblent indiquer que le programme a offert une aide additionnelle aux utilisateurs des données, sous forme de renseignements plus détaillés. Néanmoins, pour les utilisateurs (et plus particulièrement les utilisateurs des données pour les petites régions géographiques et les sous-populations, ou ceux qui ont une moins grande capacité d'analyse), il n'est pas toujours facile de savoir quelles sont les données fiables et comment elles peuvent être interprétées. Les utilisateurs ont aussi souligné l'importance de diffuser des rapports techniques rapidement et toutes les métadonnées nécessaires.

Recommandation nº 3 – Rendement (intelligibilité)

Dans le cadre du Programme du Recensement de la population, il est recommandé qu'on assure la disponibilité des données au moment opportun et du soutien nécessaire pour éclairer et guider les différents types d'utilisateurs des données, et répondre aux multiples besoins, compte tenu des approches différentes adoptées pour les différents cycles du recensement.

Réponse et plan d'action de la direction