Février 2017

Sommaire

1. Contexte
2. Constatations : Pertinence
   • 2.1 Nécessité continue du Programme de la statistique de la santé
   • 2.2 Alignement sur les priorités du gouvernement et des partenaires clés
   • 2.3 Harmonisation avec les rôles et les responsabilités de l'administration fédérale
3. Constatations : Rendement
   • 3.1 Exactitude
   • 3.2 Actualité
   • 3.3 Accessibilité
   • 3.4 Cohérence
   • 3.5 Possibilité d'interprétation
   • 3.6 Pertinence
   • 3.7 Utilisation de l'information statistique
4. Constatations : Économie et efficience
5. Conclusions et recommandations
6. Réponse de la direction et plan d'action

Sommaire

La Division de l'évaluation et des pratiques professionnelles (DEPP) de la Direction de l'audit et de l'évaluation de Statistique Canada a réalisé une évaluation indépendante du Programme de la statistique de la santé (PSS), y compris, de manière exclusive, les activités de la Division de la statistique de la santé. Les résultats ont permis d'obtenir des renseignements objectifs et de formuler des recommandations à l'appui de l'amélioration du programme, ainsi que d'éclairer les décisions futures de Statistique Canada et du Parlement en ce qui a trait à la gestion des ressources et des programmes par le gouvernement.

L'évaluation a été conçue et menée conformément à la Politique sur l'évaluation (2009) du Conseil du Trésor^{Footnote 2} (CT) et aux normes et aux directives connexes, et elle respecte un engagement de responsabilisation énoncé dans le Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (de 2013-2014 à 2015-2016).

Constatations

Dans l'ensemble, le Programme de la statistique de la santé (PSS) a répondu aux besoins et aux priorités dans les limites de son budget, et a atteint les résultats attendus, c'est-à-dire fournir l'accès à de l'information statistique pertinente et de grande qualité afin d'éclairer le débat public, la prise de décisions et la recherche.

Relevance: Les résultats de l'évaluation démontrent un besoin continu pour le programme. Étant donné que les données probantes sont essentielles dans une société fondée sur le savoir, de l'information statistique actuelle, accessible et pertinente sur la santé des Canadiens est nécessaire.

La prestation du PSS par le gouvernement fédéral cadre avec ses rôles et responsabilités, puisqu'elle permet une intervention directe à l'égard des déterminants sociaux de la santé pour favoriser la justice sociale et l'équité en matière de santé. Statistique Canada est l'un des cinq organismes fédéraux qui appuient le gouvernement fédéral dans son mandat relativement à la santé. De plus, la santé et le bien-être des Canadiens ont été cernés comme une priorité dans tous les budgets fédéraux de 2011 à 2015. Le discours du Trône de 2011 soulignait l'importance de la collaboration entre les partenaires clés. Les conclusions de l'évaluation ont confirmé la correspondance des activités du PSS aux besoins et priorités les plus urgents dans les secteurs de responsabilité du PSS.

Rendement : L'incidence potentielle du programme est directement corrélée à la qualité et à la pertinence de l'information statistique produite. À cet égard, l'évaluation présente des conclusions sur chaque dimension de la qualité de l'information statistique jusqu'à l'étendue de son utilisation.

• Exactitude : Les conclusions de l'évaluation ont confirmé que l'information statistique du PSS est exacte en dépit des difficultés liées au repli des taux de réponse. L'exclusion de groupes démographiques et de régions géographiques clés a été mentionnée comme un obstacle possible à la généralisabilité de la recherche et à l'élaboration de politiques et de programmes appropriés ciblant ces groupes et régions.
• Actualité : Dans l'ensemble, le PSS s'est heurté à quelques difficultés pour respecter certaines dates de diffusion prévues, en particulier pour ce qui est de la statistique de l'état civil, des produits sur le cancer et de l'ESCC – Nutrition. Toutefois, les produits pour deux des principales composantes, l'ESCC annuelle et l'ECMS, ont été diffusés à temps en grande partie. Le problème d'actualité a eu une incidence sur la satisfaction des utilisateurs et sur la capacité de réponse du PSS.
• Accessibilité : Les conclusions de l'évaluation ont confirmé que l'accessibilité, en ce qui a trait à la disponibilité des produits et les modes d'accès, s'est accrue et améliorée au fil du temps, et que les produits sont d'intérêt. L'impression générale est que les mécanismes de diffusion de l'information sont fonctionnels et qu'ils répondent aux besoins de base des utilisateurs. Toutefois, il a été suggéré que Statistique Canada pourrait ou devrait en faire plus pour faciliter l'accès. Les répondants clés ont soulevé des enjeux relatifs à l'accessibilité, y compris des problèmes associés aux dispositions relatives à la confidentialité et à la protection des renseignements personnels dans la Loi sur la statistique, les accords de partage de données (APD), les centres de données de recherche (CDR) et le site Web de Statistique Canada.
• Cohérence : Bien que certaines décisions relativement à des changements aux enquêtes aient été prises au fil du temps, il n'y a pas d'enjeux de cohérence de l'information statistique du PSS. Des renseignements supplémentaires sont fournis pour répondre aux besoins d'information des utilisateurs en ce qui a trait aux changements et à leur incidence sur la cohérence. La direction du PSS s'est engagée à gérer la cohérence ainsi le compromis entre la cohérence et la pertinence est bien réalisé dans le processus décisionnel.
• Intelligibilité : Les conclusions de l'évaluation ont confirmé que l'intelligibilité de l'information statistique du PSS est réputée adéquate, en particulier en raison des métadonnées et de la documentation de haute qualité. Le PSS a fourni aux utilisateurs de données la documentation nécessaire sous la forme d'information de référence.
• Pertinence des données : L'analyse a démontré que le PSS consulte ses intervenants afin de cerner les besoins et les exigences changeants ou émergents des utilisateurs, ainsi que les lacunes statistiques potentielles, et conséquemment, que des mesures ont été prises. L'évaluation a permis de constater que le PSS dans son ensemble, avec ses programmes d'enquête et ses ensembles de données administratives, est en mesure de fournir de  l'information statistique sur la santé qui répond aux besoins et aux priorités des intervenants. Toutefois, malgré les efforts constants déployés par le PSS pour répondre aux besoins des intervenants dans le cadre de consultations et d'examens, certaines lacunes sont ressorties de l'évaluation. Les besoins fréquents et émergents exprimés concernaient le concept des mégadonnées et des déterminants de la santé, le manque de données géographiques et la nécessité accrue de couplage de données administratives et de données longitudinales. Parmi les autres besoins cernés, mentionnons les suivants :
  • la recherche sur l'équité en matière de santé, les déterminants sociaux de la santé et le concept plus large du bien-être;
  • les données, plus de données ou une collecte de données plus fréquente sur des sujets particuliers, y compris l'exposition environnementale, l'usage pharmaceutique, les incapacités, la santé mentale, l'institutionnalisation, la nutrition (surtout les habitudes de consommation), les besoins des réfugiés en matière de santé, les besoins des anciens combattants en matière de santé, le vieillissement, les anomalies congénitales, le dépistage du cancer, la santé des enfants et la santé des Premières Nations;
  • les données et la recherche qui tiennent compte des résultats en matière de santé;
  • la recherche axée sur le patient;
  • les plus gros échantillons d'enquête, et l'inclusion de groupes démographiques et de régions clés;
  • les technologies pour la mesure humaine (p. ex. les technologies pour mesurer l'exposition aux produits chimiques chez les humains et le génotypage).

Utilisation de l'information statistique : Dans l'ensemble, les données du PSS sont utilisées par tous les niveaux de gouvernement pour s'acquitter de leur mandat et de leurs responsabilités, par les chercheurs, par des organismes internationaux, par les organismes non gouvernementaux et par les Canadiens. À Statistique Canada, les données du PSS alimentent d'autres programmes de statistique et de recherche.

Efficience et économie : Les résultats de l'évaluation confirment l'engagement et les pratiques exemplaires de la direction du PSS pour offrir des résultats de qualité qui répondent à l'ensemble des besoins et des priorités. Cependant, certains enjeux liés aux partenariats avec des intervenants fédéraux clés et à la collaboration avec les provinces et les territoires, ainsi qu'un repli des taux de réponse et des difficultés technologiques, ont été mentionnés comme des facteurs clés qui entravent l'efficience et les résultats du programme (p. ex. l'actualité).

De plus, les résultats provisoires du projet pilote lancé en 2013-2014 pour donner suite aux recommandations de l'évaluation précédente de l'ECMS semblent prometteurs. Le projet permet de recueillir les renseignements financiers par cycle d'enquête en fonction des processus et des activités dans le but d'améliorer la mesure de l'efficience. Les résultats ont confirmé que l'approche permettra une analyse des dépenses (coûts) d'un cycle d'enquête par rapport à un autre cycle, en fonction de l'étape du processus d'enquête.

Conclusions et pistes de recommandations

Dans l'ensemble, le PSS a répondu aux besoins et aux priorités dans les limites de son budget, et a produit les résultats attendus, c'est-à-dire fournir l'accès à de l'information statistique pertinente et de haute qualité afin d'éclairer le débat public, le processus décisionnel et la recherche.

D'après les conclusions de l'évaluation, on reconnaît que le programme doit veiller à ce que la pertinence de l'information statistique soit maintenue en se concentrant continuellement sur l'analyse des besoins par rapport à la capacité (populations sondées, déterminants de la santé, fréquence de la collecte pour certains thèmes). Enfin, le défi qu'impose la diminution des taux de réponse pour l'exactitude doit rester un enjeu prioritaire pour la planification.

Rendement (actualité) 

Les conclusions de l'évaluation démontrent que le PSS a eu du mal à respecter les dates de diffusion en ce qui concerne la statistique de l'état civil et du cancer.

Recommandation 1 :

Dans le contexte de la relation avec les fournisseurs de données provinciaux et territoriaux, il est recommandé que le Programme de la statistique de la santé prenne des mesures pour améliorer l'actualité de l'information statistique sur l'état civil et le cancer afin de respecter les dates de diffusion prévues et de s'acquitter de son mandat.

Rendement et efficience (partenariats)

Des enjeux ont été soulevés relativement à la relation actuelle avec les partenaires fédéraux, particulièrement : 1) une détérioration apparente de la relation de partenariat au cours des dernières années, qui ressemble maintenant davantage à une relation client; 2) un manque de participation et de partage de l'information dans le processus décisionnel; 3) des difficultés concernant les accords de partage de données.

Recommandation 2 :

Il est recommandé que le Programme de la statistique de la santé collabore avec ses partenaires fédéraux afin d'améliorer l'approche de partenariat. Plus précisément, il s'agit de collaborer avec les partenaires pour revoir la structure de gouvernance actuelle à l'égard des rôles et des responsabilités, du processus décisionnel, des communications et des attentes relatives au partage de données.

1. Contexte

En tant qu'organisme national de statistique du pays, Statistique Canada joue un rôle fondamental dans la production de renseignements sur les conditions socioéconomiques du Canada. Les données statistiques appuient les processus décisionnels du gouvernement à tous les échelons du fait qu'elles décrivent l'évolution des conditions, facilitent l'analyse des politiques et des programmes et permettent de suivre les résultats des programmes. Certaines des données produites par Statistique Canada sont également exigées en vertu de la loi.

Programme de la statistique de la santé

Le Programme de la statistique de la santé (PSS) a pour mandat de fournir des renseignements exacts, à jour et pertinents sur la santé des Canadiens. La Division de la statistique de la santé, avec le concours de la Division de l'analyse de la santé de Statistique Canada (qui n'est pas incluse dans la portée de cette évaluation), fournit des analyses et des renseignements statistiques au sujet de la santé de la population, des déterminants de la santé et de la portée et de l'utilisation des ressources en soins de santé du Canada. Ces renseignements aident les planificateurs et les décideurs dans le domaine de la santé, à tous les niveaux de l'administration publique, à soutenir la recherche démographique et épidémiologique et à rendre compte au public canadien de sa santé collective et du rendement du système de soins de santé.

La Division de la statistique de la santé travaille en partenariat avec les registres provinciaux et territoriaux de la statistique de l'état civil et du cancer, de même qu'avec des fournisseurs et des utilisateurs de données aux niveaux fédéral (Santé Canada [SC] et l'Agence de la santé publique du Canada [ASPC]), provincial (ministères provinciaux de la Santé) et régional (régions sociosanitaires). Le programme collabore également avec beaucoup d'autres partenaires, y compris l'Institut canadien d'information sur la santé (ICIS), afin de fournir des renseignements statistiques sur l'état de santé des Canadiens et le système de santé et de mener des recherches et des analyses à ce sujet.

Les activités du PSS peuvent être réparties en trois grands domaines, par enquête et produit de données clés^{Footnote 3}:

• Programmes statistiques et administratifs
  • Enquête sur la santé dans les collectivités canadiennes (ESCC)
  • Enquête canadienne sur les mesures de la santé (ECMS)
  • Statistique de l'état civil
• Produits et services
  • Intégration et analyse
  • Services à la clientèle et diffusion
• Initiatives et projets spéciaux
  • Système national d'acheminement (SNA)
  • Base canadienne de données des coroners et des médecins légistes (BCDCML)
  • Programme d'enquête sur les problèmes neurologiques
  • Enquête sur les personnes ayant une maladie chronique au Canada (EPMCC)
  • Enquête sur les établissements de soins de longue durée (EESLD)
  • Enquête canadienne sur la santé des enfants et des jeunes (ECSEJ)

À propos de l'évaluation

Une évaluation impartiale de la pertinence et du rendement du PSS a été réalisée, conformément aux exigences de la Politique sur l'évaluation (2009) du Conseil du Trésor du Canada^{Footnote 5} L'objectif de cette évaluation était de déterminer si le PSS fournit des renseignements statistiques clés de qualité, produits efficacement et répondant aux besoins des utilisateurs.^{Footnote 6}

L'évaluation visait la période du 1^er avril 2011 au 31 mars 2016 et misait sur les activités du PSS et les produits et services personnalisés connexes. Une approche à plusieurs méthodes, intégrant des données quantitatives et qualitatives, a été utilisée avec un total de 15 questions d'évaluation dans le cadre de la stratégie visant à évaluer les enjeux de base liés à la pertinence et au rendement du programme.^{Footnote 7} De multiples sources de données ont été utilisées, notamment :

• Revue de la documentation et de la littérature;
• Examen des données administratives;
• Interviews auprès des répondants clés, avec 58 intervenants internes et externes du secteur public (fédéral, provincial et municipal), du secteur privé, des organisations non gouvernementales et du milieu universitaire;
• Sondage auprès de 325 utilisateurs de données connaissant le programme et ses produits;
• Étude bibliométrique et webométrique.

Des analyses logiques et statistiques ont été utilisées, et les résultats ont été corrélés, afin de déterminer les tendances et les modèles. Les données de ces sources ont été analysées et triangulées pour formuler les conclusions et les recommandations.

L'évaluation a dû composer avec des limites, qui ont été atténuées par les stratégies décrites ci-après.

2. Constatations : Pertinence

La présente section résume les constats de l'évaluation qui sont ressortis du processus de collecte des données. Elle s'intéresse précisément à la pertinence du PSS en explorant la nécessité démontrable du programme, son alignement avec les priorités du gouvernement et sa cohérence avec les rôles et les responsabilités du gouvernement fédéral.

2.1. Nécessité continue du Programme de la statistique de la santé

Résumé

La santé, telle qu'elle est définie par l'Organisation mondiale de la Santé est « un état de complet bien-être physique, mental et social et est une ressource de la vie quotidienne ».^{Footnote 8} Dans les sociétés contemporaines fondées sur la connaissance, la santé a été reconnue comme un facteur clé pour la prospérité économique, un droit de la personne, un bien public mondial et un enjeu de justice sociale et d'équité. Par conséquent, [Traduction] « les gouvernements, les entreprises, les collectivités et les citoyens participent de plus en plus à la gouvernance de la santé ».^{Footnote 9} Comme l'indique le rapport de la quatrième Conférence consensuelle sur l'évaluation des priorités relatives aux indicateurs de santé au Canada, [Traduction] « en matière de santé, le mandat de Statistique Canada vise surtout la collecte de données sur l'ensemble de la population (plutôt que la collecte de données fondée sur les interventions ou la prestation de soins). Dans ce contexte, l'objectif consiste à recueillir des données de grande qualité pour permettre le calcul d'indicateurs et de mesures très fiables ».^{Footnote 11}

Les recherches suggèrent que, en raison de l'augmentation constante des coûts des soins de santé et du grand nombre de pays reconnaissant le caractère insoutenable du modèle biomédical traditionnel des soins de santé, il est de plus en plus nécessaire de réorienter le secteur de la santé vers la promotion de la santé ^{Footnote 12} [Traduction] « La promotion de la santé adopte une approche systématique pour permettre aux populations de prendre le contrôle des variables qui influencent la santé. Cette perspective préconise un investissement dans des facteurs en amont multidimensionnels, en favorisant la santé sociale, individuelle, environnementale et politique comme mesure proactive et comme un droit de la personne fondamental […]. ».^{Footnote 13} Cette tendance se développe en parallèle avec un intérêt et un accent grandissants à l'égard d'autres aspects de la recherche en matière de santé, comme la santé de la population, l'intervention en santé de la population et l'équité en santé. L'aspect de l'équité est devenu particulièrement important depuis la publication du rapport intitulé Combler le fossé en une génération, en 2008. D'après l'OMS, les inégalités en matière de santé au sein des populations sont en grande partie attribuables aux conditions dans lesquelles vivent, grandissent, travaillent et vieillissent les gens, ainsi qu'aux systèmes mis en place pour composer avec la maladie (Organisation mondiale de la Santé, 2010). On appelle souvent ces conditions les déterminants sociaux de la santé. Compte tenu de l'intérêt grandissant accordé à l'aspect de l'inégalité de la santé et aux déterminants sociaux qui y contribuent, la nécessité des données pour mesurer les inégalités en matière de santé et les déterminants sociaux de la santé s'accroît également.

De plus, [Traduction] « le précepte selon lequel la santé est autant, ou encore plus, déterminée par des facteurs sociaux, économiques, environnementaux et culturels que par des facteurs génétiques ou médicaux »^{Footnote 14}  signifie que, afin d'éclairer les mesures de réduction des inégalités de la santé, il faut avoir des données sur la santé appariées à des facteurs tels que le revenu, le niveau de scolarité, la profession, la hiérarchie sociale et le logement. En outre, puisque ces facteurs sont étroitement liés aux collectivités canadiennes et qu'ils influencent divers groupes de population, il faut avoir des données sur la santé à des niveaux plus précis (petites régions et populations) afin de soutenir les activités et les interventions au niveau régional.

Enfin et surtout, « pour que les Canadiens continuent d'avoir accès à des soins de santé de qualité et bénéficient de politiques efficaces dans ce domaine, les chercheurs du pays et les innovateurs en matière des systèmes doivent pouvoir utiliser de manière efficace les données sur la santé et données connexes, y compris des données administratives et sur les conditions sociales. Ce besoin ira croissant dans l'avenir, avec les progrès de la technologie et l'augmentation de la quantité de données numériques ».^{Footnote 15}

À l'avenir, la nécessité des renseignements sur la santé devrait s'intensifier, comme le sous-entendent les conclusions et les recommandations d'un rapport du bureau européen de l'Organisation mondiale de la Santé (OMS)^{Footnote 16} au sujet de la nouvelle politique sur la santé de 2020. Comme indiqué dans le rapport, [Traduction] « les données probantes sont essentielles dans une société fondée sur la connaissance. […] À l'instar d'autres domaines de gouvernance, les groupes d'experts indépendants, tels que les organismes fédéraux, les commissions, les organismes de réglementation et les vérificateurs, jouent un rôle de plus en plus vital dans la fourniture de données probantes, la surveillance des limites éthiques, l'élargissement de la responsabilisation et le renforcement de la gouvernance démocratique en matière de santé, en ce qui a trait à la protection de la vie privée, à l'évaluation des risques, au contrôle de la qualité, aux technologies en matière la santé et à l'évaluation des effets sur la santé. Leur importance s'accentue à mesure que l'on passe à une société fondée sur le savoir ayant un rythme plus rapide d'adoption des innovations. La documentation indique également, toutefois, que les mesures doivent être améliorées, notamment en incluant des mesures objectives et subjectives, pour capter ce qui arrive à la plupart des personnes et, notamment, aux personnes les plus défavorisées ». En outre, le rapport mentionne la tendance future vers un rôle accru de la promotion de la santé et par conséquent, « l'action conjointe du secteur de la santé et des autres secteurs, des intervenants des secteurs publics et privés et des citoyens pour le bien commun ».

Des renseignements sur la santé sont nécessaires, non seulement pour les organismes directement responsables de la santé et de la gouvernance en matière de santé, mais aussi pour divers groupes d'utilisateurs, y compris les particuliers. L'une des recommandations du rapport de l'OMS, soit [Traduction] « un engagement envers le "citoyen bien renseigné" et envers la participation du citoyen », renvoie explicitement aux besoins futurs en matière de renseignements sur la santé, soit la mise en œuvre de nouvelles technologies de l'information et des communications, d'initiatives de données ouvertes et de systèmes de surveillance qui assurent une meilleure responsabilité à l'égard du public pour la santé dans tous les secteurs; des approches axées sur une gouvernance électronique (cybergouvernance); et une stratégie exhaustive pour renforcer la littératie en santé.^{Footnote 17}

Le mandat du PSS de fournir des renseignements et des analyses exacts, à jour et pertinents sur la santé des Canadiens est pertinent pour éclairer divers aspects du secteur de la santé pour les organismes directement responsables de la santé et de la gouvernance en matière de santé, mais aussi pour divers groupes d'utilisateurs, y compris les particuliers.

2.2. Alignement sur les priorités du gouvernement et des partenaires clés

Résumé

Tous les budgets fédéraux de 2011 à 2015, ainsi que le discours du Trône en 2011, en 2013 et en 2015, mentionnent la santé et le bien-être des Canadiens comme une des priorités. En outre, le discours du Trône de 2011^{Footnote 18} souligne l'importance de la collaboration entre l'administration fédérale et les gouvernements provinciaux et territoriaux pour assurer la pérennité du système de soins de santé et la responsabilité à l'égard des résultats.

Le PSS est responsable de sources d'information clés sur la santé de la population (p. ex. enquêtes sur la population, programmes administratifs, indicateurs de la santé), qui sont essentielles aux administrateurs de la santé au sein des gouvernementaux fédéral, provinciaux et territoriaux, ainsi que dans les régions sociosanitaires. L'information est utilisée pour faciliter l'élaboration de politiques et de lois par les gouvernements fédéral, provinciaux et territoriaux et par différents organismes de santé, y compris l'ASPC, SC, l'ICIS, les Instituts de recherche en santé du Canada (IRSC), le Partenariat canadien contre le cancer, la Société canadienne du cancer et le Conseil de la statistique de l'état civil du Canada. Le rôle du PSS en tant qu'un des principaux fournisseurs nationaux de données sur la santé a été confirmé par la Stratégie des données sur la santé, une initiative nationale élaborée récemment, pour laquelle Statistique Canada a été désigné comme un chef de file pour deux des priorités nationales clés (la santé des enfants et l'environnement de couplage d'enregistrements relevant du domaine social) et comme un contributeur pour combler la plupart des 19 lacunes statistiques importantes à l'échelle nationale relevées par la stratégie.

Par ailleurs, le PSS de Statistique Canada collabore avec les autres ministères et organismes fédéraux fournisseurs d'information sur la santé (SC, ASPC, ICIS et IRSC) en vue de déterminer les priorités et les orientations stratégiques pour l'information sur la santé nationale et les indicateurs. Bien que la disponibilité des données sur la santé et l'accès à ces dernières se soient améliorés considérablement au cours des dernières années grâce aux efforts concertés déployés récemment, plusieurs difficultés cernées dans le cadre de l'initiative du Carnet de route^{Footnote 19} persistent, comme les données fragmentées sur la santé, les données incomplètes, les données inaccessibles et les lacunes en matière d'analyse des données.

Les cinq organismes ont examiné collectivement la disponibilité des données sur la santé, les lacunes statistiques et la meilleure façon de collaborer en vue de combler ces lacunes (Stratégie des données sur la santé). Par conséquent, afin de répondre aux besoins et aux priorités, les initiatives suivantes ont été cernées pour le PSS à Statistique Canada. Ces initiatives s'alignent sur le Plan d'entreprise de Statistique Canada (2014-2015), ainsi que sur les priorités soulevées par le Health Information Advisory Committee :

• Faciliter l'accès aux données sur la statistique de l'état civil en couplant les données sur les décès à la Base de données sur les congés de patients (BDCP), ce qui réduira le dédoublement des efforts entre l'ICIS et Statistique Canada.
• Réaliser une enquête pilote sur la santé des enfants et des jeunes avec la collaboration de SC et de l'ASPC.
• Utiliser efficacement le nouvel Environnement de couplage de données sociales (ECDS) pour élargir le couplage d'enregistrements sur la santé de manière à inclure d'autres domaines de la statistique sociale, comme l'éducation et la justice. Ce nouvel environnement, maintenant en production, aidera à réduire les sources de données fragmentées ainsi qu'à accroître le potentiel analytique des données sur la santé pour répondre aux besoins politiques émergents.

2.3. Harmonisation avec les rôles et les responsabilités de l'administration fédérale

Résumé

Conformément à la Loi sur la statistique, Statistique Canada doit « recueillir, compiler, analyser, dépouiller et publier des renseignements statistiques sur les activités commerciales, industrielles, financières, sociales, économiques et générales de la population canadienne et sur l'état de celle-ci ».^{Footnote 20} Pour répondre à cette exigence, le PSS contribue aux résultats du gouvernement fédéral en ce qui concerne les « affaires gouvernementales »^{Footnote 21} en jouant un rôle dans les deux résultats stratégiques de Statistique Canada : « Les Canadiens ont accès à des renseignements statistiques actuels, pertinents et de qualité sur l'économie et la société canadiennes en pleine évolution, et qui servent à alimenter les débats de fond, la recherche et la prise de décisions sur les questions d'ordre social et économique » et « Les besoins particuliers des clients en matière de services statistiques de grande qualité et actuels sont satisfaits »^{Footnote 22} Pour ce faire, le PSS est précisément conçu pour donner accès à des renseignements statistiques pertinents et de qualité et à des services connexes, lesquels sont utilisés pour éclairer le débat public, la recherche et la prise de décisions.

Le rapport de 2008 de la Commission des déterminants sociaux de la santé (CDSS) de l'OMS a appelé tous les gouvernements nationaux à [Traduction] « diriger l'élan mondial concernant les déterminants sociaux de la santé afin de promouvoir la justice sociale et l'équité en santé pour toutes les populations »^{Footnote 23} Par ailleurs, Pathak et coll. (2012) ont résumé les conclusions des recherches antérieures selon lesquelles [Traduction] « la structure fragmentée de la gouvernance a créé des obstacles considérables, même pour la communication entre les gouvernements municipaux, provinciaux et fédéral » et ils ont soutenu que, pour surmonter les obstacles structurels et idéologiques, « il est nécessaire d'établir un programme national exhaustif visant à intégrer les efforts à l'échelle de tous les secteurs et à tous les niveaux de gouvernance pour aborder les déterminants sociaux à l'échelle du système au Canada ». À l'échelle mondiale, une revue de la littérature a mis ce rôle en évidence, mais elle a également démontré clairement que la participation d'autres secteurs de compétence et organisations (provinces, territoires, administrations régionales et municipales, conseils de qualité des soins de santé et autres organismes de santé) est cruciale pour aborder un domaine qui touche de multiples aspects de la société, comme c'est le cas de la santé.

Au Canada, Statistique Canada et l'ICIS s'acquittent conjointement du rôle visant à produire des données nationales sur la santé et des indicateurs liés à la santé. La distinction entre leurs rôles respectifs est que l'ICIS a pour mandat de diriger le développement et la tenue de données complètes et intégrées sur la santé, permettant la mise en place de politiques saines et la gestion efficace du système de santé^{Footnote 24} , tandis que Statistique Canada (p. ex. le PSS) fournit des renseignements sur la santé de la population canadienne, sur les déterminants de la santé et sur l'utilisation des ressources de soins de santé au Canada.

D'après l'examen des publications internationales, les gouvernements nationaux (p. ex. les instituts nationaux de la statistique) assument le rôle de la production de statistiques sur la santé. Au Canada, ce rôle est assumé par le PSS (y compris, notamment, l'ensemble principal d'indicateurs sur la santé suggérés par l'OMS qui sont recueillis et utilisés à l'échelle internationale et nationale). À titre de comparaison, aux États-Unis, ces fonctions sont assumées par un organisme centralisé — le National Center for Health Statistics (NCHS) — qui recueille des renseignements sur la santé de la population et sur le système de soins de santé.

On a demandé à des partenaires et conseillers fédéraux clés de faire des commentaires sur la pertinence et la clarté du rôle actuel du gouvernement fédéral en matière de prestation de renseignements statistiques sur la santé par l'intermédiaire du PSS. Dans l'ensemble, la plupart de ces répondants clés ont convenu que le rôle du PSS est approprié et bien défini. Cependant, presque la moitié de ces répondants clés ont dit être confus à l'égard de la façon dont les rôles des divers organismes fédéraux d'information sur la santé, y compris le PSS de Statistique Canada, divergeaient les un des autres et, en particulier, divergeaient des rôles de l'ICIS.

3.1 Exactitude

Résumé

Dans l'ensemble, les conclusions de l'évaluation confirment l'exactitude des renseignements statistiques du PSS émanant de processus appropriés, ainsi que des efforts et des initiatives des programmes en vue de surmonter les difficultés. De plus, la plupart des répondants clés considèrent que les renseignements statistiques du PSS sont très précis. Pour certains répondants clés, cette croyance découle de leur propre examen rigoureux des produits d'information de l'organisme (c.-à-d. leur détermination que les produits d'information sont exempts d'erreurs importantes ou leur sentiment que les erreurs sont corrigées rapidement lorsqu'elles sont décelées), tandis que d'autres ont invoqué l'expertise, la réputation, le souci du détail ou d'autres facteurs de Statistique Canada (p. ex. les taux de réponse élevés). Le taux élevé de répondants satisfaits de l'exactitude des produits du PSS confirme cette tendance.

La tendance à la baisse du taux de réponse de l'ESCC annuelle au cours des 15 dernières années (graphique 1) illustre ce phénomène. Le programme s'efforce d'atténuer les effets de cette tendance, notamment par des efforts de sensibilisation et de promotion, et en utilisant une méthodologie de pondération pour rajuster et corriger le biais de non-réponse. D'une manière plus générale, Statistique Canada envisage d'autres solutions, comme rendre les enquêtes sociales obligatoires, accroître les incitatifs pécuniaires pour stimuler la participation, contacter les répondants par téléphone cellulaire et rendre les enquêtes accessibles en ligne. Le PSS fait partie de ces efforts. Plus précisément, après le remaniement de l'ESCC, l'enquête s'appuiera sur une stratégie d'échantillonnage améliorée et sur une base de sondage, en plus d'offrir une option de collecte électronique (en 2017).

Source : Statistique Canada (2015), nouvelle stratégie d'échantillonnage et de collecte dans le cadre du remaniement de l'Enquête sur la santé dans les collectivités canadiennes de 2015, séminaire de la DMEM, le 30 juin 2015.

3.2 Actualité

Résumé

La plupart des diffusions de la composante annuelle de l'ESCC ont eu lieu dans les délais; 11 des 14 diffusions ayant été effectuées à temps de 2012 à 2015. Les trois diffusions tardives ont eu lieu en 2012 (deux) et en 2013 (une). Le PSS a innové en mettant en œuvre les fichiers de réponse rapide, qui se composent de questions financées contre recouvrement des coûts posées pendant deux à quatre mois, et qui sont diffusés de trois à six mois après la collecte^{Footnote 29}pour répondre aux besoins en matière d'actualité.

D'après le rapport annuel sur les commentaires ressortis des consultations sur les programmes (2015), les intervenants jouent un rôle considérable en ce qui concerne les façons dont ces enquêtes sont élaborées et ils sont satisfaits de cet aspect. Cependant, il faut compter trois ans entre la sélection d'un sujet et la diffusion des données, et les intervenants se demandent souvent pourquoi le processus est aussi long.

Depuis 2012, il y a eu des retards dans la diffusion du fichier sur les décès à la suite du traitement tardif découlant de la transition à l'Environnement pour le traitement des enquêtes sociales (ETES). Le plan opérationnel prescrit des améliorations aux pratiques de collecte et de traitement des données grâce à une collaboration avec les fournisseurs de données (registraires provinciaux et territoriaux de la statistique de l'état civil) et les secteurs de services à la clientèle (Division des opérations et de l'intégration et Traitement), et l'on s'attendait à ce que d'ici 2016, le programme ait redressé le calendrier de diffusion (maintenant prévu pour 2017). L'amélioration de l'actualité de la statistique de l'état civil (et en particulier le fichier sur les décès) est importante pour permettre à Service Canada de remplir ses obligations visant à fournir des renseignements et des services mieux organisés aux familles des défunts. Les retards des diffusions de données ont également une incidence sur certains intervenants, comme l'Agence du revenu du Canada^{Footnote 32}

3.3 Accessibilité

Résumé

Les produits du PSS sont mis à la disposition des utilisateurs dans plusieurs formats. L'accès principal à ces produits se fait par le site Web de Statistique Canada, où les utilisateurs peuvent trouver des produits comme des communiqués du Quotidien, des tableaux du Système canadien d'information socioéconomique (CANSIM), des tableaux sommaires, des publications et des documents de référence. Les produits du PSS sont également mis à la disposition des utilisateurs au moyen de tableaux de données personnalisés, de fichiers de microdonnées à grande diffusion, de centres de données de recherche (CDR) (pour les microdonnées ou les données agrégées), de l'accès à distance en temps réel (ADTR) et, pour certaines enquêtes, de l'Initiative de démocratisation des données (IDD).

Par exemple, les fichiers de microdonnées de l'ECMS sont accessibles dans les CDR qui se trouvent dans une vingtaine d'universités réparties d'un bout à l'autre du Canada. La documentation des données de l'ECMS, y compris les dictionnaires de données compilés et le Guide du chercheur, est à la disposition des universitaires et des chercheurs affiliés à quelque 75 bibliothèques universitaires.

Le répertoire de la biobanque de l'ECMS est mis à la disposition des chercheurs canadiens ayant complété avec succès un processus d'examen. Les chercheurs sélectionnés se voient accorder un accès limité pour effectuer des tests et des études sur des échantillons biologiques anonymes. En date de 2016, quatre projets approuvés de la biobanque sont en cours, et un est terminé. Les sujets des projets approuvés sont affichés sur le site Web de Statistique Canada.

Les utilisateurs peuvent également accéder aux données de la composante de l'ESCC annuelle au moyen de différentes méthodes, comme :

L'information sur les indicateurs de la santé est accessible sur la page Web principale des indicateurs de la santé, directement dans CANSIM, à la rubrique « Quoi de neuf » sur le site Internet de Statistique Canada, ou dans Le Quotidien le jour de diffusion. En dehors de l'organisme, les indicateurs de la santé sont accessibles dans les fichiers principaux dans les CDR, dans les fichiers partagés (à la disposition des partenaires conformément aux ententes de partage de données respectives), ou dans les publications d'autres établissements institutionnels qui utilisent les indicateurs de la santé de Statistique Canada pour produire et publier des estimations (p. ex. l'ICIS). L'examen stratégique des indicateurs de la santé de Statistique Canada a permis de recueillir des données sur le rendement auprès de sources administratives, y compris l'outil Webtrends.

De plus, au cours des cinq dernières années, des efforts ont été déployés pour améliorer l'accès aux données et aux produits sur la santé. Par exemple, en 2011-2012, le PSS a effectué plusieurs activités liées à l'accès, notamment :

• Projet de refonte du site Web : Un nouvel outil d'interface a été créé pour que les données sur la santé puissent être extraites directement de CANSIM et manipulées en temps réel par les utilisateurs, et la présentation de la page Web a été optimisée de manière à simplifier le processus de recherche pour les utilisateurs;
• Projet de données administratives : Des activités ont été entreprises en réponse à la forte demande de données des programmes administratifs à la disposition des chercheurs dans les CDR;
• De nouveaux outils de diffusion ont été élaborés afin de diffuser des données sur la santé à la population générale. Le sondage sur la satisfaction des clients dans le domaine de la santé et d'autres consultations auprès des utilisateurs ont permis de cerner une lacune : bien que les Rapports sur la santé soient un produit réputé et populaire pour les utilisateurs avancés, l'information qu'ils renferment n'est pas très utile pour le grand public. Pour combler cette lacune, le PSS a créé une nouvelle publication appelée Coup d'œil sur la santé, qui devait être diffusée périodiquement à compter de 2011-2012;
• Après une mise à jour de ses politiques, normes et directives sur la diffusion, le PSS a amélioré l'accès pour ses partenaires clés (SC, ASPC, Conseil de la statistique de l'état civil du Canada et Conseil du Registre canadien du cancer) à des données détaillées sur la santé et à des produits connexes;
• De nouvelles lignes directrices ont été élaborées en ce qui concerne l'accès à la biobanque de l'ECMS afin de faciliter la recherche en s'appuyant sur cette ressource.

Les statistiques sur l'accès (visite du site Web, affichage des produits, téléchargement et consultation des données) démontrent un intérêt envers les produits statistiques du PSS. De 2012-2013 à 2015-2016, 6,9 millions de pages sur la statistique de la santé (tableaux CANSIM, publications et tableaux sommaires) ont été consultées, comparativement à 64,8 millions pour l'ensemble de Statistique Canada. Les publications Profil de la santé et Feuillets d'information sur la santé étaient les plus populaires, et l'intérêt porté à Coup d'œil sur la santé s'est accru tout au long de la période. Il convient de souligner que la publication Profil de la santé (ainsi que Tendances de la santé) ne paraît plus, parce que le Nouveau modèle de diffusion (NMD) ne sera pas en mesure de soutenir un tel produit.

Source: Statistique Canada, Webtrends pour les bases de données administratives.

La page Web principale en anglais des Indicateurs de la santé (y compris la rubrique Quoi de neuf et le lien vers les indicateurs nouveaux et à jour) a été consultée plus de 20 000 fois de mai 2013 à octobre 2015, tandis que la page Web en français a été consultée 6 000 fois. Les pages Web les plus populaires (ayant été consultées au moins 500 fois) ont généré plus de 63 000 consultations au total. La publication Indicateurs de la santé, dans l'ensemble, a été consultée 172 539 fois de mai 2013 à octobre 2015. En comparaison, la publication Rapports sur la santé a reçu 1,4 million de visites pendant la même période. Parmi les publications sur la santé, elle se classe en sixième position, derrière Rapports sur la santé, Profil de la santé (ne paraît plus), Feuillets d'information sur la santé, Coup d'œil sur la santé et Tendances de la santé (ne paraît plus). Soulignons que la publication Profil de la santé, qui ne paraît plus et qui présentait la plupart des indicateurs de la santé en un bloc pour une seule région, se classait en septième position dans la liste générale, et avait été consultée 560 296 fois (et en neuvième position au cours des sept premiers mois de l'exercice 2015-2016).

Pendant la même période (2012-2013 à 2015-2016), le nombre de téléchargements (des tableaux et des publications de CANSIM) pour le PSS et les produits de Statistique Canada se chiffrait à 447 436 et à 13,6 millions, respectivement, et une augmentation considérable a été observée au cours de la période. Parmi les différentes publications, Coup d'œil sur la santé a été téléchargée le plus souvent, et le nombre de téléchargements a augmenté tout au long de la période.

De nombreux répondants clés ont reconnu les progrès réalisés par l'organisme en ce qui concerne les approches novatrices de l'accès et de la diffusion. Les répondants clés ont souvent l'impression que les mécanismes de diffusion de l'information fonctionnent, c'est-à-dire qu'ils répondent aux besoins de base des utilisateurs. De plus, le sondage auprès des utilisateurs a confirmé que le niveau de satisfaction à l'égard des différents modes d'accès est généralement élevé.

Toutefois, l'accessibilité est une des dimensions de la qualité qui génère le plus de commentaires, de suggestions et de critiques.

Ce phénomène est corroboré par la Stratégie des données sur la santé (SDS),^{Footnote 33} élaborée par le Health Information Advisory Committee, qui conclut qu'il [Traduction] « faut revoir la meilleure façon de rendre les données accessibles à tous. À l'heure actuelle, l'accès aux données est un obstacle à l'innovation potentielle dans l'industrie alimentaire, pour les universitaires qui ne peuvent pas accéder aux centres de données de recherche en dehors des heures normales et pour les Canadiens qui veulent prendre des décisions éclairées. La modification de la Loi sur la statistique est une façon de résoudre le problème d'accès aux données ». La SDS a également suggéré que les principaux organismes fédéraux d'information sur la santé (ICIS, IRSC et Statistique Canada) devraient animer une réunion de chercheurs sur les problèmes d'accès aux données en vue de cerner les obstacles et de proposer des solutions réalistes pour les éliminer.

De plus, bien des répondants clés ont suggéré qu'on pourrait ou qu'on devrait faire plus pour faciliter l'accès, qu'il s'agisse d'améliorer les ressources existantes, d'accroître l'engagement et le soutien pour les utilisateurs de données ou d'augmenter la disponibilité des microdonnées actuellement accessibles en grande partie dans les CDR. On a souvent mentionné que des mesures devraient être prises pour améliorer l'accès général aux microdonnées. Plus précisément, il semble y avoir une certaine insatisfaction à l'égard de la pratique actuelle qui consiste à restreindre l'accès aux renseignements statistiques sur la santé aux CDR, ainsi qu'une croyance que ces renseignements devraient, dans la mesure du possible, être mis à la disposition d'un plus grand public.

Défis

Les répondants clés ont parlé des enjeux liés à l'accessibilité, y compris les suivants :

Dispositions en matière de confidentialité et de protection des renseignements personnels de la Loi sur la statistique

L'accès aux données du PSS est entravé par la Loi sur la statistique et, plus précisément, par les dispositions de la Loi qui ont trait à la protection des renseignements personnels ou à la confidentialité (ou encore, une interprétation excessivement prudente de ces dispositions par Statistique Canada).

Il a été suggéré que Statistique Canada devrait reconnaître que certains utilisateurs des données du PSS, comme les partenaires fédéraux clés et les ministères provinciaux de la Santé, traitent régulièrement des données identifiables et/ou ont déjà des mécanismes de gouvernance en place en ce qui concerne la confidentialité, ce qui suppose que des correctifs devraient être apportés aux procédures pour que ces utilisateurs puissent avoir accès aux données.

Ententes de partage de données

Des préoccupations relatives aux processus en cause pour avoir accès aux données en établissant des ententes de partage de données (EPD) ont été exprimées, y compris la complexité et la rigidité du processus et la perception que le PSS n'est pas suffisamment axé sur les besoins et les priorités de ses partenaires fédéraux.

Centres de données de recherche

Les utilisateurs des CDR ont fait part de leurs difficultés à accéder aux données par l'entremise des centres. Ces difficultés comprennent le temps, l'énergie et les coûts nécessaires pour y avoir accès; des difficultés qui pourraient être particulièrement marquées pour les personnes qui n'habitent pas dans les villes où se trouve un CDR.

Cependant, un petit nombre de répondants clés ont fait remarquer que les difficultés associées à l'accès aux données dans les CDR ne découlent pas seulement du temps, du coût et de la géographie, mais aussi des processus et des exigences que Statistique Canada a en place pour protéger les renseignements personnels et la confidentialité. Par conséquent, les problèmes d'accessibilité en ce qui concerne les CDR sont liés à ce plus gros problème.

Site Web de Statistique Canada

Des problèmes ont été relevés en ce qui concerne l'accessibilité de l'information sur le site Web de Statistique Canada; il s'agit notamment de difficultés relatives à la navigation et aux capacités de recherche dans le site Web, même pour des utilisateurs chevronnés.

Les suggestions relatives au site Web avaient habituellement trait à des modifications qui pourraient rendre l'information plus facile à trouver, notamment en incluant des niveaux supplémentaires de sous-thèmes, en offrant des suggestions de ressources connexes ou en introduisant un service auquel les utilisateurs peuvent accéder lorsqu'ils ont du mal à repérer de l'information.

Comparaison avec d'autres fournisseurs de données

Les partenaires fédéraux clés considèrent habituellement Statistique Canada comme un organisme comparable à l'ICIS en ce qui concerne l'accessibilité des données, mais quelques-uns ont mentionné qu'ils pouvaient accéder relativement plus facilement aux données de l'ICIS. Cependant, plusieurs répondants clés ont comparé l'accès aux renseignements statistiques du PSS à l'accès à l'information diffusée par des organismes statistiques aux États-Unis. Plus précisément, ils soutenaient que les données américaines sur la santé recueillies dans le cadre de la National Health and Nutrition Examination Survey (NHANES) sont considérablement plus faciles à obtenir que les données canadiennes comparables, en ajoutant que des modifications à la Loi sur la statistique s'imposeraient probablement pour qu'une approche de diffusion semblable soit réalisable au Canada. Chez les personnes interrogées (surtout des utilisateurs et des experts) qui travaillent avec d'autres fournisseurs de données ou qui en connaissent, Statistique Canada est généralement considéré comme étant comparable ou supérieur aux autres fournisseurs de données dans le contexte de l'accès aux renseignements statistiques sur la santé.

L'évaluation a permis de constater^{Footnote 34} que des initiatives ont été mises en place pour améliorer l'accessibilité et pour répondre à certaines de ces préoccupations, y compris les suivantes :

• Le programme est en train d'examiner et d'élaborer des façons (ateliers, réunions, conférences, médias sociaux) d'informer les utilisateurs potentiels sur les nouveaux fonds de données et sur les diverses méthodes permettant d'y accéder. Notamment, l'ECMS a élaboré un plan de communication particulier, en tenant compte de deux groupes d'utilisateurs (un grand public et un public universitaire spécialisé);
• Il y a un accès accru aux données de la statistique de l'état civil et du cancer à des fins d'analyses et de recherche : davantage de fichiers accessibles dans les CDR et par ADTR; nouveaux produits de données fondés sur les couplages de données du RCC avec des données d'autres sources (BDCP, radiothérapie); EPD avec les provinces pour faciliter l'accès aux données administratives à des fins de recherche;
• Nouvelles approches en matière de diffusion :

  L'enquête américaine qui est comparable à l'ECMS met ses données à la disposition du grand public afin que les chercheurs universitaires puissent y accéder. C'est ce que les chercheurs adoreraient voir au Canada. Je crois comprendre que ce n'est pas possible au moyen des enquêtes sur la santé de la population en vertu de la Loi sur la statistique.
  
  Source : Interview

  • Un groupe de travail spécial sur la diffusion des résultats de l'ESCC–Nutrition a été mis sur pied pour déterminer les besoins en matière de diffusion et élaborer un plan pour s'assurer que les analystes ont les données et la documentation pertinentes;^{Footnote 35}
  • Transition au NMD de Statistique Canada : Le groupe de travail sur le renouvellement de la diffusion de la Division de la statistique de la santé a été créé avec le mandat de passer en revue les objectifs, les pratiques, les processus et les procédures de diffusion actuels de la Division de la statistique de la santé et de proposer des modifications qui reflètent les priorités de la Division et les nouvelles exigences de l'organisme;^{Footnote 36}
  • Compte tenu de la mise en œuvre du NMD, l'accessibilité aux renseignements relatifs aux indicateurs de la santé sera améliorée (p. ex. l'autorisation de consulter un indicateur particulier dans un tableau comportant des données désagrégées présélectionnées, au lieu de la liste complète d'indicateurs), de même que l'accessibilité à des niveaux de géographie plus précis (une interface entre les cartes et les données permettant de chercher dans une carte un niveau d'emplacement géographique souhaité, ce qui donne lieu à des couplages à des données, à des analyses ou à de la documentation au sujet de ce niveau de géographie). À l'heure actuelle, les indicateurs sont accessibles uniquement à l'échelle du Canada, des provinces et des territoires, des régions métropolitaines de recensement et des régions sociosanitaires;^{Footnote 37}
• Maintenir l'accessibilité et la disponibilité des publications de haute qualité (Coup d'œil sur la santé ayant diffusé de 8 à 10 articles en 2015-2016; continuer d'apporter les mises à jour aux publications Profil de la santé, Indicateurs de la santé et Tendances de la santé).^{Footnote 38}

3.4 Cohérence

Résumé

En dépit de tous les efforts et des réflexions rigoureuses, il arrive que la cohérence ne puisse pas être maintenue, pour des motifs tels que des changements méthodologiques importants et nécessaires ou des modifications apportées à l'infrastructure ou au cadre du contenu. À cet égard, les conclusions de l'évaluation ont tendance à démontrer que le compromis entre la cohérence et la pertinence existe, et qu'il est bien géré dans le processus décisionnel. Dans l'ensemble, la plupart des répondants clés étaient satisfaits de la cohérence des renseignements statistiques du PSS. Certaines personnes interrogées ont allégué que l'organisme sacrifie la pertinence au profit de la cohérence et mentionné les conséquences potentielles des changements méthodologiques, mais d'autres ont reconnu la nécessité d'un changement lorsque des problèmes sont survenus.

À titre d'exemple, mentionnons le module sur l'activité physique de l'ESCC, qui a été complètement refait. Par conséquent, les données précédentes ne sont plus comparables, et une nouvelle tendance sera créée. En ce qui concerne l'ESCC, un problème de comparabilité découlant du récent remaniement de l'enquête était attendu. Dans la première diffusion suivant le remaniement pour l'année de référence 2015 (en juin 2016), il n'était pas recommandé de comparer directement les nouvelles données avec celles de 2001 à 2014. En pareils cas, les efforts des programmes visent à fournir suffisamment d'information sur les changements et leurs conséquences sur la comparabilité/cohérence des données. Les résultats du sondage auprès des utilisateurs ont confirmé leur satisfaction à l'égard de la cohérence des données. Notamment, seulement 7 % (16 sur 226) des répondants pour la composante annuelle de l'ESCC étaient insatisfaits de la cohérence, contre 3 % (2 sur 66) et 3 % (3 sur 96) respectivement, pour la composante thématique de l'ESCC sur le vieillissement en santé et la santé mentale.

Le plan de diffusion pour l'ESCC–Nutrition de 2015 tient compte du problème de concordance et de comparaison avec l'ESCC–Nutrition (2004) en ce qui concerne les aliments et les suppléments de vitamines et minéraux donnés, puisque les systèmes de codage ont changé.^{Footnote 39} De plus, l'étude des documents a révélé que l'élaboration de plans de contenu à long terme pour deux grandes enquêtes — l'ESCC (de 2015 à 2022) et l'ECMS (pour les cycles 5 à 8) — contribue à l'atteinte de l'objectif visant à harmoniser le contenu entre les enquêtes, puisqu'elle permet de mieux coordonner le contenu, ce qui favorise l'utilisation de définitions, d'instruments et de normes coordonnés dans la mesure du possible. Les problèmes de cohérence potentiels sont abordés par des comités consultatifs d'experts, et des clarifications sont apportées afin d'harmoniser le contenu et d'éviter le double emploi.

La cohérence de la statistique de l'état civil est facilitée par les lois qui gouvernent la collecte de statistiques de l'état civil. Plus précisément, « les lois provinciales et territoriales sur la statistique de l'état civil (ou les textes législatifs équivalents) rendent obligatoire l'enregistrement de toutes les naissances vivantes, toutes les mortinaissances, tous les décès et tous les mariages survenus dans la province ou le territoire. Ces lois se rapprochent le plus possible d'une loi modèle sur les statistiques de l'état civil qu'on a rédigée afin d'assurer l'uniformité des lois et des méthodes de déclaration des provinces et territoires ».^{Footnote 40} Les documents confirment que le PSEC surveille l'évolution des lois provinciales, afin que des rajustements puissent être apportés aux données, s'il y a lieu.^{Footnote 41}

Comme mentionné dans le rapport de rétroaction sur les programmes (2015), bien que le RCC fasse du bon travail lorsqu'il s'agit de fournir des estimations pancanadiennes de l'incidence du cancer, le traitement du cancer (chirurgie et radiothérapie) a été relevé comme une lacune du registre qui doit être comblée. Deux options sont à l'étude. La première est le couplage d'enregistrements. Il s'agirait de fusionner des ensembles de données existants et les données sur l'incidence dans le registre pour brosser un tableau plus complet du traitement du cancer au Canada. L'autre option serait que les provinces collaborent avec des prestataires de soins de santé pour déclarer les données directement aux provinces d'une manière uniformisée à l'étendue du Canada; les données seraient alors compilées et ajoutées au RCC. Si le couplage d'enregistrements devait entraîner des problèmes de qualité insurmontables, une collecte principale sera envisagée. Dans le cas d'un registre national, l'uniformité et la normalisation sont essentielles puisque, pour comparer les données d'un secteur de compétence avec celles d'un autre, toutes les données doivent être fondées sur les mêmes définitions et les mêmes normes. Étant donné qu'il existe plusieurs provinces et plusieurs fournisseurs de données, ces consultations prendraient probablement beaucoup de temps à effectuer, compte tenu du temps nécessaire pour négocier des normes avec lesquelles tout le monde peut travailler.

Dans l'ensemble, le plan opérationnel de 2015-2016 aborde la question de la cohérence des données au moyen des mesures suivantes :

• Établissement d'un comité sur la cohérence du contenu des enquêtes sur la santé afin de déterminer, d'aborder et de résoudre les problèmes de cohérence dans les enquêtes sur la santé de la population (au niveau du questionnaire). Le comité se réunit tous les mois et se compose de représentants de la Division de la statistique de la santé et de la Division de l'analyse de la santé.^{Footnote 42}
• Participation au comité sur le contenu harmonisé de l'organisme pour améliorer la cohérence de la collecte et de la diffusion entre les enquêtes pour des concepts semblables.
• Participation à des groupes de travail sur le terrain qui peuvent être formés pour assurer l'uniformité entre les enquêtes pendant la transition des activités de collecte aux questionnaires électroniques et au Système intégré de collecte et des opérations (SICO).
• Réalisation d'une étude de comparabilité pour la base de données sur les décès du PSEC, entre les données codées au moyen du nouveau logiciel de codage automatisé des causes de décès (IRIS) et celui utilisé de 2000 à 2012;
• Travaux relatifs à la mise à jour de la normalisation de l'âge des produits de la SDS, afin de faciliter les comparaisons nationales et internationales.

3.5 Possibilité d'interprétation

Résumé

Le PSS élabore et diffuse de l'information au sujet des définitions, des méthodes et de diverses caractéristiques relatives à la qualité, qui complète les produits liés à la statistique de la santé et qui aide les utilisateurs à interpréter et à analyser avec précision les renseignements statistiques. La plupart des personnes interrogées étaient satisfaites de la possibilité d'interprétation des renseignements statistiques générés par le PSS. Plus précisément, elles ont déclaré que les métadonnées et la documentation fournies par Statistique Canada sont de grande qualité. Toutefois, un petit nombre de personnes interrogées ont éprouvé des difficultés à repérer des éléments particuliers de la documentation qu'elles jugeaient nécessaires pour bien comprendre les données fournies par Statistique Canada (problème d'accès).

Le niveau de satisfaction élevé des utilisateurs de l'ESCC annuelle, d'après le sondage auprès des utilisateurs, a confirmé cette tendance; 85 % des 226 personnes interrogées étant satisfaites de la possibilité d'interprétation des données.

Le plan de diffusion pour l'ESCC–Nutrition de 2015 laisse entendre que des pratiques similaires seront utilisées pour la diffusion de métadonnées. Le plan comprend des activités telles que l'élaboration de la structure des guides d'utilisation des données; de la formation sur les données pour les utilisateurs; la production de documents d'accompagnement, comme des guides concurrents d'utilisation des données (au besoin), un ensemble révisé de spécifications des variables dérivées, un recueil de tableaux et un ensemble de spécifications des tableaux CANSIM.^{Footnote 43}

Comme mentionné dans le rapport de rétroaction sur les programmes (2015), les feuillets d'information de l'ECMS sont un secteur d'enquête pour lequel les produits actuels ont du mal à répondre aux besoins. Selon le secteur de programme, étant donné la complexité de l'enquête, il est difficile de rédiger les feuillets d'information et de les mettre à la disposition du grand public dans un langage simple, tout en maintenant leur utilité pour les chercheurs. Statistique Canada collabore régulièrement avec des experts de SC et de l'ASPC afin de combler ces lacunes. De plus, en réponse à la nouvelle politique de Statistique Canada (2014) qui stipule que chaque diffusion de données dans Le Quotidien devrait fournir des renseignements analytiques, on a fait remarquer que dans chaque article du Quotidien, des liens vers les métadonnées de l'ECMS ont été fournis, ainsi que les liens vers les données. Plus récemment, le plan de communication de l'ECMS mentionne les séances Clavarder avec un expert (des discussions en ligne en temps réel d'une durée de 1 heure à 1 heure et demie avec des experts du programme) comme composante des activités de soutien et de promotion. Cependant, des difficultés ont été relevées par les partenaires fédéraux au sujet des difficultés à interpréter les résultats de l'ECMS sans un module complet sur la nutrition et le géocodage.

La documentation d'accompagnement des utilisateurs pour les statistiques sur l'état civil et le cancer diverge de celle liée aux enquêtes sur la population, puisque le processus de production est très différent. Le RCC renferme des détails sur les éléments de données dans les dossiers des patients, les caractéristiques de la tumeur et son diagnostic dans les dossiers sur les tumeurs^{Footnote 44} dans un document appelé Guide du système du registre canadien du cancer. De même, le PSEC appuie et met à jour, chaque année^{Footnote 45} des documents tels que Qualité des données, concepts et méthodologie : Définitions et Statistiques de l'état civil, Base de données sur les décès – Glossaire, qui sont largement conformes aux recommandations de l'OMS et des Nations Unies. Plus récemment, le RCC élabore de nouveaux produits de métadonnées qui décrivent ses fonds de données afin de fournir des outils analytiques à un groupe diversifié d'intervenants et d'utilisateurs.^{Footnote 46}

3.6 Pertinence ⁴⁷

Résumé

Processus d'engagement et de consultation

Au cours des cinq dernières années, le PSS a réalisé de nombreuses activités afin de maintenir la pertinence du programme pour ses utilisateurs, de mieux répondre à leurs besoins et de cerner les lacunes statistiques et les priorités pour toutes ses composantes.^{Footnote 49}

L'évaluation a relevé des perceptions mitigées de la réussite et de l'efficacité des processus de consultation et d'engagement du PSS. Malgré la satisfaction générale à l'égard du processus de consultation, certains intervenants ont recommandé d'améliorer les communications, en particulier en ce qui concerne les données qui sont accessibles et les contraintes (p. ex. le budget et la longueur des enquêtes) auxquelles le PSS est assujetti. Les intervenants ont exprimé le désir et la volonté de participer plus activement à la conception des enquêtes et à la planification de l'analyse des données, ou, à tout le moins, d'être tenus au courant du contenu des enquêtes, des plans d'analyse des données et des calendriers de publication et de diffusion des produits.

Réponse aux besoins des intervenants

En ce qui concerne la capacité de réponse, l'évaluation a permis de constater que, dans l'ensemble, le PSS est parvenu à répondre aux besoins et aux priorités des intervenants. Selon les résultats du sondage auprès des utilisateurs, 138 répondants sur 325 (42 %) estiment que le PSS aborde la totalité — ou la majeure partie — des enjeux les plus importants, tandis que 164 répondants sur 325 (50 %) ont indiqué que le PSS ne le faisait que « dans une certaine mesure ». Les résultats sont légèrement différents lorsque les grands utilisateurs ou les répondants connaissant le mieux les produits du PSS doivent indiquer si ce dernier répond aux enjeux émergents ou aux tendances clés : 40 sur 203 (20 %) ont indiqué qu'il y répondait « parfaitement ou en grande partie »; 135 sur 203 (67 %), « dans une certaine mesure »; et 18 sur 203 (9 %), « pas du tout ». Les interviews réalisées confirment que les composantes du PSS répondent aux besoins des intervenants dans l'ensemble. Toutefois, on a relevé certains aspects devant être améliorés dans chaque composante du programme

L'évaluation a permis de constater que l'ESCC annuelle répond aux besoins et aux priorités des intervenants. Selon les résultats du sondage réalisé pour cette évaluation, 203 répondants sur 226 (90 %) sont satisfaits des produits. L'ESCC offre également l'option de réponse rapide (une nouvelle initiative) pour répondre aux besoins émergents et changeants à l'égard de contenu supplémentaire, contre recouvrement des coûts. L'option permet aux clients d'acheter trois minutes de temps de questionnaire pour une période de collecte de trois mois. D'après le Rapport annuel de rétroaction (2015), tous les clients étaient très satisfaits de l'option de réponse rapide, sauf en ce qui concerne la disponibilité des données provinciales, où des lacunes ont été relevées.

Dans l'ensemble, l'évaluation a permis de constater que la thématique de l'ESCC répond aux besoins et aux priorités des intervenants. Par exemple, le sondage montre un niveau élevé de satisfaction à l'égard de l'ESCC–Vieillissement en santé (taux de satisfaction de 85 %) et pour l'ESCC–Santé mentale (taux de satisfaction de 83 %). Cependant, certaines lacunes, liées à l'intervalle entre les composantes (c.-à-d. la santé mentale et la nutrition) et l'inclusivité des régions géographiques (les enquêtes à thématique particulière de l'ESCC, comme la santé mentale et la nutrition, ne sont pas menées dans le Nord) ont été cernées. De plus, la sous-représentation de certaines sous-populations dans l'ESCC, ainsi que la formulation des questions sur l'orientation sexuelle, ont également été identifiées parmi les lacunes.

En 2012, la pertinence et le rendement de l'ECMS ont été évalués dans le cadre de l'évaluation horizontale du Plan d'action pour protéger la santé des Canadiens des contaminants environnementaux du gouvernement fédéral. Le rapport de l'évaluation a conclu que, bien que l'ECMS réponde généralement aux besoins actuels et émergents en matière de contenu, l'absence d'un plan de contenu à long terme coordonné est considérée comme une lacune. Pour donner suite aux recommandations de l'évaluation, le programme de l'ECMS a élaboré un plan de contenu sur huit ans en 2013.

Les résultats du sondage auprès des utilisateurs indiquent que 83 répondants sur 101 (82 %) sont satisfaits des renseignements statistiques diffusés. Cependant, il y a une lacune connue à l'égard des données régionales, qui sont demandées par les utilisateurs de données intéressés. Pour des raisons de coût et de logistique, l'ECMS est réalisée au niveau national seulement et, à ce stade-ci, il n'y a pas de financement permettant d'envisager une expansion^{Footnote 50} De plus, des données exhaustives sur les enfants ne sont pas incluses dans l'ECMS, ce qui serait utile pour les intervenants.

Le PSEC demeure pertinent dans le cadre des consultations avec le Conseil de la statistique de l'état civil du Canada. Dans l'ensemble, les intervenants sont satisfaits des travaux en cours pour maintenir la pertinence et l'utilité du PSEC. Les résultats du sondage réalisé pour cette évaluation indiquent que 91 répondants sur 114 (80 %) sont satisfaits du produit. Cependant, un manque de détail a été remarqué pour ce qui est des décès attribuables à une toxicité médicamenteuse, notamment les médicaments ne sont pas précisés. En outre, des travaux doivent être entrepris pour maintenir la pertinence du PSEC pour ce qui est de l'aide médicale à mourir et de la définition des mortinaissances (compte tenu de l'augmentation des cas de réduction multifœtale en raison du recours grandissant à la procréation assistée). Un autre problème est le couplage entre le PSEC et le RCC pour s'assurer que les renseignements importants, tels que les données sur la survie, peuvent être analysés. Le PSS collabore avec des intervenants, comme SC, l'ASPC et l'ICIS, pour s'assurer que les besoins sont satisfaits pour ces aspects.

Le RCC demeure pertinent grâce à des consultations avec le Conseil canadien des registres du cancer. Dans l'ensemble, les partenaires sont satisfaits des travaux en cours pour bien positionner le Conseil et le registre pour l'avenir. Compte tenu du fonctionnement du Conseil (où tout le monde travaille en groupe), ces processus nécessitant des consultations, l'établissement de normes et des approbations sont très lents et, bien que cette situation soit souvent une source d'irritation, la plupart des partenaires reconnaissent que Statistique Canada n'y peut rien. Une forte proportion des répondants interrogés pour cette évaluation (56 sur 67, ou 84 %) sont satisfaits du RCC.

Bien que le RCC fasse du bon travail lorsqu'il s'agit de fournir des estimations pancanadiennes de l'incidence du cancer, le traitement du cancer (chirurgie et radiothérapie) a été relevé comme une lacune du registre, et tous s'entendent pour dire que cette lacune doit être comblée. Deux options sont à l'étude pour combler ces lacunes : procéder à un couplage d'enregistrements avec d'autres ensembles de données existants, ou demander aux prestataires de soins de santé de déclarer des données aux registres provinciaux du cancer de manière uniformisée; les données seraient alors compilées et ajoutées au RCC.

L'évaluation a permis de constater que la composante des indicateurs de la santé du PSS répond aux besoins et aux priorités des intervenants : 97 répondants sur 106 (92 %) sont satisfaits. Les consultations se déroulent dans le cadre de la Conférence consensuelle sur les indicateurs de la santé (Statistique Canada/ICIS).^{Footnote 51} La quatrième Conférence consensuelle sur les indicateurs de la santé a attiré 61 participants de partout au Canada. La plupart des 80 indicateurs relevés sont pertinents et utiles pour la majorité des utilisateurs. Pour les indicateurs d'une utilité moindre, un examen est en cours afin de déterminer s'ils devraient être éliminés ou modifiés afin d'augmenter leur pertinence.^{Footnote 52}

L'évaluation a fait état d'un niveau de satisfaction élevé à l'égard de la publication Coup d'œil sur la santé (taux de satisfaction de 94 %).

Besoins et attentes actuels et émergents

Le sondage confirme que certains points doivent être améliorés. Parmi les répondants consultés dans le cadre du sondage d'évaluation, 143 répondants sur 325 (44 %) estiment que le PSS devrait produire des renseignements supplémentaires. Lorsqu'on leur a demandé quels renseignements devraient être produits, près de 40 % des répondants ont mentionné le concept des mégadonnées (données intégrées recoupant des domaines sociaux) et les déterminants de la santé. Le manque de données géographiques (11 %) et longitudinales (10 %) a également été mentionné comme une lacune à combler.

De même, les répondants clés ont décrit un large éventail de besoins et de priorités actuels et émergents se rapportant à leur domaine d'expertise ou de travail en particulier, y compris :

• De la recherche sur l'équité en matière de santé, les déterminants sociaux de la santé et le concept plus large du bien-être.
• Des données, plus de données ou la collecte de données plus fréquente sur des sujets particuliers, y compris l'exposition environnementale, l'usage pharmaceutique, les incapacités, la santé mentale, l'institutionnalisation, la nutrition (surtout les habitudes de consommation), les besoins des réfugiés en matière de santé, les besoins des anciens combattants en matière de santé, le vieillissement, les anomalies congénitales, le dépistage du cancer, la santé des enfants et la santé des Premières Nations.
• Des données et de la recherche qui tiennent compte des résultats en matière de santé.
• De la recherche axée sur le patient.
• De plus gros échantillons d'enquête.
• Des technologies pour la mesure humaine (p. ex. les technologies pour mesurer l'exposition aux produits chimiques chez les humains et le génotypage).

Malgré la diversité des besoins et des priorités des répondants clés, on a également observé des points en commun dignes de mention. Les besoins et les priorités revenant le plus souvent dans toutes les catégories de répondants clés étaient le couplage aux données administratives et le recours accru aux données longitudinales.

Couplage aux données administratives

Dans toutes les catégories de répondants clés, mais en particulier chez les utilisateurs et les experts, le besoin le plus fréquemment mentionné concernait un plus grand nombre de couplages avec des données administratives et le concept connexe des mégadonnées.

Données longitudinales

La nécessité de volumes accrus de données longitudinales a été mentionnée, principalement par les utilisateurs des CDR. Ces répondants clés ont noté que le PSS s'intéresse essentiellement aux enquêtes transversales, une tendance qu'ils ont observée dans l'ensemble de Statistique Canada. Ils ont souligné l'importance des données longitudinales pour faciliter la surveillance des tendances en matière de santé et la compréhension de l'incidence des déterminants sociaux de la santé.

3.7 Utilisation de l'information statistique

Résumé

Cette question d'évaluation examine dans quelle mesure les données du PSS sont utilisées pour alimenter les débats, la recherche, l'analyse ainsi que la prise de décisions. La portée des enjeux économiques visés par le programme, combinée au fait que toute cette information est facilement accessible, sans frais, sur le site Web de Statistique Canada, crée des possibilités illimitées quant à l'utilisation des données. Par conséquent, bien que les résultats de l'évaluation aient éclairé cette question, il est impossible de saisir la gamme complète d'utilisations potentielles des renseignements statistiques.

Qui utilise les données du Programme de la statistique de la santé, à quelle fin et comment?

D'après les bases de données administratives, l'étude des documents, la revue de la littérature, les évaluations bibliométrique et webométrique, les enquêtes et les interviews de Statistique Canada, l'évaluation a relevé un ensemble varié d'utilisations et d'utilisateurs dans tous les secteurs d'activités des secteurs public et privé.

Les utilisateurs clés d'organismes fédéraux sont SC, l'ASPC, l'ICIS et l'IRSC. D'autres organismes fédéraux parmi les principaux intervenants sont Emploi et Développement social Canada; Immigration, Réfugiés et Citoyenneté Canada; Environnement et Changement climatique Canada; le ministère de la Défense nationale; Service Canada; Passeport Canada; l'Agence du revenu du Canada et l'Agence des services frontaliers du Canada. Au niveau infranational, toutes les administrations provinciales, territoriales et municipales sont d'importants utilisateurs des statistiques du PSS.

Les renseignements recueillis au moyen des interviews auprès de répondants clés corroborent les conclusions tirées de l'étude des documents et ajoutent des exemples d'utilisation au sein du secteur public (à l'échelon fédéral, provincial, territorial et municipal). À ce niveau, les données du PSS sont utilisées pour éclairer l'élaboration, la mesure du rendement et l'évaluation des politiques et des programmes visant à promouvoir la santé des Canadiens. Les données du PSS sont également utilisées pour la création de lignes directrices, de normes et de règlements, en particulier à l'échelle fédérale. Comme le démontre un exemple présenté dans l'évaluation, l'analyse des données de l'ESCC a relevé des différences en ce qui concerne les comportements à l'égard du risque entre deux régions, ce qui a alimenté la discussion au sujet de la suffisance des règlements actuels.

Il semblerait également que les produits du PSS aient été utilisés par des organismes internationaux. Par exemple, les publications sur les indicateurs de la santé ont été utilisées par l'Organisation de coopération et de développement économiques (OCDE),^{Footnote 53} le Fonds des Nations Unies pour l'enfance (UNICEF),^{Footnote 54} l'Organisation panaméricaine de la santé (OPS)^{Footnote 55} et le Fonds du Commonwealth pour diffuser des renseignements comparables à l'échelle internationale. L'information du PSS est également utilisée par l'OMS afin d'élaborer une liste de référence internationale des indicateurs de la santé.

Les conclusions de l'évaluation émanant des interviews auprès de répondants clés ont également confirmé que des organismes non gouvernementaux utilisent les statistiques du PSS, par exemple pour élaborer des produits ciblant le public canadien pour le sensibiliser à des problèmes de santé en particulier.

Les chercheurs se servent des renseignements du PSS dans les études et les analyses des tendances, ainsi que pour des recherches approfondies sur divers problèmes de santé, avec désagrégation en fonction des variables sociales et économiques. Par exemple, les données de l'ESCC ont été utilisées par des chercheurs à l'ICIS et à Santé publique Ontario pour élaborer une calculatrice de l'espérance de vie afin d'aider les Ontariens à comprendre l'effet de certains comportements sur leur espérance de vie. Par ailleurs, pour la période de 2011-2012 à 2014-2015, plus de 500 contrats uniques ont été accordés pour l'accès aux CDR. Ces contrats ont été signés pour une moyenne annuelle de 520 personnes. L'ESCC annuelle et deux années combinées étaient de loin les fichiers les plus souvent demandés dans les contrats. La plupart des utilisateurs des CDR sont des étudiants, des professeurs et des chercheurs (39 %, 37 % et 14 % respectivement, en 2014-2015) d'universités (92 % du total des types d'organismes en 2014-2015).

Internet

La visibilité des renseignements du PSS sur le Web a été examinée dans le cadre d'une évaluation webométrique de l'utilisation (hyperliens aux produits du PSS). Environ 60 000 hyperliens vers le site Web de Statistique Canada sont sur Internet, dont 1 219 (2 %) dirigent les utilisateurs vers des produits du PSS. Les hyperliens menant vers les produits du PSS se rapportent aux tableaux sommaires (489 ou 40 %); aux enquêtes (302 ou 25 %); aux tableaux CANSIM (219 ou 18 %); aux publications (143 ou 12 %); au Quotidien (66 ou 5 %).^{Footnote 56}

Les cinq produits les plus souvent cités en référence sont l'ESCC annuelle (enquête); Espérance de vie à la naissance, selon le sexe, par province (tableau sommaire); Profil d'indicateurs de la santé, estimations annuelles, selon le groupe d'âge et le sexe, Canada, provinces, territoires, régions sociosanitaires (limites de 2013) et groupes de régions homologues (tableau CANSIM); Suicides et taux de suicide selon le sexe et l'âge (tableau sommaire); RCC (description). Voir le tableau 3 ci-dessous.

Les pages Web citant le PSS apparaissent sur divers grands domaines partout dans le monde. Le plus grand nombre de pages Web de renvoi (587 ou 48 %) proviennent du domaine canadien « .ca », suivi du domaine commercial « .com » (376 ou 31 %); du domaine pour les organismes à but non lucratif « .org » (162 ou 13 %); et du domaine réseau « .net » (40 ou 3 %). De la totalité des 1 219 liens aux produits du PSS, 618 proviennent de sites Web canadiens (.ca; .com; .org; et .net). De tous les liens canadiens aux produits du PSS, 38 % (233) proviennent de sites Web d'organismes à but non lucratif; 27 % (136) proviennent de sites Web d'organismes privés; 23 % (143) proviennent de sites Web d'organismes publics – dont 75 % du gouvernement fédéral, la majorité (63 %) provenant de l'IRSC, de SC et de l'ASPC; 7 % (44) proviennent d'établissements universitaires. Les organismes citant le PSS en référence le plus souvent sont des universités : Université de Toronto, Université d'Ottawa, Université de l'Alberta.

Médias

Un examen des dossiers administratifs de Statistique Canada démontre le degré d'intérêt dans les médias. En 2012-2013, les produits du PSS ont été cités 129 fois dans les médias, 163 fois en 2013-2014 et 143 fois en 2014-2015. Pendant ces trois exercices, les produits les plus souvent mentionnés étaient l'ESCC et la Base de données sur les décès.

Conséquences de l'utilisation des produits du Programme de la statistique de la santé

L'évaluation bibliométrique des produits examinait deux mesures particulières liées à l'incidence scientifique des produits du PSS : l'une qui mesure l'incidence des documents publiés, et l'autre qui mesure la visibilité des revues dans lesquelles les documents de recherche sont publiés. L'incidence des données sur la littérature publiée est illustrée par la présence et l'utilisation des statistiques du PSS dans les articles revus par des pairs. D'après l'évaluation bibliométrique réalisée dans le cadre de l'évaluation, un total de 38 222 citations renvoyant à des articles de Statistique Canada revus par des pairs ont été relevées de 2000 à 2014,^{Footnote 57} dont 3 970 (10 %) renvoient à des diffusions du PSS. Une évaluation bibliométrique de l'utilisation des Rapports sur la santé (82‑003‑X) est également fournie comme contexte à des fins d'interprétation. Cette série de publications a fait l'objet d'environ 2 250 renvois pendant la période de 2000 à 2014 — environ 55 % de ce que le PSS a reçu dans l'ensemble.

Les renvois aux communiqués de Statistique Canada des périodes de 2000 à 2006 et de 2008 à 2014 ont plus que quintuplé, tandis qu'ils ont plus que décuplé pour les communiqués du PSS pendant les mêmes périodes. Les types de documents les plus souvent cités pour le PSS sont les publications (1 684 ou 42 %); les enquêtes (1 521 ou 38 %); les tableaux CANSIM (416 ou 10 %); Le Quotidien (179 ou 5 %); et les tableaux sommaires (170 ou 4 %). Les cinq produits les plus souvent cités sont l'ECMS (enquête); Nutrition : Constatations tirées de l'ESCC (publication); Enquête nationale sur la santé de la population (publication); Indicateurs de la santé (publication); ESCC annuelle (enquête).

De plus, l'incidence et la visibilité des publications produites par le PSS semblent être supérieures à la moyenne mondiale et même à la moyenne canadienne.^{Footnote 58} Comme l'illustre le graphique  2, de 2000 à 2014, l'incidence des documents canadiens publiés est 39 % plus marquée que la moyenne mondiale, tandis que l'incidence des documents de Statistique Canada publiés est 32 % plus forte. L'incidence des documents sur les sciences de la santé de Statistique Canada, qui représentent essentiellement les produits du PSS, est 81 % plus marquée que la moyenne mondiale (également bien au-dessus des résultats du Canada et de Statistique Canada). Les résultats pour la deuxième mesure sont également significatifs. De 2000 à 2014, la visibilité des revues faisant état des recherches canadiennes est 25 % plus importante que la moyenne mondiale, tandis que la visibilité des recherches de Statistique Canada est 27 % plus importante. La visibilité des recherches en sciences de la santé de Statistique Canada, qui encore une fois représentent les produits du PSS, est 44 % plus marquée que la moyenne mondiale (également au-dessus des résultats du Canada et de Statistique Canada).

Les répondants au sondage devaient indiquer si l'information produite par le PSS leur permettait de mieux comprendre les tendances et les enjeux de la santé de la population. Parmi les répondants, 93 % ont indiqué que l'information du PSS leur avait permis de mieux comprendre. En fait, l'utilisation des produits du PSS a permis aux chercheurs d'effectuer des recherches de haute qualité.

Annexe 1 : Références

Bryant, T., D. Raphael, T. Schrecker and R. Labonte. 2011. "Canada: A land of missed opportunity for addressing the social determinants of health." Health Policy. June. Vol. 101. p. 44–58.

Canadian Institute for Health Information and Statistics Canada. 2015. Rethink, Renew, Retire: Report from the Fourth Consensus Conference on Evaluating Priorities for Canada's Health Indicators. Ottawa.

Canadian Institute for Health Information and Statistics Canada. 2013. Health Indicators 2013. Ottawa.

Commission on Social Determinants of Health. 2008. Closing the Gap in a Generation: Health Equity Through Action on the Social Determinants of Health. Final Report of the Commission on Social Determinants of Health. Geneva: World Health Organization.

Council of Canadian Academies. 2015. Accessing Health and Health-Related Data in Canada.The Expert Panel on Timely Access to Health and Social Data for Health Research and Health System Innovation, Council of Canadian Academies. Ottawa.

Hawe, P., E. Di Ruggiero and E. Cohen. 2012. "Frequently asked questions about population health intervention research." Canadian Journal of Public Health. Vol. 103, no. 6. p. e468–e471.

Health Information Advisory Committee. 2015. "Appendix 1: Inventory of health data." Health Data Strategy: Collective Efforts to Address Canadian Health Data Challenges. Internal document.

Library of Parliament. 2008. The Federal Role in Health and Health Care. Publication no. 2008‑58‑E. Ottawa.

Morrison, J., M. Pons‑Vigués, L. Bécares, B. Burström, A. Gandarillas, F. Domínguez‑Berjón, È. Diez, G. Costa, M. Ruiz, H. Pikhart, C. Marinacci, R. Hoffman, P. Santana, C. Borrell and partners from the INEQ‑Cities Project. 2014. "Health inequalities in European cities: Perceptions and beliefs among local policymakers." BMJ Open. May. Vol. 4, issue 5.

Organisation for Economic Co‑operation and Development (OECD). 2015. Health at a Glance, 2015. How Does Canada Compare? Paris: OECD Publishing.

Pan American Health Organization. 2012. Health in the Americas, 2012 Edition: Country Volume. Canada.

Pathak, S., M.D. Low, L. Franzini and J.M. Swint. 2012. "A review of Canadian policy on social determinants of health." Review of European Studies. September. Vol. 4, no. 4.

Senate of Canada. 2009. A Healthy, Productive Canada: A Determinant of Health Approach. The Standing Senate Committee on Social Affairs, Science and Technology. Final Report of the Senate Subcommittee on Population Health. Ottawa.

Statistics Act, R.S.C. 1985, c. S-19. Ottawa: Department of Justice.

Statistics Canada. 2017. Statistics Canada's Quality Assurance Framework. Statistics Canada Catalogue no. 12‑586‑X. Ottawa.

Statistics Canada. 2015a. Health Statistics Division. Operational Plan 2015/2016. Internal document. Ottawa.

Statistics Canada. 2015b. Canadian Community Health Survey (CCHS)–Nutrition Dissemination Working Group Charter. Ottawa.

Statistics Canada. 2015c. Health Indicators Strategic Review Report. Ottawa.

Statistics Canada. 2015d. Consultation Feedback Annual Report. Health Statistics. Ottawa.

Statistics Canada. 2015e. Health Statistics Program: Presentation to the National Statistics Council, October 29, 2015. Ottawa.

Statistics Canada. 2014a. 2014-2015 Report on Plans and Priorities. ISSN 2292‑5252. Ottawa.

Statistics Canada. 2014b. Canadian Health Measures Survey (CHMS) Expert Advisory Committee Meeting, September 26, 2014. Internal document. Ottawa.

Statistics Canada. 2014c. Health Statistics Divisiion (HSD) Dissemination Renewal Task Force Terms of Reference. Ottawa.

Statistics Canada. 2014d. Health Surveys Informal Content Coherence Committee Terms of Reference. April 19, 2010. Revised September 22, 2014. Ottawa.

Statistics Canada. 2014e. Evaluation of the LHAD Initiative. Longitudinal Health and Administrative Data Initiative. Ottawa.

Statistics Canada. 2013. Communication Plan for Canadian Health Measures Survey, 2013‑2016. Ottawa.

Statistics Canada. 2012. Data Quality in Statistics Canada's Population Surveys: The Case of the Canadian Community Health Survey. Ottawa.

Statistics Canada. 2011. Program Performance Report: 2008/2009 to 2009/2010. Health Statistics Program. Ottawa.

Statistics Canada. 2009. Statistics Canada Quality Guidelines. 5th edition. Statistics Canada Catalogue no. 12‑539‑X. Ottawa.

Statistics Canada. 2002. Statistics Canada's Quality Assurance Framework. Statistics Canada Catalogue no. 12‑586‑X. Ottawa.

Treasury Board of Canada. 2015. Whole‑of‑Government Framework. Ottawa.

Vital Statistics Council of Canada. 2014. Annual General Meeting 2014. Internal document.

Weiss, D., M. Lillefjell and E. Magnus. 2016. "Facilitators for the development and implementation of health promoting policy and programs: A scoping review at the local community level." BMC Public Health. Vol. 16, no. 140.

Word Health Organization (WHO) Regional Office for Europe. 2012. Governance for Health in the 21st Century. Prepared by I. Kickbusch and D. Gleicher. Copenhagen, Denmark.

Annexe 2 : Description du programme

La Division de la statistique de la santé a pour mandat de fournir des renseignements exacts, à jour et pertinents sur la santé des Canadiens. Avec la collaboration de la Division de l'analyse de la santé (Direction des études analytiques), elle produit des analyses statistiques et d'autres données concernant la santé de la population, les déterminants de la santé ainsi que l'étendue et l'utilisation des ressources en soins de santé au Canada. Ces renseignements aident les planificateurs et les décideurs dans le domaine de la santé, à tous les niveaux de l'administration publique, à soutenir la recherche démographique et épidémiologique et à rendre compte au public canadien de sa santé collective et du rendement du système de soins de santé.

La Division de la statistique de la santé travaille en partenariat avec les registres provinciaux et territoriaux de la statistique de l'état civil et du cancer, ainsi qu'avec les fournisseurs et les utilisateurs de données au niveau fédéral, à savoir Santé Canada et l'Agence de la santé publique du Canada (ASPC), au niveau provincial (ministères provinciaux de la Santé), au niveau régional (régions sociosanitaires) et avec bien d'autres partenaires, y compris l'Institut canadien d'information sur la santé, pour fournir des renseignements statistiques et entreprendre des recherches et des analyses sur l'état de santé des Canadiens et le système de santé.

Les activités du Programme de la statistique de la santé (PSS) peuvent être réparties en trois grands volets :

• Les programmes statistiques et administratifs;
• Les produits et services;
• Les initiatives et projets spéciaux.

Tableau 4: Enquêtes et produits de données clés du Programme de la statistique de la santé

Anexe 3: Modèle logique du Programme de la statistique de la santé

Le modèle logique du programme présenté au graphique 4 ci-après repose sur le Cadre d'assurance de la qualité^{Footnote 64}de Statistique Canada, qui décrit les six dimensions de la gestion de la qualité de tous les renseignements et produits statistiques (c.-à-d. l'accessibilité, l'actualité, l'exactitude, la possibilité d'interprétation, la cohérence et la pertinence). Le modèle logique est également aligné sur le Cadre de gestion organisationnel^{Footnote 65} de Statistique Canada, qui illustre comment l'organisme atteint ses résultats stratégiques. Les six dimensions de la gestion de la qualité sont intégrées aux cadres en tant que moteurs suivant un ordre hiérarchique; de l'accès à la qualité (y compris l'exactitude, la possibilité d'interprétation et la cohérence) puis à la pertinence^{Footnote 66}

Graphique 4 : Modèle logique du Programme de la statistique de la santé

Sommaire

Le Programme de la statistique de la santé (PSS) de Statistique Canada a pour mandat de fournir des renseignements exacts, à jour et pertinents au sujet de la santé des Canadiens et de l'utilisation par ces derniers des services de soins de santé.

La Division de l'évaluation et des pratiques professionnelles de la Direction de l'audit et de l'évaluation de Statistique Canada a mené une évaluation indépendante du PSS. L'évaluation a été conçue et menée conformément à la Politique sur l'évaluation (2009) du Conseil du Trésor et aux directives et aux normes connexes.

Selon l'évaluation, il existe un besoin continu à l'égard du PSS. De 2011 à 2015, la santé et le bien-être des Canadiens ont été désignés comme des enjeux prioritaires dans les budgets du gouvernement du Canada. Les activités du PSS sont harmonisées avec les besoins et les priorités les plus urgents du gouvernement en matière d'information sur la santé.

Dans l'ensemble, le PSS répond aux besoins et aux priorités en matière d'information dans les limites de son budget. Le programme a produit les résultats attendus, c'est-à-dire fournir l'accès à des renseignements statistiques pertinents et de haute qualité afin d'éclairer le débat public, le processus décisionnel et la recherche.

Le PSS doit néanmoins se concentrer sur l'analyse des besoins au lieu de la capacité et aborder le problème de la diminution des taux de réponse aux enquêtes s'il souhaite conserver sa pertinence à l'avenir.

Dans le cadre de l'évaluation, deux recommandations ont été proposées pour améliorer le PSS.

Recommandation n^o 1

Dans le contexte de la relation avec les fournisseurs de données provinciaux et territoriaux, il est recommandé que le Programme de la statistique de la santé prenne des mesures pour améliorer l'actualité des renseignements statistiques sur l'état civil et le cancer afin de respecter les dates de diffusion prévues et de s'acquitter de son mandat.

Réponse de la direction

La direction reconnaît qu'il y a eu des problèmes d'actualité à l'égard des programmes de la statistique de l'état civil et du cancer, lesquels reposent sur des dossiers administratifs provenant des provinces et des territoires.

Statistiques sur le cancer

Après la publication des données sur le cancer de 2014 en février 2017, le programme des statistiques sur le cancer retournera à un calendrier de publication régulier aussi actuel que possible en fonction des données fournies par les partenaires provinciaux et territoriaux. Des partenaires ont indiqué qu'il n'est pas possible pour eux d'adopter un calendrier plus ambitieux. Deux provinces ont indiqué qu'elles ne seraient pas en mesure de fournir les données de 2015 dans les délais prévus par le calendrier initial proposé. La direction établit des stratégies pour gérer la question de données manquantes ou incomplètes provenant des provinces et des territoires, ce qui pourrait notamment inclure la possibilité de publier uniquement les données des partenaires ayant répondu.

Statistique de l'état civil

Le retard dans la publication des données de la statistique de l'état civil sera résorbé en 2017, avec un retour aux publications en temps opportun en 2018. À partir de 2018, les données de la statistique de l'état civil seront diffusées de 10 à 11 mois après la fin de la période de référence. Non seulement cela signifie-t-il que le programme a éliminé les retards de traitement, mais cela constituera également une amélioration significative par rapport aux échéanciers passés, où les données étaient diffusées de 18 à 24 mois après l'année de référence.

Le retard observé dans le traitement était attribuable à des difficultés rencontrées au moment de procéder à la transition des données administratives dans le système de traitement générique des enquêtes sociales. Cela s'est avéré très problématique puisque ce système n'a pas été conçu pour traiter les données administratives. Il a donc été nécessaire d'élaborer des approches de traitement différentes afin d'assurer un traitement plus opportun.

En outre, le Système national d'acheminement (SNA), ayant le potentiel de fournir en continu et en temps quasi réel des chiffres liés aux événements, est presque complètement mis en place. Les renseignements plus complexes, comme les causes de décès et les décès nécessitant des enquêtes de coroners, particulièrement, ne sont pas toujours disponibles en temps quasi réel.

Les données sur les causes de décès sont codées à Statistique Canada pour toutes les provinces et tous les territoires à l'exception de l'Ontario, de la Colombie-Britannique et du Québec. La parution des données sur les décès et les causes de décès dépendent de la disponibilité des données sur les causes de décès codées provenant de ces trois secteurs de compétence. Il existe actuellement un décalage dans la disponibilité des données sur les causes de décès de l'Ontario et du Québec, ce qui peut avoir une incidence sur notre capacité à diffuser les données conformément au calendrier.

En 2017, les accords sur la statistique de l'état civil seront signés et le SNA sera mis en place pour toutes les autres provinces et tous les autres territoires.

Recommandation n^o 2

Il est recommandé que le Programme de la statistique de la santé collabore avec ses partenaires fédéraux afin d'améliorer l'approche de partenariat. Plus précisément, il s'agit de collaborer avec les partenaires pour revoir la structure de gouvernance actuelle à l'égard des rôles et des responsabilités, du processus décisionnel, des communications et des attentes relatives au partage de données.

Réponse de la direction

Une nouvelle structure de gouvernance est en cours d'élaboration pour le Programme de la statistique de la santé.

Ensemble, Statistique Canada, Santé Canada et l'Agence de la santé publique du Canada composent le Programme des statistiques sur la santé de la population canadienne (PSSPC) qui régit l'Enquête sur la santé dans les collectivités canadiennes, y compris le contenu thématique, ainsi que l'Enquête canadienne sur les mesures de la santé. Lors de la réunion de décembre 2016 du comité directeur du PSSPC, les sous-ministres adjoints ont convenu de moderniser la lettre d'entente interministérielle du PSSPC et de revoir la structure de gouvernance. Une première à l'échelle du directeur général (DG) a eu lieu le 11 janvier 2017 en vue de réaliser ces objectifs.

Sommaire et Réponse et plan d'action de la direction

Septembre 2016

• Sommaire
• Réponse et plan d'action de la direction

Remerciements

L'Équipe d'évaluation du projet remercie les personnes qui ont contribué à ce projet, et plus particulièrement les membres du Comité ministériel d'évaluation, ainsi que toutes les personnes interviewées, dont les réflexions et commentaires se sont avérés essentiels à la présente évaluation.

Le présent rapport a été approuvé par le statisticien en chef du Canada.

Conformément aux exigences de reddition de comptes de la Politique sur l'évaluation du Conseil du Trésor (2009) et de la directive connexe, le présent rapport est mis à la disposition du grand public et est affiché sur le site Internet de l'organisme, dans les deux langues officielles.

Statistique Canada a aussi mis en commun ce rapport avec ses partenaires de l'exécution du programme et les intervenants clés, y compris le Conseil national de la statistique.

Préparé par la Division de l'évaluation et de la mesure du rendement – Direction de l'audit et de l'évaluation. Nanci Comtois était à la tête de l'Équipe d'évaluation du projet, qui comprenait Valeria Pandelieva et Sonia Demers.

Liste des sigles et des abréviations

Repop

Recensement de la population

PC

Patrimoine canadien

SCHL

Société canadienne d'hypothèques et de logement

SDR

Subdivision de recensement

C.V.

Coefficient de variation

DEMR

Division de l'évaluation et de la mesure du rendement

EDSC

Emploi et Développement social Canada

TGN

Taux global de non-réponse

AANC

Affaires autochtones et du Nord Canada

IRCC

Immigration, Réfugiés et Citoyenneté Canada

ISQ

Institut de la statistique du Québec

ENM

Enquête nationale auprès des ménages

BVG

Bureau du vérificateur général du Canada

FMGD

Fichier de microdonnées à grande diffusion

CDR

Centre de données de recherche

ADTR

Accès à distance en temps réel

SPC

Services partagés Canada

CT

Conseil du Trésor

SCT

Secrétariat du Conseil du Trésor

Sommaire

La Division de l'évaluation et de la mesure du rendement (DEMR) de la Direction de l'audit et de l'évaluation de Statistique Canada a procédé à une évaluation indépendante du Programme du Recensement de la population (Repop), y compris l'Enquête nationale auprès des ménages (ENM). Les résultats ont permis d'obtenir des renseignements objectifs et des recommandations à l'appui de l'amélioration du programme, ainsi que d'éclairer les décisions futures de Statistique Canada et du Parlement en ce qui a trait à la gestion des ressources et des programmes par le gouvernement.

L'évaluation a été conçue et menée en conformité avec la Politique sur l'évaluation (2009) du Conseil du Trésor (CT) et les directives et normes connexes, et elle respecte un engagement en matière de reddition de comptes énoncé dans le Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2012-2013 à 2014-2015). L'objectif de l'évaluation est de fournir des renseignements crédibles et neutres sur la pertinence et le rendement continus (efficacité, efficience et économie) du programme.

Le présent rapport comprend les résultats de l'évaluation du Programme du Recensement de la population, y compris l'ENM. Il a été soumis au Comité ministériel d'évaluation et approuvé par le statisticien en chef du Canada.

Programme du Recensement de la population

L'objectif du Programme du Recensement de la population est de planifier, d'élaborer et de mettre en œuvre toutes les activités de collecte, de traitement et de diffusion des données des recensements décennaux et quinquennaux de la population, qui présentent un inventaire national des principaux phénomènes socioéconomiques du Canada. Le recensement dresse un portrait statistique du Canada et de sa population. Ce programme est la seule source fiable de renseignements détaillés concernant de petits groupes (p. ex., les familles monoparentales, les groupes ethniques, les catégories d'industries et de professions et les immigrants), ainsi que des secteurs aussi petits que les quartiers d'une ville, ou aussi vastes que l'ensemble du pays.

Avant 2011, l'approche adoptée pour le Programme du Recensement de la population comprenait à la fois un questionnaire abrégé obligatoire et un questionnaire détaillé obligatoire. L'Enquête nationale auprès des ménages (ENM) a été mise en œuvre en 2011, en vue de remplacer le questionnaire détaillé. L'enquête a été administrée sur une base volontaire à 30 % des ménages, parallèlement au questionnaire abrégé du Recensement de 2011. L'ENM avait été conçue pour recueillir le même type de renseignements que l'ancien questionnaire détaillé. En 2011, environ 2,7 millions de logements ont répondu à l'ENM.

Portée et méthodologie de l'évaluation

L'évaluation a été axée sur le rendement du Recensement de la population et de l'ENM de 2009-2010 à 2014-2015. Les données pour la présente évaluation ont été recueillies à partir de cinq sources, y compris des examens des ouvrages publiés, de la documentation et des données financières et administratives, des interviews auprès de 84 représentants du secteur public, du secteur privé, d'organisations non gouvernementales et d'universités, et une étude bibliométrique et webométrique. La stratégie d'évaluation a été fondée sur des données qualitatives et quantitatives. Les données de ces sources ont été analysées et triangulées pour élaborer les constatations et produire des recommandations à partir des conclusions.

Dans le cadre de l'évaluation, la pertinence, l'efficacité et l'efficience du cycle du Programme du Recensement de la population de 2011 ont été évaluées, ainsi que les répercussions des changements méthodologiques entre les cycles de 2006 et de 2011. De même, dans le cadre de l'évaluation, la capacité du programme d'atteindre ses résultats a été évaluée, compte tenu de la centralisation des processus opérationnels internes. À cette fin, les données disponibles concernant la planification du cycle de 2016 ont été examinées, ainsi que les renseignements liés à la mise en œuvre des pratiques exemplaires et les leçons retenues des cycles précédents.

Il est important de noter que les recommandations comprises dans la présente évaluation ont été modifiées, afin de rendre compte du changement contextuel récent lié au Programme du Recensement de la population, à savoir qu'en novembre 2015, pendant l'étape de la production du rapport d'évaluation, le gouvernement du Canada a décidé de rétablir le questionnaire détaillé obligatoire du recensement.

Constatations

Les constatations de l'évaluation viennent confirmer la position de Statistique Canada à propos de la qualité des renseignements statistiques du Programme du Recensement de la population de 2011. Elles confirment aussi les constatations d'autres sources indépendantes, comme le Rapport du printemps 2014 du vérificateur général du Canada.

Pertinence du programme

Le recensement est la seule source nationale qui offre des renseignements de base sur chaque personne et chaque ménage, qui sont recueillis à un moment précis, à intervalles réguliers, ainsi qu'une couverture géographique complète. Ces renseignements sont essentiels pour appuyer l'administration, la gouvernance et les politiques publiques à l'échelle nationale. Le recensement joue un rôle crucial en ce qui a trait à l'intégrité du système statistique national, étant donné qu'il fournit une base pour la validation des données recueillies par Statistique Canada, ainsi que par d'autres institutions publiques et privées.

Rendement du programme – Atteinte des résultats attendus

Comparativement au cycle de 2006 (considéré comme la base), la qualité du recensement s'est améliorée en 2011. Toutefois, la mise en œuvre de l'approche de 2011 a entraîné des coûts additionnels, par rapport à ce qui avait été prévu, et a eu des effets défavorables sur la qualité des renseignements statistiques recueillis dans le cadre de l'ENM.

La qualité des renseignements statistiques du Recensement de 2011 répond aux objectifs du programme. Toutefois, même si l'ENM est de grande qualité pour une enquête sociale à participation volontaire, il existe des préoccupations concernant des aspects particuliers, comme la cohérence et l'exactitude, pour les populations de petits domaines. Le changement de méthodologie a eu des répercussions sur la confiance des utilisateurs des statistiques officielles produites par le Programme du Recensement de la population, même si ces répercussions ne sont pas toujours justifiées et peuvent être considérées comme un résultat de perceptions biaisées. Les faits saillants qui suivent comportent plus de détails :

• L'exactitude des données du Recensement de 2011 est excellente et légèrement plus grande qu'en 2006. L'exactitude des données de l'ENM de 2011 est beaucoup plus grande que ce que l'on avait prévu en 2010, mais plus faible que celle des données du questionnaire détaillé du Recensement de 2006. Il existe une incertitude considérable parmi les utilisateurs externes, à savoir si les différences entre les données de l'ENM de 2011 et les données du questionnaire détaillé du recensement précédent sont le résultat de véritables changements dans la population ou de changements méthodologiques.
• Les données et les produits du Recensement de 2011 et de l'ENM ont été diffusés rapidement, compte tenu des ressources disponibles et du délai nécessaire pour le traitement, ainsi que le contrôle et l'assurance de la qualité.
• L'accessibilité des produits du Programme du Recensement de la population s'est améliorée de façon significative avec le temps. Depuis 2012, tous les produits normalisés découlant du programme, y compris ceux relatifs au Recensement de 2011 et à l'ENM, ont été diffusés et sont accessibles au grand public en plusieurs formats électroniques, sans frais. L'accessibilité des données pour les petites régions géographiques a été compromise par le niveau de suppression plus élevé établi pour les statistiques de l'ENM de 2011, et par le fait que le coût des services et des totalisations personnalisés (dans ce contexte seulement) représente un obstacle pour certains utilisateurs qui font face à des restrictions budgétaires.
• Les données du Recensement de la population de 2011 sont cohérentes. Dans le cadre du programme, on a fait des efforts considérables pour évaluer et réduire les répercussions de la nature volontaire de l'ENM sur la comparabilité des estimations. Toutefois, le changement de méthodologie a fait en sorte qu'il est difficile pour les utilisateurs de comparer les données de l'ENM et les données antérieures.
• Il n'existe pas de problèmes quant à l'intelligibilité des données du Recensement de 2011. Toutefois, il a été reconnu que pour pouvoir interpréter et utiliser de façon appropriée les données de l'ENM de 2011, les utilisateurs doivent en savoir davantage au sujet de la méthodologie, ce qui n'était pas le cas auparavant. Les données recueillies laissent supposer qu'une aide additionnelle a été fournie aux utilisateurs des données sous forme de renseignements plus détaillés.
   
  Néanmoins, pour les utilisateurs (et plus particulièrement les utilisateurs des données pour les petites régions géographiques et les sous-populations, ou ceux qui ont une moins grande capacité analytique), il n'est pas toujours facile de savoir quelles sont les données fiables et comment elles peuvent être interprétées. Les utilisateurs ont aussi souligné l'importance de diffuser des rapports techniques rapidement, ainsi que toutes les métadonnées nécessaires.
• Les données statistiques du Programme du Recensement de la population répondent aux besoins des utilisateurs globalement. En ce qui a trait au contenu, aucune lacune importante n'a été déterminée dans les renseignements. L'ENM répond davantage aux besoins d'information à l'échelle nationale et provinciale et, dans une moindre mesure, aux besoins liés à des niveaux géographiques moins élevés, à des caractéristiques rares et à la comparabilité au fil du temps pour certaines régions, comparativement au cycle de 2006. Par conséquent, la capacité du programme de répondre aux besoins varie selon le type d'utilisateur. Le changement d'approche a aussi entraîné des inconvénients ou des coûts pour les utilisateurs (p. ex., en ce qui a trait à la somme d'efforts nécessaire pour comprendre les changements, utiliser les données, procéder à une validation ou utiliser des données de remplacement). Toutefois, il n'existe pas de preuve claire que les utilisateurs et les intervenants externes qui ont été consultés ont mis en œuvre de nouvelles enquêtes en raison de besoins non comblés.
• Les données du Programme du Recensement de la population sont utilisées de façon exhaustive par tous les niveaux de gouvernement pour s'acquitter de leur mandat et de leurs responsabilités, par les chercheurs universitaires, par les organismes non gouvernementaux, par le secteur privé et par les Canadiens. À Statistique Canada, les données du recensement sont utilisées dans d'autres enquêtes, pour l'échantillonnage et l'étalonnage. Dans le cadre de l'évaluation, on a déterminé que les changements méthodologiques de 2011 avaient certaines répercussions du point de vue de la façon dont les données sont utilisées, et à quelles fins.

Rendement du programme – Efficience et économie

La décision tardive de modifier l'approche du cycle de 2011 a eu des répercussions significatives et a entraîné des défis à divers niveaux pour les acteurs internes et externes : défis financiers, défis opérationnels, défis liés à l'atteinte des résultats souhaités (qualité) et, enfin, défis en ce qui a trait à la crédibilité des données statistiques disponibles. Dans l'ensemble, les décisions tardives concernant l'approche à adopter par le gouvernement du Canada (en 2010 et 2015) ont eu des répercussions négatives sur l'efficience du programme.

Malgré les circonstances exceptionnelles découlant du moment où la décision a été prise, on reconnaît que de bonnes pratiques de gestion ont entraîné la mise en œuvre réussie du programme pendant l'ensemble du cycle de 2011 et les premières années du cycle de 2016. Globalement, le Programme est administré de façon efficace, et ses gestionnaires ont démontré un engagement à en réduire le coût, tout en assurant sa durabilité à long terme. Les coûts prévus du cycle de 2011 étaient raisonnables, en comparaison avec ceux des cycles précédents, en ce qui a trait à la production des produits prévus et l'atteinte des résultats attendus. Toutefois, la décision de modifier la méthodologie a entraîné une augmentation des coûts pour le cycle de 2011. En ce qui a trait à la mise en œuvre du cycle de 2016, des défis importants sont liés au partenariat actuel avec Services partagés Canada (SPC), et ils pourraient avoir des répercussions sur l'efficience du Programme du Recensement.

Dans le cadre du Programme du Recensement de la population, un engagement à explorer d'autres façons d'atteindre les résultats attendus a été démontré. Des possibilités peuvent être envisagées pour les cycles futurs, étant donné que l'on s'attend à ce que le Recensement de la population du Canada évolue. Les changements prévus ne sont pas un phénomène propre au Canada : la plupart des organismes statistiques des pays développés explorent actuellement et mettent en œuvre des approches et des méthodologies innovatrices (p. ex., augmentation de l'utilisation des données administratives et des autres données disponibles). La transition réussie à des recensements plus efficaces, qui produisent des données de meilleure qualité, avec un coût et un fardeau réduits pour les répondants, exige une planification et des efforts considérables à long terme.

Conclusions et recommandations

La qualité des données statistiques du Recensement de 2011 répond aux objectifs du programme. Toutefois, même si l'ENM est de grande qualité pour une enquête sociale à participation volontaire, il existe des préoccupations concernant des aspects particuliers, comme l'accessibilité (données pour les petites régions et les sous-populations), la cohérence et l'exactitude.

Par suite de l'analyse de la mise en œuvre du cycle de 2016 et du changement récent d'orientation, c'est-à-dire le passage d'une enquête à participation volontaire à une enquête à participation obligatoire, on s'attend à ce que la qualité des données statistiques de la composante de l'ENM s'améliore au cours du cycle actuel.

Recommandation nº 1 – Pertinence et rendement (accessibilité, exactitude et cohérence)

Dans le cadre du Programme du Recensement de la population, il est recommandé que l'on énonce de façon détaillée les mesures prises pour améliorer la qualité des données statistiques pour les aspects de l'accessibilité (données pour les petites régions et les sous-populations), l'exactitude et la cohérence, afin de répondre aux besoins des utilisateurs du cycle de 2016.

Le changement de méthodologie a eu des répercussions sur la confiance des utilisateurs à l'égard des statistiques officielles produites par le Programme du Recensement de la population, même si ces répercussions ne sont pas toujours justifiées et peuvent être considérées comme un résultat de perceptions biaisées. Par conséquent, la crédibilité des données statistiques parmi les utilisateurs a eu des répercussions sur le niveau d'utilisation.

Recommandation nº 2 – Rendement (confiance et utilisation)

Dans le cadre du Programme du Recensement de la population, il est recommandé de s'assurer qu'un système de communication efficace et proactif est mis en œuvre pour informer les Canadiens, et plus particulièrement les utilisateurs directs des données du programme, de l'orientation de celui-ci et de la nature exacte (qualité) des données qui sont et seront produites, afin de maintenir la crédibilité du programme et de ses produits au fil du temps.

Les renseignements recueillis semblent indiquer que le programme a offert une aide additionnelle aux utilisateurs des données, sous forme de renseignements plus détaillés. Néanmoins, pour les utilisateurs (et plus particulièrement les utilisateurs des données pour les petites régions géographiques et les sous-populations, ou ceux qui ont une moins grande capacité d'analyse), il n'est pas toujours facile de savoir quelles sont les données fiables et comment elles peuvent être interprétées. Les utilisateurs ont aussi souligné l'importance de diffuser des rapports techniques rapidement et toutes les métadonnées nécessaires.

Recommandation nº 3 – Rendement (intelligibilité)

Dans le cadre du Programme du Recensement de la population, il est recommandé qu'on assure la disponibilité des données au moment opportun et du soutien nécessaire pour éclairer et guider les différents types d'utilisateurs des données, et répondre aux multiples besoins, compte tenu des approches différentes adoptées pour les différents cycles du recensement.

Réponse et plan d'action de la direction