Évaluation du Programme de la statistique de la santé
de 2011-2012 à 2015-2016

Février 2017

Sommaire

  1. Contexte
  2. Constatations : Pertinence
    • 2.1 Nécessité continue du Programme de la statistique de la santé
    • 2.2 Alignement sur les priorités du gouvernement et des partenaires clés
    • 2.3 Harmonisation avec les rôles et les responsabilités de l'administration fédérale
  3. Constatations : Rendement
    • 3.1 Exactitude
    • 3.2 Actualité
    • 3.3 Accessibilité
    • 3.4 Cohérence
    • 3.5 Possibilité d'interprétation
    • 3.6 Pertinence
    • 3.7 Utilisation de l'information statistique
  4. Constatations : Économie et efficience
  5. Conclusions et recommandations
  6. Réponse de la direction et plan d'action

Sommaire

La Division de l'évaluation et des pratiques professionnelles (DEPP) de la Direction de l'audit et de l'évaluation de Statistique Canada a réalisé une évaluation indépendante du Programme de la statistique de la santé (PSS), y compris, de manière exclusive, les activités de la Division de la statistique de la santé. Les résultats ont permis d'obtenir des renseignements objectifs et de formuler des recommandations à l'appui de l'amélioration du programme, ainsi que d'éclairer les décisions futures de Statistique Canada et du Parlement en ce qui a trait à la gestion des ressources et des programmes par le gouvernement.

L'évaluation a été conçue et menée conformément à la Politique sur l'évaluation (2009) du Conseil du TrésorFootnote 2 (CT) et aux normes et aux directives connexes, et elle respecte un engagement de responsabilisation énoncé dans le Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (de 2013-2014 à 2015-2016).

Constatations

Dans l'ensemble, le Programme de la statistique de la santé (PSS) a répondu aux besoins et aux priorités dans les limites de son budget, et a atteint les résultats attendus, c'est-à-dire fournir l'accès à de l'information statistique pertinente et de grande qualité afin d'éclairer le débat public, la prise de décisions et la recherche.

Relevance: Les résultats de l'évaluation démontrent un besoin continu pour le programme. Étant donné que les données probantes sont essentielles dans une société fondée sur le savoir, de l'information statistique actuelle, accessible et pertinente sur la santé des Canadiens est nécessaire.

La prestation du PSS par le gouvernement fédéral cadre avec ses rôles et responsabilités, puisqu'elle permet une intervention directe à l'égard des déterminants sociaux de la santé pour favoriser la justice sociale et l'équité en matière de santé. Statistique Canada est l'un des cinq organismes fédéraux qui appuient le gouvernement fédéral dans son mandat relativement à la santé. De plus, la santé et le bien-être des Canadiens ont été cernés comme une priorité dans tous les budgets fédéraux de 2011 à 2015. Le discours du Trône de 2011 soulignait l'importance de la collaboration entre les partenaires clés. Les conclusions de l'évaluation ont confirmé la correspondance des activités du PSS aux besoins et priorités les plus urgents dans les secteurs de responsabilité du PSS.

Rendement : L'incidence potentielle du programme est directement corrélée à la qualité et à la pertinence de l'information statistique produite. À cet égard, l'évaluation présente des conclusions sur chaque dimension de la qualité de l'information statistique jusqu'à l'étendue de son utilisation.

  • Exactitude : Les conclusions de l'évaluation ont confirmé que l'information statistique du PSS est exacte en dépit des difficultés liées au repli des taux de réponse. L'exclusion de groupes démographiques et de régions géographiques clés a été mentionnée comme un obstacle possible à la généralisabilité de la recherche et à l'élaboration de politiques et de programmes appropriés ciblant ces groupes et régions.
  • Actualité : Dans l'ensemble, le PSS s'est heurté à quelques difficultés pour respecter certaines dates de diffusion prévues, en particulier pour ce qui est de la statistique de l'état civil, des produits sur le cancer et de l'ESCC – Nutrition. Toutefois, les produits pour deux des principales composantes, l'ESCC annuelle et l'ECMS, ont été diffusés à temps en grande partie. Le problème d'actualité a eu une incidence sur la satisfaction des utilisateurs et sur la capacité de réponse du PSS.
  • Accessibilité : Les conclusions de l'évaluation ont confirmé que l'accessibilité, en ce qui a trait à la disponibilité des produits et les modes d'accès, s'est accrue et améliorée au fil du temps, et que les produits sont d'intérêt. L'impression générale est que les mécanismes de diffusion de l'information sont fonctionnels et qu'ils répondent aux besoins de base des utilisateurs. Toutefois, il a été suggéré que Statistique Canada pourrait ou devrait en faire plus pour faciliter l'accès. Les répondants clés ont soulevé des enjeux relatifs à l'accessibilité, y compris des problèmes associés aux dispositions relatives à la confidentialité et à la protection des renseignements personnels dans la Loi sur la statistique, les accords de partage de données (APD), les centres de données de recherche (CDR) et le site Web de Statistique Canada.
  • Cohérence : Bien que certaines décisions relativement à des changements aux enquêtes aient été prises au fil du temps, il n'y a pas d'enjeux de cohérence de l'information statistique du PSS. Des renseignements supplémentaires sont fournis pour répondre aux besoins d'information des utilisateurs en ce qui a trait aux changements et à leur incidence sur la cohérence. La direction du PSS s'est engagée à gérer la cohérence ainsi le compromis entre la cohérence et la pertinence est bien réalisé dans le processus décisionnel.
  • Intelligibilité : Les conclusions de l'évaluation ont confirmé que l'intelligibilité de l'information statistique du PSS est réputée adéquate, en particulier en raison des métadonnées et de la documentation de haute qualité. Le PSS a fourni aux utilisateurs de données la documentation nécessaire sous la forme d'information de référence.
  • Pertinence des données : L'analyse a démontré que le PSS consulte ses intervenants afin de cerner les besoins et les exigences changeants ou émergents des utilisateurs, ainsi que les lacunes statistiques potentielles, et conséquemment, que des mesures ont été prises. L'évaluation a permis de constater que le PSS dans son ensemble, avec ses programmes d'enquête et ses ensembles de données administratives, est en mesure de fournir de  l'information statistique sur la santé qui répond aux besoins et aux priorités des intervenants. Toutefois, malgré les efforts constants déployés par le PSS pour répondre aux besoins des intervenants dans le cadre de consultations et d'examens, certaines lacunes sont ressorties de l'évaluation. Les besoins fréquents et émergents exprimés concernaient le concept des mégadonnées et des déterminants de la santé, le manque de données géographiques et la nécessité accrue de couplage de données administratives et de données longitudinales. Parmi les autres besoins cernés, mentionnons les suivants :
    • la recherche sur l'équité en matière de santé, les déterminants sociaux de la santé et le concept plus large du bien-être;
    • les données, plus de données ou une collecte de données plus fréquente sur des sujets particuliers, y compris l'exposition environnementale, l'usage pharmaceutique, les incapacités, la santé mentale, l'institutionnalisation, la nutrition (surtout les habitudes de consommation), les besoins des réfugiés en matière de santé, les besoins des anciens combattants en matière de santé, le vieillissement, les anomalies congénitales, le dépistage du cancer, la santé des enfants et la santé des Premières Nations;
    • les données et la recherche qui tiennent compte des résultats en matière de santé;
    • la recherche axée sur le patient;
    • les plus gros échantillons d'enquête, et l'inclusion de groupes démographiques et de régions clés;
    • les technologies pour la mesure humaine (p. ex. les technologies pour mesurer l'exposition aux produits chimiques chez les humains et le génotypage).

Utilisation de l'information statistique : Dans l'ensemble, les données du PSS sont utilisées par tous les niveaux de gouvernement pour s'acquitter de leur mandat et de leurs responsabilités, par les chercheurs, par des organismes internationaux, par les organismes non gouvernementaux et par les Canadiens. À Statistique Canada, les données du PSS alimentent d'autres programmes de statistique et de recherche.

Efficience et économie : Les résultats de l'évaluation confirment l'engagement et les pratiques exemplaires de la direction du PSS pour offrir des résultats de qualité qui répondent à l'ensemble des besoins et des priorités. Cependant, certains enjeux liés aux partenariats avec des intervenants fédéraux clés et à la collaboration avec les provinces et les territoires, ainsi qu'un repli des taux de réponse et des difficultés technologiques, ont été mentionnés comme des facteurs clés qui entravent l'efficience et les résultats du programme (p. ex. l'actualité).

De plus, les résultats provisoires du projet pilote lancé en 2013-2014 pour donner suite aux recommandations de l'évaluation précédente de l'ECMS semblent prometteurs. Le projet permet de recueillir les renseignements financiers par cycle d'enquête en fonction des processus et des activités dans le but d'améliorer la mesure de l'efficience. Les résultats ont confirmé que l'approche permettra une analyse des dépenses (coûts) d'un cycle d'enquête par rapport à un autre cycle, en fonction de l'étape du processus d'enquête.

Conclusions et pistes de recommandations

Dans l'ensemble, le PSS a répondu aux besoins et aux priorités dans les limites de son budget, et a produit les résultats attendus, c'est-à-dire fournir l'accès à de l'information statistique pertinente et de haute qualité afin d'éclairer le débat public, le processus décisionnel et la recherche.

D'après les conclusions de l'évaluation, on reconnaît que le programme doit veiller à ce que la pertinence de l'information statistique soit maintenue en se concentrant continuellement sur l'analyse des besoins par rapport à la capacité (populations sondées, déterminants de la santé, fréquence de la collecte pour certains thèmes). Enfin, le défi qu'impose la diminution des taux de réponse pour l'exactitude doit rester un enjeu prioritaire pour la planification.

Rendement (actualité) 

Les conclusions de l'évaluation démontrent que le PSS a eu du mal à respecter les dates de diffusion en ce qui concerne la statistique de l'état civil et du cancer.

Recommandation 1 :

Dans le contexte de la relation avec les fournisseurs de données provinciaux et territoriaux, il est recommandé que le Programme de la statistique de la santé prenne des mesures pour améliorer l'actualité de l'information statistique sur l'état civil et le cancer afin de respecter les dates de diffusion prévues et de s'acquitter de son mandat.

Rendement et efficience (partenariats)

Des enjeux ont été soulevés relativement à la relation actuelle avec les partenaires fédéraux, particulièrement : 1) une détérioration apparente de la relation de partenariat au cours des dernières années, qui ressemble maintenant davantage à une relation client; 2) un manque de participation et de partage de l'information dans le processus décisionnel; 3) des difficultés concernant les accords de partage de données.

Recommandation 2 :

Il est recommandé que le Programme de la statistique de la santé collabore avec ses partenaires fédéraux afin d'améliorer l'approche de partenariat. Plus précisément, il s'agit de collaborer avec les partenaires pour revoir la structure de gouvernance actuelle à l'égard des rôles et des responsabilités, du processus décisionnel, des communications et des attentes relatives au partage de données.

1. Contexte

En tant qu'organisme national de statistique du pays, Statistique Canada joue un rôle fondamental dans la production de renseignements sur les conditions socioéconomiques du Canada. Les données statistiques appuient les processus décisionnels du gouvernement à tous les échelons du fait qu'elles décrivent l'évolution des conditions, facilitent l'analyse des politiques et des programmes et permettent de suivre les résultats des programmes. Certaines des données produites par Statistique Canada sont également exigées en vertu de la loi.

Programme de la statistique de la santé

Le Programme de la statistique de la santé (PSS) a pour mandat de fournir des renseignements exacts, à jour et pertinents sur la santé des Canadiens. La Division de la statistique de la santé, avec le concours de la Division de l'analyse de la santé de Statistique Canada (qui n'est pas incluse dans la portée de cette évaluation), fournit des analyses et des renseignements statistiques au sujet de la santé de la population, des déterminants de la santé et de la portée et de l'utilisation des ressources en soins de santé du Canada. Ces renseignements aident les planificateurs et les décideurs dans le domaine de la santé, à tous les niveaux de l'administration publique, à soutenir la recherche démographique et épidémiologique et à rendre compte au public canadien de sa santé collective et du rendement du système de soins de santé.

La Division de la statistique de la santé travaille en partenariat avec les registres provinciaux et territoriaux de la statistique de l'état civil et du cancer, de même qu'avec des fournisseurs et des utilisateurs de données aux niveaux fédéral (Santé Canada [SC] et l'Agence de la santé publique du Canada [ASPC]), provincial (ministères provinciaux de la Santé) et régional (régions sociosanitaires). Le programme collabore également avec beaucoup d'autres partenaires, y compris l'Institut canadien d'information sur la santé (ICIS), afin de fournir des renseignements statistiques sur l'état de santé des Canadiens et le système de santé et de mener des recherches et des analyses à ce sujet.

Les activités du PSS peuvent être réparties en trois grands domaines, par enquête et produit de données clésFootnote 3:

  • Programmes statistiques et administratifs
    • Enquête sur la santé dans les collectivités canadiennes (ESCC)
    • Enquête canadienne sur les mesures de la santé (ECMS)
    • Statistique de l'état civil
  • Produits et services
    • Intégration et analyse
    • Services à la clientèle et diffusion
  • Initiatives et projets spéciaux
    • Système national d'acheminement (SNA)
    • Base canadienne de données des coroners et des médecins légistes (BCDCML)
    • Programme d'enquête sur les problèmes neurologiques
    • Enquête sur les personnes ayant une maladie chronique au Canada (EPMCC)
    • Enquête sur les établissements de soins de longue durée (EESLD)
    • Enquête canadienne sur la santé des enfants et des jeunes (ECSEJ)
Les dépenses totales du programme se chiffraient à 224,3 millions de dollars pour la période de 2011-2012 à 2015-2016.Footnote 4

À propos de l'évaluation

Une évaluation impartiale de la pertinence et du rendement du PSS a été réalisée, conformément aux exigences de la Politique sur l'évaluation (2009) du Conseil du Trésor du CanadaFootnote 5 L'objectif de cette évaluation était de déterminer si le PSS fournit des renseignements statistiques clés de qualité, produits efficacement et répondant aux besoins des utilisateurs.Footnote 6

L'évaluation visait la période du 1er avril 2011 au 31 mars 2016 et misait sur les activités du PSS et les produits et services personnalisés connexes. Une approche à plusieurs méthodes, intégrant des données quantitatives et qualitatives, a été utilisée avec un total de 15 questions d'évaluation dans le cadre de la stratégie visant à évaluer les enjeux de base liés à la pertinence et au rendement du programme.Footnote 7 De multiples sources de données ont été utilisées, notamment :

  • Revue de la documentation et de la littérature;
  • Examen des données administratives;
  • Interviews auprès des répondants clés, avec 58 intervenants internes et externes du secteur public (fédéral, provincial et municipal), du secteur privé, des organisations non gouvernementales et du milieu universitaire;
  • Sondage auprès de 325 utilisateurs de données connaissant le programme et ses produits;
  • Étude bibliométrique et webométrique.

Des analyses logiques et statistiques ont été utilisées, et les résultats ont été corrélés, afin de déterminer les tendances et les modèles. Les données de ces sources ont été analysées et triangulées pour formuler les conclusions et les recommandations.

L'évaluation a dû composer avec des limites, qui ont été atténuées par les stratégies décrites ci-après.

Tableau 1 : Limites de l'évaluation et stratégies d'atténuation
Limites Stratégies d'atténuation
Couverture de haut niveau d'un programme statistique complexe et de grande envergure – En raison de la nature, de la portée et de l'étendue du PSS, il s'est avéré difficile de saisir le large éventail d'utilisateurs et de zones d'utilisation dans les consultations d'évaluation. On a surmonté cette difficulté en utilisant une sélection rigoureuse de répondants clés en fonction de leur connaissance du sujet et du programme, et en réalisant un sondage ciblant 325 utilisateurs de données. De plus, la calibration de la portée a pris en considération l'évaluation de l'ECMS de 2012-2013, qui englobe une grande partie du PSS.
Analyse de l'efficience – La structure actuelle des renseignements financiers, qui reposent sur une base opérationnelle plutôt que sur la base d'un projet, limite l'analyse des conséquences des problèmes et des initiatives sur le coût et le budget total des activités d'enquête. Pour atténuer cette limite, dans le cadre du projet d'évaluation actuel, un suivi a été fait d'un projet pilote découlant de l'évaluation précédente de l'ECMS, qui visait à recueillir des renseignements financiers à un niveau plus détaillé.
Information sur la satisfaction des utilisateurs – Il n'y a pas de renseignements à jour cohérents sur la satisfaction des utilisateurs au niveau du programme ou de l'organisation pour produire des rapports sur les besoins d'utilisateurs de programmes particuliers et sur leur satisfaction à l'égard des produits et services des programmes. Cette difficulté a été surmontée en menant un sondage auprès des utilisateurs du PSS pour déterminer les besoins et la satisfaction des utilisateurs.

2. Constatations : Pertinence

La présente section résume les constats de l'évaluation qui sont ressortis du processus de collecte des données. Elle s'intéresse précisément à la pertinence du PSS en explorant la nécessité démontrable du programme, son alignement avec les priorités du gouvernement et sa cohérence avec les rôles et les responsabilités du gouvernement fédéral.

2.1. Nécessité continue du Programme de la statistique de la santé

Résumé

Les données probantes ressorties de l'évaluation démontrent la nécessité continue du PSS. Étant donné que les données probantes sont essentielles dans une société fondée sur le savoir, il faut avoir des statistiques à jour, accessibles et pertinentes sur la santé des Canadiens. Les données produites par le PSS appuient la prise de décisions fondées sur des données probantes en éclairant divers aspects du secteur de la santé en ce qui concerne les lois, les ententes de financement, l'élaboration, la planification et la gestion de programmes et de politiques et l'évaluation du rendement pour les organismes directement responsables de la santé et de la gouvernance en matière de santé, ainsi que pour divers groupes d'utilisateurs, y compris les particuliers.

La santé, telle qu'elle est définie par l'Organisation mondiale de la Santé est « un état de complet bien-être physique, mental et social et est une ressource de la vie quotidienne ».Footnote 8 Dans les sociétés contemporaines fondées sur la connaissance, la santé a été reconnue comme un facteur clé pour la prospérité économique, un droit de la personne, un bien public mondial et un enjeu de justice sociale et d'équité. Par conséquent, [Traduction] « les gouvernements, les entreprises, les collectivités et les citoyens participent de plus en plus à la gouvernance de la santé ».Footnote 9 Comme l'indique le rapport de la quatrième Conférence consensuelle sur l'évaluation des priorités relatives aux indicateurs de santé au Canada, [Traduction] « en matière de santé, le mandat de Statistique Canada vise surtout la collecte de données sur l'ensemble de la population (plutôt que la collecte de données fondée sur les interventions ou la prestation de soins). Dans ce contexte, l'objectif consiste à recueillir des données de grande qualité pour permettre le calcul d'indicateurs et de mesures très fiables ».Footnote 11

Les recherches suggèrent que, en raison de l'augmentation constante des coûts des soins de santé et du grand nombre de pays reconnaissant le caractère insoutenable du modèle biomédical traditionnel des soins de santé, il est de plus en plus nécessaire de réorienter le secteur de la santé vers la promotion de la santé Footnote 12 [Traduction] « La promotion de la santé adopte une approche systématique pour permettre aux populations de prendre le contrôle des variables qui influencent la santé. Cette perspective préconise un investissement dans des facteurs en amont multidimensionnels, en favorisant la santé sociale, individuelle, environnementale et politique comme mesure proactive et comme un droit de la personne fondamental […]. ».Footnote 13 Cette tendance se développe en parallèle avec un intérêt et un accent grandissants à l'égard d'autres aspects de la recherche en matière de santé, comme la santé de la population, l'intervention en santé de la population et l'équité en santé. L'aspect de l'équité est devenu particulièrement important depuis la publication du rapport intitulé Combler le fossé en une génération, en 2008. D'après l'OMS, les inégalités en matière de santé au sein des populations sont en grande partie attribuables aux conditions dans lesquelles vivent, grandissent, travaillent et vieillissent les gens, ainsi qu'aux systèmes mis en place pour composer avec la maladie (Organisation mondiale de la Santé, 2010). On appelle souvent ces conditions les déterminants sociaux de la santé. Compte tenu de l'intérêt grandissant accordé à l'aspect de l'inégalité de la santé et aux déterminants sociaux qui y contribuent, la nécessité des données pour mesurer les inégalités en matière de santé et les déterminants sociaux de la santé s'accroît également.

De plus, [Traduction] « le précepte selon lequel la santé est autant, ou encore plus, déterminée par des facteurs sociaux, économiques, environnementaux et culturels que par des facteurs génétiques ou médicaux »Footnote 14  signifie que, afin d'éclairer les mesures de réduction des inégalités de la santé, il faut avoir des données sur la santé appariées à des facteurs tels que le revenu, le niveau de scolarité, la profession, la hiérarchie sociale et le logement. En outre, puisque ces facteurs sont étroitement liés aux collectivités canadiennes et qu'ils influencent divers groupes de population, il faut avoir des données sur la santé à des niveaux plus précis (petites régions et populations) afin de soutenir les activités et les interventions au niveau régional.

Enfin et surtout, « pour que les Canadiens continuent d'avoir accès à des soins de santé de qualité et bénéficient de politiques efficaces dans ce domaine, les chercheurs du pays et les innovateurs en matière des systèmes doivent pouvoir utiliser de manière efficace les données sur la santé et données connexes, y compris des données administratives et sur les conditions sociales. Ce besoin ira croissant dans l'avenir, avec les progrès de la technologie et l'augmentation de la quantité de données numériques ».Footnote 15

À l'avenir, la nécessité des renseignements sur la santé devrait s'intensifier, comme le sous-entendent les conclusions et les recommandations d'un rapport du bureau européen de l'Organisation mondiale de la Santé (OMS)Footnote 16 au sujet de la nouvelle politique sur la santé de 2020. Comme indiqué dans le rapport, [Traduction] « les données probantes sont essentielles dans une société fondée sur la connaissance. […] À l'instar d'autres domaines de gouvernance, les groupes d'experts indépendants, tels que les organismes fédéraux, les commissions, les organismes de réglementation et les vérificateurs, jouent un rôle de plus en plus vital dans la fourniture de données probantes, la surveillance des limites éthiques, l'élargissement de la responsabilisation et le renforcement de la gouvernance démocratique en matière de santé, en ce qui a trait à la protection de la vie privée, à l'évaluation des risques, au contrôle de la qualité, aux technologies en matière la santé et à l'évaluation des effets sur la santé. Leur importance s'accentue à mesure que l'on passe à une société fondée sur le savoir ayant un rythme plus rapide d'adoption des innovations. La documentation indique également, toutefois, que les mesures doivent être améliorées, notamment en incluant des mesures objectives et subjectives, pour capter ce qui arrive à la plupart des personnes et, notamment, aux personnes les plus défavorisées ». En outre, le rapport mentionne la tendance future vers un rôle accru de la promotion de la santé et par conséquent, « l'action conjointe du secteur de la santé et des autres secteurs, des intervenants des secteurs publics et privés et des citoyens pour le bien commun ».

Des renseignements sur la santé sont nécessaires, non seulement pour les organismes directement responsables de la santé et de la gouvernance en matière de santé, mais aussi pour divers groupes d'utilisateurs, y compris les particuliers. L'une des recommandations du rapport de l'OMS, soit [Traduction] « un engagement envers le "citoyen bien renseigné" et envers la participation du citoyen », renvoie explicitement aux besoins futurs en matière de renseignements sur la santé, soit la mise en œuvre de nouvelles technologies de l'information et des communications, d'initiatives de données ouvertes et de systèmes de surveillance qui assurent une meilleure responsabilité à l'égard du public pour la santé dans tous les secteurs; des approches axées sur une gouvernance électronique (cybergouvernance); et une stratégie exhaustive pour renforcer la littératie en santé.Footnote 17

Le mandat du PSS de fournir des renseignements et des analyses exacts, à jour et pertinents sur la santé des Canadiens est pertinent pour éclairer divers aspects du secteur de la santé pour les organismes directement responsables de la santé et de la gouvernance en matière de santé, mais aussi pour divers groupes d'utilisateurs, y compris les particuliers.

2.2. Alignement sur les priorités du gouvernement et des partenaires clés

Résumé

La santé et le bien-être des Canadiens ont été désignés comme des enjeux prioritaires dans tous les budgets fédéraux de 2011 à 2015. Le discours du Trône de 2011 soulignait l'importance de la collaboration entre les partenaires clés. Les conclusions de l'évaluation confirment l'alignement des priorités du PSS sur les besoins les plus pressants et les priorités dans leurs domaines de responsabilité.

Tous les budgets fédéraux de 2011 à 2015, ainsi que le discours du Trône en 2011, en 2013 et en 2015, mentionnent la santé et le bien-être des Canadiens comme une des priorités. En outre, le discours du Trône de 2011Footnote 18 souligne l'importance de la collaboration entre l'administration fédérale et les gouvernements provinciaux et territoriaux pour assurer la pérennité du système de soins de santé et la responsabilité à l'égard des résultats.

Le PSS est responsable de sources d'information clés sur la santé de la population (p. ex. enquêtes sur la population, programmes administratifs, indicateurs de la santé), qui sont essentielles aux administrateurs de la santé au sein des gouvernementaux fédéral, provinciaux et territoriaux, ainsi que dans les régions sociosanitaires. L'information est utilisée pour faciliter l'élaboration de politiques et de lois par les gouvernements fédéral, provinciaux et territoriaux et par différents organismes de santé, y compris l'ASPC, SC, l'ICIS, les Instituts de recherche en santé du Canada (IRSC), le Partenariat canadien contre le cancer, la Société canadienne du cancer et le Conseil de la statistique de l'état civil du Canada. Le rôle du PSS en tant qu'un des principaux fournisseurs nationaux de données sur la santé a été confirmé par la Stratégie des données sur la santé, une initiative nationale élaborée récemment, pour laquelle Statistique Canada a été désigné comme un chef de file pour deux des priorités nationales clés (la santé des enfants et l'environnement de couplage d'enregistrements relevant du domaine social) et comme un contributeur pour combler la plupart des 19 lacunes statistiques importantes à l'échelle nationale relevées par la stratégie.

Par ailleurs, le PSS de Statistique Canada collabore avec les autres ministères et organismes fédéraux fournisseurs d'information sur la santé (SC, ASPC, ICIS et IRSC) en vue de déterminer les priorités et les orientations stratégiques pour l'information sur la santé nationale et les indicateurs. Bien que la disponibilité des données sur la santé et l'accès à ces dernières se soient améliorés considérablement au cours des dernières années grâce aux efforts concertés déployés récemment, plusieurs difficultés cernées dans le cadre de l'initiative du Carnet de routeFootnote 19 persistent, comme les données fragmentées sur la santé, les données incomplètes, les données inaccessibles et les lacunes en matière d'analyse des données.

Les cinq organismes ont examiné collectivement la disponibilité des données sur la santé, les lacunes statistiques et la meilleure façon de collaborer en vue de combler ces lacunes (Stratégie des données sur la santé). Par conséquent, afin de répondre aux besoins et aux priorités, les initiatives suivantes ont été cernées pour le PSS à Statistique Canada. Ces initiatives s'alignent sur le Plan d'entreprise de Statistique Canada (2014-2015), ainsi que sur les priorités soulevées par le Health Information Advisory Committee :

  • Faciliter l'accès aux données sur la statistique de l'état civil en couplant les données sur les décès à la Base de données sur les congés de patients (BDCP), ce qui réduira le dédoublement des efforts entre l'ICIS et Statistique Canada.
  • Réaliser une enquête pilote sur la santé des enfants et des jeunes avec la collaboration de SC et de l'ASPC.
  • Utiliser efficacement le nouvel Environnement de couplage de données sociales (ECDS) pour élargir le couplage d'enregistrements sur la santé de manière à inclure d'autres domaines de la statistique sociale, comme l'éducation et la justice. Ce nouvel environnement, maintenant en production, aidera à réduire les sources de données fragmentées ainsi qu'à accroître le potentiel analytique des données sur la santé pour répondre aux besoins politiques émergents.

2.3. Harmonisation avec les rôles et les responsabilités de l'administration fédérale

Résumé

La prestation du PSS par le gouvernement fédéral cadre avec ses rôles et responsabilités, puisqu'elle permet une intervention directe à l'égard des déterminants sociaux de la santé pour favoriser la justice sociale et l'équité en matière de santé. Statistique Canada est l'un des cinq organismes fédéraux qui appuient le gouvernement fédéral dans son mandat relativement à la santé. Toutefois, les répondants clés ont dit être confus à l'égard du rôle du PSS par rapport aux autres organismes du gouvernement fédéral dans le domaine de l'information sur la santé.

Conformément à la Loi sur la statistique, Statistique Canada doit « recueillir, compiler, analyser, dépouiller et publier des renseignements statistiques sur les activités commerciales, industrielles, financières, sociales, économiques et générales de la population canadienne et sur l'état de celle-ci ».Footnote 20 Pour répondre à cette exigence, le PSS contribue aux résultats du gouvernement fédéral en ce qui concerne les « affaires gouvernementales »Footnote 21 en jouant un rôle dans les deux résultats stratégiques de Statistique Canada : « Les Canadiens ont accès à des renseignements statistiques actuels, pertinents et de qualité sur l'économie et la société canadiennes en pleine évolution, et qui servent à alimenter les débats de fond, la recherche et la prise de décisions sur les questions d'ordre social et économique » et « Les besoins particuliers des clients en matière de services statistiques de grande qualité et actuels sont satisfaits »Footnote 22 Pour ce faire, le PSS est précisément conçu pour donner accès à des renseignements statistiques pertinents et de qualité et à des services connexes, lesquels sont utilisés pour éclairer le débat public, la recherche et la prise de décisions.

Le rapport de 2008 de la Commission des déterminants sociaux de la santé (CDSS) de l'OMS a appelé tous les gouvernements nationaux à [Traduction] « diriger l'élan mondial concernant les déterminants sociaux de la santé afin de promouvoir la justice sociale et l'équité en santé pour toutes les populations »Footnote 23 Par ailleurs, Pathak et coll. (2012) ont résumé les conclusions des recherches antérieures selon lesquelles [Traduction] « la structure fragmentée de la gouvernance a créé des obstacles considérables, même pour la communication entre les gouvernements municipaux, provinciaux et fédéral » et ils ont soutenu que, pour surmonter les obstacles structurels et idéologiques, « il est nécessaire d'établir un programme national exhaustif visant à intégrer les efforts à l'échelle de tous les secteurs et à tous les niveaux de gouvernance pour aborder les déterminants sociaux à l'échelle du système au Canada ». À l'échelle mondiale, une revue de la littérature a mis ce rôle en évidence, mais elle a également démontré clairement que la participation d'autres secteurs de compétence et organisations (provinces, territoires, administrations régionales et municipales, conseils de qualité des soins de santé et autres organismes de santé) est cruciale pour aborder un domaine qui touche de multiples aspects de la société, comme c'est le cas de la santé.

Au Canada, Statistique Canada et l'ICIS s'acquittent conjointement du rôle visant à produire des données nationales sur la santé et des indicateurs liés à la santé. La distinction entre leurs rôles respectifs est que l'ICIS a pour mandat de diriger le développement et la tenue de données complètes et intégrées sur la santé, permettant la mise en place de politiques saines et la gestion efficace du système de santéFootnote 24 , tandis que Statistique Canada (p. ex. le PSS) fournit des renseignements sur la santé de la population canadienne, sur les déterminants de la santé et sur l'utilisation des ressources de soins de santé au Canada.

D'après l'examen des publications internationales, les gouvernements nationaux (p. ex. les instituts nationaux de la statistique) assument le rôle de la production de statistiques sur la santé. Au Canada, ce rôle est assumé par le PSS (y compris, notamment, l'ensemble principal d'indicateurs sur la santé suggérés par l'OMS qui sont recueillis et utilisés à l'échelle internationale et nationale). À titre de comparaison, aux États-Unis, ces fonctions sont assumées par un organisme centralisé — le National Center for Health Statistics (NCHS) — qui recueille des renseignements sur la santé de la population et sur le système de soins de santé.

On a demandé à des partenaires et conseillers fédéraux clés de faire des commentaires sur la pertinence et la clarté du rôle actuel du gouvernement fédéral en matière de prestation de renseignements statistiques sur la santé par l'intermédiaire du PSS. Dans l'ensemble, la plupart de ces répondants clés ont convenu que le rôle du PSS est approprié et bien défini. Cependant, presque la moitié de ces répondants clés ont dit être confus à l'égard de la façon dont les rôles des divers organismes fédéraux d'information sur la santé, y compris le PSS de Statistique Canada, divergeaient les un des autres et, en particulier, divergeaient des rôles de l'ICIS.

3. Constatations : Rendement

La présente section résume les résultats de l'évaluation liés à la concrétisation des résultats attendus du programme. Elle aborde des questions sur le rendement et s'intéresse à la mesure dans laquelle des renseignements statistiques de qualité et du soutien sont accessibles, et à la mesure dans laquelle les renseignements sont pertinents et utilisés. Le Cadre d'assurance de la qualité (CAQ)Footnote 25 et les lignes directrices concernant la qualité de Statistique Canada définissent la qualité comme étant un concept englobant six dimensions connexes importantes : l'exactitude, l'actualité, l'accessibilité, la cohérence, la pertinence et l'intelligibilité. Ces éléments cadrent avec les normes internationalement reconnues pour évaluer l'efficacité des programmes statistiques.

Pour contrôler la qualité, l'organisme doit atteindre un équilibre entre ces aspects de la qualité et les contraintes liées aux ressources financières et humaines, la volonté des répondants de fournir des données de base et les demandes concurrentes pour une plus grande quantité de renseignements détaillés. L'incidence potentielle du programme (c.-à-d. la mesure dans laquelle l'information est utilisée dans le processus décisionnel) est directement corrélée à la qualité et à la pertinence des renseignements statistiques qui sont disponibles. À cet égard, le rapport d'évaluation décrit chaque dimension de la qualité des renseignements statistiques disponibles, de l'exactitude de l'information jusqu'à l'étendue de son utilisation.

3.1 Exactitude

Résumé

Les conclusions de l'évaluation confirment que les renseignements statistiques du PSS sont exacts en dépit des difficultés liées au repli des taux de réponse. L'exclusion de groupes démographiques et de régions géographiques clés a été mentionnée comme une limite possible de la généralisabilité de la recherche et de l'élaboration de politiques et programmes appropriés axés sur ces groupes et régions.

L'exactitude de l'information statistique est la mesure dans laquelle l'information décrit correctement le phénomène qu'elle devait évaluer. Généralement, elle est caractérisée par l'erreur dans les estimations statistiques et est décomposée en composantes de biais (erreur systématique) et de variance (erreur aléatoire). Elle peut également être décrite en fonction des sources d'erreur majeures susceptibles d'entraîner des inexactitudes (p. ex. la couverture, l'échantillonnage, la non-réponse, la réponse).

Source : Statistique Canada (2002)

Selon les Lignes directrices concernant la qualitéFootnote 26 , un produit de données est exact s'il est généré à l'aide des méthodes et des outils appropriés. Il s'agit notamment de choisir les méthodes d'échantillonnage, de favoriser les réponses exactes, de faire le suivi des cas de non-réponse aux enquêtes, de composer avec les données manquantes et de mesurer les taux de réponse et les erreurs d'échantillonnage.

Dans l'ensemble, les conclusions de l'évaluation confirment l'exactitude des renseignements statistiques du PSS émanant de processus appropriés, ainsi que des efforts et des initiatives des programmes en vue de surmonter les difficultés. De plus, la plupart des répondants clés considèrent que les renseignements statistiques du PSS sont très précis. Pour certains répondants clés, cette croyance découle de leur propre examen rigoureux des produits d'information de l'organisme (c.-à-d. leur détermination que les produits d'information sont exempts d'erreurs importantes ou leur sentiment que les erreurs sont corrigées rapidement lorsqu'elles sont décelées), tandis que d'autres ont invoqué l'expertise, la réputation, le souci du détail ou d'autres facteurs de Statistique Canada (p. ex. les taux de réponse élevés). Le taux élevé de répondants satisfaits de l'exactitude des produits du PSS confirme cette tendance.

Nous comprenons qu'en ce qui concerne les données d'enquête, il y a définitivement eu une baisse des taux de réponse et que les gens ne sont plus aussi enthousiastes qu'avant à répondre à des enquêtes. Ainsi, il y a peut-être un peu moins d'information en raison de ces taux de réponse légèrement plus faibles.

Source : Interview

Cependant, le PSS doit surmonter une difficulté en ce qui concerne les taux de réponse à la baisse. Certains répondants clés ont fait remarquer que les taux de réponse aux enquêtes ont fléchi progressivement, ce qui selon eux pourrait compromettre la qualité des données. Les personnes interrogées ont attribué ce phénomène à des circonstances sociales et culturelles plus larges au-delà du contrôle direct de Statistique Canada.

La tendance à la baisse du taux de réponse de l'ESCC annuelle au cours des 15 dernières années (graphique 1) illustre ce phénomène. Le programme s'efforce d'atténuer les effets de cette tendance, notamment par des efforts de sensibilisation et de promotion, et en utilisant une méthodologie de pondération pour rajuster et corriger le biais de non-réponse. D'une manière plus générale, Statistique Canada envisage d'autres solutions, comme rendre les enquêtes sociales obligatoires, accroître les incitatifs pécuniaires pour stimuler la participation, contacter les répondants par téléphone cellulaire et rendre les enquêtes accessibles en ligne. Le PSS fait partie de ces efforts. Plus précisément, après le remaniement de l'ESCC, l'enquête s'appuiera sur une stratégie d'échantillonnage améliorée et sur une base de sondage, en plus d'offrir une option de collecte électronique (en 2017).

Graphique 1 : Taux de réponse à l'Enquête sur la santé dans les collectivités canadiennes au fil du temps

Source : Statistique Canada (2015), nouvelle stratégie d'échantillonnage et de collecte dans le cadre du remaniement de l'Enquête sur la santé dans les collectivités canadiennes de 2015, séminaire de la DMEM, le 30 juin 2015.

Graphique 1 : Taux de réponse à l'Enquête sur la santé dans les collectivités canadiennes au fil du temps

Ce graphique linéaire montre les taux de réponse pour l'Enquête sur la santé dans les collectivités canadiennes, répartis selon la méthode de collecte pour les années sélectionnées au cours de la période allant de 2001 à 2013

2001
Taux de réponse, interview téléphonique assistée par ordinateur : 84,0 %
Taux de réponse, interview sur place assistée par ordinateur : 88,0 %
Taux de réponse, total : 87,5 %

2003
Taux de réponse, interview téléphonique assistée par ordinateur : 78,4 %
Taux de réponse, interview sur place assistée par ordinateur : 83,6 %
Taux de réponse, total : 80,6 %

2005
Taux de réponse, interview téléphonique assistée par ordinateur : 75,3 %
Taux de réponse, interview sur place assistée par ordinateur : 83,2 %
Taux de réponse, total : 79,0 %

2008
Taux de réponse, interview téléphonique assistée par ordinateur : 71,0 %
Taux de réponse, interview sur place assistée par ordinateur : 79,0 %
Taux de réponse, total : 74,4 %

2009
Taux de réponse, interview téléphonique assistée par ordinateur : 70,5 %
Taux de réponse, interview sur place assistée par ordinateur : 75,8 %
Taux de réponse, total : 72,7 %

2010
Taux de réponse, interview téléphonique assistée par ordinateur : 68,0 %
Taux de réponse, interview sur place assistée par ordinateur : 76,1 %
Taux de réponse, total : 71,4 %

2011
Taux de réponse, interview téléphonique assistée par ordinateur : 67,3 %
Taux de réponse, interview sur place assistée par ordinateur : 74,0 %
Taux de réponse, total : 69,9 %

2012
Taux de réponse, interview téléphonique assistée par ordinateur : 63,8 %
Taux de réponse, interview sur place assistée par ordinateur : 72,3 %
Taux de réponse, total : 67,0 %

2013
Taux de réponse, interview téléphonique assistée par ordinateur : 63,3 %
Taux de réponse, interview sur place assistée par ordinateur : 72,8 %
Taux de réponse, total : 66,8 %

En plus de cette information prometteuse, les documents du programme relèvent certaines difficultés et lacunes liées au maintien de l'exactitude, plus précisément :Footnote 27

Le fait que la [composante nutrition de l'ESCC] exclue le Nord est un problème pour différentes sections de [notre organisme], selon leur son mandat. Ces groupes sont très vulnérables et il existe très peu de renseignements à leur sujet.

Source : Interview

  • L'absence d'études de validation sur le contenu nouveau ou révisé. La validation se limite aux essais qualitatifs seulement, ce qui restreint la possibilité d'influencer ou de persuader d'autres organismes ou pays d'utiliser les mêmes questions.
  • La réduction du nombre d'interviews sur place assistées par ordinateur (IPAO) est souvent considérée comme une solution aux contraintes budgétaires. Cependant, il y a une incidence sur la qualité des résultats.
  • Les études d'évaluation demeurent souvent à l'interne à Statistique Canada et elles se limitent fréquemment aux résultats empiriques.

Dans une autre veine, certains répondants clés ont relevé des problèmes d'exactitude au sujet de l'exclusion de groupes démographiques et de régions géographiques clés des activités de collecte de données du PSS, ce qui selon eux, en plus de toucher la généralisabilité de la recherche fondée sur les renseignements statistiques du PSS, rend beaucoup plus difficile d'entreprendre des recherches et/ou d'élaborer des politiques et des programmes appropriés axés sur ces groupes et ces régions. Les données au niveau régional en sont un exemple; elles sont souvent demandées par des utilisateurs de données intéressés et constituent une lacune connue de l'ECMS. Malheureusement, comme la Division de la statistique de la santé l'a souligné, pour des raisons de coût et de logistique, cette enquête est réalisée au niveau national seulement, et à ce stade-ci, on ne dispose pas du financement nécessaire permettant d'envisager une expansion.

Lorsqu'on y regarde de plus près, on constate que les bases militaires, les Premières Nations, les établissements de soins de longue durée et les hôpitaux ne sont pas inclus. Pourtant, nous savons que les personnes qui y résident sont plus susceptibles d'avoir des problèmes de santé mentale. Cet aspect devrait être mentionné dans le corps du rapport plutôt qu'en petits caractères dans une note de bas de page.

Source : Interview

Les utilisateurs des données de l'ESCC qui demandent des échantillons supplémentaires ont été encouragés par la Division de la statistique de la santé à demander du financement pour éponger les frais supplémentaires associés à un échantillon plus gros, puisque l'échantillon de l'ESCC est déjà aussi gros que le budget le permet. Bien des estimations des coûts ont été fournies par la Division de la statistique de la santé au fil des années, mais personne n'est parvenu à obtenir le budget supplémentaire nécessaire.

En matière de statistiques de l'état civil, l'adoption du SNA par la plupart des provinces pour le transfert de statistiques de l'état civil au Programme de la statistique de l'état civil du Canada (PSEC) a contribué à améliorer l'exactitude des données. La transition a révélé certaines différences systématiques entre les provinces en ce qui concerne les données recueillies. Les données ont été mises à jour, ce qui a réduit le nombre d'erreurs et la quantité d'interventions manuelles requises.Footnote 28

3.2 Actualité

Résumé

Dans l'ensemble, le PSS s'est heurté à certaines difficultés pour respecter les dates de diffusion, en particulier en ce qui concerne la statistique de l'état civil et les produits sur le cancer. D'autres retards, comme ceux observés dans le cadre de l'ESCC–Nutrition, ont également été attribués à un calendrier de diffusion plus serré. L'objectif du calendrier révisé était de diffuser les produits plus tôt que par le passé. Toutefois, les produits pour deux des principales composantes, l'ESCC annuelle et l'ECMS, ont été diffusés à temps en grande partie. La question de l'actualité a eu une incidence sur la satisfaction des utilisateurs et sur la réactivité du PSS.

L'actualité des données statistiques correspond au délai entre le point de référence (ou la fin de la période de référence) auquel se rapporte l'information et la date à laquelle les données sont accessibles. Il doit souvent y avoir compromis entre l'actualité et l'exactitude de l'information. L'actualité de l'information influera sur sa pertinence.

Source : Statistique Canada (2002)

Le PSS a dû surmonter quelques difficultés pour atteindre les objectifs en matière d'actualité, mais cet enjeu a également été expressément mentionné comme dimension de la qualité qui, d'après les répondants clés, s'est améliorée au cours des dernières années. Les deux principales composantes (l'ESCC annuelle et l'ECMS) ont diffusé leurs produits à temps dans la plupart des cas, tandis que les diffusions du PSEC, des statistiques du cancer et de l'ESCC–Nutrition ont été retardées.

La plupart des diffusions de la composante annuelle de l'ESCC ont eu lieu dans les délais; 11 des 14 diffusions ayant été effectuées à temps de 2012 à 2015. Les trois diffusions tardives ont eu lieu en 2012 (deux) et en 2013 (une). Le PSS a innové en mettant en œuvre les fichiers de réponse rapide, qui se composent de questions financées contre recouvrement des coûts posées pendant deux à quatre mois, et qui sont diffusés de trois à six mois après la collecteFootnote 29pour répondre aux besoins en matière d'actualité.

Du point de vue de la composante de nutrition, le manque de prévisibilité qu'entraîne l'absence d'une enquête régulière sur la nutrition est un problème.

Si nous savons suffisamment à l'avance que les données ne seront pas disponibles, nous pourrions envisager d'aller sur le terrain pour mener une courte enquête nous-mêmes afin d'avoir une idée de la situation.

Source : Interview

En ce qui concerne la composante à thématique particulière de l'ESCC, certains répondants clés considéraient la fréquence de la collecte des données comme problématique, en particulier dans le contexte des composantes à thématique particulière de l'ESCC en ce qui a trait à la nutrition et à la santé mentale, qui sont entreprises à plusieurs années d'intervalle les unes des autres (p. ex. la santé mentale était la composante à thématique particulière pour les enquêtes de 2002 et de 2012, tandis que la nutrition était à l'étude dans le cadre des enquêtes de 2004 et de 2015).

La plupart des diffusions de l'ECMS ont eu lieu dans les délais; 10 diffusions sur 14 ayant été effectuées à temps de 2012 à 2015. Les quatre diffusions tardives sont toutes eu lieu en 2015. En vue de diffuser les données le plus tôt possible, la direction du programme a décidé de diffuser certains produits analytiques (feuillets d'information et articles de rapports sur la santé) plus tard que leurs données correspondantesFootnote 30

D'après le rapport annuel sur les commentaires ressortis des consultations sur les programmes (2015), les intervenants jouent un rôle considérable en ce qui concerne les façons dont ces enquêtes sont élaborées et ils sont satisfaits de cet aspect. Cependant, il faut compter trois ans entre la sélection d'un sujet et la diffusion des données, et les intervenants se demandent souvent pourquoi le processus est aussi long.

Du point de vue de la composante de nutrition, le manque de prévisibilité qu'entraîne l'absence d'une enquête régulière sur la nutrition est un problème.

Si nous savons suffisamment à l'avance que les données ne seront pas disponibles, nous pourrions envisager d'aller sur le terrain pour mener une courte enquête nous-mêmes afin d'avoir une idée de la situation.

Source : Interview

Pour ce qui est de la statistique de l'état civil, les naissances dans la base de données étaient à jour pour la plupart; 10 diffusions sur 15 ont été effectuées à temps de 2012 à 2015. Les cinq diffusions tardives ont eu lieu en 2012 (trois) et en 2014 (deux). En ce qui concerne la base de données sur les décès, aucune des six diffusions de 2012 à 2015 n'a été effectuée à temps. Selon les résultats du sondage auprès des utilisateurs, c'est la statistique de l'état civil qui affichait le plus haut taux d'insatisfaction, 22 % des répondants (22/114) s'étant dits insatisfaits. Les personnes interviewées ont confirmé le même problème.

L'actualité des statistiques de l'état civil a été relevée comme un risque dans le Rapport de rendement de programme (RRP) de 2011. Le rapport indique que les statistiques de l'état civil sont constamment en retard en raison des pratiques inefficaces de traitement des données et de l'incapacité de certaines provinces de fournir les données à Statistique Canada en temps opportun. Bien que le SNA ait le potentiel de fournir ces données presque en temps réel, ce ne sont pas tous les secteurs de compétence qui utilisent le système. Les conséquences comprennent la possibilité de diffuser des données nationales partielles (mais à jour), ou de diffuser les données intégrales à une date ultérieure.

Je sais que les données sur la survie n'ont pas été mises à jour depuis longtemps et je sais qu'on se penche actuellement sur un processus pour tenter d'établir ces ententes afin de permettre à la base de données de la statistique de l'état civil d'interagir avec la base de données du registre du cancer pour que certaines données très importantes, comme les données sur la survie, puissent être analysées. Il s'agit, je crois, d'un élément important à l'avenir : avoir accès aux données plus rapidement.

Source : Interview

Depuis 2011, Statistique Canada s'efforce de négocier de nouvelles ententes (y compris de nouveaux modèles de financement) avec chaque province/territoire pour adopter le SNA comme mécanisme obligatoire pour fournir de l'information à l'organisme. Le programme prévoit conclure des ententes avec tous les secteurs de compétence d'ici 2016-2017 plutôt que 2012-2013, ce qui était prévu initialement.Footnote 31 En 2016-2017, le programme travaille à la mise en œuvre du SNA pour les territoires ainsi qu'à la rédaction de messages pour toutes les provinces concernant l'envoi de données sur les mortinaissances au moyen du SNA. À l'heure actuelle, cinq provinces envoient des données sur les mortinaissances par l'entremise du SNA, et des travaux sont en cours dans un autre secteur de compétence.

Depuis 2012, il y a eu des retards dans la diffusion du fichier sur les décès à la suite du traitement tardif découlant de la transition à l'Environnement pour le traitement des enquêtes sociales (ETES). Le plan opérationnel prescrit des améliorations aux pratiques de collecte et de traitement des données grâce à une collaboration avec les fournisseurs de données (registraires provinciaux et territoriaux de la statistique de l'état civil) et les secteurs de services à la clientèle (Division des opérations et de l'intégration et Traitement), et l'on s'attendait à ce que d'ici 2016, le programme ait redressé le calendrier de diffusion (maintenant prévu pour 2017). L'amélioration de l'actualité de la statistique de l'état civil (et en particulier le fichier sur les décès) est importante pour permettre à Service Canada de remplir ses obligations visant à fournir des renseignements et des services mieux organisés aux familles des défunts. Les retards des diffusions de données ont également une incidence sur certains intervenants, comme l'Agence du revenu du CanadaFootnote 32

Du point de vue du Registre canadien du cancer, l'actualité des données inquiète les gens. Il s'écoule trop de temps entre le moment où nous recueillons les données dans nos propres registres, les fournissons à Statistique Canada, ayant déjà procédé à la vérification et au nettoyage des données, et les rendons accessibles aux tiers. Dans le monde des registres, on parle certainement de la façon de minimiser ce processus le plus possible, pour que les données soient mises à la disposition des gens beaucoup plus rapidement. L'actualité dans notre monde est assurément un problème, et ce problème n'est pas simplement propre à Statistique Canada; il concerne également les provinces et la rapidité à laquelle elles nous font parvenir l'information.

Source : Interview

Afin d'améliorer l'actualité, le PSS collabore avec des méthodologistes de Statistique Canada en vue d'évaluer la qualité des données prétraitées et de déterminer si elles peuvent être utiles comme type d'estimation instantanée, pendant que les données sont en cours de traitement. De plus, le U.S. National Center for Health Statistics est en voie de passer à des diffusions de données trimestrielles, et la direction du PSS tient des consultations avec cet organisme américain afin de comprendre comment il a surmonté les problèmes d'actualité dans ses interactions avec ses fournisseurs de données (au niveau des États) en vue de déterminer si certaines pratiques exemplaires pourraient être adoptées.

Aucune des quatre diffusions de données statistiques sur le cancer de 2012 à 2015 (une par année) n'a eu lieu à temps, et les résultats du sondage auprès des utilisateurs reflètent bien ce défaut de diffuser les données à temps : 27 % (18/67) des répondants n'étaient pas satisfaits des retards de diffusion de ces données. Les personnes interrogées ont confirmé le même problème. Plusieurs préoccupations liées précisément à l'actualité de la statistique de l'état civil et du RCC ont été cernées.

D'après le PSS, les données du RCC sont de haute qualité. Toutefois, étant donné le grand nombre de partenaires et les différences en ce qui concerne la façon dont les données sources sont traitées et envoyées, elles prennent du temps à produire. De plus, l'unité a apporté des correctifs nécessaires au traitement, et malgré les gains en actualité qui en découleront, la mise en œuvre initiale a pris plus de temps que prévu et a entraîné d'importants retards.

Enfin, certains répondants clés ont mentionné qu'il serait utile pour Statistique Canada de prendre des mesures qui réduiraient l'incertitude associée à la planification de la collecte des données et de la diffusion des produits d'information; ils ont suggéré de publier un calendrier de diffusion à l'avance et/ou de donner un préavis lorsque des retards sont prévus.

3.3 Accessibilité

Résumé

Les conclusions de l'évaluation confirment que l'accessibilité – en ce qui concerne la disponibilité des produits et les moyens d'accès – s'est accrue et améliorée au fil du temps, en corrélation avec les produits. L'impression générale est que les mécanismes de diffusion de l'information sont fonctionnels et qu'ils répondent aux besoins de base des utilisateurs. Cependant, on a suggéré qu'on pourrait ou qu'on devrait en faire plus pour faciliter l'accès.

Les produits du PSS sont mis à la disposition des utilisateurs dans plusieurs formats. L'accès principal à ces produits se fait par le site Web de Statistique Canada, où les utilisateurs peuvent trouver des produits comme des communiqués du Quotidien, des tableaux du Système canadien d'information socioéconomique (CANSIM), des tableaux sommaires, des publications et des documents de référence. Les produits du PSS sont également mis à la disposition des utilisateurs au moyen de tableaux de données personnalisés, de fichiers de microdonnées à grande diffusion, de centres de données de recherche (CDR) (pour les microdonnées ou les données agrégées), de l'accès à distance en temps réel (ADTR) et, pour certaines enquêtes, de l'Initiative de démocratisation des données (IDD).

Par exemple, les fichiers de microdonnées de l'ECMS sont accessibles dans les CDR qui se trouvent dans une vingtaine d'universités réparties d'un bout à l'autre du Canada. La documentation des données de l'ECMS, y compris les dictionnaires de données compilés et le Guide du chercheur, est à la disposition des universitaires et des chercheurs affiliés à quelque 75 bibliothèques universitaires.

Le répertoire de la biobanque de l'ECMS est mis à la disposition des chercheurs canadiens ayant complété avec succès un processus d'examen. Les chercheurs sélectionnés se voient accorder un accès limité pour effectuer des tests et des études sur des échantillons biologiques anonymes. En date de 2016, quatre projets approuvés de la biobanque sont en cours, et un est terminé. Les sujets des projets approuvés sont affichés sur le site Web de Statistique Canada.

Les utilisateurs peuvent également accéder aux données de la composante de l'ESCC annuelle au moyen de différentes méthodes, comme :

  • les tableaux et les analyses offertes gratuitement sur le site Web de Statistique Canada;
  • les fichiers principaux consultés dans les centres de données de recherche de Statistique Canada;
  • les fichiers partagés envoyés aux ministères de la Santé fédéral, provinciaux et territoriaux (dans la plupart des provinces, ils peuvent être partagés avec les autorités des régions sociosanitaires);
  • les fichiers de microdonnées à grande diffusion à la disposition du grand public;
  • les fichiers synthétiques produits pour les fichiers annuels et biennaux à utiliser dans le cadre du programme gratuit de l'accès à distance en temps réel;
  • les totalisations personnalisées.

L'information sur les indicateurs de la santé est accessible sur la page Web principale des indicateurs de la santé, directement dans CANSIM, à la rubrique « Quoi de neuf » sur le site Internet de Statistique Canada, ou dans Le Quotidien le jour de diffusion. En dehors de l'organisme, les indicateurs de la santé sont accessibles dans les fichiers principaux dans les CDR, dans les fichiers partagés (à la disposition des partenaires conformément aux ententes de partage de données respectives), ou dans les publications d'autres établissements institutionnels qui utilisent les indicateurs de la santé de Statistique Canada pour produire et publier des estimations (p. ex. l'ICIS). L'examen stratégique des indicateurs de la santé de Statistique Canada a permis de recueillir des données sur le rendement auprès de sources administratives, y compris l'outil Webtrends.

De plus, au cours des cinq dernières années, des efforts ont été déployés pour améliorer l'accès aux données et aux produits sur la santé. Par exemple, en 2011-2012, le PSS a effectué plusieurs activités liées à l'accès, notamment :

L'accessibilité de l'information statistique renvoie à la facilité avec laquelle on peut obtenir l'information auprès de l'organisme. Il s'agit notamment de la facilité avec laquelle on peut constater que l'information existe de même que le caractère approprié de la présentation de l'information ou du média au moyen duquel on peut avoir accès aux données. En outre, le coût de l'information peut représenter un facteur d'accessibilité pour certains utilisateurs.

Source : Statistique Canada (2002)

  • Projet de refonte du site Web : Un nouvel outil d'interface a été créé pour que les données sur la santé puissent être extraites directement de CANSIM et manipulées en temps réel par les utilisateurs, et la présentation de la page Web a été optimisée de manière à simplifier le processus de recherche pour les utilisateurs;
  • Projet de données administratives : Des activités ont été entreprises en réponse à la forte demande de données des programmes administratifs à la disposition des chercheurs dans les CDR;
  • De nouveaux outils de diffusion ont été élaborés afin de diffuser des données sur la santé à la population générale. Le sondage sur la satisfaction des clients dans le domaine de la santé et d'autres consultations auprès des utilisateurs ont permis de cerner une lacune : bien que les Rapports sur la santé soient un produit réputé et populaire pour les utilisateurs avancés, l'information qu'ils renferment n'est pas très utile pour le grand public. Pour combler cette lacune, le PSS a créé une nouvelle publication appelée Coup d'œil sur la santé, qui devait être diffusée périodiquement à compter de 2011-2012;
  • Après une mise à jour de ses politiques, normes et directives sur la diffusion, le PSS a amélioré l'accès pour ses partenaires clés (SC, ASPC, Conseil de la statistique de l'état civil du Canada et Conseil du Registre canadien du cancer) à des données détaillées sur la santé et à des produits connexes;
  • De nouvelles lignes directrices ont été élaborées en ce qui concerne l'accès à la biobanque de l'ECMS afin de faciliter la recherche en s'appuyant sur cette ressource.

Les statistiques sur l'accès (visite du site Web, affichage des produits, téléchargement et consultation des données) démontrent un intérêt envers les produits statistiques du PSS. De 2012-2013 à 2015-2016, 6,9 millions de pages sur la statistique de la santé (tableaux CANSIM, publications et tableaux sommaires) ont été consultées, comparativement à 64,8 millions pour l'ensemble de Statistique Canada. Les publications Profil de la santé et Feuillets d'information sur la santé étaient les plus populaires, et l'intérêt porté à Coup d'œil sur la santé s'est accru tout au long de la période. Il convient de souligner que la publication Profil de la santé (ainsi que Tendances de la santé) ne paraît plus, parce que le Nouveau modèle de diffusion (NMD) ne sera pas en mesure de soutenir un tel produit.

Tableau 2: Accès en ligne aux produits du Programme de la statistique de la santé, nombre de pages consultées
Exercice financier CANSIM Publications Tableaux sommaires Total
PPS StanCan PPS StanCan PPS StanCan PPS StanCan
2012/2013 210 315 2 064 332 873 918 8 039 339 463 676 4 841 279 1 547 909 14 944 950
2013/2014 230 456 2 674 085 1 129 991 8 828 800 591 110 6 133 670 1 951 557 17 636 555
2014/2015 142 706 2 003 137 991 604 8 284 146 527 224 5 655 093 1 661 534 15 942 376
2015/2016 136 049 1 982 879 1 134 060 8 777 626 516 119 5 500 363 1 786 228 16 260 868
Total 719 526 8 724 433 4 129 573 33 929 911 2 098 129 22 130 405 6 947 228 64 784 749

Source: Statistique Canada, Webtrends pour les bases de données administratives.

La page Web principale en anglais des Indicateurs de la santé (y compris la rubrique Quoi de neuf et le lien vers les indicateurs nouveaux et à jour) a été consultée plus de 20 000 fois de mai 2013 à octobre 2015, tandis que la page Web en français a été consultée 6 000 fois. Les pages Web les plus populaires (ayant été consultées au moins 500 fois) ont généré plus de 63 000 consultations au total. La publication Indicateurs de la santé, dans l'ensemble, a été consultée 172 539 fois de mai 2013 à octobre 2015. En comparaison, la publication Rapports sur la santé a reçu 1,4 million de visites pendant la même période. Parmi les publications sur la santé, elle se classe en sixième position, derrière Rapports sur la santé, Profil de la santé (ne paraît plus), Feuillets d'information sur la santé, Coup d'œil sur la santé et Tendances de la santé (ne paraît plus). Soulignons que la publication Profil de la santé, qui ne paraît plus et qui présentait la plupart des indicateurs de la santé en un bloc pour une seule région, se classait en septième position dans la liste générale, et avait été consultée 560 296 fois (et en neuvième position au cours des sept premiers mois de l'exercice 2015-2016).

Pendant la même période (2012-2013 à 2015-2016), le nombre de téléchargements (des tableaux et des publications de CANSIM) pour le PSS et les produits de Statistique Canada se chiffrait à 447 436 et à 13,6 millions, respectivement, et une augmentation considérable a été observée au cours de la période. Parmi les différentes publications, Coup d'œil sur la santé a été téléchargée le plus souvent, et le nombre de téléchargements a augmenté tout au long de la période.

Je ne peux pas dire que ce soit très novateur ou convivial, mais je trouve généralement ce dont j'ai besoin.

Source : Interview

De nombreux répondants clés ont reconnu les progrès réalisés par l'organisme en ce qui concerne les approches novatrices de l'accès et de la diffusion. Les répondants clés ont souvent l'impression que les mécanismes de diffusion de l'information fonctionnent, c'est-à-dire qu'ils répondent aux besoins de base des utilisateurs. De plus, le sondage auprès des utilisateurs a confirmé que le niveau de satisfaction à l'égard des différents modes d'accès est généralement élevé.

Toutefois, l'accessibilité est une des dimensions de la qualité qui génère le plus de commentaires, de suggestions et de critiques.

Ce phénomène est corroboré par la Stratégie des données sur la santé (SDS),Footnote 33 élaborée par le Health Information Advisory Committee, qui conclut qu'il [Traduction] « faut revoir la meilleure façon de rendre les données accessibles à tous. À l'heure actuelle, l'accès aux données est un obstacle à l'innovation potentielle dans l'industrie alimentaire, pour les universitaires qui ne peuvent pas accéder aux centres de données de recherche en dehors des heures normales et pour les Canadiens qui veulent prendre des décisions éclairées. La modification de la Loi sur la statistique est une façon de résoudre le problème d'accès aux données ». La SDS a également suggéré que les principaux organismes fédéraux d'information sur la santé (ICIS, IRSC et Statistique Canada) devraient animer une réunion de chercheurs sur les problèmes d'accès aux données en vue de cerner les obstacles et de proposer des solutions réalistes pour les éliminer.

De plus, bien des répondants clés ont suggéré qu'on pourrait ou qu'on devrait faire plus pour faciliter l'accès, qu'il s'agisse d'améliorer les ressources existantes, d'accroître l'engagement et le soutien pour les utilisateurs de données ou d'augmenter la disponibilité des microdonnées actuellement accessibles en grande partie dans les CDR. On a souvent mentionné que des mesures devraient être prises pour améliorer l'accès général aux microdonnées. Plus précisément, il semble y avoir une certaine insatisfaction à l'égard de la pratique actuelle qui consiste à restreindre l'accès aux renseignements statistiques sur la santé aux CDR, ainsi qu'une croyance que ces renseignements devraient, dans la mesure du possible, être mis à la disposition d'un plus grand public.

Défis

Les répondants clés ont parlé des enjeux liés à l'accessibilité, y compris les suivants :

Dispositions en matière de confidentialité et de protection des renseignements personnels de la Loi sur la statistique

Certes, il arrive que l'accès aux données soit un défi de taille à Statistique Canada, et je reconnais que cette situation est en partie attribuable à des directives très rigoureuses en matière de protection des renseignements personnels et de confidentialité. Toutefois, le degré de difficulté est parfois élevé, peut-être même plus qu'on le souhaiterait.

Source : Interview

L'accès aux données du PSS est entravé par la Loi sur la statistique et, plus précisément, par les dispositions de la Loi qui ont trait à la protection des renseignements personnels ou à la confidentialité (ou encore, une interprétation excessivement prudente de ces dispositions par Statistique Canada).

Il a été suggéré que Statistique Canada devrait reconnaître que certains utilisateurs des données du PSS, comme les partenaires fédéraux clés et les ministères provinciaux de la Santé, traitent régulièrement des données identifiables et/ou ont déjà des mécanismes de gouvernance en place en ce qui concerne la confidentialité, ce qui suppose que des correctifs devraient être apportés aux procédures pour que ces utilisateurs puissent avoir accès aux données.

Ententes de partage de données

Des préoccupations relatives aux processus en cause pour avoir accès aux données en établissant des ententes de partage de données (EPD) ont été exprimées, y compris la complexité et la rigidité du processus et la perception que le PSS n'est pas suffisamment axé sur les besoins et les priorités de ses partenaires fédéraux.

Centres de données de recherche

Les utilisateurs des CDR ont fait part de leurs difficultés à accéder aux données par l'entremise des centres. Ces difficultés comprennent le temps, l'énergie et les coûts nécessaires pour y avoir accès; des difficultés qui pourraient être particulièrement marquées pour les personnes qui n'habitent pas dans les villes où se trouve un CDR.

Cependant, un petit nombre de répondants clés ont fait remarquer que les difficultés associées à l'accès aux données dans les CDR ne découlent pas seulement du temps, du coût et de la géographie, mais aussi des processus et des exigences que Statistique Canada a en place pour protéger les renseignements personnels et la confidentialité. Par conséquent, les problèmes d'accessibilité en ce qui concerne les CDR sont liés à ce plus gros problème.

Dans le monde d'Internet d'aujourd'hui, on ne devrait pas avoir à se rendre dans un CDR pour obtenir des données. Je trouve étonnant qu'avec l'émergence des CDR, l'accès aux données soit devenu encore plus restrictif.

Source: Interviews

Ce problème a également été soulevé pendant la consultation sur les programmes (2015). En ce qui concerne l'accès, par exemple, tous les clients de l'ESCC ont précisé qu'ils aimeraient avoir accès au fichier principal intégral de leur bureau même s'ils comprennent la nécessité des fichiers partagés et des CDR (Programme des CDR).

Un petit nombre d'utilisateurs des CDR recommandent également d'en faire davantage pour tenir les chercheurs au courant des nouvelles qui pourraient avoir une incidence sur leur travail, comme la diffusion prochaine de nouvelles données, ou la modification de données déjà diffusées.

Site Web de Statistique Canada

Des problèmes ont été relevés en ce qui concerne l'accessibilité de l'information sur le site Web de Statistique Canada; il s'agit notamment de difficultés relatives à la navigation et aux capacités de recherche dans le site Web, même pour des utilisateurs chevronnés.

Les suggestions relatives au site Web avaient habituellement trait à des modifications qui pourraient rendre l'information plus facile à trouver, notamment en incluant des niveaux supplémentaires de sous-thèmes, en offrant des suggestions de ressources connexes ou en introduisant un service auquel les utilisateurs peuvent accéder lorsqu'ils ont du mal à repérer de l'information.

Comparaison avec d'autres fournisseurs de données

Les partenaires fédéraux clés considèrent habituellement Statistique Canada comme un organisme comparable à l'ICIS en ce qui concerne l'accessibilité des données, mais quelques-uns ont mentionné qu'ils pouvaient accéder relativement plus facilement aux données de l'ICIS. Cependant, plusieurs répondants clés ont comparé l'accès aux renseignements statistiques du PSS à l'accès à l'information diffusée par des organismes statistiques aux États-Unis. Plus précisément, ils soutenaient que les données américaines sur la santé recueillies dans le cadre de la National Health and Nutrition Examination Survey (NHANES) sont considérablement plus faciles à obtenir que les données canadiennes comparables, en ajoutant que des modifications à la Loi sur la statistique s'imposeraient probablement pour qu'une approche de diffusion semblable soit réalisable au Canada. Chez les personnes interrogées (surtout des utilisateurs et des experts) qui travaillent avec d'autres fournisseurs de données ou qui en connaissent, Statistique Canada est généralement considéré comme étant comparable ou supérieur aux autres fournisseurs de données dans le contexte de l'accès aux renseignements statistiques sur la santé.

L'évaluation a permis de constaterFootnote 34 que des initiatives ont été mises en place pour améliorer l'accessibilité et pour répondre à certaines de ces préoccupations, y compris les suivantes :

  • Le programme est en train d'examiner et d'élaborer des façons (ateliers, réunions, conférences, médias sociaux) d'informer les utilisateurs potentiels sur les nouveaux fonds de données et sur les diverses méthodes permettant d'y accéder. Notamment, l'ECMS a élaboré un plan de communication particulier, en tenant compte de deux groupes d'utilisateurs (un grand public et un public universitaire spécialisé);
  • Il y a un accès accru aux données de la statistique de l'état civil et du cancer à des fins d'analyses et de recherche : davantage de fichiers accessibles dans les CDR et par ADTR; nouveaux produits de données fondés sur les couplages de données du RCC avec des données d'autres sources (BDCP, radiothérapie); EPD avec les provinces pour faciliter l'accès aux données administratives à des fins de recherche;
  • Nouvelles approches en matière de diffusion :

    L'enquête américaine qui est comparable à l'ECMS met ses données à la disposition du grand public afin que les chercheurs universitaires puissent y accéder. C'est ce que les chercheurs adoreraient voir au Canada. Je crois comprendre que ce n'est pas possible au moyen des enquêtes sur la santé de la population en vertu de la Loi sur la statistique.

    Source : Interview

    • Un groupe de travail spécial sur la diffusion des résultats de l'ESCC–Nutrition a été mis sur pied pour déterminer les besoins en matière de diffusion et élaborer un plan pour s'assurer que les analystes ont les données et la documentation pertinentes;Footnote 35
    • Transition au NMD de Statistique Canada : Le groupe de travail sur le renouvellement de la diffusion de la Division de la statistique de la santé a été créé avec le mandat de passer en revue les objectifs, les pratiques, les processus et les procédures de diffusion actuels de la Division de la statistique de la santé et de proposer des modifications qui reflètent les priorités de la Division et les nouvelles exigences de l'organisme;Footnote 36
    • Compte tenu de la mise en œuvre du NMD, l'accessibilité aux renseignements relatifs aux indicateurs de la santé sera améliorée (p. ex. l'autorisation de consulter un indicateur particulier dans un tableau comportant des données désagrégées présélectionnées, au lieu de la liste complète d'indicateurs), de même que l'accessibilité à des niveaux de géographie plus précis (une interface entre les cartes et les données permettant de chercher dans une carte un niveau d'emplacement géographique souhaité, ce qui donne lieu à des couplages à des données, à des analyses ou à de la documentation au sujet de ce niveau de géographie). À l'heure actuelle, les indicateurs sont accessibles uniquement à l'échelle du Canada, des provinces et des territoires, des régions métropolitaines de recensement et des régions sociosanitaires;Footnote 37
  • Maintenir l'accessibilité et la disponibilité des publications de haute qualité (Coup d'œil sur la santé ayant diffusé de 8 à 10 articles en 2015-2016; continuer d'apporter les mises à jour aux publications Profil de la santé, Indicateurs de la santé et Tendances de la santé).Footnote 38

3.4 Cohérence

Résumé

Bien que certaines décisions au sujet des changements apportés aux enquêtes aient été prises au fil du temps, il n'y a pas de problèmes de cohérence des renseignements statistiques du PSS. Des renseignements supplémentaires au sujet des changements et de leur incidence sur la cohérence sont fournis pour répondre aux besoins d'information des utilisateurs. La direction du PSS s'est engagée à gérer la cohérence. Le compromis entre la cohérence et la pertinence est bien géré dans le processus décisionnel.

Certains des changements apportés à l'ESCC en 2015 ont causé des inquiétudes chez les utilisateurs de données. Nous nous sommes demandé comment nous allions pouvoir utiliser les données dans une perspective de continuité. Cependant, nous nous rendons compte que de nouveaux indicateurs étaient nécessaires. Néanmoins, un grand changement, comme celui de 2015, suivi d'un autre changement en 2017 au moment de l'introduction d'un nouveau mode de collecte par Internet, nous préoccupe.

Source : Interview

En dépit de tous les efforts et des réflexions rigoureuses, il arrive que la cohérence ne puisse pas être maintenue, pour des motifs tels que des changements méthodologiques importants et nécessaires ou des modifications apportées à l'infrastructure ou au cadre du contenu. À cet égard, les conclusions de l'évaluation ont tendance à démontrer que le compromis entre la cohérence et la pertinence existe, et qu'il est bien géré dans le processus décisionnel. Dans l'ensemble, la plupart des répondants clés étaient satisfaits de la cohérence des renseignements statistiques du PSS. Certaines personnes interrogées ont allégué que l'organisme sacrifie la pertinence au profit de la cohérence et mentionné les conséquences potentielles des changements méthodologiques, mais d'autres ont reconnu la nécessité d'un changement lorsque des problèmes sont survenus.

À titre d'exemple, mentionnons le module sur l'activité physique de l'ESCC, qui a été complètement refait. Par conséquent, les données précédentes ne sont plus comparables, et une nouvelle tendance sera créée. En ce qui concerne l'ESCC, un problème de comparabilité découlant du récent remaniement de l'enquête était attendu. Dans la première diffusion suivant le remaniement pour l'année de référence 2015 (en juin 2016), il n'était pas recommandé de comparer directement les nouvelles données avec celles de 2001 à 2014. En pareils cas, les efforts des programmes visent à fournir suffisamment d'information sur les changements et leurs conséquences sur la comparabilité/cohérence des données. Les résultats du sondage auprès des utilisateurs ont confirmé leur satisfaction à l'égard de la cohérence des données. Notamment, seulement 7 % (16 sur 226) des répondants pour la composante annuelle de l'ESCC étaient insatisfaits de la cohérence, contre 3 % (2 sur 66) et 3 % (3 sur 96) respectivement, pour la composante thématique de l'ESCC sur le vieillissement en santé et la santé mentale.

Le plan de diffusion pour l'ESCC–Nutrition de 2015 tient compte du problème de concordance et de comparaison avec l'ESCC–Nutrition (2004) en ce qui concerne les aliments et les suppléments de vitamines et minéraux donnés, puisque les systèmes de codage ont changé.Footnote 39 De plus, l'étude des documents a révélé que l'élaboration de plans de contenu à long terme pour deux grandes enquêtes — l'ESCC (de 2015 à 2022) et l'ECMS (pour les cycles 5 à 8) — contribue à l'atteinte de l'objectif visant à harmoniser le contenu entre les enquêtes, puisqu'elle permet de mieux coordonner le contenu, ce qui favorise l'utilisation de définitions, d'instruments et de normes coordonnés dans la mesure du possible. Les problèmes de cohérence potentiels sont abordés par des comités consultatifs d'experts, et des clarifications sont apportées afin d'harmoniser le contenu et d'éviter le double emploi.

La cohérence de l'information statistique reflète la mesure dans laquelle on peut réussir à regrouper cette information avec d'autres renseignements statistiques dans un cadre analytique général et au fil du temps. L'utilisation de classifications, de populations cibles et de concepts normalisés favorise la cohérence, tout comme l'utilisation d'une méthode commune d'une enquête à l'autre. La cohérence ne signifie pas nécessairement une cohérence numérique totale.

Source : Statistique Canada (2002)

La cohérence de la statistique de l'état civil est facilitée par les lois qui gouvernent la collecte de statistiques de l'état civil. Plus précisément, « les lois provinciales et territoriales sur la statistique de l'état civil (ou les textes législatifs équivalents) rendent obligatoire l'enregistrement de toutes les naissances vivantes, toutes les mortinaissances, tous les décès et tous les mariages survenus dans la province ou le territoire. Ces lois se rapprochent le plus possible d'une loi modèle sur les statistiques de l'état civil qu'on a rédigée afin d'assurer l'uniformité des lois et des méthodes de déclaration des provinces et territoires ».Footnote 40 Les documents confirment que le PSEC surveille l'évolution des lois provinciales, afin que des rajustements puissent être apportés aux données, s'il y a lieu.Footnote 41

Comme mentionné dans le rapport de rétroaction sur les programmes (2015), bien que le RCC fasse du bon travail lorsqu'il s'agit de fournir des estimations pancanadiennes de l'incidence du cancer, le traitement du cancer (chirurgie et radiothérapie) a été relevé comme une lacune du registre qui doit être comblée. Deux options sont à l'étude. La première est le couplage d'enregistrements. Il s'agirait de fusionner des ensembles de données existants et les données sur l'incidence dans le registre pour brosser un tableau plus complet du traitement du cancer au Canada. L'autre option serait que les provinces collaborent avec des prestataires de soins de santé pour déclarer les données directement aux provinces d'une manière uniformisée à l'étendue du Canada; les données seraient alors compilées et ajoutées au RCC. Si le couplage d'enregistrements devait entraîner des problèmes de qualité insurmontables, une collecte principale sera envisagée. Dans le cas d'un registre national, l'uniformité et la normalisation sont essentielles puisque, pour comparer les données d'un secteur de compétence avec celles d'un autre, toutes les données doivent être fondées sur les mêmes définitions et les mêmes normes. Étant donné qu'il existe plusieurs provinces et plusieurs fournisseurs de données, ces consultations prendraient probablement beaucoup de temps à effectuer, compte tenu du temps nécessaire pour négocier des normes avec lesquelles tout le monde peut travailler.

Dans l'ensemble, le plan opérationnel de 2015-2016 aborde la question de la cohérence des données au moyen des mesures suivantes :

  • Établissement d'un comité sur la cohérence du contenu des enquêtes sur la santé afin de déterminer, d'aborder et de résoudre les problèmes de cohérence dans les enquêtes sur la santé de la population (au niveau du questionnaire). Le comité se réunit tous les mois et se compose de représentants de la Division de la statistique de la santé et de la Division de l'analyse de la santé.Footnote 42
  • Participation au comité sur le contenu harmonisé de l'organisme pour améliorer la cohérence de la collecte et de la diffusion entre les enquêtes pour des concepts semblables.
  • Participation à des groupes de travail sur le terrain qui peuvent être formés pour assurer l'uniformité entre les enquêtes pendant la transition des activités de collecte aux questionnaires électroniques et au Système intégré de collecte et des opérations (SICO).
  • Réalisation d'une étude de comparabilité pour la base de données sur les décès du PSEC, entre les données codées au moyen du nouveau logiciel de codage automatisé des causes de décès (IRIS) et celui utilisé de 2000 à 2012;
  • Travaux relatifs à la mise à jour de la normalisation de l'âge des produits de la SDS, afin de faciliter les comparaisons nationales et internationales.

3.5 Possibilité d'interprétation

Résumé

Les résultats de l'évaluation ont confirmé que la possibilité d'interprétation des renseignements statistiques du PSS est réputée adéquate, en particulier en ce qui concerne les métadonnées et la documentation de haute qualité. Le PSS a offert l'accompagnement nécessaire aux utilisateurs des données sous la forme d'information de référence.

Il existe des guides d'utilisation des données pour l'ECMS, qui sont très complets. Toutefois, par exemple, j'essaie de trouver le Guide de l'utilisateur du cycle 3 pour l'ECMS, et ça me prend beaucoup de temps à le trouver.

Source : Interview

Le PSS élabore et diffuse de l'information au sujet des définitions, des méthodes et de diverses caractéristiques relatives à la qualité, qui complète les produits liés à la statistique de la santé et qui aide les utilisateurs à interpréter et à analyser avec précision les renseignements statistiques. La plupart des personnes interrogées étaient satisfaites de la possibilité d'interprétation des renseignements statistiques générés par le PSS. Plus précisément, elles ont déclaré que les métadonnées et la documentation fournies par Statistique Canada sont de grande qualité. Toutefois, un petit nombre de personnes interrogées ont éprouvé des difficultés à repérer des éléments particuliers de la documentation qu'elles jugeaient nécessaires pour bien comprendre les données fournies par Statistique Canada (problème d'accès).

Le niveau de satisfaction élevé des utilisateurs de l'ESCC annuelle, d'après le sondage auprès des utilisateurs, a confirmé cette tendance; 85 % des 226 personnes interrogées étant satisfaites de la possibilité d'interprétation des données.

Le plan de diffusion pour l'ESCC–Nutrition de 2015 laisse entendre que des pratiques similaires seront utilisées pour la diffusion de métadonnées. Le plan comprend des activités telles que l'élaboration de la structure des guides d'utilisation des données; de la formation sur les données pour les utilisateurs; la production de documents d'accompagnement, comme des guides concurrents d'utilisation des données (au besoin), un ensemble révisé de spécifications des variables dérivées, un recueil de tableaux et un ensemble de spécifications des tableaux CANSIM.Footnote 43

Comme mentionné dans le rapport de rétroaction sur les programmes (2015), les feuillets d'information de l'ECMS sont un secteur d'enquête pour lequel les produits actuels ont du mal à répondre aux besoins. Selon le secteur de programme, étant donné la complexité de l'enquête, il est difficile de rédiger les feuillets d'information et de les mettre à la disposition du grand public dans un langage simple, tout en maintenant leur utilité pour les chercheurs. Statistique Canada collabore régulièrement avec des experts de SC et de l'ASPC afin de combler ces lacunes. De plus, en réponse à la nouvelle politique de Statistique Canada (2014) qui stipule que chaque diffusion de données dans Le Quotidien devrait fournir des renseignements analytiques, on a fait remarquer que dans chaque article du Quotidien, des liens vers les métadonnées de l'ECMS ont été fournis, ainsi que les liens vers les données. Plus récemment, le plan de communication de l'ECMS mentionne les séances Clavarder avec un expert (des discussions en ligne en temps réel d'une durée de 1 heure à 1 heure et demie avec des experts du programme) comme composante des activités de soutien et de promotion. Cependant, des difficultés ont été relevées par les partenaires fédéraux au sujet des difficultés à interpréter les résultats de l'ECMS sans un module complet sur la nutrition et le géocodage.

La documentation d'accompagnement des utilisateurs pour les statistiques sur l'état civil et le cancer diverge de celle liée aux enquêtes sur la population, puisque le processus de production est très différent. Le RCC renferme des détails sur les éléments de données dans les dossiers des patients, les caractéristiques de la tumeur et son diagnostic dans les dossiers sur les tumeursFootnote 44 dans un document appelé Guide du système du registre canadien du cancer. De même, le PSEC appuie et met à jour, chaque annéeFootnote 45 des documents tels que Qualité des données, concepts et méthodologie : Définitions et Statistiques de l'état civil, Base de données sur les décès – Glossaire, qui sont largement conformes aux recommandations de l'OMS et des Nations Unies. Plus récemment, le RCC élabore de nouveaux produits de métadonnées qui décrivent ses fonds de données afin de fournir des outils analytiques à un groupe diversifié d'intervenants et d'utilisateurs.Footnote 46

3.6 Pertinence 47

Résumé

Selon les lignes directrices de l'organisme concernant la qualité (2009)Footnote 48 , la pertinence est améliorée lorsque de bonnes relations avec les utilisateurs sont établies et maintenues. L'analyse a démontré que le PSS consulte ses intervenants afin de déterminer les exigences et les besoins changeants ou émergents des utilisateurs, ainsi que les lacunes statistiques potentielles, afin de réagir en conséquence.

L'évaluation a permis de constater que le PSS dans son ensemble, y compris ses programmes d'enquête et ses ensembles de données administratives, est en mesure de fournir des renseignements statistiques sur la santé qui répondent aux besoins et aux priorités des intervenants en matière d'information. Cependant, malgré les efforts soutenus déployés par le PSS pour répondre aux besoins des intervenants dans le cadre de consultations et d'examens, certaines lacunes ont été relevées par l'évaluation en ce qui concerne l'alignement sur les besoins.

Processus d'engagement et de consultation

Au cours des cinq dernières années, le PSS a réalisé de nombreuses activités afin de maintenir la pertinence du programme pour ses utilisateurs, de mieux répondre à leurs besoins et de cerner les lacunes statistiques et les priorités pour toutes ses composantes.Footnote 49

L'évaluation a relevé des perceptions mitigées de la réussite et de l'efficacité des processus de consultation et d'engagement du PSS. Malgré la satisfaction générale à l'égard du processus de consultation, certains intervenants ont recommandé d'améliorer les communications, en particulier en ce qui concerne les données qui sont accessibles et les contraintes (p. ex. le budget et la longueur des enquêtes) auxquelles le PSS est assujetti. Les intervenants ont exprimé le désir et la volonté de participer plus activement à la conception des enquêtes et à la planification de l'analyse des données, ou, à tout le moins, d'être tenus au courant du contenu des enquêtes, des plans d'analyse des données et des calendriers de publication et de diffusion des produits.

Réponse aux besoins des intervenants

En ce qui concerne la capacité de réponse, l'évaluation a permis de constater que, dans l'ensemble, le PSS est parvenu à répondre aux besoins et aux priorités des intervenants. Selon les résultats du sondage auprès des utilisateurs, 138 répondants sur 325 (42 %) estiment que le PSS aborde la totalité — ou la majeure partie — des enjeux les plus importants, tandis que 164 répondants sur 325 (50 %) ont indiqué que le PSS ne le faisait que « dans une certaine mesure ». Les résultats sont légèrement différents lorsque les grands utilisateurs ou les répondants connaissant le mieux les produits du PSS doivent indiquer si ce dernier répond aux enjeux émergents ou aux tendances clés : 40 sur 203 (20 %) ont indiqué qu'il y répondait « parfaitement ou en grande partie »; 135 sur 203 (67 %), « dans une certaine mesure »; et 18 sur 203 (9 %), « pas du tout ». Les interviews réalisées confirment que les composantes du PSS répondent aux besoins des intervenants dans l'ensemble. Toutefois, on a relevé certains aspects devant être améliorés dans chaque composante du programme

En général, oui, elle répond aux besoins, mais il y a quelques problèmes. Statistique Canada offre la composante de réponse rapide pour l'ESCC, ce qui est merveilleux, mais c'est à un niveau national, ce qui, pour un ministère de la Santé, n'est que passablement utile.



Source : Interview

L'évaluation a permis de constater que l'ESCC annuelle répond aux besoins et aux priorités des intervenants. Selon les résultats du sondage réalisé pour cette évaluation, 203 répondants sur 226 (90 %) sont satisfaits des produits. L'ESCC offre également l'option de réponse rapide (une nouvelle initiative) pour répondre aux besoins émergents et changeants à l'égard de contenu supplémentaire, contre recouvrement des coûts. L'option permet aux clients d'acheter trois minutes de temps de questionnaire pour une période de collecte de trois mois. D'après le Rapport annuel de rétroaction (2015), tous les clients étaient très satisfaits de l'option de réponse rapide, sauf en ce qui concerne la disponibilité des données provinciales, où des lacunes ont été relevées.

Un échantillon plus gros et représentatif d'Inuits donnerait lieu à des estimations de meilleure qualité et à des estimations pouvant être ventilées en fonction de variables comme l'âge, le sexe, etc., et utilisées pour des analyses plus détaillées. Un échantillon d'Inuits représentatif à l'échelle nationale se compose d'un échantillon tiré de chacune des quatre régions de règlement des revendications territoriales des Inuits. Bien que la couverture de l'ESCC pour le Nunavut se soit améliorée au cours des dernières années, la couverture au Nunavik dans le nord du Québec et au Nunatsiavut dans le nord du Labrador est probablement très limitée. La couverture dans la région de l'Inuvialuit des Territoires du Nord-Ouest pourrait également être problématique. En ce qui concerne l'état de santé et les résultats en matière de santé, il existe de grandes différences entre ces quatre régions.

Source : Interview

Dans l'ensemble, l'évaluation a permis de constater que la thématique de l'ESCC répond aux besoins et aux priorités des intervenants. Par exemple, le sondage montre un niveau élevé de satisfaction à l'égard de l'ESCC–Vieillissement en santé (taux de satisfaction de 85 %) et pour l'ESCC–Santé mentale (taux de satisfaction de 83 %). Cependant, certaines lacunes, liées à l'intervalle entre les composantes (c.-à-d. la santé mentale et la nutrition) et l'inclusivité des régions géographiques (les enquêtes à thématique particulière de l'ESCC, comme la santé mentale et la nutrition, ne sont pas menées dans le Nord) ont été cernées. De plus, la sous-représentation de certaines sous-populations dans l'ESCC, ainsi que la formulation des questions sur l'orientation sexuelle, ont également été identifiées parmi les lacunes.

En 2012, la pertinence et le rendement de l'ECMS ont été évalués dans le cadre de l'évaluation horizontale du Plan d'action pour protéger la santé des Canadiens des contaminants environnementaux du gouvernement fédéral. Le rapport de l'évaluation a conclu que, bien que l'ECMS réponde généralement aux besoins actuels et émergents en matière de contenu, l'absence d'un plan de contenu à long terme coordonné est considérée comme une lacune. Pour donner suite aux recommandations de l'évaluation, le programme de l'ECMS a élaboré un plan de contenu sur huit ans en 2013.

Les résultats du sondage auprès des utilisateurs indiquent que 83 répondants sur 101 (82 %) sont satisfaits des renseignements statistiques diffusés. Cependant, il y a une lacune connue à l'égard des données régionales, qui sont demandées par les utilisateurs de données intéressés. Pour des raisons de coût et de logistique, l'ECMS est réalisée au niveau national seulement et, à ce stade-ci, il n'y a pas de financement permettant d'envisager une expansionFootnote 50 De plus, des données exhaustives sur les enfants ne sont pas incluses dans l'ECMS, ce qui serait utile pour les intervenants.

Le PSEC demeure pertinent dans le cadre des consultations avec le Conseil de la statistique de l'état civil du Canada. Dans l'ensemble, les intervenants sont satisfaits des travaux en cours pour maintenir la pertinence et l'utilité du PSEC. Les résultats du sondage réalisé pour cette évaluation indiquent que 91 répondants sur 114 (80 %) sont satisfaits du produit. Cependant, un manque de détail a été remarqué pour ce qui est des décès attribuables à une toxicité médicamenteuse, notamment les médicaments ne sont pas précisés. En outre, des travaux doivent être entrepris pour maintenir la pertinence du PSEC pour ce qui est de l'aide médicale à mourir et de la définition des mortinaissances (compte tenu de l'augmentation des cas de réduction multifœtale en raison du recours grandissant à la procréation assistée). Un autre problème est le couplage entre le PSEC et le RCC pour s'assurer que les renseignements importants, tels que les données sur la survie, peuvent être analysés. Le PSS collabore avec des intervenants, comme SC, l'ASPC et l'ICIS, pour s'assurer que les besoins sont satisfaits pour ces aspects.

Le RCC demeure pertinent grâce à des consultations avec le Conseil canadien des registres du cancer. Dans l'ensemble, les partenaires sont satisfaits des travaux en cours pour bien positionner le Conseil et le registre pour l'avenir. Compte tenu du fonctionnement du Conseil (où tout le monde travaille en groupe), ces processus nécessitant des consultations, l'établissement de normes et des approbations sont très lents et, bien que cette situation soit souvent une source d'irritation, la plupart des partenaires reconnaissent que Statistique Canada n'y peut rien. Une forte proportion des répondants interrogés pour cette évaluation (56 sur 67, ou 84 %) sont satisfaits du RCC.

Bien que le RCC fasse du bon travail lorsqu'il s'agit de fournir des estimations pancanadiennes de l'incidence du cancer, le traitement du cancer (chirurgie et radiothérapie) a été relevé comme une lacune du registre, et tous s'entendent pour dire que cette lacune doit être comblée. Deux options sont à l'étude pour combler ces lacunes : procéder à un couplage d'enregistrements avec d'autres ensembles de données existants, ou demander aux prestataires de soins de santé de déclarer des données aux registres provinciaux du cancer de manière uniformisée; les données seraient alors compilées et ajoutées au RCC.

L'évaluation a permis de constater que la composante des indicateurs de la santé du PSS répond aux besoins et aux priorités des intervenants : 97 répondants sur 106 (92 %) sont satisfaits. Les consultations se déroulent dans le cadre de la Conférence consensuelle sur les indicateurs de la santé (Statistique Canada/ICIS).Footnote 51 La quatrième Conférence consensuelle sur les indicateurs de la santé a attiré 61 participants de partout au Canada. La plupart des 80 indicateurs relevés sont pertinents et utiles pour la majorité des utilisateurs. Pour les indicateurs d'une utilité moindre, un examen est en cours afin de déterminer s'ils devraient être éliminés ou modifiés afin d'augmenter leur pertinence.Footnote 52

L'évaluation a fait état d'un niveau de satisfaction élevé à l'égard de la publication Coup d'œil sur la santé (taux de satisfaction de 94 %).

Besoins et attentes actuels et émergents

Le sondage confirme que certains points doivent être améliorés. Parmi les répondants consultés dans le cadre du sondage d'évaluation, 143 répondants sur 325 (44 %) estiment que le PSS devrait produire des renseignements supplémentaires. Lorsqu'on leur a demandé quels renseignements devraient être produits, près de 40 % des répondants ont mentionné le concept des mégadonnées (données intégrées recoupant des domaines sociaux) et les déterminants de la santé. Le manque de données géographiques (11 %) et longitudinales (10 %) a également été mentionné comme une lacune à combler.

De même, les répondants clés ont décrit un large éventail de besoins et de priorités actuels et émergents se rapportant à leur domaine d'expertise ou de travail en particulier, y compris :

  • De la recherche sur l'équité en matière de santé, les déterminants sociaux de la santé et le concept plus large du bien-être.
  • Des données, plus de données ou la collecte de données plus fréquente sur des sujets particuliers, y compris l'exposition environnementale, l'usage pharmaceutique, les incapacités, la santé mentale, l'institutionnalisation, la nutrition (surtout les habitudes de consommation), les besoins des réfugiés en matière de santé, les besoins des anciens combattants en matière de santé, le vieillissement, les anomalies congénitales, le dépistage du cancer, la santé des enfants et la santé des Premières Nations.
  • Des données et de la recherche qui tiennent compte des résultats en matière de santé.
  • De la recherche axée sur le patient.
  • De plus gros échantillons d'enquête.
  • Des technologies pour la mesure humaine (p. ex. les technologies pour mesurer l'exposition aux produits chimiques chez les humains et le génotypage).

Malgré la diversité des besoins et des priorités des répondants clés, on a également observé des points en commun dignes de mention. Les besoins et les priorités revenant le plus souvent dans toutes les catégories de répondants clés étaient le couplage aux données administratives et le recours accru aux données longitudinales.

Couplage aux données administratives

Dans toutes les catégories de répondants clés, mais en particulier chez les utilisateurs et les experts, le besoin le plus fréquemment mentionné concernait un plus grand nombre de couplages avec des données administratives et le concept connexe des mégadonnées.

Données longitudinales

La nécessité de volumes accrus de données longitudinales a été mentionnée, principalement par les utilisateurs des CDR. Ces répondants clés ont noté que le PSS s'intéresse essentiellement aux enquêtes transversales, une tendance qu'ils ont observée dans l'ensemble de Statistique Canada. Ils ont souligné l'importance des données longitudinales pour faciliter la surveillance des tendances en matière de santé et la compréhension de l'incidence des déterminants sociaux de la santé.

3.7 Utilisation de l'information statistique

Résumé

Les données du PSS sont utilisées par tous les niveaux de gouvernement pour s'acquitter de leur mandat et de leurs responsabilités ainsi que par des chercheurs, des organismes internationaux, des organismes non gouvernementaux et les Canadiens. À Statistique Canada, les données du PSS alimentent d'autres programmes de statistique et de recherche.

Cette question d'évaluation examine dans quelle mesure les données du PSS sont utilisées pour alimenter les débats, la recherche, l'analyse ainsi que la prise de décisions. La portée des enjeux économiques visés par le programme, combinée au fait que toute cette information est facilement accessible, sans frais, sur le site Web de Statistique Canada, crée des possibilités illimitées quant à l'utilisation des données. Par conséquent, bien que les résultats de l'évaluation aient éclairé cette question, il est impossible de saisir la gamme complète d'utilisations potentielles des renseignements statistiques.

Qui utilise les données du Programme de la statistique de la santé, à quelle fin et comment?

D'après les bases de données administratives, l'étude des documents, la revue de la littérature, les évaluations bibliométrique et webométrique, les enquêtes et les interviews de Statistique Canada, l'évaluation a relevé un ensemble varié d'utilisations et d'utilisateurs dans tous les secteurs d'activités des secteurs public et privé.

Les utilisateurs clés d'organismes fédéraux sont SC, l'ASPC, l'ICIS et l'IRSC. D'autres organismes fédéraux parmi les principaux intervenants sont Emploi et Développement social Canada; Immigration, Réfugiés et Citoyenneté Canada; Environnement et Changement climatique Canada; le ministère de la Défense nationale; Service Canada; Passeport Canada; l'Agence du revenu du Canada et l'Agence des services frontaliers du Canada. Au niveau infranational, toutes les administrations provinciales, territoriales et municipales sont d'importants utilisateurs des statistiques du PSS.

Les renseignements recueillis au moyen des interviews auprès de répondants clés corroborent les conclusions tirées de l'étude des documents et ajoutent des exemples d'utilisation au sein du secteur public (à l'échelon fédéral, provincial, territorial et municipal). À ce niveau, les données du PSS sont utilisées pour éclairer l'élaboration, la mesure du rendement et l'évaluation des politiques et des programmes visant à promouvoir la santé des Canadiens. Les données du PSS sont également utilisées pour la création de lignes directrices, de normes et de règlements, en particulier à l'échelle fédérale. Comme le démontre un exemple présenté dans l'évaluation, l'analyse des données de l'ESCC a relevé des différences en ce qui concerne les comportements à l'égard du risque entre deux régions, ce qui a alimenté la discussion au sujet de la suffisance des règlements actuels.

Il semblerait également que les produits du PSS aient été utilisés par des organismes internationaux. Par exemple, les publications sur les indicateurs de la santé ont été utilisées par l'Organisation de coopération et de développement économiques (OCDE),Footnote 53 le Fonds des Nations Unies pour l'enfance (UNICEF),Footnote 54 l'Organisation panaméricaine de la santé (OPS)Footnote 55 et le Fonds du Commonwealth pour diffuser des renseignements comparables à l'échelle internationale. L'information du PSS est également utilisée par l'OMS afin d'élaborer une liste de référence internationale des indicateurs de la santé.

Les conclusions de l'évaluation émanant des interviews auprès de répondants clés ont également confirmé que des organismes non gouvernementaux utilisent les statistiques du PSS, par exemple pour élaborer des produits ciblant le public canadien pour le sensibiliser à des problèmes de santé en particulier.

Les chercheurs se servent des renseignements du PSS dans les études et les analyses des tendances, ainsi que pour des recherches approfondies sur divers problèmes de santé, avec désagrégation en fonction des variables sociales et économiques. Par exemple, les données de l'ESCC ont été utilisées par des chercheurs à l'ICIS et à Santé publique Ontario pour élaborer une calculatrice de l'espérance de vie afin d'aider les Ontariens à comprendre l'effet de certains comportements sur leur espérance de vie. Par ailleurs, pour la période de 2011-2012 à 2014-2015, plus de 500 contrats uniques ont été accordés pour l'accès aux CDR. Ces contrats ont été signés pour une moyenne annuelle de 520 personnes. L'ESCC annuelle et deux années combinées étaient de loin les fichiers les plus souvent demandés dans les contrats. La plupart des utilisateurs des CDR sont des étudiants, des professeurs et des chercheurs (39 %, 37 % et 14 % respectivement, en 2014-2015) d'universités (92 % du total des types d'organismes en 2014-2015).

Internet

La visibilité des renseignements du PSS sur le Web a été examinée dans le cadre d'une évaluation webométrique de l'utilisation (hyperliens aux produits du PSS). Environ 60 000 hyperliens vers le site Web de Statistique Canada sont sur Internet, dont 1 219 (2 %) dirigent les utilisateurs vers des produits du PSS. Les hyperliens menant vers les produits du PSS se rapportent aux tableaux sommaires (489 ou 40 %); aux enquêtes (302 ou 25 %); aux tableaux CANSIM (219 ou 18 %); aux publications (143 ou 12 %); au Quotidien (66 ou 5 %).Footnote 56

Les cinq produits les plus souvent cités en référence sont l'ESCC annuelle (enquête); Espérance de vie à la naissance, selon le sexe, par province (tableau sommaire); Profil d'indicateurs de la santé, estimations annuelles, selon le groupe d'âge et le sexe, Canada, provinces, territoires, régions sociosanitaires (limites de 2013) et groupes de régions homologues (tableau CANSIM); Suicides et taux de suicide selon le sexe et l'âge (tableau sommaire); RCC (description). Voir le tableau 3 ci-dessous.

Les pages Web citant le PSS apparaissent sur divers grands domaines partout dans le monde. Le plus grand nombre de pages Web de renvoi (587 ou 48 %) proviennent du domaine canadien « .ca », suivi du domaine commercial « .com » (376 ou 31 %); du domaine pour les organismes à but non lucratif « .org » (162 ou 13 %); et du domaine réseau « .net » (40 ou 3 %). De la totalité des 1 219 liens aux produits du PSS, 618 proviennent de sites Web canadiens (.ca; .com; .org; et .net). De tous les liens canadiens aux produits du PSS, 38 % (233) proviennent de sites Web d'organismes à but non lucratif; 27 % (136) proviennent de sites Web d'organismes privés; 23 % (143) proviennent de sites Web d'organismes publics – dont 75 % du gouvernement fédéral, la majorité (63 %) provenant de l'IRSC, de SC et de l'ASPC; 7 % (44) proviennent d'établissements universitaires. Les organismes citant le PSS en référence le plus souvent sont des universités : Université de Toronto, Université d'Ottawa, Université de l'Alberta.

Tableau 3: Principaux produits du Programme de la statistique de la santé faisant l'objet de renvois par hyperlien sur Internet
Produit du PSS Nombre
Tableaux sommaires
Espérance de vie à la naissance, selon le sexe, par province 89
Suicides et taux de suicide selon le sexe et l'âge 52
Principales causes de décès sélectionnées, selon le sexe 38
Autre 310
Total des tableaux sommaires (40 % de tous les produits du PSS) 489
Enquêtes
Enquête sur la santé dans les collectivités canadiennes – composante annuelle 139
Registre canadien du cancer 44
Enquête canadienne sur les mesures de la santé 36
Autre 83
Total des enquêtes (25 % de tous les produits du PSS) 302
Tableaux CANSIM 
Profil d'indicateurs de la santé, estimations annuelles, selon le groupe d'âge et le sexe, Canada, provinces, territoires, régions sociosanitaires (limites de 2013) et groupes de régions homologues 57
Décès, selon la cause, Chapitre XVI : Certaines affections dont l'origine se situe dans la période périnatale (P00 à P96), le groupe d'âge et le sexe, Canada 23
Décès, selon la cause, Chapitre IX : Maladies de l'appareil circulatoire (I00 à I99), le groupe d'âge et le sexe, Canada 16
Autre 123
Total des tableaux CANSIM (18 % de tous les produits du PSS) 219
Publications
Indicateurs de la santé 34
Nutrition : Constatations tirées de l'ESCC 30
Le nouveau visage des maladies cardiovasculaires et des accidents vasculaires cérébraux au Canada, 2000 13
Autre 66
Total des publications (12 % de tous les produits du PSS) 143
Le Quotidien
ECMS : Activité physique directement mesurée chez les Canadiens 10
Principales causes de décès 8
Enquête sur la santé mentale dans les Forces canadiennes 6
Autre 42
Total Le Quotidien (5 % de tous les produits du PSS) 66
Total 1,219

Médias

Un examen des dossiers administratifs de Statistique Canada démontre le degré d'intérêt dans les médias. En 2012-2013, les produits du PSS ont été cités 129 fois dans les médias, 163 fois en 2013-2014 et 143 fois en 2014-2015. Pendant ces trois exercices, les produits les plus souvent mentionnés étaient l'ESCC et la Base de données sur les décès.

Conséquences de l'utilisation des produits du Programme de la statistique de la santé

L'évaluation bibliométrique des produits examinait deux mesures particulières liées à l'incidence scientifique des produits du PSS : l'une qui mesure l'incidence des documents publiés, et l'autre qui mesure la visibilité des revues dans lesquelles les documents de recherche sont publiés. L'incidence des données sur la littérature publiée est illustrée par la présence et l'utilisation des statistiques du PSS dans les articles revus par des pairs. D'après l'évaluation bibliométrique réalisée dans le cadre de l'évaluation, un total de 38 222 citations renvoyant à des articles de Statistique Canada revus par des pairs ont été relevées de 2000 à 2014,Footnote 57 dont 3 970 (10 %) renvoient à des diffusions du PSS. Une évaluation bibliométrique de l'utilisation des Rapports sur la santé (82‑003‑X) est également fournie comme contexte à des fins d'interprétation. Cette série de publications a fait l'objet d'environ 2 250 renvois pendant la période de 2000 à 2014 — environ 55 % de ce que le PSS a reçu dans l'ensemble.

Les renvois aux communiqués de Statistique Canada des périodes de 2000 à 2006 et de 2008 à 2014 ont plus que quintuplé, tandis qu'ils ont plus que décuplé pour les communiqués du PSS pendant les mêmes périodes. Les types de documents les plus souvent cités pour le PSS sont les publications (1 684 ou 42 %); les enquêtes (1 521 ou 38 %); les tableaux CANSIM (416 ou 10 %); Le Quotidien (179 ou 5 %); et les tableaux sommaires (170 ou 4 %). Les cinq produits les plus souvent cités sont l'ECMS (enquête); Nutrition : Constatations tirées de l'ESCC (publication); Enquête nationale sur la santé de la population (publication); Indicateurs de la santé (publication); ESCC annuelle (enquête).

De plus, l'incidence et la visibilité des publications produites par le PSS semblent être supérieures à la moyenne mondiale et même à la moyenne canadienne.Footnote 58 Comme l'illustre le graphique  2, de 2000 à 2014, l'incidence des documents canadiens publiés est 39 % plus marquée que la moyenne mondiale, tandis que l'incidence des documents de Statistique Canada publiés est 32 % plus forte. L'incidence des documents sur les sciences de la santé de Statistique Canada, qui représentent essentiellement les produits du PSS, est 81 % plus marquée que la moyenne mondiale (également bien au-dessus des résultats du Canada et de Statistique Canada). Les résultats pour la deuxième mesure sont également significatifs. De 2000 à 2014, la visibilité des revues faisant état des recherches canadiennes est 25 % plus importante que la moyenne mondiale, tandis que la visibilité des recherches de Statistique Canada est 27 % plus importante. La visibilité des recherches en sciences de la santé de Statistique Canada, qui encore une fois représentent les produits du PSS, est 44 % plus marquée que la moyenne mondiale (également au-dessus des résultats du Canada et de Statistique Canada).

Les répondants au sondage devaient indiquer si l'information produite par le PSS leur permettait de mieux comprendre les tendances et les enjeux de la santé de la population. Parmi les répondants, 93 % ont indiqué que l'information du PSS leur avait permis de mieux comprendre. En fait, l'utilisation des produits du PSS a permis aux chercheurs d'effectuer des recherches de haute qualité.

Graphique 2 : Incidence scientifique de 2000 à 2014
Graphique 2 : Incidence scientifique de 2000 à 2014

Ce graphique à barres montre les répercussions et la visibilité des publications produites par le Programme de la statistique de la santé comparativement à la moyenne mondiale, à la moyenne canadienne et à la moyenne de Statistique Canada pour la période allant de 2000 à 2014

Répercussions
Monde : 1
Canada : 1,39
Statistique Canada : 1,32
Programme de la statistique de la santé : 1,81

Visibilité
Monde : 1
Canada : 1,25
Statistique Canada : 1,27
Programme de la statistique de la santé : 1,44

Si nous n'avions pas [les données du PSS], il nous faudrait gérer à l'aveuglette. Il serait impossible de faire du bon travail pour bien des aspects de [notre] mandat. Ce serait comme essayer de voir au travers un nuage.

Source : Interview

La plupart des répondants clés estiment que s'ils n'avaient pas accès à l'information du PSS, leur travail serait considérablement touché. La faisabilité d'analyses utiles, comme la détermination des tendances en matière de santé publique, l'évaluation de l'incidence des programmes et des initiatives de santé financés par l'État, les comparaisons entre les secteurs de compétence et l'élaboration de prévisions et de projections exactes seraient entravées. Les résultats du sondage confirment la contribution des produits du PSS à la prise de décisions éclairées. En effet, lorsqu'on a demandé aux utilisateurs du PSS si les produits du PSS les aidaient à prendre des décisions éclairées, 83 % étaient d'accord, tandis que seulement 5 % étaient en désaccord (12 % ont répondu qu'ils ne savaient pas.

La plupart des intervenants estiment qu'au bout du compte, l'utilisation des produits du PSS a contribué à sensibiliser le public à des enjeux particuliers en matière de santé (p. ex. la santé mentale et les maladies chroniques) ou à des sujets qui sont importants pour comprendre la santé du public canadien (p. ex. les déterminants socioéconomiques de la santé, la contribution de la qualité de l'alimentation).

4. Constatations : Économie et efficience

Cette section résume l'évaluation de l'économie et de l'efficience du PSS. Les résultats reposent sur l'analyse de l'utilisation des ressources du programme par rapport à la production de ses produits et des progrès réalisés en vue des résultats prévus, et s'appuient sur de l'information qualitative ressortie de l'étude des documents et des interviews auprès de la direction du programme.

Comme mentionné à la section sur les limites de l'évaluation, la structure actuelle de l'information financière, sur une base opérationnelle plutôt que sur la base du projet, limite l'analyse de l'incidence des enjeux et des initiatives sur les coûts et le budget total des activités d'enquête. Pour atténuer cette limite, un projet pilote découlant de l'évaluation précédente de l'ECMS a été entrepris pour recueillir des renseignements financiers sur l'ECMS à un niveau plus détaillé. Les résultats provisoires sont présentés à la dernière sous-section du présent rapport.

Résumé

Les résultats de l'évaluation confirment l'engagement et les pratiques exemplaires du PSS pour offrir des résultats de qualité qui répondent à l'ensemble des besoins et des priorités. Cependant, certains problèmes liés au partenariat avec des intervenants fédéraux clés et à la collaboration avec les provinces et les territoires, ainsi qu'un repli des taux de réponse et des difficultés technologiques, ont été mentionnés comme des facteurs clés qui entravent l'efficience et les résultats du programme (l'actualité, par exemple).

Les résultats de l'évaluation confirment que le PSS continue d'offrir une gamme de produits qui répondent à l'ensemble des besoins et des priorités, en dépit de certaines difficultés qui pourraient être résumées par 1) une augmentation des attentes et des besoins d'information; 2) des difficultés de mise en œuvre et les coûts connexes, comme le repli des taux de réponse et les problèmes technologiques; 3) le partenariat avec les intervenants clés; 4) la collaboration avec les provinces et les territoires.

Le PSS a été en activité pendant la période de cinq ans, les dépenses générales du programme s'étant chiffrées à 224 millions de dollars (comme l'indique le tableau 4). Les dépenses du programme étaient à peu près comparables à la quatrième et à la cinquième année, à la suite d'une baisse de 11 % en 2012-2013. La réduction du financement de base et des dépenses externes à recouvrement des coûts s'est traduite par une réduction du budget du programme à la deuxième année de la période, comme l'indique le graphique 3 ci-après.

Tableau 4: Dépenses du Programme de la statistique de la santé ($)
Dépenses Exercices Total
2011/2012 2012/2013 2013/2014 2014/2015 2015/2016
Salariales ($) 27 922 852 24 928 916 23 270 115 24 469 404 24 955 306 125 546 593
Non salariales ($) 13 424 180 11 630 550 12 509 348 9 706 799 10 052 521 57 323 398
Avantages sociaux et pension ($) 5 584 570 4 985 783 4 654 023 4 893 881 4 991 061 25 109 319
Aménagements ($) 3 629 971 3 240 759 3 025 115 3 181 023 3 244 190 16 321 057
Total ($) 50 561 573 44 786 008 43 458 601 42 251 106 43 243 079 224 300 367
Nombre d'employés (ETP) 457 415 362 377 400 Moyenne annuelle 402
Grahique 3 : Dépenses du Programme de la statistique de la santé de 2011-2012 à 2015-2016, par composante

Source: Statistique Canada, système financier et information calculée.

Graphique 3 : Dépenses du Programme de la statistique de la santé de 2011-2012 à 2015-2016, par composante

Ce graphique linéaire montre les taux de réponse pour l'Enquête sur la santé dans les collectivités canadiennes, répartis selon la méthode de collecte pour les années sélectionnées au cours de la période allant de 2001 à 2013

2011-2012
Budget de base : 33,6
Investissement : 0,1
Autofinancé : 0,0
Coûts recouvrables à l'externe : 7,6
ASP : 5,6
Aménagements : 3,6

2012-2013
Budget de base : 30,8
Investissement : 0,2
Autofinancé : 0,1
Coûts recouvrables à l'externe : 5,5
ASP : 5,0
Aménagements : 3,2

2013-2014
Budget de base : 29,5
Investissement : 0,9
Autofinancé : 0,1
Coûts recouvrables à l'externe : 5,3
ASP : 4,7
Aménagements : 3,0

2014-2015
Budget de base : 28,6
Investissement : 1,0
Autofinancé : 0,1
Coûts recouvrables à l'externe : 4,5
ASP : 4,9
Aménagements : 3,1

2015-2016
Budget de base : 30,3
Investissement : 0,3
Autofinancé : 0,2
Coûts recouvrables à l'externe : 4,2
ASP : 5,0
Aménagements : 3,2

Les données financières du financement de base du programme indiquent que l'utilisation des ressources pour livrer le programme était plus importante que prévu au départ pendant quatre années de la période de cinq années, soit de +1,2 % à +9,5 %. La variance en 2013-2014, où les dépenses du financement de base étaient 9,5 % plus élevées que le budget initial, peut être attribuée en grande partie à l'ECMS et aux coûts de collecte des données plus élevés pour l'ESCC.

Problèmes de mise en œuvre dans un nouveau contexte

On a demandé aux répondants internes clés de faire des commentaires sur la pertinence du niveau de ressources pour produire les produits. Une perception mitigée de la pertinence du niveau de ressources (financières, humaines et informatiques) et des attentes a été observée. Certains répondants ont parlé de l'incidence des budgets serrés, qui restreignent la souplesse de la direction pour surmonter les difficultés. Par exemple, la direction dispose d'une marge de manœuvre limitée pour gérer le repli généralisé du taux de réponse. En effet, le repli du taux de réponse nécessite plus d'efforts et de ressources que prévu au départ. En outre, la mise en œuvre des projets, qui nécessite le traitement de gros volumes de données administratives, est limitée compte tenu de l'infrastructure de TI actuelle.

L'étude des documents a révélé que la direction du programme démontre un engagement à gérer efficacement dans ce contexte. De nombreuses initiatives et pratiques exemplaires ont été réalisées ou entreprises, y compris les suivantes :

  • examen des activités logistiques de l'ECMS pour le cycle 3 — l'expérience acquise au cours des cycles précédents a été utilisée pour optimiser la préparation ainsi que l'embauche et le maintien en poste des employés sur le terrain;Footnote 59
  • réorganisation des activités de traitement d'enquête, ce qui réduit le nombre d'équivalents temps plein;
  • adoption de l'ETES et d'autres outils communs pour différentes étapes des processus de production;
  • progrès réalisés en vue de la mise en œuvre du SNA comme intrant des statistiques de l'état civil;
  • mise au point de la documentation et du rapport rétrospectif pour le remaniement de l'ESCC annuelle de 2015, afin de soutenir les remaniements à venir de l'enquête en transférant les connaissances et les leçons apprises;Footnote 60
  • examen de l'EESLD afin de déterminer toutes les sources de données administratives possibles afin de réduire le fardeau du répondant;Footnote 61 
  • prise en compte des changements apportés au modèle de l'ESCC pour répondre le mieux possible aux besoins des utilisateurs, et considération de solutions telles que l'utilisation de données administratives ou de la fonctionnalité de réponse rapide.

De plus, le PSS s'est aligné sur les initiatives de l'organisme, notamment en mettant en œuvre la collecte de données par voie électronique au moyen du SICO de l'organisme et en participant aux activités de coordination sur le terrain pour assurer l'uniformité à l'étendue des enquêtes pendant la transition à un questionnaire électronique et aux environnements du SICO.

Une stratégie pour le couplage généralisé d'enregistrements socioéconomiques est en cours d'élaboration au sein de l'organisme pour accroître la pertinence des enquêtes et l'utilisation de données administratives. Le PSS joue un rôle de premier plan dans la mise en œuvre de cet environnement en raison de l'expérience acquise dans le cadre de l'Initiative sur les données longitudinales administratives et sur la santé, qui participe au renforcement d'une expertise interne dans ce domaine (p. ex. projets évaluant la qualité et l'utilisation de fichiers créés au moyen de couplages d'enregistrements).Footnote 62

Le PSS est en train de transformer ses pratiques de diffusion en les intégrant au NMD de Statistique Canada et en établissant, en 2014, le groupe de travail sur le renouvellement de la diffusion du PSS pour proposer des changements qui tiennent compte des priorités divisionnaires et des nouvelles exigences de l'organisme.

En plus de ces grands projets organisationnels, le PSS utilise des systèmes de traitement génériques et participe aux efforts à l'étendue de l'organisme pour explorer les mécanismes visant à accroître l'utilisation des données administratives et à élaborer une approche plus efficace des EPD avec des fournisseurs de données externes.

Les interviews auprès de répondants internes ont révélé que la transition aux outils communs est considérée comme positive. Toutefois, ces répondants ont également parlé de l'ampleur des efforts nécessaires pour faire la transition et ont fait part de leurs préoccupations au sujet de la fonctionnalité de certains outils. La centralisation des ressources de l'infrastructure de la technologie de l'information à Services partagés Canada a été reconnue comme un gros défi en ce qui concerne l'espace, l'infrastructure et les outils nécessaires pour traiter un gros volume de données.

Partenariats et collaboration

Les renseignements sur la santé au Canada reposent sur une structure de gouvernance complexe mettant en cause un grand nombre d'intervenants. La collaboration au niveau fédéral joue un rôle essentiel dans le programme par l'intermédiaire du partage de connaissances spécialisées et du financement de certaines données ou enquêtes. Les interviews auprès de répondants clés au niveau fédéral ont révélé des préoccupations à l'égard du partenariat actuel. On soulève la nécessité de réviser et de renforcer ce partenariat en redéfinissant les rôles et les responsabilités et en maintenant des communications constantes. En résumé, les points suivants ont été mentionnés : 1) une détérioration du partenariat au cours des dernières années, qui en est venu à ressembler à une relation avec les clients au lieu d'un partenariat; 2) un manque de participation et de partage d'information dans le processus décisionnel; 3) des difficultés relatives aux EPD.

En théorie, ça paraît bien. Il y a eu des cas où les communications avec les partenaires ne se sont pas déroulées aussi efficacement qu'on l'espérait. Au sein de ce comité, nous avons constaté récemment que les partenaires en matière de santé sont présents, mais ils sont perçus comme des clients plutôt que comme des partenaires participant au processus décisionnel. C'est presque comme si le comité était une source d'information pour le portefeuille de la santé, ce qui n'était pas l'intention au départ, lorsque le comité a été établi. Le comité devait être un comité décideur.

 

Source: Interview

La réussite des programmes administratifs et du projet de couplage d'enregistrements réalisé par le PSS dépend en grande partie de la disponibilité en temps opportun des renseignements recueillis auprès de sources provinciales et territoriales. On a remarqué certains signes de problèmes et de difficultés en ce qui concerne le partenariat entre le PSS et les organismes provinciaux et territoriaux en matière de santé. Des documents récents sur le programme suggèrent que le programme est en bonne voie de résoudre ces problèmes, ce qui réduira le risque relatif à l'actualité, par exemple.

Un autre exemple de partenariat entre les ministères provinciaux et territoriaux de la Santé et Statistique Canada est l'Initiative sur les DLAS, qui vise à contribuer à combler les lacunes statistiques. L'étude des documentsFootnote 63 a révélé que la réussite limitée de l'initiative pourrait être attribuable à l'incapacité de sa structure de gouvernance d'assurer le soutien du projet à de multiples niveaux, notamment des procédures d'examen harmonisées en matière de protection des renseignements personnels et de confidentialité et des politiques et des ententes contractuelles efficaces et simplifiées régissant le partage de données entre les provinces et les territoires et Statistique Canada.

Les interviews auprès de nombreux répondants clés ont confirmé que les partenariats avec les provinces et territoires, en particulier en ce qui concerne le partage de données et les couplages de données, sont plutôt problématiques.

 

Suivi de la recommandation précédente pour améliorer la production de rapports sur l'efficience

L'information limitée pour l'analyse de l'efficience (utilisation des ressources pour créer des produits et des résultats) avait déjà été soulignée dans le cadre de l'évaluation de 2008-2009 à 2012-2013 de l'ECMS. Par conséquent, il a été recommandé que les renseignements financiers du cycle de l'enquête soient diffusés par la Direction des finances pour appuyer la collecte de données sur le rendement de l'ECMS afin de démontrer le niveau d'efficience au fil du temps pour la prise de décisions et la reddition de comptes.

Le projet pilote introduit en 2013-2014, pour donner suite à cette recommandation, vise à recueillir les renseignements financiers de l'ECMS par cycle d'enquête en fonction des processus et des activités. Les résultats préliminaires confirment que l'approche permettra une analyse des dépenses (coûts) d'un cycle d'enquête par rapport à un autre cycle, en fonction de l'étape du processus d'enquête.

Les avantages d'une telle agrégation des données financières sont la capacité d'isoler et de déterminer les variations des coûts par activité d'un cycle à un autre et de valider l'information qualitative sur l'efficience. Par exemple, cela devient une preuve quantitative de l'incidence sur les coûts de la mise en place de nouveaux processus, de nouvelles idées, de nouvelles méthodes ou de l'incidence sur les coûts de phénomènes tels que la réduction des taux de réponse, d'un cycle à l'autre. Cependant, la nature et la durée du cycle de l'ECMS à ce jour empêchent une analyse entre deux cycles (en attente). De plus, pour que cette méthode soit intégrée à la reddition de comptes officielle, un suivi s'imposerait pour vérifier et assurer la qualité des renseignements compilés.

5. Conclusions et recommandations

Dans l'ensemble, le PSS a généralement répondu aux besoins et aux priorités dans les limites de son budget, et a produit les résultats attendus, c'est-à-dire fournir l'accès à des renseignements statistiques pertinents et de haute qualité afin d'éclairer le débat public, le processus décisionnel et la recherche.

D'après les conclusions de l'évaluation, on reconnaît que le programme doit également veiller à ce que la pertinence des renseignements statistiques soit maintenue en se concentrant sur l'analyse des besoins au lieu de la capacité (populations sondées, déterminants de la santé, fréquence de la collecte pour certains thèmes). Enfin, le défi qu'impose la diminution des taux de réponse pour l'exactitude doit rester un enjeu prioritaire pour la planification.

Rendement (actualité)

Les conclusions de l'évaluation démontrent également que le PSS a eu du mal à respecter les dates de diffusion en ce qui concerne la statistique de l'état civil et du cancer.

Recommandation 1:

Dans le contexte de la relation avec les fournisseurs de données provinciaux et territoriaux, il est recommandé que le PSS prenne des mesures pour améliorer l'actualité des renseignements statistiques sur l'état civil et le cancer afin de respecter les dates de diffusion prévues et de s'acquitter de son mandat.

Rendement et efficience (partenariats)

Des problèmes ont été soulevés relativement à la relation actuelle avec les partenaires fédéraux, particulièrement : 1) une détérioration apparente de la relation de partenariat au cours des dernières années, qui ressemble maintenant davantage à une relation avec un client; 2) un manque de participation et de partage de l'information dans le processus décisionnel; 3) des difficultés concernant les accords de partage de données.

Recommandation 2:

Il est recommandé que le PSS collabore avec ses partenaires fédéraux afin d'améliorer l'approche de partenariat. Plus précisément, il s'agit de collaborer avec les partenaires pour revoir la structure de gouvernance actuelle à l'égard des rôles et des responsabilités, du processus décisionnel, des communications et des attentes relatives au partage de données.

6. Réponse de la direction et plan d'action

Recommandation nº 1 – Rendement (actualité)

Dans le contexte de la relation avec les fournisseurs de données provinciaux et territoriaux, il est recommandé que le Programme de la statistique de la santé prenne des mesures pour améliorer l'actualité des renseignements statistiques sur l'état civil et le cancer afin de respecter les dates de diffusion prévues et de s'acquitter de son mandat.

Déclaration d'accord ou de désaccord

Accord

Réponse de la direction

La direction reconnaît qu'il y a eu des problèmes d'actualité à l'égard des programmes de la statistique de l'état civil et du cancer, lesquels reposent sur des dossiers administratifs provenant des provinces et des territoires.

Statistiques sur le cancer

Après la publication des données sur le cancer de 2014 en février 2017, le programme des statistiques sur le cancer retournera à un calendrier de publication régulier aussi actuel que possible en fonction des données fournies par les partenaires provinciaux et territoriaux. Des partenaires ont indiqué qu'il n'est pas possible pour eux d'adopter un calendrier plus ambitieux. Deux provinces ont indiqué qu'elles ne seraient pas en mesure de fournir les données de 2015 dans les délais prévus par le calendrier initial proposé. La direction établit des stratégies pour gérer la question de données manquantes ou incomplètes provenant des provinces et des territoires, ce qui pourrait notamment inclure la possibilité de publier uniquement les données des partenaires ayant répondu.

Statistique de l'état civil

Le retard dans la publication des données de la statistique de l'état civil sera résorbé en 2017, avec un retour aux publications en temps opportun en 2018. À partir de 2018, les données de la statistique de l'état civil seront diffusées de 10 à 11 mois après la fin de la période de référence. Non seulement cela signifie-t-il que le programme a éliminé les retards de traitement, mais cela constituera également une amélioration significative par rapport aux échéanciers passés, où les données étaient diffusées de 18 à 24 mois après l'année de référence.

Le retard observé dans le traitement était attribuable à des difficultés rencontrées au moment de procéder à la transition des données administratives dans le système de traitement générique des enquêtes sociales. Cela s'est avéré très problématique puisque ce système n'a pas été conçu pour traiter les données administratives. Il a donc été nécessaire d'élaborer des approches de traitement différentes afin d'assurer un traitement plus opportun.

En outre, le Système national d'acheminement (SNA), ayant le potentiel de fournir en continu et en temps quasi réel des chiffres liés aux événements, est presque complètement mis en place. Les renseignements plus complexes, comme les causes de décès et les décès nécessitant des enquêtes de coroners, particulièrement, ne sont pas toujours disponibles en temps quasi réel.

Les données sur les causes de décès sont codées à Statistique Canada pour toutes les provinces et tous les territoires à l'exception de l'Ontario, de la Colombie-Britannique et du Québec. La parution des données sur les décès et les causes de décès dépendent de la disponibilité des données sur les causes de décès codées provenant de ces trois secteurs de compétence. Il existe actuellement un décalage dans la disponibilité des données sur les causes de décès de l'Ontario et du Québec, ce qui peut avoir une incidence sur notre capacité à diffuser les données conformément au calendrier.

En 2017, les accords sur la statistique de l'état civil seront signés et le SNA sera mis en place pour toutes les autres provinces et tous les autres territoires.

Tableau 1 - Recommandation nº 1  
Échéancier Réalisations attendues Responsable
Statistiques sur le cancer :
  • Février 2017 : cancer, 2014
  • Janvier 2018 : cancer, 2015
  • Janvier 2019 : cancer, 2016
Diffusions annuelles actuelles des statistiques sur le cancer Section des statistiques sur le cancer, Division de la statistique de la santé
Statistiques de l'état civil :
2017
  • Décembre 2017 : tous les événements de 2014
2018
  • Février 2018 : décès et causes de décès, 2015
  • Avril 2018 : naissances et mortinaissances, 2015-2016
  • Août 2018 : tous les événements de 2016 (les causes de décès peuvent dépendre de la disponibilité des données de l'Ontario)
  • Décembre 2018 : tous les événements de 2017 (données provisoires)

Retard rattrapé en 2017

La diffusion annuelle en temps voulu des données de la statistique de l'état civil passera à une diffusion des données de 10 à 11 mois après la fin de la période de référence.
Section de la statistique de l'état civil, Division de la statistique de la santé
Statistiques de l'état civil :
  • D'ici 2017, les accords sur les statistiques de l'état civil seront signés et le SNA sera mis en place pour toutes les autres provinces et tous les autres territoires.

Signature de tous les accords

Mise en œuvre complète du SNA
Section de la statistique de l'état civil, Division de la statistique de la santé

Recommandation nº 2 – Rendement et efficience (partenariats)

Il est recommandé que le Programme de la statistique de la santé collabore avec ses partenaires fédéraux afin d'améliorer l'approche de partenariat. Plus précisément, il s'agit de collaborer avec les partenaires pour revoir la structure de gouvernance actuelle à l'égard des rôles et des responsabilités, du processus décisionnel, des communications et des attentes relatives au partage de données.

Déclaration d'accord ou de désaccord

Accord

Réponse de la direction

Une nouvelle structure de gouvernance est en cours d'élaboration pour le Programme de la statistique de la santé.

Ensemble, Statistique Canada, Santé Canada et l'Agence de la santé publique du Canada composent le Programme des statistiques sur la santé de la population canadienne (PSSPC) qui régit l'Enquête sur la santé dans les collectivités canadiennes, y compris le contenu thématique, ainsi que l'Enquête canadienne sur les mesures de la santé. Lors de la réunion de décembre 2016 du comité directeur du PSSPC, les sous-ministres adjoints ont convenu de moderniser la lettre d'entente interministérielle du PSSPC et de revoir la structure de gouvernance. Une première à l'échelle du directeur général (DG) a eu lieu le 11 janvier 2017 en vue de réaliser ces objectifs.

Tableau 2 - Recommandation nº 2
Échéancier Réalisations attendues Responsable
Décembre 2017 Nouvelle lettre d'entente interministérielle (LEI), y compris un nouveau modèle de gouvernance

La nouvelle LEI expliquera en détail les rôles et les responsabilités des partenaires, le processus décisionnel et les communications. Elle apportera davantage de précision à l'égard des accords de partage.
SCA, Statistique sociale, santé et travail

Comité directeur du Programme des statistiques sur la santé de la population canadienne (PSSPC), formé des sous-ministres adjoints de Santé Canada, de l'Agence de la santé publique du Canada et de Statistique Canada.
Mars 2018 Révision du fonctionnement de la nouvelle LEI

La révision sera consignée dans le procès-verbal de la réunion des DG de mars 2018. Elle présentera les résultats de la nouvelle LEI et formulera des recommandations pour l'avenir si nécessaire.
DG, Santé, Justice et Enquêtes spéciales

Comité du PSSPC à l'échelle des DG

Annexe 1 : Références

Bryant, T., D. Raphael, T. Schrecker and R. Labonte. 2011. "Canada: A land of missed opportunity for addressing the social determinants of health." Health Policy. June. Vol. 101. p. 44–58.

Canadian Institute for Health Information and Statistics Canada. 2015. Rethink, Renew, Retire: Report from the Fourth Consensus Conference on Evaluating Priorities for Canada's Health Indicators. Ottawa.

Canadian Institute for Health Information and Statistics Canada. 2013. Health Indicators 2013. Ottawa.

Commission on Social Determinants of Health. 2008. Closing the Gap in a Generation: Health Equity Through Action on the Social Determinants of Health. Final Report of the Commission on Social Determinants of Health. Geneva: World Health Organization.

Council of Canadian Academies. 2015. Accessing Health and Health-Related Data in Canada.The Expert Panel on Timely Access to Health and Social Data for Health Research and Health System Innovation, Council of Canadian Academies. Ottawa.

Hawe, P., E. Di Ruggiero and E. Cohen. 2012. "Frequently asked questions about population health intervention research." Canadian Journal of Public Health. Vol. 103, no. 6. p. e468–e471.

Health Information Advisory Committee. 2015. "Appendix 1: Inventory of health data." Health Data Strategy: Collective Efforts to Address Canadian Health Data Challenges. Internal document.

Library of Parliament. 2008. The Federal Role in Health and Health Care. Publication no. 2008‑58‑E. Ottawa.

Morrison, J., M. Pons‑Vigués, L. Bécares, B. Burström, A. Gandarillas, F. Domínguez‑Berjón, È. Diez, G. Costa, M. Ruiz, H. Pikhart, C. Marinacci, R. Hoffman, P. Santana, C. Borrell and partners from the INEQ‑Cities Project. 2014. "Health inequalities in European cities: Perceptions and beliefs among local policymakers." BMJ Open. May. Vol. 4, issue 5.

Organisation for Economic Co‑operation and Development (OECD). 2015. Health at a Glance, 2015. How Does Canada Compare? Paris: OECD Publishing.

Pan American Health Organization. 2012. Health in the Americas, 2012 Edition: Country Volume. Canada.

Pathak, S., M.D. Low, L. Franzini and J.M. Swint. 2012. "A review of Canadian policy on social determinants of health." Review of European Studies. September. Vol. 4, no. 4.

Senate of Canada. 2009. A Healthy, Productive Canada: A Determinant of Health Approach. The Standing Senate Committee on Social Affairs, Science and Technology. Final Report of the Senate Subcommittee on Population Health. Ottawa.

Statistics Act, R.S.C. 1985, c. S-19. Ottawa: Department of Justice.

Statistics Canada. 2017. Statistics Canada's Quality Assurance Framework. Statistics Canada Catalogue no. 12‑586‑X. Ottawa.

Statistics Canada. 2015a. Health Statistics Division. Operational Plan 2015/2016. Internal document. Ottawa.

Statistics Canada. 2015b. Canadian Community Health Survey (CCHS)–Nutrition Dissemination Working Group Charter. Ottawa.

Statistics Canada. 2015c. Health Indicators Strategic Review Report. Ottawa.

Statistics Canada. 2015d. Consultation Feedback Annual Report. Health Statistics. Ottawa.

Statistics Canada. 2015e. Health Statistics Program: Presentation to the National Statistics Council, October 29, 2015. Ottawa.

Statistics Canada. 2014a. 2014-2015 Report on Plans and Priorities. ISSN 2292‑5252. Ottawa.

Statistics Canada. 2014b. Canadian Health Measures Survey (CHMS) Expert Advisory Committee Meeting, September 26, 2014. Internal document. Ottawa.

Statistics Canada. 2014c. Health Statistics Divisiion (HSD) Dissemination Renewal Task Force Terms of Reference. Ottawa.

Statistics Canada. 2014d. Health Surveys Informal Content Coherence Committee Terms of Reference. April 19, 2010. Revised September 22, 2014. Ottawa.

Statistics Canada. 2014e. Evaluation of the LHAD Initiative. Longitudinal Health and Administrative Data Initiative. Ottawa.

Statistics Canada. 2013. Communication Plan for Canadian Health Measures Survey, 20132016. Ottawa.

Statistics Canada. 2012. Data Quality in Statistics Canada's Population Surveys: The Case of the Canadian Community Health Survey. Ottawa.

Statistics Canada. 2011. Program Performance Report: 2008/2009 to 2009/2010. Health Statistics Program. Ottawa.

Statistics Canada. 2009. Statistics Canada Quality Guidelines. 5th edition. Statistics Canada Catalogue no. 12‑539‑X. Ottawa.

Statistics Canada. 2002. Statistics Canada's Quality Assurance Framework. Statistics Canada Catalogue no. 12‑586‑X. Ottawa.

Treasury Board of Canada. 2015. Whole‑of‑Government Framework. Ottawa.

Vital Statistics Council of Canada. 2014. Annual General Meeting 2014. Internal document.

Weiss, D., M. Lillefjell and E. Magnus. 2016. "Facilitators for the development and implementation of health promoting policy and programs: A scoping review at the local community level." BMC Public Health. Vol. 16, no. 140.

Word Health Organization (WHO) Regional Office for Europe. 2012. Governance for Health in the 21st Century. Prepared by I. Kickbusch and D. Gleicher. Copenhagen, Denmark.

Annexe 2 : Description du programme

La Division de la statistique de la santé a pour mandat de fournir des renseignements exacts, à jour et pertinents sur la santé des Canadiens. Avec la collaboration de la Division de l'analyse de la santé (Direction des études analytiques), elle produit des analyses statistiques et d'autres données concernant la santé de la population, les déterminants de la santé ainsi que l'étendue et l'utilisation des ressources en soins de santé au Canada. Ces renseignements aident les planificateurs et les décideurs dans le domaine de la santé, à tous les niveaux de l'administration publique, à soutenir la recherche démographique et épidémiologique et à rendre compte au public canadien de sa santé collective et du rendement du système de soins de santé.

La Division de la statistique de la santé travaille en partenariat avec les registres provinciaux et territoriaux de la statistique de l'état civil et du cancer, ainsi qu'avec les fournisseurs et les utilisateurs de données au niveau fédéral, à savoir Santé Canada et l'Agence de la santé publique du Canada (ASPC), au niveau provincial (ministères provinciaux de la Santé), au niveau régional (régions sociosanitaires) et avec bien d'autres partenaires, y compris l'Institut canadien d'information sur la santé, pour fournir des renseignements statistiques et entreprendre des recherches et des analyses sur l'état de santé des Canadiens et le système de santé.

Les activités du Programme de la statistique de la santé (PSS) peuvent être réparties en trois grands volets :

  • Les programmes statistiques et administratifs;
  • Les produits et services;
  • Les initiatives et projets spéciaux.

Tableau 4: Enquêtes et produits de données clés du Programme de la statistique de la santé

Programmes statistiques
Programmes statistiques
Enquête sur la santé dans les collectivités canadiennes (ESCC) L'ESCC est l'enquête vedette sur la santé de la population au Canada depuis 2000. Elle comprend deux composantes : une composante annuelle, qui englobe une vaste gamme de sujets liés à la santé, et des enquêtes thématiques périodiques, qui portent sur un sujet ou une sous-population de façon approfondie. L'objectif de la composante annuelle est d'appuyer la surveillance de la santé, grâce à des estimations transversales des déterminants de la santé, de l'état de santé et de l'utilisation du système de santé pour les régions sociosanitaires infraprovinciales au Canada. L'objectif premier des composantes du contenu thématique est d'appuyer la recherche et l'élaboration de politiques en santé, grâce à un examen approfondi d'un sujet particulier, comme la santé mentale ou la nutrition, ou d'une sous-population particulière, comme les personnes âgées. Par exemple, l'ESCC produit chaque année environ trois fichiers de données, une douzaine de feuillets d'information et deux tableaux du Système canadien d'information socioéconomique (CANSIM).
Enquête canadienne sur les mesures de la santé (ECMS) L'ECMS a été lancée en mars 2007, en partenariat avec SC et l'ASPC, afin d'élargir l'infrastructure requise pour recueillir des mesures physiques auprès des participants (analyses en laboratoire, mesures scientifiques, professionnels de la santé), ainsi que l'expertise du PSS. L'enquête recueille des renseignements importants sur la santé sous forme de données autodéclarées et de mesures physiques directes. Dans le cadre de la collecte des données de l'enquête, de petites quantités de sang et d'urine sont prélevées auprès des répondants ayant donné leur consentement et sont entreposées au Laboratoire national de microbiologie, à Winnipeg, en vue de leur utilisation dans de futures études sur la santé représentant une priorité nationale. De plus, des échantillons d'ADN sont prélevés sur des participants et sont entreposés, avec le consentement de ces derniers. Les échantillons biologiques sont mis à la disposition, par l'entremise du processus de gouvernance de la biobanque de l'ECMS, de tout chercheur canadien qui se soumet à un processus d'examen rigoureux et qui démontre que ses recherches tireraient profit d'une enquête nationale sur la population auprès d'environ 5 600 participants par cycle et qu'elles fourniraient des avantages intéressants pour le public.
L'ECMS vise à élargir l'infrastructure requise pour recueillir des mesures physiques auprès des participants à un centre d'examen mobile, ainsi qu'à élargir l'expertise pour inclure le PSS. L'ECMS marque une nouvelle étape en vue de combler les lacunes dans le système d'information sur la santé, étant donné que certains problèmes de santé importants ne peuvent être contrôlés sans mesures physiques directes (p. ex. le syndrome métabolique, l'exposition aux contaminants environnementaux et l'activité physique).
Programmes administratifs
Programmes administratifs
Statistique de l'état civil À partir des fichiers de données administratives des registres de l'état civil de chaque province et territoire, le Programme de la statistique de l'état civil produit des données annuelles sur le nombre de naissances, de décès et de mortinaissances enregistrés au Canada, sur la base d'un ensemble uniforme de variables pour chaque type d'événement.
Programme de la statistique du cancer Le Registre canadien du cancer repose sur une enquête administrative annuelle qui recueille des données sur l'incidence du cancer au Canada, à partir des registres provinciaux et territoriaux du cancer. Il offre une base nationale de données normalisées et comparables permettant d'observer les profils et les tendances du cancer, comme l'incidence du cancer et la survie au cancer. Il contient des données sur tous les résidents du Canada vivants ou décédés chez lesquels on a diagnostiqué un cancer à partir de 1992. Au cours des dernières années, des données sur le stade du cancer ont été ajoutées progressivement au registre pour un petit nombre de sites cancéreux.
Produits et services
Produits et services
Intégration et analyse Cette activité, souvent effectuée au moyen de couplages d'enregistrements, vise à intégrer de nombreuses sources de données sur la santé afin de créer des produits analytiques, ainsi que des indicateurs clés portant sur l'état de santé, les déterminants de la santé, le rendement du système de santé et les caractéristiques de la collectivité et du système de santé. La Section de l'intégration et de l'analyse est également responsable des analyses des projets à recouvrement des coûts, comme l'Enquête sur la santé mentale dans les Forces canadiennes de 2013.
La Section réalise également des études à long terme sur le couplage d'enregistrements sur la santé pour des clients contre recouvrement des coûts, en s'appuyant sur les données sur les naissances, les décès et le cancer. Les études analytiques peuvent porter sur les résultats en matière de santé de diverses cohortes professionnelles, environnementales et cliniques; les résultats étant utilisés pour passer en revue et définir les lignes directrices en matière d'exposition, pour déterminer les avantages à long terme des traitements et pour assurer le suivi des indicateurs de la santé. La Section de l'intégration et de l'analyse est également responsable du Programme des indicateurs de la santé, qui comprend plus de 80 indicateurs mesurant la santé des Canadiens, en fournissant des renseignements comparables sur la santé au niveau de la région sociosanitaire et de la province ou du territoire. 
Services à la clientèle et diffusion Ce secteur est responsable du traitement des demandes de renseignements sur la disponibilité des données et l'accès à ces dernières, les concepts, les définitions et l'utilisation des données, les extractions personnalisées à frais recouvrables, ainsi que les services d'accès à distance et la fourniture de fichiers de microdonnées à grande diffusion aux utilisateurs. En outre, les activités de diffusion comprennent l'élaboration du portail Web de La Santé au Canada et les données de CANSIM.
Produits et services
Initiatives et projets spéciaux
Système national d'acheminement (SNA) Le SNA, qui a vu le jour en 2005-2006, vise à faciliter le transfert des données de l'état civil (p. ex. naissances et décès) entre les organismes provinciaux et territoriaux qui créent les enregistrements et les ministères et organismes fédéraux qui les utilisent. Plutôt que de procéder à des mises à jour en lots à divers moments au cours de l'année, les données sont transférées électroniquement et de façon sécuritaire dès que l'événement est enregistré, ce qui améliore considérablement l'actualité. Le SNA est un ensemble de normes utilisé pour transmettre les données à Statistique Canada, à l'Agence du revenu du Canada et à Emploi et Développement social Canada. 
Base canadienne de données des coroners et des médecins légistes (BCDCML) Ce projet, qui est en cours depuis 2004-2005 sur une base périodique, vise à fournir des données uniformisées sur les circonstances entourant le sous-ensemble des décès qui sont déclarés aux coroners et aux médecins légistes au Canada. La BCDCML représente une étape importante pour combler une lacune statistique et éclaire de nombreuses discussions en aval sur les politiques et les programmes.
Programme d'enquête sur les problèmes neurologiques Le programme d'enquête sur les problèmes neurologiques comprend deux composantes distinctes à frais recouvrables. La première est l'Enquête sur les personnes ayant des problèmes neurologiques au Canada, qui vise à évaluer les taux de 19 problèmes neurologiques dans la population en général, ainsi que leurs répercussions sur les divers aspects de la vie. La deuxième composante est une enquête institutionnelle, qui vise à produire des taux pour les 19 mêmes problèmes neurologiques, en établissements, selon le groupe d'âge et le sexe, ainsi que les caractéristiques des établissements. Ce programme, amorcé en 2009-2010, corrige une lacune majeure dans les données, puisqu'on n'a jamais auparavant eu accès aux taux de problèmes neurologiques au Canada et que l'on sait peu de choses concernant les caractéristiques de base des personnes vivant en établissement. Ce programme est mené sur une base occasionnelle.
Enquête sur les personnes ayant une maladie chronique au Canada (EPMCC) L'EPMCC est une enquête récurrente à recouvrement des coûts qui a été entreprise en 2007-2008 et qui a été répétée tous les trois ans. Elle étudie deux types différents de maladies chroniques par cycle et fournit des données sur les répercussions de ces maladies, ainsi que sur la façon dont les personnes se traitent.
Enquête sur les établissements de soins de longue durée (EESLD) L'EESLD est réalisée par Statistique Canada contre recouvrement des coûts et sur une base occasionnelle. Elle recueille des renseignements importants sur les établissements qui fournissent des soins aux résidents ayant des besoins en matière de santé physique et cognitive. L'enquête interroge les administrateurs des établissements au sujet des caractéristiques de leurs résidents, comme leur âge, leur sexe et le niveau de soins requis. Les administrateurs doivent également fournir des renseignements statistiques et financiers au sujet du fonctionnement de leurs établissements. Statistique Canada se sert de l'information de cette enquête pour améliorer les connaissances sur le secteur de la santé et la façon dont il contribue à l'économie canadienne.
Enquête canadienne sur la santé des enfants et des jeunes (ECSEJ) Un projet pilote pour l'ECSEJ est en cours d'élaboration avec la collaboration de SC et de l'ASPC. L'enquête comportera plusieurs composantes de la santé et d'autres facteurs connexes pour les enfants de 1 à 17 ans, ce qui comblera une importante lacune statistique dans le domaine de l'information sur la santé. L'enquête pilote sera réalisée à l'automne 2016, tandis que la première itération de l'enquête principale serait en 2018 ou en 2019. La contribution financière de l'ASPC a été confirmée pour les premières itérations de l'enquête, qui sera réalisée tous les trois ans.

Anexe 3: Modèle logique du Programme de la statistique de la santé

Le modèle logique du programme présenté au graphique 4 ci-après repose sur le Cadre d'assurance de la qualitéFootnote 64de Statistique Canada, qui décrit les six dimensions de la gestion de la qualité de tous les renseignements et produits statistiques (c.-à-d. l'accessibilité, l'actualité, l'exactitude, la possibilité d'interprétation, la cohérence et la pertinence). Le modèle logique est également aligné sur le Cadre de gestion organisationnelFootnote 65 de Statistique Canada, qui illustre comment l'organisme atteint ses résultats stratégiques. Les six dimensions de la gestion de la qualité sont intégrées aux cadres en tant que moteurs suivant un ordre hiérarchique; de l'accès à la qualité (y compris l'exactitude, la possibilité d'interprétation et la cohérence) puis à la pertinenceFootnote 66

Graphique 4 : Modèle logique du Programme de la statistique de la santé

Graphique 4 : Modèle logique du Programme de la statistique de la santé
Graphique 4 : Modèle logique du Programme de la statistique de la santé

Cette figure illustre le modèle logique du Programme de la statistique de la santé. Il est divisé en six couches et montre comment chacune contribue de manière ascendante pour atteindre le résultat ultime. Les six couches sont, de la couche supérieure à la couche inférieure : résultat ultime, résultat intermédiaire, résultat immédiat, extrants, activités et intrants.
Le résultat ultime est que les Canadiens et les secteurs public et privé utilisent des renseignements statistiques pour éclairer le débat public, la recherche et la prise de décisions. Il est au haut du modèle.
Le résultat immédiat est que les Canadiens et les secteurs public et privé ont accès à des renseignements statistiques sur la santé de qualité et à des services de soutien connexes.
Il y a deux extrants : les produits statistiques qui comprennent les ensembles de données, les produits analytiques, la recherche, les conseils et l'expertise, et les produits et services personnalisés.
Il y a deux types d'activités : les activités de base propres au programme selon le MGPPS qui vise à préciser les besoins, concevoir, construire, recueillir, traiter, analyser, diffuser et évaluer; et les activités liées au recouvrement des coûts selon le MGPPS.
Les intrants sont les données particulières propres au programme et les intrants de l'infrastructure. Ils comprennent les intrants du domaine spécialisé, outils, infrastructure des TI, ressources, normes, principes méthodologiques et lignes directrices. Les intrants sont la couche inférieure.
Le MGPPS mentionné dans les activités est le Modèle générique du processus de production statistique.
Pour ce qui est de la qualité telle que mentionnée dans le résultat immédiat, Statistique Canada définit la qualité de l'information en fonction de l'adaptation des données à leur utilisation. Il s'agit d'un concept multidimensionnel englobant la pertinence des données en regard des besoins de l'utilisateur, ainsi que des caractéristiques influant sur la façon dont les données peuvent être utilisées, comme l'exactitude, l'actualité, l'accessibilité, l'intelligibilité et la cohérence.

Annexe 4: Enjeux et questions d'évaluation

Tableau 5: Questions d'évaluation de base
Pertinence
Enjeu no 1            Besoin continu du programme – Évaluation de la mesure dans laquelle le programme continu de répondre à un besoin démontrable et est réceptif aux besoins des Canadiens
Y a-t-il un besoin continu pour ce programme?
Enjeu no 2            Conformité aux priorités du gouvernement – Évaluation des liens entre les objectifs du programme et (i) les priorités du gouvernement fédéral et (ii) les résultats ministériels stratégiques
Le programme suit-il et soutient-il les priorités passées et actuelles du gouvernement du Canada, y compris les priorités des ministères fédéraux participants clés? Y a-t-il des lacunes?
Le programme permet-il d'atteindre les résultats stratégiques de Statistique Canada?
Enjeu no 3            Harmonisation avec les rôles et responsabilités du gouvernement fédéral – Évaluation du rôle et des responsabilités du gouvernement fédéral relativement à l'exécution du programme
Est-ce que les rôles et responsabilités actuels du gouvernement fédéral conviennent à la prestation du programme?
Rendement
Enjeu no 4            Réalisation des résultats escomptés – Évaluation des progrès réalisés dans l'atteinte des résultats escomptés par rapport aux cibles de rendement et à la portée du programme; évaluation de la conception du programme, y compris les liens                                  et la contribution des extrants aux résultats
Dans quelle mesure les Canadiens et les secteurs public et privé ont-ils accès à des renseignements statistiques de qualité et à des services de soutien connexes? (Résultat immédiat) Quel est le degré d'actualité, d'exactitude, de possibilité d'interprétation, de cohérence et d'accessibilité des renseignements statistiques du programme?

Dans quelle mesure les besoins des Canadiens et des secteurs public et privé sont-ils satisfaits par les renseignements statistiques? (Résultat intermédiaire)

  • Comment le programme répond-il aux besoins et aux priorités démontrables, ainsi qu'aux préoccupations et aux besoins émergents de différents groupes d'intervenants?
  • La réponse comporte-t-elle des lacunes?

Dans quelle mesure les Canadiens et les secteurs public et privé utilisent-ils des renseignements statistiques pour éclairer le débat public, la recherche et la prise de décisions? (Résultat final)

  • Qui sont les utilisateurs des renseignements du PSS, et comment les secteurs d'utilisation attribuables au PSS se comparent-ils aux secteurs d'utilisation éclairés par d'autres sources?
Enjeu no 5            Efficience et économie – Évaluation de l'utilisation des ressources relativement à la production des extrants et aux progrès réalisés concernant l'atteinte des résultats escomptés
Dans quelle mesure et comment les ressources du programme sont-elles utilisées pour générer les résultats et produits escomptés?
Y a-t-il une autre méthode valable pour produire les résultats et utiliser les ressources du programme?

Annexe 5: Stratégie d'évaluation

Pour chaque question, l'évaluation s'appuyait sur des sources de données multiples composées de méthodes quantitatives et qualitatives de collecte de données, décrites ci-après. Les sources de données multiples fournissent de l'information de différentes perspectives, ce qui facilite la triangulation et la validation des constatations de l'évaluation et ce qui augmente par le fait même leur exactitude et leur crédibilité, tout en renforçant la validité des conclusions.

L'évaluation reposait sur les approches suivantes :

  • Approche axée sur les résultats : Évaluer les progrès réalisés par les composantes du programme en vue d'obtenir les résultats escomptés, et déterminer si les ressources étaient adéquates et si les possibilités d'amélioration ont été exploitées;
  • Approche axée sur l'utilisation : Orienter certaines parties de l'évaluation vers des aspects du programme sélectionnés en fonction du besoin des utilisateurs principaux, à des fins particulières et pour la prise de décisions. Cette approche nécessite une consultation préliminaire de l'équipe de direction du programme pour discuter des problèmes et des questions d'évaluation, de l'approche et de la portée, et pour cerner les composantes potentielles

Méthodes de collecte des données

Revue de la documentation

La revue de la documentation consistait en l'examen, la synthèse et l'analyse des données de documents pertinents pour donner une idée complète du programme et pour répondre aux questions de l'évaluation. Les documents comprenaient, entre autres :

  • Documents propres au Programme de la statistique de la santé (PSS), comme les plans opérationnels, les ententes et les protocoles d'entente, les publications, les études spéciales, les demandes du Système de gestion des relations avec les clients, les résultats du sondage de satisfaction des clients du PSS, les procès-verbaux des comités, les présentations, les fichiers des projets et des enquêtes et d'autres types de documents (comme les inventaires des communiqués de presse du PSS) liés à cette évaluation;
  • Documentation relative aux politiques, comme les mémoires au Cabinet, les présentations au Conseil du Trésor, les plans stratégiques, les rapports sur le rendement (Rapport quadriennal de programme, Rapport biennal du programme), la stratégie de mesure du rendement du PSS, les rapports de vérification et d'évaluation (de Statistique Canada ou d'autres ministères), et les autres documents faisant mention du PSS (p. ex. documents d'examen ministériel, discours du Trône, budgets fédéraux, lois, énoncés de politique, rapports du Bureau de la vérificatrice générale, etc.).

Cet examen comprenait également des rapports ciblés et des publications du gouvernement fédéral (p. ex. Santé Canada, l'Agence de la santé publique du Canada, les Instituts de recherche en santé du Canada, etc.) et d'autres établissements canadiens. Ces documents servaient de source de données pour les enjeux et les questions de l'évaluation. L'examen comprenait également des publications de partenaires internationaux, comme l'Organisation mondiale de la Santé et l'Organisation de coopération et de développement économiques, afin d'évaluer la qualité des renseignements statistiques de Statistique Canada comparativement aux normes internationales, et de trouver des solutions de rechange potentielles.

Examen des données financières et administratives

Les sources suivantes, entre autres, ont été examinées dans le cadre de l'examen des données :

  • Bases de données et documents financiers et administratifs liés aux opérations et aux activités du PSS, comme le système de demandes financières;
  • Données associées à la publication et à la diffusion de produits du PSS;
  • Données relatives à la qualité des produits générés par le PSS;
  • Information au sujet des demandes de données et des services de soutien fournis aux utilisateurs par le PSS;
  • Information au sujet de l'exposition des renseignements statistiques dans les médias traditionnels et dans les médias sociaux;
  • Ententes et protocoles d'entente en ce qui a trait au partage de données et aux activités à recouvrement des coûts.

Cet examen a été entrepris pour fournir une description complète du programme et de ses ressources, pour évaluer la réalisation de ses produits et résultats, y compris en matière d'efficience et d'économie, et pour éclairer l'analyse et le rapport final.

Sondage auprès des répondants clés

Quarante sondages ont été réalisés auprès de 51 répondants clés, et deux réponses écrites représentant sept répondants ont été analysées pour obtenir des renseignements détaillés sur les enjeux et les questions de l'évaluation. La sélection des participants a été faite en fonction de leur expertise et de leur rôle dans la gestion et la prestation du PSS. Les intervenants qui tirent profit des activités du programme ont également été inclus.

Tableau 6: Répondants clés, par catégorie
Catégories de répondants Nombre d'interviews Nombre total de participants
Conseillers 1 1
Experts 6 7
Utilisateurs (CDR) 8 8
Utilisateurs (secteur public) 7 8
Utilisateurs (partenaires fédéraux clés) 8 15
Utilisateurs (internes) 3 5
Répondants (internes) 7 7
Total 40 51
Catégories de répondants pour les réponses écrites Nombre de réponses Nombre d'entités
Utilisateurs (partenaires fédéraux clés) 2 7

Sondage auprès des utilisateurs clés

Un sondage en ligne auprès des utilisateurs a été réalisé dans le cadre de l'évaluation. La population cible pour ce sondage était les utilisateurs des renseignements statistiques produits et diffusés par la Division de la statistique de la santé. Les personnes qui ont pris part aux interviews pour le compte de répondants clés n'ont pas été invitées à participer au sondage, afin d'alléger le fardeau de réponse.

L'objectif était d'évaluer leurs besoins passés, actuels et futurs et leur niveau de satisfaction à l'égard des données et du service offert. L'échantillon se composait de noms tirés de la liste d'utilisateurs clés du programme et du Système de gestion des relations avec les clients (SGRC) et de toute autre source, comme la liste de sensibilisation des utilisateurs des bureaux régionaux. L'intention n'était pas de construire un échantillon représentatif d'utilisateurs. Il s'agissait plutôt d'atteindre le plus grand nombre possible d'entre eux pour brosser un tableau net.

Au total, 2 911 utilisateurs ont reçu un courriel les invitant à participer au sondage. De ce nombre, 402 courriels ont été rejetés, laissant ainsi 2 511 utilisateurs ayant effectivement reçu une invitation. Au total, 345 personnes ont répondu à toutes les questions du sondage. Toutefois, seulement 325 personnes ont indiqué qu'elles avaient accédé à des renseignements statistiques sur la santé. En conséquence, les résultats dans ce rapport reposent sur ces 325 répondants. Ainsi, le taux de réponse à ce sondage était de 12,94 % (325/2 511).

Analyse bibliométrique et webométrique

Cette méthode de collecte de données est une source d'information pour l'évaluation des résultats du programme de haut niveau qui sont liés à l'utilisation de renseignements statistiques. Les difficultés fréquentes à fournir des données probantes robustes pour l'utilisation des produits statistiques des programmes ont trait au fait que la contribution de Statistique Canada aux résultats du gouvernement fédéral est aussi bien directe, en éclairant le débat public et la prise de décisions sur les affaires économiques, sociales, internationales et gouvernementales, qu'indirecte, en soutenant la formulation, la mise en œuvre et l'évaluation de politiques au sein du gouvernement fédéral.Footnote 67 Par ailleurs, la bonne réputation de Statistique Canada et la confiance élevée du public à son égard sont fondées sur sa neutralité en ce qui concerne l'utilisation des renseignements. Par conséquent, l'organisme a seulement une influence limitée sur la façon dont les renseignements statistiques et les produits analytiques sont utilisés ainsi que sur leurs répercussions pour la société. En outre, les utilisateurs n'ont aucune obligation ou responsabilité d'expliquer à Statistique Canada comment ils utilisent les données et les renseignements de Statistique Canada. Les méthodes bibliométriques et/ou webométriques ont le potentiel d'être une bonne source de données pour les études d'évaluation avec la mesure de l'« utilisation ».

Les méthodes bibliographiques sont en gros définies comme un ensemble de méthodes et de procédures utilisées pour mesurer les références bibliographiques. On peut les utiliser pour mesurer la production scientifique (scientométrie; les articles publiés dans les revues scientifiques constituent l'unité de mesure de base) et les extrants technologiques (technimétrie; les brevets constituent l'unité de mesure de base). Plus rarement, on peut adapter les méthodes bibliométriques de manière à quantifier les répercussions des publications sur un public comportant des caractéristiques spécifiques (comme le milieu universitaire).

Cette évaluation mesure l'utilisation des données et des publications du PSS dans la littérature scientifique en fonction des méthodes bibliométriques. Elle cherche à : 1) mesurer l'incidence des produits scientifiques (publications) du programme sur les travaux de chercheurs canadiens et internationaux, 2) déterminer les établissements, secteurs, pays et disciplines scientifiques des auteurs et 3) établir les types de collaborations scientifiques qui sont formées pour l'utilisation des données du programme.

Lorsque les méthodes bibliométriques peuvent être modifiées pour mesurer les références et les citations dans les sites Web et les médias sociaux, on parle de webométrie. En pareil cas, les unités de mesure de base sont les hyperliens. Dans la présente étude d'évaluation, la webométrie mesure l'incidence des produits et des publications du PSS dans des milieux spécialisés et dans le grand public. On a procédé à cette évaluation en analysant le Web en général