Il est nécessaire de disposer de statistiques économiques et sociales fiables pour élaborer des politiques fondées sur des données probantes, prendre des décisions efficaces et mieux mesurer les résultats du développement. Pour cette raison, il est essentiel d'accroître les capacités statistiques des pays émergents.
Statistique Canada a conclu avec l'Agence canadienne de développement international une entente de coopération internationale pour aider à améliorer la compétence des gestionnaires des organismes statistiques nationaux de certains pays d'Afrique, d'Amérique latine et des Caraïbes. Le Programme international en gestion des organismes statistiques — qui a commencé en 2011 et pris fin en mars 2016 — est l'un des éléments de l'entente signée par la Division de la coopération internationale.
Ce programme avait pour but de combler les lacunes identifiées en matière de direction et de gestion des organismes et systèmes statistiques nationaux dans plus de 40 pays participants d'Afrique, d'Amérique latine et des Caraïbes. Le programme a visé non seulement l'acquisition de connaissances en gestion, mais aussi le développement et la responsabilité continus à l'échelle locale. Après un séjour de deux semaines de formation à Ottawa, les participants au programme et leur organisme statistique ont continué de travailler avec Statistique Canada à l'élaboration des plans d'action organisationnels pour mettre en pratique ce qu'ils ont appris durant le projet de formation. Statistique Canada a suivi de près la mise en œuvre de ces plans d'action nationaux, laquelle s'est étendue sur une période de deux ans
Statistique Canada collabore avec le Bureau national de la statistique (BNS) de la Chine depuis de nombreuses années dans le cadre du Programme de gestion de l’information statistique (PGIS), qui a appuyé l’établissement d’une capacité statistique en Chine et accordé une attention spéciale à l’aspect pérennité des activités, en veillant à ce que le BNS ait à la fois les connaissances nécessaires pour appliquer les résultats des projets et l’intention de le faire.
La première phase du PGIS (PGIS I), de 1996 à 2004, portait sur la comptabilité nationale, les enquêtes-ménages, un cours de base sur les enquêtes et la gestion des ressources.
Le PGIS II, de 2005 à février 2013, a également été financé selon la méthode du recouvrement des coûts, à l’aide de fonds obtenus de l’Agence canadienne de développement international et du ministère du Commerce de la Chine. Il portait sur quatre grandes composantes : un projet de la statistique sociale visant à intégrer des enquêtes-ménages menées dans les régions rurales et urbaines; un projet de la statistique économique visant à créer une structure d’enquêtes économiques afin de permettre l’amélioration des estimations du produit intérieur brut; un projet de la statistique de l’environnement pour l’amélioration des statistiques environnementales en vue de créer des comptes environnementaux; et une composante globale de gestion. Statistique Canada et le BNS ont décidé de poursuivre leur collaboration et ont signé un protocole d’entente (PE) en mars 2013.
Ce PE fait état de deux grands projets de collaboration : architecture opérationnelle du bureau et assurance de la qualité pour les enquêtes-ménages. En outre, on y énonce que Statistique Canada participera, à l’occasion, à des ateliers organisés par le Centre international de formation statistique de la Chine du BNS.
Statistique Canada offre de l'assistance technique à des organismes internationaux et à des bureaux et des systèmes statistiques de pays étrangers, par l'entremise de deux principaux types d'activités :
l'assistance technique sur place dans d'autres pays, dans le cadre de missions uniques ou de projets plus vastes;
l'assistance technique interne, au moyen de formation formelle ou de brèves visites d'études.
Les activités d'assistance technique de Statistique Canada sont conçues pour aider d'autres pays à mettre sur pied leur propre système statistique national et pour leur donner les renseignements dont ils ont besoin en vue de surveiller leurs programmes sociaux et économiques. Cette assistance contribue à améliorer la qualité du système statistique international, ce qui est important pour la communauté mondiale, et permet d'assurer une plus grande comparabilité internationale entre les divers domaines statistiques.
En apportant de l'assistance technique, Statistique Canada améliore sa compréhension des besoins statistiques des pays en développement, ce qui l'aide à s'acquitter de ses responsabilités mondiales.
Pour obtenir de plus amples renseignements; veuillez communiquer avec l'équipe de la Coopération internationale.
Les relations multilatérales sont des activités qui se déroulent sous l'égide d'un organisme international. La plupart des organismes internationaux importants ont leur propre programme statistique et le personnel de secrétariat s'y rattachant; le Canada est membre de la plupart de ces organismes, et la participation de Statistique Canada aux activités statistiques multilatérales est considérable.
Le cœur des activités statistiques multilatérales est l'Organisation des Nations Unies et sa famille d'institutions. La Commission de statistique des Nations Unies se rassemble une fois l'an et elle est desservie par la Division de la statistique des Nations Unies. L'ordre du jour des réunions comprend divers sujets liés aux statistiques économiques, sociales et environnementales, à la classification, à l'examen de programmes statistiques, aux indicateurs de développement, et à d'autres sujets d'une importance actuelle ou croissante.
L'Organisation de coopération et de développement économiques (OCDE) est aussi très active dans le domaine de la statistique. Certains de ses groupes d'experts effectuent régulièrement, pour Statistique Canada, des travaux pertinents dans les domaines de la comptabilité nationale, de la classification, de la statistique environnementale et de la statistique sociale. Statistique Canada fait partie de plusieurs de ces groupes d'experts.
Pour obtenir de plus amples enseignements; veuillez communiquer avec l'équipe des Relations multilatérales.
Depuis sa création en 1918, Statistique Canada (anciennement le Bureau fédéral de la statistique) collabore avec des organismes internationaux afin d'améliorer la capacité statistique au Canada et dans le monde.
Le mandat international de Statistique Canada
En ce qui concerne sa mobilisation dans le cadre d'initiatives et d'activités internationales, Statistique Canada adopte une approche ciblée et collaborative qui favorise l'innovation, afin de respecter ses obligations en tant que chef de file reconnu mondialement dans le domaine de la statistique, et ce, par :
sa participation active à l'élaboration de méthodes, de normes et de techniques statistiques comparables à l'échelle internationale;
son appui en vue d'une gouvernance et d'une responsabilisation solide;
un soutien pour le renforcement de la capacité statistique internationalement au moyen d'une assistance technique durable.
Statistique Canada travaille sans relâche pour s'assurer que ces activités sont exécutées selon les normes les plus élevées, et ce, afin de s'acquitter de son mandat organisationnel et de renforcer sa réputation.
Statistique Canada travaille en étroite collaboration avec Affaires mondiales Canada, l'Organisation des Nations Unies, l'Organisation de coopération et de développement économiques (OCDE) et d'autres organismes internationaux et multilatéraux. Statistique Canada réalise également des activités bilatérales régionales en partenariat avec des régions et des pays précis partout dans le monde.
L'accroissement des capacités statistiques des pays en développement et la collaboration avec d'autres organismes statistiques permettent à Statistique Canada de demeurer un chef de file mondial en matière de renseignements, de normes et de pratiques statistiques.
Le plan prospectif de la réglementation se présente sous la forme d'une liste ou d'une description, accessible au public, qui répertorie les modifications réglementaires qu'un ministère entend, effectivement ou potentiellement, apporter dans un délai établi. Il a pour objet de donner aux consommateurs, aux entreprises ainsi qu'aux autres intervenants et partenaires commerciaux la possibilité d'intervenir au niveau de l'élaboration des règlements et de planifier l'avenir. Il importe néanmoins de noter que ce plan est appelé à être modifié et mis à jour au fur et à mesure que le contexte opérationnel de Statistique Canada évolue.
Le présent plan fournit des renseignements sur les initiatives de réglementation prévues ou possibles que Statistique Canada entend, effectivement ou potentiellement, mener au cours des deux prochaines années. Il décrit également les possibilités de consultation publique et fournir des renseignements relatifs à la personne ressource du ministère pour chacune de ces initiatives.
Plan prospectif de la réglementation : 2025-2027
Le présent plan fournit des renseignements sur les propositions de réglementation que Statistique Canada compte présenter au cours des deux prochaines années. Il décrit également les possibilités de consultation publique et contient des informations sur la personne-ressource du ministère pour chacune des initiatives de réglementation.
Initiatives de réglementation proposées
Il n'y a aucune initiative de réglementation proposée pour les années 2025-2027. Cette information est à jour en date du 1er août 2024.
Melanie Forsberg
Directrice générale, Dirigeante des ressources humaines et Dirigeante principale de la sécurité
Téléphone : 613-790-3921
Courriel : melanie.forsberg@statcan.gc.ca
Renseignements organisationnels en RH, Mieux-être et Transformation
Katy Champagne (she / Elle)
Statisticienne en chef adjointe des solutions numériques et DPI
Téléphone : 613-293-7029
Courriel : katy.champagne@statcan.gc.ca
Annexe 1: Schéma des processus de l'Enquête canadienne sur les mesures de la santé
Annexe 2: Modèle logique composite pour toutes les activités prévues dans le Plan d'action
Annexe 3: Matrice d'évaluation de l'Enquête canadienne sur les mesures de la santé (ECMS)
Annexe 4: Liste des publications qui ont fait partie de l'examen de la documentation
Tableaux
Tableau 1 Principales activités et tâches connexes menées dans le cadre de l'Enquête canadienne sur les mesures de la santé, cycles 1 à 3
Tableau 2 Critères d'évaluation et questions connexes
Tableau 3 Interviews individuelles et collectives prévues et réalisées
Tableau 4 Exemples d'initiatives ayant mené à un besoin accru d'une enquête comprenant des mesures physiques directes
Tableau 5 Exposition aux contaminants de l'environnement dans le cadre de l'Enquête canadienne sur les mesures de la santé : Nombre de paramètres mesurés par cycle, par catégorie et par source
Tableau 6 État des extrants en août 2012
Tableau 7 Participation des médias, de janvier 2010 à mars 2012
Tableau 8 Visites du site Web, d'avril 2009 à décembre 2011
Tableau 9 Demandes de données, de renseignements et de tableaux personnalisés
Tableau 10 Utilisation des données de l'Enquête canadienne sur les mesures de la santé
Tableau 11 Nombre d'équivalents temps plein
Graphiques
Graphique 1 Partenaires fédéraux du Plan d'action
Graphique 2 Total des ressources affectées à l'Enquête canadienne sur les mesures de la santé (financement de base et financement externe par recouvrement des coûts), de 2007-2008 à 2012-2013
Graphique 3 Financement de base, avril 2012
Graphique 4 Financement externe par recouvrement des coûts, avril 2012
Figures
Figure 1 : Modele logique de l'enquête canadienne sur les mesures de la santé
Liste des acronymes
Tableau 0 - Liste des acronymes
Acronyme
Description
AC
anomalies congénitales
AQ/CQ
Assurance et contrôle de la qualité
ASPC
Agence de la santé publique du Canada
CDR
centre de données de recherche
CEM
centre d'examen mobile
CER
Comité d'éthique de la recherche
CT
Conseil du Trésor
DGAPCC
Direction générale des affaires publiques, de la consultation et des communications
DGSESC
Direction générale de la santé environnementale et de la sécurité des consommateurs
DGSPNI
Direction générale de la santé des Premières Nations et des Inuits
DSS
Division de la statistique de la santé
ECMS
Enquête canadienne sur les mesures de la santé
ETP
équivalent temps plein
IC
informateur clé
NHANES
National Health and Nutrition Examination Survey (États-Unis)
PN
Premières Nations
PSSPC
Programme des statistiques sur la santé de la population canadienne
P-T
provincial et territorial; provinces et territoires
SC
Santé Canada
SCT
Secrétariat du Conseil du Trésor
SGF
Système de gestion financière
TD
troubles du développement
Résumé
Le présent rapport rend compte des résultats de l'évaluation de l'Enquête canadienne sur les mesures de la santé (ECMS), qui s'est déroulée d'avril à octobre 2012. Il fournit des renseignements crédibles et neutres sur la pertinence et le rendement continus des activités de Statistique Canada au titre de l'ECMS. L'évaluation porte sur la période allant de 2007-2008 à 2012-2013 et comprend l'examen des cinq questions fondamentales définies par le Secrétariat du Conseil du Trésor dans la Politique sur l'évaluation.
Contexte
L'ECMS est la première enquête canadienne comportant des mesures directes et représentatives de la santé de la population au niveau national. Elle a été lancée en 2007 afin de combler des lacunes de longue date au sein du système canadien d'information sur la santé. Elle vise principalement à recueillir des données nouvelles et importantes sur l'état de santé de la population canadienne en :
fournissant la plateforme et l'infrastructure nécessaires pour obtenir des données au moyen de mesures physiques et de laboratoire afin de répondre aux nouveaux besoins de plusieurs directions générales de Santé Canada (SC) et de l'Agence de la santé publique du Canada (ASPC), ainsi que pour réaliser des études complémentaires;
recueillant et diffusant des données sur les mesures directes de la santé, y compris sur les contaminants de l'environnement;
offrant l'accès aux données nationales représentatives pour favoriser la recherche au moyen de données sur les mesures directes de la santé.
Modèle et méthodologie de l'évaluation
L'évaluation a été réalisée en conformité avec les Normes d'évaluation pour le gouvernement du Canada du Secrétariat du Conseil du Trésor (SCT). Le modèle de l'évaluation, les activités et ressources connexes ont été calibrés en tenant compte de l'évaluation horizontale de synthèse, à laquelle serviront les résultats de la présente évaluation. Pour évaluer l'ECMS, les enjeux et questions de la matrice d'évaluation horizontale du Plan d'action ont été légèrement révisés afin de mieux tenir compte des questions d'évaluation et des indicateurs qui s'appliquent à Statistique Canada.
L'approche adoptée pour évaluer l'ECMS est fondée sur la théorie et sur une conception non expérimentale faisant appel à des données de post-collecte. Les résultats sont obtenus à partir de nombreux éléments de preuve : examen de documents et de publications, examen de données administratives et financières, et réalisation d'une série d'interviews auprès d'informateurs clés et d'une enquête auprès des principaux utilisateurs des données.
Le niveau d'effort consacré à l'évaluation vise un juste équilibre entre les ressources utilisées et le contexte. Néanmoins, à cause de certains éléments contextuels et de ressources limitées, l'évaluation est assortie d'un certain nombre de contraintes :
Moment de l'évaluation – Les résultats sont limités par le degré d'achèvement des cycles de l'ECMS (seul le cycle 1 était entièrement achevé au moment de l'évaluation).
Mesure des résultats – La disponibilité des données sur le rendement recueillies de façon systématique et continue en vertu du cadre de mesure du rendement prévu dans le plan d'action élaboré en 2009 était limitée.
Interviews – Un nombre limité d'interviews auprès d'informateurs clés ont été réalisées; cette contrainte peut toutefois être atténuée durant l'évaluation de synthèse si l'équipe responsable de SC le juge nécessaire.
Examen des documents et des données – L'évaluation de l'efficience et de l'économie du programme de l'ECMS a présenté quelques défis. La pratique consistant à compiler les données financières en fonction de l'exercice plutôt que du cycle, l'absence de données de référence sur les coûts et les ressources utilisées pour chaque catégorie d'extrants produits et l'absence de données sur des enquêtes similaires ont notamment affecté le caractère concluant des données d'évaluation.
Principaux résultats
Pertinence
L'ECMS est un programme unique au Canada, qui offre des données sur des mesures directes de la santé pour soutenir la recherche, l'élaboration de politiques et la prise de décisions en matière de santé. Il est clair que le programme est pertinent pour les Canadiens et les organismes de santé, et qu'il est nécessaire à l'heure actuelle et continuera de l'être à l'avenir. Même si la majorité des répondants estiment que l'ECMS répond aux besoins actuels et nouveaux en matière de contenu, il n'y a jamais eu de plan de contenu développé pour l'ECMS.
L'ECMS s'inscrit bien dans les priorités du gouvernement fédéral et de Statistique Canada. Le gouvernement fédéral est le mieux placé pour réaliser l'ECMS, et comme le programme lui permet de s'acquitter de certaines obligations législatives particulières, l'exécution de celui-ci devient une activité légitime, appropriée et nécessaire.
Rendement – Efficacité
L'ECMS a produit les extrants escomptés et atteint le résultat immédiat attendu, soit rendre disponibles des données fiables et utilisables sur l'état de santé de référence des Canadiens et sur l'importance des contaminants de l'environnement et l'exposition à ces contaminants. On constate certains problèmes en matière d'accessibilité des données, qui risquent de nuire aux résultats à long terme s'ils ne sont pas résolus. Plus particulièrement, même si la majorité des chercheurs connaissent l'existence des données, beaucoup ne savent pas comment y accéder. Les personnes de l'extérieur interviewées corroborent ce point de vue; selon eux, le manque d'accessibilité (ou la complexité de l'accès) constitue un obstacle à l'utilisation des données. Certains informateurs clés ont souligné que les fichiers de microdonnées de l'ECMS n'étaient pas disponibles dans l'Internet, et que les chercheurs doivent s'adresser aux centres de données de recherche (CDR) pour pouvoir utiliser les fichiers de données de l'ECMS. Des chercheurs internes et externes ont soulevé diverses préoccupations concernant les CDR, notamment le manque d'information sur la façon d'accéder aux données et les délais d'approbation des demandes d'accès (qui peuvent aller jusqu'à six mois).
Les résultats de l'évaluation montrent que le grand public, les chercheurs et les utilisateurs de données connaissent l'existence des données de l'ECMS grâce aux publications fondées sur les données du cycle 1. Toutefois, certains problèmes, notamment le « rayonnement » des publications, l'absence de promotion des données de l'ECMS auprès des collectivités scientifiques ont été cités comme des facteurs ne favorisant pas la sensibilisation. Les chercheurs estiment qu'il faut améliorer la communication et la collaboration afin d'éviter d'effectuer des recherches et des analyses en double lorsque des groupes de recherche différents s'intéressent aux mêmes données.
Les résultats de l'évaluation montrent que les données de l'ECMS sont utilisées à des fins de recherche, d'élaboration de politiques et de prise de décisions – soit le résultat ultime attendu. Des chercheurs ont déjà utilisé les données de l'ECMS pour valider les données autodéclarées dans le cadre d'autres enquêtes, ainsi que pour mener des recherches visant à faire des découvertes scientifiques. En outre, les données de l'ECMS sont utilisées pour l'élaboration de politiques et la prise de décisions dans les domaines de l'activité physique, de l'exposition aux contaminants de l'environnement, des marqueurs de la nutrition et de la santé buccodentaire. Il est toutefois encore trop tôt dans le cycle de vie du programme pour constater à grande échelle le plein potentiel de l'ECMS. L'information sur les publications (études) ne fait l'objet d'un suivi qu'à l'interne et n'est pas partagée avec les intervenants externes, ce qui dans certains cas rend la collaboration et la reddition de comptes plus difficiles.
Rendement – Économie et efficience
La transition d'un financement principalement axé sur le recouvrement des coûts vers un financement de base pour l'ECMS, dans la foulée de la mise en œuvre du Plan d'action de 2008, a contribué à la stabilité de l'enquête, ce qui a eu une incidence positive sur l'ECMS. Cela a notamment permis d'améliorer la planification à long terme et d'explorer les possibilités d'accroître l'efficience opérationnelle. Les résultats de l'évaluation montrent que les ressources humaines et financières consacrées au programme sont suffisantes. Certaines parties externes ont souligné qu'il serait possible d'améliorer l'efficience et l'économie en mettant en œuvre des pratiques de recrutement plus souples et en ayant recours à des cliniques et à des infrastructures locales plutôt qu'à des cliniques mobiles. Bien que ces options méritent d'être examinées, leur faisabilité doit être évaluée en tenant compte du risque qu'elles puissent nuire à la qualité de la collecte de données.
En outre, le recours à l'infrastructure existante de l'ECMS par d'autres partenaires fédéraux permet à ces derniers d'atteindre leurs objectifs de façon efficiente tout en réduisant leur investissement en temps et en argent. En partageant leurs connaissances complémentaires, Statistique Canada, ses partenaires fédéraux et le milieu universitaire accroissent la capacité d'analyse dans le domaine de la santé.
L'ECMS est la seule enquête au Canada portant sur des mesures directes représentatives à l'échelle nationale; elle complète d'autres études canadiennes et internationales. On ne constate donc aucun élément de preuve à l'appui d'un dédoublement des efforts qui pourrait nuire à l'efficience.
1. Introduction
La présente évaluation porte sur l'Enquête canadienne sur les mesures de la santé (ECMS) et est effectuée dans le cadre du Plan d'action pour protéger la santé humaine des contaminants de l'environnement. Ce plan d'action est une initiative horizontale de Santé Canada (SC), de l'Agence de la santé publique du Canada (ASPC) et de Statistique Canada lancée en 2008-2009. SC est le ministère responsable de l'évaluation horizontale, qui doit être achevée en mars 2013.
La présente évaluation a été menée conformément au Plan pluriannuel de vérification et d'évaluation axé sur les risques pour 2012-2013 à 2016-2017, approuvé par le Comité ministériel d'évaluation le 27 mars 2012. Le projet a été géré et réalisé par la Division de l'évaluation et des méthodes professionnelles de la Direction de la vérification et de l'évaluation.
2. Enquête canadienne sur les mesures de la santé
2.1 Contexte
L'ECMS est la première enquête canadienne comportant des mesures directes et représentatives de la santé de la population nationale. La planification et l'élaboration de l'ECMS ont commencé en 2003, dans le cadre du prolongement de l'Initiative du Carnet de route de l'information sur la santé et en réponse au besoin d'une source nationale et complète de données directes et exactes sur la santé exprimé par les décideurs, les ministères provinciaux de la santé, les chercheurs et les professionnels de la santé de nombreux domaines. L'enquête a été lancée en 2007 afin de combler des lacunes de longue date au sein du système canadien d'information sur la santé.
Pour aider les Canadiens à réduire les risques pour leur santé résultant des contaminants de l'environnement et pour améliorer la surveillance de la santé environnementale, le gouvernement fédéral a mis sur pied le Plan d'action pour protéger la santé humaine des contaminants de l'environnement (le Plan d'action) en 2008. L'objectif à long terme du Plan d'action est de réduire les risques liés aux contaminants de l'environnement pour la santé des Canadiens, particulièrement les populations vulnérables. Pour atteindre cet objectif, le Plan d'action prévoit deux éléments de base : un guide sur la salubrité de l'environnement et un programme de suivi et de surveillance. L'ECMS de Statistique Canada relève du programme de contrôle et de surveillance, qui comprend une série d'enquêtes et d'activités de surveillance ayant pour but d'aider les Canadiens à mieux comprendre leur exposition aux contaminants de l'environnement et les risques pour la santé qui y sont associés.
2.2 Enquête canadienne sur les mesures de la santé – Objectifs, activités et résultats attendus
L'ECMS recueille des données clés sur la santé des Canadiens au moyen de mesures directes de la santé comme la tension artérielle, la taille, le poids et des échantillons de sang et d'urine. En outre, l'ECMS fait appel à des interviews à domicile pour recueillir de l'information sur d'autres paramètres, par exemple la nutrition, le tabagisme, la consommation d'alcool, les antécédents médicaux, l'état de santé actuel, le comportement sexuel, le mode de vie, l'activité physique, les caractéristiques de l'environnement et du logement, ainsi que des données démographiques et socioéconomiques.
Objectifs
L'ECMS joue un rôle important à l'appui du programme général du gouvernement fédéral en matière de santé.
Elle vise principalement à recueillir d'importantes données d'un genre nouveau sur l'état de santé de la population canadienne en :
fournissant la plateforme et l'infrastructure nécessaires pour obtenir des données au moyen de mesures physiques et de laboratoire afin de répondre aux nouveaux besoins de plusieurs directions de SC et de l'ASPC, ainsi que pour réaliser des enquêtes complémentaires;
recueillant et diffusant des données sur les mesures directes de la santé, y compris sur les contaminants de l'environnement;
offrant l'accès aux données nationales représentatives pour favoriser la recherche au moyen de données sur les mesures directes de la santé.
Activités
L'ECMS est conçue et mise en œuvre en cycles consécutifs, chacun comprenant trois étapes : la planification, la collecte et la diffusion. Le tableau 1 présente le cycle de vie de l'ECMS. Le schéma du processus de l'ECMS est illustré à l'annexe 1.
Tableau 1 Principales activités et tâches connexes menées dans le cadre de l'Enquête canadienne sur les mesures de la santé, cycles 1 à 3
Cycle 1
Cycle 2
Cycle 3
Planification
Élaboration de l'enquête
1. Définition du contenu de l'enquête
De 2003-2004 à 2007-2008
Janv. 2008 à déc. 2009
Automne 2009 à déc. 2011
2. Élaboration du questionnaire de l'enquête
3. Élaboration des outils informatiques et autres
4. Élaboration des protocoles
Formation
5. Formation des intervieweurs, des spécialistes des mesures de la santé et des techniciens de laboratoire
Collecte des données
1. Réalisation des interviews à domicile
Mars 2007 à févr. 2009
Sept. 2009 à déc. 2011
Janv. 2012 à déc. 2013
2. Visites à la clinique mobile
3. Exécution des tests de laboratoire et transmission des résultats à Statistique Canada
Mars 2007 à juin 2009
Sept. 2009 à avril 2012
Janv. 2012 à avril 2014
4. Entreposage des échantillons biologiques dans la biobanque
Mars 2007 à févr. 2009
Sept. 2009 à déc. 2011
Janv. 2012 à déc. 2013
Diffusion
1. Traitement et postcollecte des données
Mars 2007 à juin 2009
Sept. 2009 à avril 2012
Janv. 2012 à avril 2014
2. Analyse et diffusion des résultats
Janv. 2010 à avril 2011
Sept. 2012 à avril 2013
À venir
Infrastructure (fonction habilitante)
1. Méthodologie
En permanence
En permanence
En permanence
2. Développement des systèmes
3. Autres
Résultats attendus
Les activités et les extrants de l'ECMS devraient aboutir aux résultats attendus suivants, énoncés dans le cadre d'évaluation de synthèse du Plan d'action pour protéger la santé humaine des contaminants de l'environnement.
Résultat immédiat (2 à 5 ans)
Production de données fiables et utilisables à l'intention des décideurs, des chercheurs et des Canadiens à propos de l'état de santé de référence des Canadiens, de l'importance des contaminants de l'environnement et de l'exposition à ces contaminants.
Résultat intermédiaire (2 à 5 ans)
Sensibilisation accrue des utilisateurs aux données et à l'information recueillies.
Résultat ultime (5 à 10 ans)
Utilisation accrue, par les décideurs, de l'information sur les liens établis entre les contaminants et les maladies afin d'orienter les décisions en matière de pratiques de santé publique, de recherche, de réglementation stratégique et de programmes et services.
Résultat ultime (10 à 20 ans)
Réduction des risques liés aux contaminants de l'environnement pour la santé des Canadiens, particulièrement les populations vulnérables.
2.3 Gouvernance
Le Comité des politiques de Statistique Canada, dirigé par le statisticien en chef et soutenu par les statisticiens en chef adjoints de l'organisme, est responsable de l'administration de l'ECMS en vertu de la Loi sur la statistique. En plus de veiller aux approbations et aux processus à l'échelle de l'organisme, le Comité directeur du Programme des statistiques sur la santé de la population canadienne (PSSPC) est responsable de s'assurer que le programme de santé de la population de Statistique Canada répond aux besoins en santé de tous les Canadiens. Le Comité directeur du PSSPC est formé de sous-ministres adjoints de SC, de l'ASPC et de Statistique Canada.
Le Comité d'éthique de la recherche (CER) conjoint de SC et de l'ASPC Footnote 1 veille à garantir que l'ECMS satisfait aux normes les plus élevées en matière d'éthique et que la plus grande protection est assurée aux participants qui servent de sujets humains. Il est guidé par les principes de l'Énoncé de politique des trois Conseils (EPTC) : Éthique de la recherche avec des êtres humainsFootnote 2, qui définit la norme pour les comités d'éthique en recherche au Canada. Le CER examine et approuve les procédures et la conduite générale de l'enquête avant le début de chaque cycle de l'ECMS.
Une évaluation des facteurs relatifs à la vie privée est présentée au Commissaire à la protection de la vie privée du gouvernement fédéral pour chaque cycle de l'enquête, conformément à la Loi sur la protection des renseignements personnels. En outre, les commissaires provinciaux à la protection de la vie privée sont informés des activités de collecte des données d'enquête dans leur province, et des mesures conformes aux lois provinciales en vigueur sont prises pour assurer la protection des renseignements personnels des participants à l'enquête.
Depuis la création de l'ECMS, quatre comités consultatifs ont fourni leur expertise et leurs conseils à propos de divers aspects de l'enquête : le Comité consultatif des experts, le Comité consultatif des médecins, le Comité consultatif des techniciens de laboratoire et le Comité consultatif sur l'assurance et le contrôle de la qualité.
En juin 2012, le Comité consultatif de la biobanque a été constitué. Ce comité est présidé par un directeur général et compte quatre membres appartenant au gouvernement fédéral et quatre membres provenant de l'extérieur (p. ex. universitaires spécialisés en génétique ou en contaminants de l'environnement). Il est chargé de prendre les décisions concernant l'accès aux échantillons de la biobanque, qui font partie des données de l'ECMS. Les responsables de l'ECMS ont récemment entrepris de remanier la structure des comités consultatifs pour tenir compte de l'état actuel de l'enquête, qui a acquis de la maturité.
2.4 Ressources de programme
Le financement initial de l'ECSM a été affecté dans le budget fédéral de 2003 dans le cadre du prolongement de l'Initiative du Carnet de route de l'information sur la santé. En 2007-2008, l'ECMS a reçu des fonds de 975 860 $ au titre d'une entente conclue entre Statistique Canada et SC. Ces fonds visaient à soutenir l'exécution des activités de planification du cycle 1 de l'ECMS avant le lancement du Plan d'action de 2008-2009.
En vertu du Plan d'action, l'investissement total (84,6 millions de dollars sur cinq ans) est réparti entre SC, l'ASPC et Statistique Canada (voir le graphique 1).
Graphique 1 Partenaires fédéraux du Plan d'action
Description : Graphique 1 Partenaires fédéraux du Plan d'action
Le titre du graphique est « Graphique 1 Partenaires fédéraux du Plan d'action ».
Ceci est un graphique à colonnes groupées.
Il y a au total 6 catégories sur l'axe horizontal. L'axe vertical débute à 0 et se termine à 60 000 avec des mesures à tous les 10 000 points.
Il y a 3 séries dans ce graphique.
L'axe vertical s'intitule « Ressources affectées(en milliers de dollars) ».
Les unités de l'axe horizontal sont des années de 2008 à 2013.
Le titre de la série 1 est « Statistique Canada ».
La valeur minimale est 1 500 survenue en 2008.
La valeur maximale est 54 500 survenue en 2013.
Le titre de la série 2 est « Santé Canada ».
La valeur minimale est 1 500 survenue en 2012.
La valeur maximale est 18 700 survenue en 2013.
Le titre de la série 3 est « Agence de la santé publique du Canada ».
La valeur minimale est 600 survenue en 2008.
La valeur maximale est 11 400 survenue en 2013.
Données du Graphique 1 Partenaires fédéraux du Plan d'action, Ressources affectées
(en milliers de dollars)
Année
Statistique Canada
Santé Canada
Agence de la santé publique du Canada
2008
1 500
3 800
600
2009
11 000
6 200
1 400
2010
14 000
3 700
2 600
2011
14 000
3 500
3 400
2012
14 000
1 500
3 400
2013
54 500
18 700
11 400
Exercice
Source(s) :
Présentation au Conseil du Trésor
Les fonds affectés à Statistique Canada s'établissaient à 54,5 millions de dollars sur cinq ans, ce qui représente 64 % du financement total prévu dans le Plan d'action. Ces fonds ont permis d'inclure dans l'ECMS des mesures supplémentaires sur l'exposition aux contaminants de l'environnement, ainsi que des mesures directes sur la santé des enfants de moins de six ans.
Le programme de l'ECMS a reçu un financement de base total de 47,7 millions de dollars pour la période allant de 2008-2009 à 2012-2013. Au total, 48,7 millions de dollars ont été affectés à l'ECMS entre 2007-2008 et 2012-2013, inclusivement. Footnote 3
L'ECMS a aussi obtenu des fonds externes de SC, de l'ASPC et d'autres entités à l'appui de demandes spéciales concernant l'exécution de tests de laboratoire et d'analyses supplémentaires qui n'étaient pas prévus dans le financement de base. Entre 2007-2008 et 2012-2013, un montant total de 37,6 millions de dollars a été affecté au titre du recouvrement externe des coûts.
En conséquence, le montant total des ressources affectées à l'ECMS faisant l'objet de la présente évaluation (c.-à-d. le financement de base plus le recouvrement externe des coûts) s'établit à 86,3 millions de dollars sur cinq ans (voir les détails au graphique 2).
Graphique 2 Total des ressources affectées à l'Enquête canadienne sur les mesures de la santé (financement de base et financement externe par recouvrement des coûts), de 2007 2008 à 2012 2013
Description : Graphique 2 Total des ressources affectées à l'Enquête canadienne sur les mesures de la santé (financement de base et financement externe par recouvrement des coûts), de 2007 2008 à 2012 2013
Le titre du graphique est « Graphique 2 Total des ressources affectées à l'Enquête canadienne sur les mesures de la santé (financement de base externe par recouvrement des coûts), de 2007/2008 à 2012/2013 ».
Ceci est un graphique à colonnes groupées.
Il y a au total 6 catégories sur l'axe horizontal. L'axe vertical débute à 0 et se termine à 14 000 avec des mesures à tous les 2 000 points.
Il y a 2 séries dans ce graphique.
L'axe vertical s'intitule « Ressources affectées(en milliers de dollars) ».
Les unités de l'axe horizontal sont des années de 2007 à 2012.
Le titre de la série 1 est « Financement de base ».
La valeur minimale est 975,86 survenue en 2007.
La valeur maximale est 12 234,559 survenue en 2010.
Le titre de la série 2 est « Financement externe par recouvrement des coûts ».
La valeur minimale est 3 720,539 survenue en 2011.
La valeur maximale est 11 213,173 survenue en 2008.
Données du Graphique 2 Total des ressources affectées à l'Enquête canadienne sur les mesures de la santé (financement de base externe par recouvrement des coûts), de 2007/2008 à 2012/2013, Ressources affectées
(en milliers de dollars)
Année
Financement de base
Financement externe par recouvrement des coûts
2007
975,86
9 455,31
2008
1 251,177
11 213,173
2009
9 841,346
4 163,594
2010
12 234,559
4 681,723
2011
12 201,489
3 720,539
2012
12 165,705
4 403,89
2.5 Contexte, portée et enjeux de l'évaluation
Le présent rapport expose les résultats de l'évaluation de l'ECMS, qui s'est déroulée d'avril à octobre 2012. Il fournit de l'information crédible et neutre sur la pertinence et le rendement continus des activités de Statistique Canada relatives à l'ECMS énoncées dans le Plan d'action, ainsi que l'information sur les mesures du rendement nécessaire pour soutenir l'évaluation horizontale. Il vise aussi à informer la haute direction de Statistique Canada du rendement global de l'ECMS. L'évaluation porte sur la période allant de 2007-2008 à 2012-2013, soit un an de plus que la période visée par l'évaluation horizontale (2008-2009 à 2012-2013) afin de prendre en compte le cycle 1 de l'ECMS, lancé en 2007, puis qu'il s'agissait du seul cycle entièrement achevé au moment de l'évaluation. La pertinence et le rendement de l'ECMS ont été évalués par un examen des cinq questions fondamentales définies par le Secrétariat du Conseil du Trésor dans la Politique sur l'évaluation.
Tableau 2 Critères d'évaluation et questions connexes
Pertinence
Dans quelle mesure l'ECMS répond-elle à un besoin continu et comble-t-elle les besoins des Canadiens? (question n° 1 du SCT)
Le programme de l'ECMS est-il conforme aux priorités du gouvernement et au résultat stratégique de Statistique Canada? (question n° 2 du SCT)
La mise en œuvre du programme de l'ECMS permet-elle au gouvernement fédéral et à Statistique Canada de jouer un rôle légitime, opportun et nécessaire? (question n° 3 du SCT)
Réalisation des extrants prévus
Les processus de conception et de mise en œuvre de l'ECMS convenaient-ils à la réalisation des activités et des extrants prévus?
Rendement – Efficacité (question n° 4 du SCT)
Dans quelle mesure l'ECMS a-t-elle atteint les résultats prévus?
Y a-t-il eu des facteurs internes ou externes qui ont contribué ou nui à la réalisation de ces résultats prévus?
L'ECMS a-t-elle eu des répercussions (favorables ou non) imprévues?
Rendement – Efficience et économie (question n° 5 du SCT)
Les ressources humaines et financières en place sont-elles suffisantes pour soutenir la mise en œuvre de l'ECMS?
Quelles sont les efficiences qui résultent du Plan d'action?
Y a-t-il un chevauchement, une complémentarité ou des solutions de rechange?
3. Méthodologie
L'évaluation a été réalisée en conformité des Normes d'évaluation pour le gouvernement du Canada du SCT. Pour évaluer l'ECMS, les enjeux et questions de la matrice d'évaluation horizontale du Plan d'action ont été légèrement révisés afin de mieux tenir compte des questions d'évaluation et des indicateurs qui s'appliquent à Statistique Canada. La matrice d'évaluation de l'ECMS est présentée à l'annexe 3.
3.1 Approche et modèle
L'approche utilisée pour évaluer l'ECMS est fondée sur la théorie et sur une conception non expérimentale faisant appel à des données de post-collecte pour la majorité des questions d'évaluation. Les résultats sont aussi obtenus à partir de nombreux éléments de preuve, c'est-à-dire qu'on a utilisé plus d'une méthode pour mesurer chacun des indicateurs d'évaluation, afin de renforcer la validité des résultats. À cette fin, cinq méthodes (incluant des approches qualitatives et quantitatives) ont été sélectionnées pour la collecte des données d'évaluation :
examen de documents et publications pertinents;
examen de données administratives;
examen de données financières;
réalisation d'une série d'interviews auprès d'informateurs clés;
réalisation d'une enquête auprès des principaux utilisateurs des données.
Tous les éléments de preuve utilisés aux fins de l'évaluation sont décrits dans les sous-sections qui suivent. Le calibrage Footnote 4 a joué un rôle important dans le cadre de cette évaluation particulière, qui servira d'intrant à l'évaluation horizontale du Plan d'action que mènera SC.
3.2 Examen de documents et publications
L'examen de la documentation relative au programme a permis d'acquérir une bonne compréhension de l'ECMS et de concevoir la méthodologie d'évaluation, notamment de peaufiner les instruments de collecte de données. L'information recueillie dans le cadre de l'examen de documents et publications a fourni un contexte utile pour interpréter, confirmer et compléter l'information obtenue d'autres façons.
En raison de contraintes de temps et de budget, le nombre de documents externes examinés était limité. Les documents examinés étaient pour la plupart des publications citées dans les Rapports sur la santé et dans le site Web et les documents officiels de Statistique Canada, ainsi que des publications externes d'autres ministères et organismes fédéraux.
Un examen de certaines publications a permis de recueillir des données répondant aux questions d'évaluation, notamment en ce qui concerne la pertinence du programme et les enseignements tirés de l'expérience d'autres organismes ayant mis en œuvre des programmes comparables. La liste des publications examinées est fournie à l'annexe 4.
3.3 Examen de données administratives
L'examen des données administratives portait sur des dossiers et des documents internes fournis par le secteur de programme, ainsi que sur les comptes rendus des réunions de l'équipe d'évaluation qui ont eu lieu entre avril et juin 2012.
Des données administratives sur les mesures du rendement (p. ex. nombre de visites du site Web, demandes présentées aux centres de données de recherche [CDR] concernant les données de l'ECMS et demandes de service des clients concernant des tableaux personnalisés) ont été utilisées pour évaluer la disponibilité des données de l'ECMS et le degré de sensibilisation à l'existence de ces données des décideurs, des chercheurs et du public canadien.
3.4 Données financières
Les données relatives au budget et aux équivalents temps plein (ETP) nécessaires à l'évaluation de l'utilisation des ressources par rapport à la production d'extrants et des progrès réalisés à l'égard des résultats prévus ont été tirées directement du Système de gestion financière (SGF). Les données sur les dépenses réelles relatives au financement de base et aux coûts recouvrés provenaient aussi du SGF.
Les données sur les immobilisations et les provisions pour consommation du capital ont été prises en compte dans l'analyse financière. Les renseignements nécessaires ont été recueillis à partir d'une liste d'immobilisations et de provisions pour consommation du capital fournie par la Division de la planification financière, mise à jour par le secteur de programme en juillet 2012.
3.5 Interviews individuelles et groupées auprès d'informateurs clés
Les interviews des informateurs clés (p. ex. gestionnaires de programme et décideurs, principaux utilisateurs de données et chercheurs, rattachés ou non au gouvernement du Canada) ont permis de recueillir des données sur les perceptions et les opinions individuelles. Les personnes interviewées ont joué un rôle clé dans l'ECMS ou ont une vaste expérience de l'ECMS, tel qu'il est précisé dans le cadre d'évaluation de synthèse du Plan d'action pour protéger la santé humaine des contaminants de l'environnement.
Les guides d'interview ont été conçus pour obtenir des réponses à toutes les questions d'évaluation et adaptés à chaque public cible, au besoin. Les informateurs clés potentiels ont été identifiés par le biais d'une consultation à l'interne. La méthode utilisée pour sélectionner les informateurs clés variait selon le type de groupe. Il s'agissait soit d'un recensement, soit d'un échantillon constitué en fonction du nombre d'années d'expérience de l'informateur et de son exposition aux données, ainsi que du nombre d'articles publiés utilisant des données de l'ECMS ou portant sur un domaine d'intérêt de l'ECMS (p. ex. contaminants de l'environnement, tabagisme et maladies infectieuses). Au total, 24 informateurs clés ont été interviewés en juin et juillet 2012. Le tableau 3 présente le nombre d'interviews prévues et réalisées en fonction du type de groupe d'informateurs.
Tableau 3 Interviews individuelles et collectives prévues et réalisées
Type de groupe
Détails
Méthode de sélection
Nombre d'interviews individuelles ou groupées prévues
Nombre d'interviews réalisées
Gestionnaire de programme
Gestionnaires de programme stratégique
Recensement
Une interview groupée (deux participants)
Une interview groupée (deux participants)
Gestionnaires de programme d'analyse
Recensement
Une interview groupée (trois participants)
Une interview groupée (trois participants)
Gestionnaires de programme opérationnel
Recensement
Une interview groupée (deux participants)
Deux interviews individuelles
Chefs
Recensement
Une interview groupée, si le temps le permet (quatre participants)
Aucune interview groupée
Décideurs (partenaires / client auprès de qui les coûts sont recouvrés)
Clients auprès de qui les coûts sont recouvrés et chercheurs
Échantillon
Trois interviews
Deux interviews
Une interview groupée avec des chercheurs de l'administration publique (quatre participants)
Principaux utilisateurs des données et chercheurs
Chercheurs internes de Statistique Canada
Recensement
Une interview groupée (six participants)
Deux interviews groupées (six participants au total)
Chercheurs externes et membres du Comité consultatif des experts
Échantillon
Cinq interviews
Cinq interviews
3.6 Enquête auprès des principaux utilisateurs des données
On a dressé une liste des principaux utilisateurs des données de l'ECMS à partir de la liste des chercheurs qui ont accédé aux fichiers de données partagés de l'ECMS à SC et à l'ASPC, ainsi que de la liste des chercheurs qui ont demandé l'accès aux données par l'entremise d'un CDR. Footnote 5 Les demandeurs auprès des CDR comprennent des chercheurs d'autres ministères fédéraux et des chercheurs n'appartenant pas à l'administration fédérale. Les 134 principaux utilisateurs des données qui n'ont pas été retenus pour une interview ont reçu un questionnaire d'enquête par courriel en juin ou en juillet 2012. De ces utilisateurs, 24 % étaient des chercheurs de SC, 41 %, des chercheurs de l'ASPC et 35 %, des chercheurs d'un CDR.
Un questionnaire d'enquête préliminaire a été élaboré pour tenir compte de la méthodologie intégrée dans la matrice d'évaluation. Ce questionnaire a été mis à l'essai auprès de deux chercheurs internes dans le cadre d'interviews individuelles. Les corrections suggérées ont été apportées et le questionnaire révisé a de nouveau été mis à l'essai auprès d'un chercheur externe dans le cadre d'une interview téléphonique, avant d'être parachevé.
L'enquête s'est déroulée sur une période de deux semaines. Un courriel de rappel a été envoyé aux personnes qui n'avaient pas encore répondu après la première semaine. En tout, 30 personnes ont répondu au questionnaire, ce qui représente un taux de réponse de 22 %. Parmi les réponses reçues, 26,7 % provenaient de SC (25 % de la population), 36,7 % provenaient de l'ASPC (20 % de la population) et 36,7 % provenaient de chercheurs des CDR (23,4 % de la population).
3.7 Limites de l'évaluation
Dans la mesure du possible, compte tenu du budget et du calendrier établis, la méthodologie d'évaluation intégrait plusieurs méthodes de collecte de données auprès de différentes sources primaires et secondaires, afin de s'assurer d'obtenir des résultats valides qui traduisent les principaux points de vue à propos de l'ECMS. Aussi souvent que possible, les opinions et les observations formulées par les intervenants ont été corroborées au moyen de preuves provenant de la documentation et des données relatives au programme.
Toutefois, à cause de certains éléments contextuels et de contraintes en matière de ressources, l'évaluation comporte un certain nombre de limites. Comme il a été précisé plus haut, le calibrage a joué un rôle crucial (puisque l'évaluation doit faire partie de l'évaluation horizontale) et la portée a été définie de façon à atteindre un juste équilibre entre l'ampleur des efforts et le contexte. Les résultats exposés dans le présent rapport doivent être examinés en tenant compte des limites qui suivent :
Moment de l'évaluation – Le moment de l'évaluation limite la capacité de rendre compte des résultats du programme, puisque seul le cycle 1 de l'ECMS était achevé. Les données du cycle 2 de l'ECMS seront diffusées à la fin de septembre 2012, et la collecte des données du cycle 3 est en cours. En conséquence, les résultats sont limités par le degré d'achèvement de ces cycles.
Mesure des résultats – Le budget prévu pour l'évaluation et les données limitées disponibles sur les résultats prévus restreignent la capacité de rendre compte du degré de réussite de l'ECMS. Même si un cadre de mesure du rendement très spécifique est prévu dans le Plan d'action de Statistique Canada, les preuves à l'appui d'une collecte systématique et continue de données sur le rendement comme celle qui est prévue dans le cadre sont limitées.
Interviews – Un nombre limité d'interviews auprès d'informateurs clés ont été réalisées. Par ailleurs, aucune interview auprès de répondants indépendants n'ayant pas d'intérêt dans le programme n'a été réalisée. Il est donc possible que les interviewés aient un biais en faveur du programme. SC aura l'occasion d'interviewer d'autres informateurs clés durant l'évaluation de synthèse.
Examen des documents et des données – L'évaluation de l'efficience et de l'économie du programme de l'ECMS a présenté quelques défis. La pratique consistant à compiler les données financières en fonction de l'exercice plutôt que du cycle, l'absence de données de référence sur les coûts et les ressources utilisées pour chaque catégorie d'extrants produits et l'absence de données sur des enquêtes similaires ont notamment affecté le caractère concluant des données d'évaluation.
4. Principaux résultats
4.1 Pertinence
4.1.1 Réceptivité du programme
Résumé des resultats :
Les documents, les publications et les interviews relatifs au programme semblent indiquer que l'ECMS est toujours pertinente et que le programme demeure nécessaire. En outre, l'ECMS est perçue comme étant suffisamment souple pour répondre aux besoins émergents.
On constate que l'ECMS a permis d'établir des données de base nationales concernant les contaminants de l'environnement, ce qui constitue la première étape vers la définition des tendances et des liens entre les contaminants de l'environnement et la santé. Comme un suivi à long terme est nécessaire pour cerner des tendances et déterminer les conséquences, les mesures à prendre, les contrôles, etc., il faut recueillir au fil du temps des preuves claires à propos des résultats.
4.1.1.1 Nécessité continue du programme
D'après les documents examinés, l'ECMS découle d'un besoin de combler des lacunes en matière de données sur la santé. L'enquête a été élaborée afin de répondre à des besoins spécifiques importants, notamment concernant l'obtention des données suivantes :
données nationales de base sur la prévalence de problèmes de santé majeurs (p. ex. obésité, hypertension, carences vitaminiques et nutritives, maladies chroniques et infectieuses, santé buccodentaire et accès à des soins dentaires);
données nationales sur l'exposition et la prévalence de substances chimiques au sein de la population;
données sur la santé des enfants.
L'ECMS vise principalement à recueillir des données sur l'état de santé de la population canadienne au moyen de mesures directes. Bien que Statistique Canada recueille depuis longtemps des données sur l'état de santé et des sujets connexes par d'autres moyens (p. ex. données autodéclarées et données administratives), ces données sont généralement perçues comme étant limitées de deux façons importantes :
D'abord, la confirmation de nombreux types de données, comme la tension artérielle et la forme physique, ne peut se faire durant une interview, car elle requiert une mesure physique directe.
Ensuite, les données provenant d'enquêtes basées sur l'autodéclaration ou de dossiers administratifs peuvent être gravement biaisées dans le cas de certaines variables. Ainsi, un examen Footnote 6 a révélé, pour des mesures aussi simples que la taille et le poids, un biais de déclaration systématique qui pourrait induire en erreur les utilisateurs des données. Footnote 7, Footnote 8
« Les données de l'ECMS sont très utiles aux chercheurs parce qu'elles portent sur un échantillon national représentatif "normal" de sujets des deux sexes appartenant à divers groupes d'âge, que l'on peut comparer à des groupes d'intérêt spécial dans le cadre d'études. »
Selon les scientifiques et chercheurs du domaine de la santé interviewés, les données de l'ECMS sont nécessaires pour valider et rajuster les données autodéclarées afin d'accroître l'exactitude des résultats de la recherche, puisque les données de l'ECMS sont fondées sur des preuves et sont représentatives à l'échelle nationale.
« L'ECMS est utilisée principalement comme mécanisme de surveillance de la santé de la nation, et à ce titre fournit les meilleures données sur l'activité physique, la condition physique, l'obésité, la tension artérielle, les facteurs de risque cardiovasculaire, etc. Il est important pour nous de connaître l'ampleur de ces problèmes de santé au Canada et la façon dont ils évoluent au fil du temps afin d'orienter les politiques et les priorités, et l'ECMS est cruciale à cet égard (puisqu'il s'agit de la seule source de données à ce sujet dont nous disposons au Canada). »
De fait, d'après le document intitulé Enquête canadienne sur les mesures de la santé : raison d'être, contexte et aperçu publié par Statistique Canada dans le numéro spécial des Rapports sur la santé intitulé Documents de référence de l'Enquête canadienne sur les mesures de la santé, les tentatives de correction du biais inhérent aux données autodéclarées sont compliquées par le risque que le biais relatif à certaines mesures varie au fil du temps et soit influencé par la couverture médiatique et les campagnes de marketing social, entre autres. Des mesures directes de la santé fournissent des données plus robustes et objectives et permettent d'évaluer des paramètres qu'il n'est pas possible de mesurer avec précision par autodéclaration (p. ex. syndrome métabolique, exposition à des toxines de l'environnement, fonction respiratoire). De telles données sont nécessaires pour l'éducation en santé publique, les programmes de promotion de la santé, la planification des soins de santé, les programmes de surveillance en santé et la recherche.
Au Canada, un certain nombre de programmes et d'initiatives stratégiques mis en œuvre entre 2001 et 2006 ont aussi contribué à créer un besoin d'indicateurs de surveillance et de contrôle de la santé publique, ce qui a stimulé directement ou indirectement la création et le soutien continu d'une enquête comprenant des mesures directes de la santé. Le tableau 4 dresse une liste d'exemples de telles initiatives.
Tableau 4 Exemples d'initiatives ayant mené à un besoin accru d'une enquête comprenant des mesures physiques directes
Initiative
Description
Alliance pour la prévention des maladies chroniques au Canada (www.cdpac.ca)
Représentation pour l'intégration de la recherche, de la surveillance, des politiques et des programmes, ainsi que l'obtention des ressources nécessaires pour influer de façon positive sur les déterminants de la santé et réduire l'incidence des maladies chroniques auxquelles est attribuable la part la plus importante de la morbidité, de la mortalité et des dépenses au Canada, soit la maladie cardiovasculaire, le diabète et le cancer. Footnote 9
Guidé par nos valeurs – L'avenir des soins de santé au Canada (rapport Romanow) (2002)
Rapport de la Commission sur l'avenir des soins de santé au Canada qui fait état des consultations auprès de la population du Canada concernant l'avenir du régime public de soins de santé au Canada. On y trouve des recommandations de politiques et de mesures pour offrir des services de qualité aux Canadiens et établir un équilibre approprié entre les investissements dans la prévention et le maintien de la santé et ceux axés sur les soins et le traitement. Footnote 10
Examen des études de surveillance biologique des contaminants environnementaux au Canada 1990-2005 (2006)
Ce rapport établit des preuves concluantes qu'il est nécessaire de mettre en place une surveillance biologique exhaustive et intensive des contaminants environnementaux au Canada. Footnote 11
Le besoin d'une enquête comportant des mesures directes de la santé n'est pas propre au Canada. Plusieurs pays ont l'habitude de réaliser des enquêtes qui comprennent de telles mesures et ont permis d'obtenir des résultats importants, ce qui confirme l'utilité de ce type d'enquête. Par exemple, la National Health and Nutrition Examination Survey (NHANES) Footnote 12, menée depuis le début des années 60 Footnote 13, a permis de recueillir les données nécessaires à l'établissement de courbes de croissance normalisées pour les enfants, qui aident les médecins et les parents à mieux comprendre les trajectoires de développement Footnote 14. Dans les années 60, la même enquête a permis de confirmer les résultats révélant un lien entre l'élévation du taux de cholestérol et la maladie cardiaque. Elle a aussi fourni les premières preuves que les Américains avaient une concentration élevée de plomb dans le sang, ce qui a motivé les administrations publiques à bannir progressivement l'usage de plomb comme additif dans l'essence et la peinture. Footnote 15 En Australie, une enquête basée sur des mesures directes de la santé réalisée de 1999 à 2001 a permis de constater que pour chaque cas de diabète connu, un cas n'avait pas été diagnostiqué et que près d'un million d'Australiens de plus de 25 ans étaient diabétiques. Footnote 16 Enfin, la Finlande doit aussi une série d'importants résultats scientifiques et touchant la santé publique à des enquêtes nationales comportant des mesures directes de la santé. Footnote 17, Footnote 18, Footnote 19
En outre, les résultats de l'enquête auprès des principaux utilisateurs des données de l'ECMS confirment l'utilité actuelle des données de l'ECMS à de nombreuses fins, notamment pour l'analyse des tendances, le contrôle et le suivi des changements, l'obtention de mesures physiques et de données de laboratoire objectives, la prestation d'un échantillon représentatif à l'échelle nationale, la recherche, les évaluations des incidences sur la santé, le diagnostic, la prévention, l'orientation des politiques et le soutien à l'élaboration des politiques. Tous les répondants au sondage ont confirmé qu'il était nécessaire de continuer à recueillir et à diffuser les données de l'ECMS sur une base permanente.
4.1.1.2 Inclusion of environmental exposures in the CHMS scope
Depuis dix ans, on constate que les Canadiens se préoccupent davantage des contaminants dans l'environnement. Ainsi, les résultats d'un sondage mené en 2006 par la firme EKOS Research Associates Inc. révèlent que 89 % des Canadiens croient que la santé de leurs enfants est menacée par la pollution de l'environnement. Près d'un Canadien sur quatre a consulté un médecin pour un problème qu'il croyait lié à l'environnement.
Dans le cadre de deux grandes initiatives, soit le Plan de gestion des produits chimiques de 2006 et le Programme sur la qualité de l'air de 2007, le gouvernement fédéral s'est engagé à prendre en main les problèmes liés aux contaminants de l'environnement. Les données de l'ECMS sont particulièrement pertinentes, puisque les mesures déjà prises par le gouvernement dans le cadre de ces initiatives dépendent de l'ECMS pour la collecte de mesures sur les contaminants de l'environnement. Les intervenants du secteur et des organismes non gouvernementaux appuient ces initiatives. Ils continuent d'insister pour que les décisions soient prises en fonction de faits scientifiques, et pour que les Canadiens disposent d'information crédible sur les risques liés aux substances chimiques dans l'environnement et sur les mesures qu'ils doivent prendre à cet égard.
Un examen du contenu de l'ECMS révèle que l'enquête traite effectivement des questions émergentes en matière d'environnement. En outre, il est clair que les enfants de moins de six ans sont représentés dans l'échantillon. Le tableau 5 présente un aperçu de la portée des variables d'exposition aux contaminants de l'environnement pour les trois premiers cycles de l'enquête. Selon un client à frais recouvrables, ces données constituent une référence et présentent un énorme potentiel pour déterminer les liens entre les contaminants de l'environnement et la santé; toutefois, un suivi à long terme est nécessaire pour dégager des tendances (ce qui peut parfois prendre jusqu'à 20 ans) et pour déterminer les incidences possibles, les mesures à prendre, les contrôles à effectuer, etc. Il est donc encore trop tôt pour établir de tels liens.
Tableau 5 Exposition aux contaminants de l'environnement dans le cadre de l'Enquête canadienne sur les mesures de la santé : Nombre de paramètres mesurés par cycle, par catégorie et par source
Description des mesures par catégorie et par source
Nombre de mesures recueillies
Cycle 1
Cycle 2
Cycle 3
Paramètres mesurés à domicile
(fluorures; composés organiques volatils – polluants courants issus de combustibles [BTEX], trihalométhanes)
Eau du robinet
Hors portée
Hors portée
11
Paramètres mesurés dans le cadre de la collecte de données dans les cliniques mobiles
(aldéhydes; alcools aliphatiques; hydrocarbures aliphatiques; cétones aliphatiques; composés aromatiques; hydrocarbures chlorés; dérivés du chlorobenzène; éthers; siloxanes; terpènes; autres)
Air intérieur
Hors portée
102
81
Mesures de laboratoire sur des échantillons humains
(composés organiques volatils; acrylamide; métabolites du benzène; insecticides du groupe des carbamates; chlorophénols; métaux et oligoéléments; métabolites d'organophosporés; parabènes; composés perfluorés; métabolite de phtalates; hydrocarbures aromatiques; pesticides; tabac; herbicides)
Nombre de mesures à partir d'échantillons humains
Sang
25
12
21
Urine
51
89
46
Total
76
101
67
De ce nombre, nombre de mesures visant des enfants de moins de 6 ans
Sang
0
12
8
Urine
1
80
38
Total
1
92
46
4.1.1.3 Réponse aux besoins actuels et émergents
En ce qui concerne les besoins émergents ou les lacunes en matière d'information que l'ECMS devrait combler, les informateurs clés et plusieurs documents citent un certain nombre de besoins émergents qui sont liés soit à de nouveaux thèmes abordés, soit à l'amélioration de la puissance d'analyse grâce aux données. Un sommaire des suggestions les plus fréquemment citées est présenté ci-dessous.
Contenu nouveau ou amélioré
Données sur les services de santé non assurés (p. ex. santé buccodentaire, soins de l'ouïe, soins de la vue)
Données plus complètes sur les apports alimentaires et nutritionnels
Consommation de médicaments et de suppléments alimentaires
Santé osseuse
Fonction respiratoire
Exposition au bruit, exposition élargie aux contaminants de l'environnement (plus de 23 000 substances chimiques doivent être évaluées et réglementées)
Tests génétiques, liens génétiques, médecine personnalisée, génome
Sommeil
Mesures particulières (p. ex. épreuve d'hyperglycémie provoquée par voie orale, cortisol [hormone de stress])
Besoins en matière de puissance analytiqueFootnote 20
Couplage d'enregistrements
Données longitudinales
Données géographiques
Données à l'échelle infranationale (p. ex. régionales, provinciales, propres à des groupes sociaux ou à des groupes d'âge, populations vulnérables)
La plupart des informateurs clés interviewés et des utilisateurs des données sondés estiment que l'ECMS répond aux besoins actuels. Grâce à l'ECMS, le Canada dispose de données de référence objectives représentatives à l'échelle nationale sur des mesures importantes de la santé, qui peuvent être utiles aux médecins, aux professionnels de la santé Footnote 21 et aux chercheurs Footnote 22 comme base de référence sur les caractéristiques de la santé des Canadiens.
« La période [de huit ans] n'est pas assez longue pour nous permettre de demeurer statique, mais pas trop courte non plus, afin d'offrir continuité et stabilité. [L'enquête] renferme un contenu de base maintenu durant toute la période, et un contenu renouvelé qui change sur des périodes plus ou moins longues durant ces huit années, en fonction des besoins; une petite capacité demeure libre afin de nous permettre, à brève échéance, d'ajouter du contenu pour répondre à de nouveaux besoins urgents. »
En outre, les personnes interviewées considèrent que l'ECMS peut répondre aux nouveaux besoins en matière de contenu, notamment pour les raisons suivantes :
Elle fournit une infrastructure de portée complète et constitue un mécanisme de collecte de mesures directes polyvalent et souple permettant de répondre aux besoins en information sur d'importantes questions de santé qui pourraient émerger dans l'avenir.
Les priorités en matière de contenu sont déterminées par la structure de gouvernance fédérale, d'après de vastes consultations auprès des partenaires fédéraux et d'autres intervenants; en conséquence, le contenu du questionnaire de l'ECMS peut être adapté en fonction des besoins cernés.
Bien que la majorité des répondants estiment que l'ECMS répond aux besoins actuels et émergents en matière de contenu, les réponses des personnes interviewées et les documents examinés révèlent qu'aucun plan n'a jamais été établi en ce qui concerne le contenu de l'ECMS afin d'assurer que l'enquête demeure pertinente et continue de répondre aux besoins émergents en matière de contenu.
En ce qui concerne la biobanque Footnote 23, plusieurs chercheurs ont mentionné sa pertinence, son importance et son utilité, en soulignant qu'il s'agit du premier entrepôt d'échantillons biologiques représentatifs de l'ensemble de la population canadienne. Des chercheurs de l'interne et de l'externe ont témoigné de la pertinence de la biobanque et souligné qu'elle offre un potentiel énorme pour les recherches futures ou la surveillance des problèmes de santé lorsque le besoin s'en fait sentir.
La puissance analytique de l'ECMS demeure limitée à cause de la taille de l'échantillon. Les informateurs clés ont souligné de nombreux cas pour lesquels ils ont besoin d'un plus grand échantillon pour mener des recherches plus complexes et estiment que cette limite a une incidence sur l'utilité des données aux fins de leurs recherches. Cette question est abordée plus en détail dans la section portant sur le rendement (validité, fiabilité et accès).
4.1.2 Harmonisation avec les priorités et les obligations du gouvernement et de Statistique Canada
Résumeé des resultats :
La documentation, les publications et les interviews relatives au programmes indiquent toutes que les objectifs de l'ECMS, tels qu'ils sont énoncés dans le Plan d'action, sont conformes aux priorités du gouvernement fédéral et aux objectifs de Statistique Canada.
Les résultats montrent que l'ECMS aide le gouvernement fédéral à s'acquitter de ses obligations au titre de la loi, de ses engagements internationaux et de sa responsabilité de protéger la santé des Canadiens. Comme il s'agit de priorités permanentes, il est toujours légitime, approprié et nécessaire pour le gouvernement fédéral de maintenir l'ECMS.
4.1.2.1 Harmonisation avec les priorités du gouvernement fédéral et résultat stratégique de Statistique Canada
Priorités du gouvernement fédéral
La collecte de données sur la santé a été désignée comme une priorité fédérale à plusieurs occasions. Rappelons que le financement initial de l'ECMS faisait partie du budget fédéral de 2003, dans lequel le gouvernement du Canada soulignait que des « renseignements exacts et à jour sur les tendances relatives à l'état de santé et au fonctionnement du système de santé constituent un outil crucial pour prendre des décisions stratégiques éclairées, adaptées et axées sur le patient en matière de santé ». En outre, l'investissement dans la santé et la sécurité afin d'offrir aux Canadiens de l'information améliorée sur les liens entre les polluants et la maladie a été reconfirmé dans le budget fédéral de 2008.
L'harmonisation de l'ECMS avec les priorités du gouvernement fédéral est assurée par sa gouvernance au niveau stratégique. L'ECMS est l'une des activités d'information sur la santé de Statistique Canada exécutée au titre du PSSPC et, en conséquence, ses priorités et décisions stratégiques sont déterminées par le comité directeur tripartite du PSSPC, auquel siègent des représentants de SC, de l'ASPC et de Statistique Canada. En vertu de son mandat, le comité du PSSPC est chargé de veiller à ce que les besoins du gouvernement fédéral en matière d'information sur la santé soient satisfaits.
L'examen des documents a révélé que l'ECMS aide le gouvernement fédéral à s'acquitter de ses obligations au titre de la loi, de ses engagements internationaux et de sa responsabilité de protéger la santé des Canadiens. Par exemple :
Les données de l'ECMS informent et soutiennent le gouvernement fédéral pour l'exécution de ses activités permanentes de contrôle, de surveillance, de gestion des risques et de réglementation, qu'il est tenu d'exécuter aux termes de diverses lois, notamment la Loi sur le ministère de la Santé, la Loi canadienne sur la protection de l'environnement, la Loi sur les produits antiparasitaires, la Loi sur les aliments et drogues et la Loi sur les produits dangereux.
Les données de l'ECMS aident le gouvernement fédéral à s'acquitter de ses obligations et engagements internationaux, notamment dans le cadre de l'Accord de libre-échange nord-américain, de l'Accord Canada-États-Unis relatif à la qualité de l'eau dans les Grands Lacs, des négociations des Nations Unies pour un traité international sur le mercure et de la Convention de Stockholm sur les polluants organiques persistants.
Les données de l'ECMS orientent l'élaboration et la mise à jour de nombreuses normes et lignes directrices du gouvernement fédéral en matière de santé et d'environnement (par exemple les Recommandations pour la qualité de l'eau potable au Canada et la Stratégie fédérale de lutte contre le tabagisme). L'enquête fournit aussi des renseignements essentiels à l'appui de plusieurs initiatives fédérales plus vastes, comme le Plan de gestion des produits chimiques, l'Initiative du Carnet de route de l'information sur la santé et le Programme sur la qualité de l'air.
Résultat stratégique de Statistique Canada
Le soutien de l'ECMS et d'autres projets fournissant des données et des analyses statistiques à propos de l'état de santé des Canadiens fait partie des activités de Statistique Canada énoncées dans le Rapport sur les plans et les priorités pour 2011-2012. L'ECMS fait aussi partie des programmes mis en œuvre en vue d'atteindre le résultat stratégique de Statistique Canada défini comme suit dans l'Architecture d'activités de programmes 2011 :
Les Canadiens ont accès à des données statistiques récentes, pertinentes et de qualité sur l'évolution de l'économie et de la société canadiennes pour éclairer les débats, la recherche et les prises de décisions portant sur les questions économiques et sociales.
En résumé, les activités de Statistique Canada concernant l'exécution de l'ECMS s'inscrivent dans les priorités de l'organisme et soutiennent la réalisation d'un résultat stratégique. Elles soutiennent aussi l'atteinte des objectifs du Plan d'action en améliorant la base de connaissances sur l'importance des contaminants dans l'environnement et leurs répercussions possibles sur la santé, et contribue donc au résultat ultime du Plan d'action (c.-à-d. réduire les risques que posent les contaminants de l'environnement nocifs pour la santé des Canadiens).
4.1.2.2 Rôles du gouvernement fédéral et de Statistique Canada dans la mise en œuvre du programme de l'Enquête canadienne sur les mesures de la santé
« Comme Statistique Canada est l'organisme statistique officiel du pays, il est sensé que ce soit lui qui effectue ce travail et diffuse les données. »
Aux termes de l'Acte de l'Amérique du Nord britannique de 1867, le recensement et les statistiques sont de compétence fédérale. Le Parlement a exercé sa responsabilité pour le recensement et les statistiques essentiellement aux termes de la Loi sur la statistique (la Loi). Cette loi fait de Statistique Canada le bureau national de statistique et en définit le mandat, les pouvoirs et les obligations. Aux termes de la Loi, Statistique Canada doit recueillir, compiler, analyser et publier des renseignements statistiques sur les conditions économiques, sociales et générales du pays et de sa population. En vertu de l'article 22-c de la Loi sur la statistique, Statistique Canada a le mandat plus précis de recueillir, de compiler, d'analyser, de dépouiller et de publier des statistiques sur la santé et la protection sociale.
« Statistique Canada a l'infrastructure et la réputation de confiance, de confidentialité et de neutralité nécessaire pour obtenir des taux de réponse élevés et ainsi produire des données de qualité supérieure. »
Les informateurs clés ont indiqué que bien que la santé soit de compétence provinciale, le gouvernement fédéral a un rôle important à jouer dans la prestation de mesures d'enquête nationales représentatives et crédibles à des fins de comparabilité, de cohérence et d'objectivité. Selon eux, « personne n'est mieux placé que le gouvernement fédéral pour créer et maintenir un programme statistique de l'envergure, de la visibilité et de la complexité de l'ECMS. Sur la scène internationale, les programmes similaires sont aussi exécutés au niveau fédéral. »
Selon la haute direction, l'ECMS a été conçue pour combler des lacunes dans les données sur la santé générale de la population, fondées sur des mesures directes de la santé. Si l'ECMS n'existait plus, cela représenterait un pas en arrière dans notre compréhension de la santé au Canada, notamment celle des enfants âgés de 3 à 11 ans, puisqu'il n'existe à l'heure actuelle aucune donnée pour ce groupe d'âge. Cette constatation est confirmée par les chercheurs interviewés. Sans l'ECMS, les chercheurs n'auraient plus la possibilité de corriger les données autodéclarées en fonction de mesures directes objectives. En ce qui concerne les politiques en matière de santé, l'absence des données de l'ECMS peut nuire à la prise de décisions et aux résultats des programmes, puisque l'ECMS brosse le portrait le plus précis que l'on puisse obtenir des problèmes de santé des Canadiens et de leurs facteurs déterminants.
4.2 Rendement
4.2.1 Efficacité – Réalisation des extrants et des résultats attendus
Les résultats attendus mesurés dans le cadre de l'évaluation sont précisés dans le cadre d'évaluation de synthèse du Plan d'action pour protéger la santé humaine des contaminants de l'environnement de Statistique Canada. Le Cadre de responsabilisation de gestion axé sur les résultats établi en 2008 pour le Plan d'action comprend un échéancier pour la réalisation de chaque résultat. L'évaluation est axée sur la mesure des résultats attendus à très court terme à cause du cycle de vie de l'ECMS et du moment de l'évaluation. On constate toutefois que l'ECMS est sur la bonne voie et progresse vers les résultats attendus à moyen et à long terme.
Avant de déterminer si les résultats ont été atteints, il importe de comprendre la réalisation des extrants définis dans le Plan d'action, puisqu'il s'agit de catalyseurs qui permettront d'atteindre les résultats attendus.
4.2.1.1 Extrants
Les résultats de l'évaluation démontrent que les activités de l'ECMS sont exécutées comme prévu, et que les extrants de l'ECMS aient été produits selon l'échéancier planifié.
L'état des activités de l'ECMS en août 2012 a déjà été présenté dans le tableau 1. Comme l'indique le tableau, le cycle 1 est entièrement achevé, le cycle 2 en est à la dernière phase de diffusion, et la phase de collecte de données du cycle 3 est en cours.
L'examen des données administratives et les interviews auprès des responsables du programme réalisés dans le cadre de l'évaluation montrent que les extrants de l'ECSM ont été produits comme prévu. De fait, le Plan d'action précise que les cycles 1 et 2 de l'ECSM doivent comprendre 5 000 participants et le cycle 3, 2 500 participants (au moment de l'évaluation), et que les enfants de moins de six ans doivent être inclus dans l'échantillon. En ce qui concerne les mesures, le Plan d'action prévoit des mesures de l'environnement additionnelles, notamment le prélèvement d'échantillons d'air et d'eau.
Le tableau 6 présente l'état d'achèvement des extrants et montre que les cibles énoncées dans le Plan d'action ont été atteintes.
En outre, comme l'examen des données administratives l'a révélé, des données de biosurveillance ont été recueillies auprès du groupe des 3 à 5 ans, principalement aux cycles 2 et 3. Au total, 135 mesures Footnote 24 de biosurveillance ont été prises chez des enfants de moins de 6 ans au cycle 2, et 88 sont actuellement en cours de collecte pour ce groupe d'âge au cycle 3; au cycle 1, seulement une mesure de biosurveillance a été prise pour ce groupe d'âge.
En outre, une gamme de mesures d'exposition aux contaminants de l'environnement ont été recueillies, y compris des échantillons biologiques (pour les trois cycles) et des échantillons d'air intérieur (cycles 2 et 3). Une nouvelle source de mesures de l'exposition aux contaminants de l'environnement a aussi été incluse dans le cycle 3 (échantillons d'eau du robinet). Footnote 25
Articles revus par des pairs dans les Rapports sur la santé
23
Articles revus par des pairs dans d'autres publications
Environ 30
Rapports
5
Feuillets d'information
14
Tableaux sommaires
65
1. La base de sondage pour les cycles 1 et 2 s'établissait initialement à 5 000 participants, mais des unités d'échantillonnage additionnelles ont été acquises au début du cycle 1. Les valeurs prévues présentées ici comprennent l'acquisition de 600 participants supplémentaires (dans le groupe d'âge des 3 à 11 ans). Ces unités d'échantillonnage supplémentaires ont été payées par Santé Canada, pour s'assurer que le groupe des 6 à 11 ans du cycle 2 aurait la même taille que celui du cycle 1, afin d'obtenir une puissance analytique comparable. Cette acquisition d'unités supplémentaires se poursuit au cycle 3.
Résultat immédiat
Production de données fiables et utilisables à l'intention des décideurs, des chercheurs et des Canadiens à propos de l'état de santé de référence des Canadiens, de l'importance des contaminants de l'environnement et de l'exposition à ces contaminants
Les résultats de l'évaluation montrent que les données de l'ECMS sont fiables et utilisables, et qu'elles sont accessibles par l'entremise de fichiers partagés avec les partenaires ainsi que des CDR de Statistique Canada.
Dans le cadre de l'évaluation, les utilisateurs ont exprimé certaines préoccupations quant à la comparabilité et à la puissance analytique des données de l'ECMS et ont expliqué les défis que présente pour eux la disponibilité des données.
Fiabilité et utilisabilité
La plupart des informateurs clés interviewés ont déclaré que les données de l'ECMS étaient fiables et robustes. Les trois quarts des répondants à l'enquête ont dit être satisfaits ou très satisfaits de la fiabilité et de la validité des données.
En outre, l'examen des données administratives révèle un taux de réponse élevé au cycle 1 (88 % pour le questionnaire auprès des ménages et 85 % pour la clinique mobile) et pour le cycle 2 (90 % pour le questionnaire auprès des ménages et 82 % pour la clinique mobile), ce qui est un indicateur valide de la qualité des données produites.
Même si les chercheurs ont dit être satisfaits de la fiabilité et de l'utilisabilité des données de l'ECMS, ils ont formulé deux préoccupations : 1) la comparabilité des données et 2) l'impossibilité d'effectuer des analyses à l'échelle infranationale.
Préoccupation n° 1 – Comparabilité des données
Selon les personnes interviewées, il y a de nombreuses façons valides de mesurer les indicateurs de la santé et les contaminants de l'environnement, mais s'ils ne sont pas mesurés de la même façon d'un cycle à l'autre ou d'une enquête à l'autre, il est difficile de comparer les données à des fins d'analyse. Par exemple, l'ECMS mesure le cadmium (ou la caféine) dans l'urine, alors que l'enquête NHANES le mesure dans le sang – ces deux mesures sont valides, mais ne peuvent être comparées.
Parmi les causes possibles du choix de méthodes de mesures différentes, les chercheurs ont mentionné ce qui suit : 1) les mesures de laboratoire sont assujetties à diverses méthodes d'analyse et de mesure, erreurs de mesure et modifications des protocoles de mesure, et 2) des intérêts concurrents et des contraintes financières.
Préoccupation n° 2 – Impossibilité d'effectuer des analyses à l'échelle infranationale
La plupart des chercheurs ont mentionné qu'à cause de la taille de l'échantillon, ils n'ont pas pu effectuer d'analyses à l'échelle infranationale ni d'analyses plus complexes sur des sous-ensembles spécifiques de la population (p. ex. populations vulnérables, personnes souffrant d'une maladie rare), ce qui limite la fiabilité et l'utilisabilité des données. Toutefois, l'incidence de cette limite varie selon les thèmes abordés (p. ex. aucune difficulté n'a été mentionnée à propos de l'activité physique).
D'après la documentation relative au programme, l'ECMS a été établie comme étant une enquête nationale et offre donc des estimations nationales. La réalisation d'analyses à l'échelle infranationale ne s'inscrit pas dans la portée de l'initiative.
Disponibilité
« Les CDR offrent un excellent service aux chercheurs, mais il faut savoir ce qu'on veut faire; ce n'est pas une partie de pêche. Si l'on sait ce qu'on veut, on obtient le soutien nécessaire. »
Les résultats de l'évaluation montrent que les données ne sont pas aussi accessibles qu'elles pourraient l'être. Certains des commentaires recueillis concernent le fait que les fichiers des microdonnées de l'ECMS ne sont pas téléchargeables depuis l'Internet et que les chercheurs doivent se rendre dans un CDR pour utiliser les fichiers des données de l'ECMS. En ce qui concerne les CDR, les chercheurs internes et externes ont soulevé diverses préoccupations, notamment un manque d'information quant à la façon d'accéder aux données, les délais d'approbation des demandes d'accès (parfois jusqu'à six mois), les lieux et les moments (journées et heures) où l'on peut utiliser les données, les restrictions concernant ce qui peut être apporté dans les CDR et emporté et, à certains endroits, les compétences et les connaissances du personnel chargé des fichiers des données de l'ECMS. Footnote 26
Les interviews à l'interne auprès des gestionnaires responsables de l'ECMS n'ont révélé aucun problème concernant la disponibilité et l'accessibilité des données de l'ECMS. Selon les responsables, les deux partenaires fédéraux ont des fichiers partagés et les chercheurs de l'extérieur ont un accès complet aux CDR. En ce qui concerne les principaux utilisateurs des données interviewés, près des trois quarts confirment ces faits et ont dit être satisfaits ou très satisfaits de l'information sur la disponibilité. En outre, les responsables de l'ECMS ont aussi souligné qu'une stratégie de communication sera lancée à l'automne ou à l'hiver 2013 pour garantir que toute l'information sur l'accès aux données de l'ECMS et aux échantillons de la biobanque est disponible et diffusée auprès du grand public. À cause du moment où l'évaluation a été effectuée, il n'a toutefois pas été possible de valider cette affirmation.
4.2.1.3 Résultat intermédiaire
Sensibilisation accrue des utilisateurs aux données et à l'information recueillie.
Les résultats de l'évaluation montrent que le grand public, les chercheurs et les utilisateurs des données sont sensibilisés aux données de l'ECMS grâce aux publications portant sur les données du cycle 1. Toutefois, il est encore trop tôt pour présenter des mesures valides de la sensibilisation accrue puisque la diffusion des données du cycle 2 et des produits connexes est en cours à l'heure actuelle. Par ailleurs, certains points, notamment le « rayonnement » des publications et l'absence de promotion des données de l'ECMS auprès des collectivités scientifiques, ont été signalés comme limitant la sensibilisation, en plus du moment de l'évaluation visée par le présent rapport étant tôt dans le cycle de vie de l'enquête pour une telle mesure.
Selon les données administratives relatives à l'ECMS, le grand public s'intéresse aux données du cycle 1, comme en témoignent le grand nombre d'articles publiés dans les journaux, de reportages présentés à la télévision et à la radio, d'articles publiés dans l'I nternet et de visites du site Web (voir le tableau 7).
Tableau 7 Participation des médias, de janvier 2010 à mars 2012
Type de média
Total pour le cycle 1
nombre
Articles dans les journaux (imprimés)
171
Reportages à la télévision et à la radio
37
Articles publiés dans l'Internet
248
Gazouillis dans Twitter (première semaine après la diffusion seulement)
63
Autres articles
463
Comme il est indiqué au tableau 8, le grand public a aussi manifesté un intérêt et une connaissance à l'égard des produits relatifs à l'ECMS offerts dans le site Web de Statistique Canada.
Tableau 8 Visites du site Web, avril 2009 à décembre 2011
Enfin, le tableau 9 montre que les chercheurs externes ont exprimé un intérêt à l'égard des données du cycle 1, d'après le nombre de propositions de recherche soumises (64), les demandes faites aux secteurs des services à la clientèle et les demandes de tableaux personnalisés.
Tableau 9 Demandes de données, de renseignements et de tableaux personnalisés
2008-2009
2009-2010
2010-2011
2011-2012
nombre
Demandes d'échantillons de la biobanque à des fins de recherche
...
...
...
6
Propositions de recherche faisant appel aux données de l'ECMS (universités et CDR fédéraux)
...
4
28
32
Demandes de renseignements et demandes traitées par les services à la clientèle (de janvier 2010 à décembre 2010)
...
...
194
...
Tableaux personnalisés préparés en réponse aux demandes (de janvier 2010 à décembre 2010)
...
...
115
...
... Sans objet.
Même si les trois tableaux montrent que les données de l'ECMS sont connues et suscitent de l'intérêt, il est difficile de quantifier le degré de connaissance des données. Ces chiffres peuvent toutefois constituer des données de référence pour mesurer l'augmentation de la sensibilisation lorsque les données des cycles suivants de l'ECMS seront disponibles et que les produits connexes seront diffusés.
Selon tous les informateurs clés, les chercheurs sont déjà sensibilisés aux données à divers degrés. On a également souligné que les données étaient récentes (les données du cycle 1 ont été diffusées de janvier 2010 à avril 2011) et que, à mesure que d'autres publications seront diffusées, la sensibilisation devrait augmenter. Toutefois, même en tenant compte de ces efforts, les personnes interviewées ont souligné qu'il pourrait être difficile d'augmenter la sensibilisation aux données à cause du « rayonnement » des publications et de l'absence de promotion active des données auprès des collectivités scientifiques.
4.2.1.4 Résultat ultime
Utilisation accrue, par les décideurs, de l'information sur les liens établis entre les contaminants et les maladies afin d'orienter les décisions en matière de pratiques de santé publique, de recherche, de réglementation stratégique et de programmes et services.
Les résultats de l'évaluation montrent que l'ECMS a déjà permis de valider les données d'autres enquêtes à données autodéclarées et a été utilisée à des fins de recherche et de découvertes scientifiques. Plus particulièrement, les données ont servi à l'élaboration de politiques et à la prise de décisions dans les domaines de l'activité physique, de l'exposition aux contaminants de l'environnement, des marqueurs de la nutrition et de la santé buccodentaire; toutefois, il est encore trop tôt dans le cycle de vie du programme pour connaître le plein potentiel de l'ECMS.
En dépit des nombreux exemples d'utilisation, les informateurs clés ont souligné que l'accessibilité limitée des données pourrait nuire à leur utilisation accrue (résultat attendu de l'ECMS).
Données sur l'utilisation
Utilisation des données de l'Enquête canadienne sur les mesures de la santé à Statistique Canada
Les chercheurs internes ont désigné des domaines spécifiques où les données de l'ECMS sont utilisées à Statistique Canada. Par exemple, elles aident à valider les données autodéclarées recueillies dans le cadre d'autres enquêtes, comme l'Enquête sur la santé dans les collectivités canadiennes. Elles contribuent aussi à améliorer les modèles de microsimulation (en augmentant le degré de confiance des projections) mis au point par Statistique Canada et utilisés par les décideurs pour élaborer ou mettre à jour des politiques.
Utilisation des données de l'Enquête canadienne sur les mesures de la santé pour la prise de décisions
Les chercheurs externes ont fourni des exemples relevant de leur champ d'expertise pour illustrer les utilisations qui ont été faites des données de l'ECMS. Ces exemples reflètent principalement la contribution de l'ECMS aux activités suivantes :
définition des priorités et des questions urgentes
gestion des risques au sein de SC et de l'ASPC
prise de décisions stratégiques et financières
planification de l'avenir
mise à jour des lignes directrices et des règlements
réalisation d'analyses comparatives à l'échelle internationale
orientation des négociations mondiales.
Dans le même ordre d'idée, presque tous les principaux utilisateurs des données qui ont participé à l'enquête d'évaluation ont utilisé les données de l'ECMS à des fins de recherche. De ceux-là, la moitié ont utilisé les données pour analyser des politiques, et certains les ont utilisées pour élaborer des programmes et services.
Le tableau 10 présente les exemples les plus importants à ce jour de l'utilisation des données et des recherches de l'ECMS pour influer sur les politiques et la réglementation dans quatre domaines : l'exposition aux contaminants de l'environnement, l'activité physique, les marqueurs de la nutrition et la santé buccodentaire.
Tableau 10 Utilisation des données de l'Enquête canadienne sur les mesures de la santé
Thème
Preuves d'utilisation
Organisme et année de publication
Exposition aux contaminants de l'environnement
Rapport sur la biosurveillance humaine des substances chimiques de l'environnement au Canada
Santé Canada (SC), 2010
Activité physique
Directives canadiennes en matière d'activité physique
SC et Société canadienne de physiologie de l'exercice, 2011
Directives canadiennes en matière de comportement sédentaire à l'intention des enfants et des jeunes
Bulletin de Jeunes en forme Canada sur l'activité physique des enfants et des jeunes
Organisme national Jeunes en forme Canada, 2011 et 2012
Marqueurs de la nutrition
Lignes directrices révisées en matière d'apport en acide folique chez les femmes en âge de procréer, fondées sur les résultats des tests sur la vitamine B12 et la concentration en folate des globules rouges
Société des obstétriciens et gynécologues du Canada, 2011
Clinical Utility of Vitamin D Testing: An Evidence-based Analysis (rapport)
Secrétariat des services consultatifs médicaux de l'Ontario, 2009
Les données relatives à la vitamine D ont orienté le débat concernant la mise à jour des lignes directrices sur l'apport recommandé
Institute of Medicine, États-Unis, 2011
Santé buccodentaire
Rapport des résultats du module sur la santé buccodentaire de l'Enquête canadienne sur les mesures de la santé 2007-2009
SC, 2010
Canada's Oral Health Report Card: A call to action
L'Association canadienne des hygiénistes dentaires, 2010
La santé buccodentaire – Bien plus qu'une question de caries (rapport)
Médecin hygiéniste en chef de l'Ontario, 2012
Les exemples d'utilisation choisis couvrent une très courte période (environ 2,5 ans après la diffusion des données). Les informateurs clés ont souligné que « [l'ECMS] est une enquête très récente, dont les données sont diffusées depuis peu ». Ils estiment néanmoins que l'ECMS jouit d'une excellente réputation et qu'elle aura une plus grande incidence positive que n'importe quelle autre enquête nationale. Ils expliquent que « à l'occasion des nombreuses réunions auxquelles [ils ont] assisté à différents titres dans les domaines de l'activité physique ou de la santé, l'enquête est toujours mentionnée comme étant une source d'information utile et respectée », qu'elle suscite beaucoup d'attention autour des tables de prise de décisions à SC et à l'ASPC et que « même si les travaux n'en sont pas encore à l'étape de la publication de documents, [...] les décisions sont fondées sur les données de l'ECMS ».
4.2.1.5 Facteurs pouvant contribuer ou nuire à la réalisation des résultats attendus selon les informateurs clés
Le manque d'accessibilité constitue un obstacle à l'utilisation
« Les données recueillies sont très utiles et il y a de quoi en être fier, mais si l'information n'est pas diffusée, elle ne permet pas de faire progresser la science ni d'orienter les politiques. »
Les résultats de l'évaluation montrent que certains problèmes concernant l'accès aux données pourraient nuire à leur utilisation à des fins de recherche et d'élaboration de politiques. Plus spécifiquement, même si la majorité des chercheurs connaissent l'existence des données, beaucoup ne savent pas comment y avoir accès. Les personnes de l'extérieur interviewées corroborent ce point de vue; selon eux, le manque d'accessibilité (ou la complexité de l'accès) constitue un obstacle à l'utilisation des données.
L'examen de documents a révélé qu'un plan d'analyse, document stratégique décrivant le programme d'analyse et la stratégie de diffusion des données de l'ECMS, a été élaboré en 2005 et mis à jour plusieurs fois, la dernière en 2010. Ce plan devait être un document évolutif facilitant l'utilisation optimale des données de l'ECMS et définissant la portée de l'analyse afin de maximiser l'incidence et l'utilité des données. Le plan énonce les objectifs et les activités d'analyse liés à l'enquête, y compris les objectifs et les activités d'appui.
De l'avis des chercheurs externes, la plupart des extrants prévus dans le plan ont été achevés, mais les personnes interviewées ne connaissaient pas le plan d'analyse courant. Ils estiment qu'il devrait y avoir une meilleure communication et une meilleure collaboration afin d'éviter le dédoublement des travaux de recherche et d'analyse lorsque des groupes différents s'intéressent aux mêmes données.
Dans le même ordre d'idée, l'évaluation montre que le programme ne fait pas officiellement ni systématiquement le suivi de toutes les publications qui font appel aux données de l'ECMS, et les interviews des chercheurs externes ont confirmé que ceux-ci n'informent pas toujours les responsables de l'ECMS de leurs publications revues par des pairs. Cette situation contribue aux faiblesses énoncées plus haut en ce qui concerne l'amélioration de la coordination des initiatives d'analyse et de la communication de ces initiatives aux chercheurs et aux autres parties intéressées. Plusieurs des personnes de l'extérieur interviewées ont clairement souligné qu'il est essentiel de disposer d'information complète, officielle et à jour sur toutes les études et publications fondées sur les données de l'ECMS pour assurer une bonne collaboration. Les chercheurs doivent savoir si quelqu'un a déjà étudié une question particulière et publié des résultats avant d'entreprendre leurs propres travaux; ainsi, « ils pourraient mieux planifier et déterminer la portée de leur recherche ».
D'après les gestionnaires responsables de l'ECMS, l'enquête sera intégrée à compter de cet automne dans le processus annuel de planification d'analyse de la Division de la statistique de la santé. Le plan d'analyse sera produit en fonction de consultations auprès des intervenants clés. Dans le cadre de cet exercice de planification, des décisions seront prises à propos des futurs articles et des responsabilités partagées entre Statistique Canada, SC, l'ASPC et les spécialistes externes.
Autres facteurs
La majorité des personnes interviewées ont mentionné les restrictions budgétaires et les pressions financières comme étant des facteurs susceptibles de nuire à la réalisation des résultats attendus. Des chercheurs externes (clients auprès de qui les coûts sont recouvrés) ont aussi cité les compressions dans le financement par recouvrement des coûts, ce qui pourrait entraîner une réduction du contenu et du nombre de mesures.
Les responsables du programme ont souligné que la nécessité de maintenir en poste le personnel des cliniques et le fait que seules certaines personnes détiennent les connaissances requises pourraient nuire à l'exécution de l'ECMS. C'est pourquoi une nouvelle stratégie de ressources humaines est en cours d'élaboration pour le personnel de la clinique mobile, et l'on s'assure que le transfert des connaissances se fera. Il a aussi été précisé dans le cadre des interviews qu'une stratégie de planification de la relève était en cours d'élaboration afin d'atténuer les risques liés à l'absence d'un transfert des connaissances; toutefois, aucun élément de ces stratégies n'est devenu disponible durant la période où l'évaluation a été réalisée.
Un chercheur externe a mentionné la possibilité d'un « risque de perception » comme facteur susceptible de nuire à l'enquête. De fait, il craint que certaines mesures puissent ne pas être jugées utiles parce qu'on ne peut pas observer de tendance à l'heure actuelle. Il a expliqué que certaines tendances peuvent mettre beaucoup de temps (p. ex. 20 ans) à émerger.
4.2.1.6 Incidences imprévues de la mise en œuvre de l'Enquête canadienne sur les mesures de la santé
L'évaluation n'a révélé aucune incidence imprévue d'envergure. Cependant, comme l'ECMS est en place depuis peu de temps, il est peut-être encore trop tôt pour constater des résultats imprévus.
Selon les responsables du programme, toutefois, comme l'enquête repose sur le modèle de l'enquête NHANES (qui existe depuis 50 ans), il a été possible de tenir compte de l'expérience acquise et des leçons apprises dans le cadre de cette enquête, ce qui réduit la probabilité d'incidences imprévues. D'après les personnes interviewées à l'interne, la complexité de l'enquête et le processus de planification détaillé et rigoureux nécessaire pour garantir un environnement opérationnel contrôlé et la qualité des données restreignent davantage le risque d'écarts ou d'effets imprévus.
En ce qui concerne les répercussions avantageuses, les personnes interviewées ont cité quelques exemples : 1) on a constaté des problèmes de santé chez certains répondants, qui en ont été informés dans les plus brefs délais, ce qui leur a permis de consulter un médecin en temps opportun; 2) certaines des données sur les contaminants de l'environnement recueillies à titre supplémentaire ont été utiles plus tôt que prévu. Par exemple, des mesures du sélénium ont été incluses dans les analyses des autres métaux, parce qu'il était facile de le faire à partir des mêmes échantillons et tests de laboratoire. Récemment, ces données ont été utilisées comme données représentatives à l'échelle nationale pour mener une évaluation du risque que pose le sélénium qui n'était pas prévue au moment du prélèvement des échantillons.
4.2.2 Rendement – Efficience et économie
Les résultats de l'évaluation de l'efficience et de l'économie de l'ECMS sont fondés sur une analyse financière de la disponibilité et de l'utilisation des ressources, ainsi que sur une analyse des tendances en matière de dépenses et des écarts observés. Footnote 27 Des données anecdotiques obtenues dans le cadre des interviews ont permis de déterminer les points de vue et les perceptions des informateurs clés quant à l'efficience du programme, aux approches différentes qui pourraient améliorer l'efficience et à la mesure dans laquelle l'ECMS chevauche ou complète d'autres enquêtes ou programmes existants.
La transition d'un financement principalement axé sur le recouvrement des coûts vers un financement de base pour l'ECMS, dans la foulée de la mise en œuvre du Plan d'action de 2008, a contribué à la stabilité de l'enquête, ce qui a eu une incidence positive sur l'ECMS. Cela a notamment permis d'améliorer la planification à long terme et d'explorer les possibilités d'accroître l'efficience opérationnelle, ce qui pourra être confirmé avec plus de certitude après la mise en œuvre d'un programme de collecte de données sur le rendement et l'efficience au fil du temps.
En utilisant l'infrastructure existante de l'ECMS, d'autres partenaires fédéraux peuvent atteindre leurs objectifs en moins de temps et à moindre coût. Le partage des connaissances complémentaires entre Statistique Canada, ses partenaires fédéraux et les universités accroît la capacité d'analyse dans le domaine de la santé.
L'ECMS est la seule enquête au Canada portant sur des mesures directes représentatives à l'échelle nationale; elle complète d'autres études canadiennes et internationales. Il n'y a donc pas de dédoublement d'effort susceptible de nuire à l'efficience.
Les personnes de l'extérieur interviewées ont nommé des domaines où l'efficience et l'économie pourraient être accrues, et ont suggéré des approches différentes pour certains aspects de la réalisation de l'enquête (p. ex. des pratiques de recrutement plus souples et le recours à des cliniques et à des infrastructures locales plutôt qu'à des cliniques mobiles). Ces options pourraient toutefois nuire à la qualité de la collecte des données.
4.2.2.1 Ressources en place pour soutenir la mise en œuvre de l'Enquête canadienne sur les mesures de la santé
« Les fonds spécialement réservés (jusqu'au présent exercice) ont énormément aidé à établir l'ECMS. Nos activités sont maintenant bien établies, cohérentes et prévisibles, contrairement à l'époque où nous étions à la merci du renouvellement des fonds chaque année. Nous étions mieux en mesure de planifier à long terme. »
Les faits montrent clairement qu'il y a eu une transition d'un financement par recouvrement des coûts vers un financement de base dans la foulée du Plan d'action de 2008, comme l'illustrent les graphiques 3 et 4 ci-dessous. Le recouvrement des coûts est passé de 90,6 % en 2007-2008 à 24,2 % en 2011-2012, alors que le financement de base est passé de 9,4 % en 2007-2008 à 75,8 % en 2011-2012. Beaucoup des personnes interviewées ont confirmé l'incidence positive du Plan d'action sur la stabilisation du financement de l'ECMS.
Graphique 3 Financement de base, avril 2012
Description : Graphique 3 Financement de base, avril 2012
Le titre du graphique est « Graphique 3 Financement de base, avril 2012 ».
Ceci est un graphique à colonnes groupées.
Il y a au total 5 catégories sur l'axe horizontal. L'axe vertical débute à 0 et se termine à 40 000 avec des mesures à tous les 5 000 points.
Il y a 3 séries dans ce graphique.
L'axe vertical s'intitule « Ressources affectées(en milliers de dollars) ».
Les unités de l'axe horizontal sont des années de 2008 à 2012.
Le titre de la série 1 est « Financement de base (présentation au Conseil du Trésor) ».
La valeur minimale est 1 251 survenue en 2008.
La valeur maximale est 35 528 survenue en 2012.
Le titre de la série 2 est « Financement prévu dans le budget ».
La valeur minimale est 1 761 survenue en 2008.
La valeur maximale est 34 165 survenue en 2012.
Le titre de la série 3 est « Dépenses réelles ».
La valeur minimale est 2 062 survenue en 2008.
La valeur maximale est 33 043 survenue en 2012.
Données du Graphique 3 Financement de base, avril 2012, Ressources affectées
(en milliers de dollars)
Année
Financement de base (présentation au Conseil du Trésor)
Financement prévu dans le budget
Dépenses réelles
2008
1 251
1 761
2 062
2009
9 841
9 492
8 714
2010
12 235
11 235
10 653
2011
12 201
11 677
11 614
2012
35 528
34 165
33 043
Exercice
Note(s) :
Les dépenses réelles pour 2012/2013 n'étaient pas disponibles au moment de l'évaluation.
Graphique 4 Financement externe par recouvrement des coûts, avril 2012
Description : Graphique 4 Financement externe par recouvrement des coûts, avril 2012
Le titre du graphique est « Graphique 4 Financement externe par recouvrement des coûts, avril 2012 ».
Ceci est un graphique à colonnes groupées.
Il y a au total 5 catégories sur l'axe horizontal. L'axe vertical débute à 0 et se termine à 25 000 avec des mesures à tous les 5 000 points.
Il y a 2 séries dans ce graphique.
L'axe vertical s'intitule « Ressources affectées(en milliers de dollars) ».
Les unités de l'axe horizontal sont des années de 2008 à 2012.
Le titre de la série 1 est « Financement par recouvrement des coûts prévu ».
La valeur minimale est 3 721 survenue en 2011.
La valeur maximale est 23 780 survenue en 2012.
Le titre de la série 2 est « Coûts réellement recouvrés ».
La valeur minimale est 3 713 survenue en 2011.
La valeur maximale est 23 724 survenue en 2012.
Données du Graphique 4 Financement externe par recouvrement des coûts, avril 2012, Ressources affectées
(en milliers de dollars)
Année
Financement par recouvrement des coûts prévu
Coûts réellement recouvrés
2008
11 213
11 258
2009
4 164
4 168
2010
4 682
4 585
2011
3 721
3 713
2012
23 780
23 724
Exercice
Note(s) :
Les dépenses réelles pour 2012/2013 n'étaient pas disponibles au moment del'évaluation.
Tous les écarts entre le budget de l'ECMS et les dépenses réelles, tant pour le financement de base que pour le financement par recouvrement des coûts, sont inférieurs à 4 % pour l'ensemble de la période de cinq ans. Sur le plan financier, une telle situation est le signe d'une bonne gestion des ressources. Des personnes de l'interne interviewées ont avancé que cette situation pourrait s'expliquer par la planification soignée et rigoureuse qu'exige la complexité de l'enquête.
En ce qui concerne le nombre d'ETP, le budget semble toujours sous-estimer le nombre réel requis, comme l'indique le tableau 11. En conséquence, des fonds non salariaux ont dû être réaffectés aux fonds salariaux.
Tableau 11 Nombre d'équivalents temps plein
Équivalents temps plein
2007-2008
2008-2009
2009-2010
2010-2011
2011-2012
2012-2013
nombre
Prévus – Financement de base
0
13
54
84
78
...
Réels – Financement de base
2
17
93
96
119
...
Prévus – Financement par recouvrement des coûts
57
77
0
0
0
...
Réels – Financement par recouvrement des coûts
69
74
0
0
0
...
... non disponible
Compromis coût-qualité
L'analyse des données financières concernant les dépenses de fonctionnement (p. ex. équipement et biens) révèle que ce sont les cliniques ou centres d'examen mobiles (CEM) (p. ex. équipement médical et de laboratoire et personnel formé et compétent qui se déplace avec les cliniques) qui représentent les coûts les plus importants du programme. Lorsqu'on examine les biens, on constate que l'équipement médical et de laboratoire constitue la catégorie la plus importante – le coût approximatif d'un CEM s'élève à 335 000 $, soit 35 000 $ pour la remorque et 300 000 $ pour l'équipement qu'elle contient. Il est également clair que les CEM actuellement en activité sont presque tous en fin de vie (leur valeur globale en pourcentage s'établit à 10 %). En conséquence, il pourrait être important de trouver des moyens d'optimiser les coûts et les ressources nécessaires au fonctionnement des CEM pour améliorer le rendement de l'ECMS en termes d'efficience et d'économie.
« Si l'on ne tient compte que d'un des objectifs (par exemple, la biosurveillance), on n'a pas nécessairement besoin de cliniques mobiles partout au pays. Toutefois, si l'on veut brosser un tableau complet de la santé globale des Canadiens et établir des corrélations avec les mesures en laboratoire, la façon dont l'enquête est conçue est la plus efficiente pour assurer la cohérence des données et permettre de comparer les résultats au fil du temps. »
Les gestionnaires responsables du programme et certains spécialistes admettent que le coût de la collecte de mesures directes par l'entremise des CEM est élevé. Ils estiment toutefois qu'il est essentiel de contrôler l'environnement des CEM pour garantir des résultats de qualité supérieure. Même une simple incohérence dans l'environnement – par exemple, les odeurs – peut influer sur les mesures. La qualité des données revêt une importance capitale et est directement liée aux coûts élevés.
En outre, les interviews et l'examen de documents révèlent que la méthode de collecte des mesures dans les cliniques mobiles, même si elle coûte cher, est la même que celle qu'utilisent d'autres pays et d'autres enquêtes (par exemple l'enquête NHANES). Les décisions prises indiquaient que le modèle choisi visait à atteindre le même degré de rigueur et d'uniformité.
Toutefois, certains chercheurs externes, tout en reconnaissant l'importance d'un environnement contrôlé et uniformisé pour la collecte des données, croient toujours qu'il vaut la peine d'examiner d'autres solutions, par exemple le recours à des installations et à des structures locales, afin d'améliorer l'efficience sans compromettre la qualité. Ils ont aussi souligné que l'efficience et l'adaptabilité du programme pourraient être améliorées si les procédures de recrutement étaient plus souples (p. ex. recrutement de personnes n'appartenant pas à la fonction publique, dans la mesure du possible).
Faits à l'appui des efforts des responsables du programme pour réaliser des efficiences
Les résultats des interviews témoignent des efforts des responsables du programme à l'égard de l'exercice d'une bonne gérance et de l'utilisation des ressources de façon économique. Par exemple, en choisissant d'installer les remorques sur des terrains appartenant au gouvernement fédéral ou dans des endroits publics moyennant des frais nominaux plutôt que dans des endroits privés à but lucratif afin de réduire les coûts de location et en sélectionnant des entreprises locales pour la prestation de certains services, par exemple pour l'entretien ou le soutien de la TI, plutôt que d'envoyer du personnel du bureau central. Comme ils l'ont précisé dans le cadre des interviews, les gestionnaires de programme s'efforcent de réduire les heures supplémentaires les déplacements du personnel.
En outre, à mesure que le programme a acquis de la maturité, sa structure de fonctionnement a été remaniée par des fusions. Ces initiatives ont permis de réaliser des économies en réduisant les dépenses au titre des salaires, tout en permettant la mise en place d'un contexte de gestion plus efficient. Les responsables de l'ECMS continuent de réaliser périodiquement des examens opérationnels afin de cerner les efficiences opérationnelles internes qu'il est possible de réaliser.
4.2.2.2 Efficiences possibles découlant du Plan d'action
Les personnes de l'interne et de l'externe interviewées conviennent que l'infrastructure de l'ECMS fournit à SC et à l'ASPC l'occasion de réduire les coûts de leurs programmes. Ils peuvent investir leurs fonds dans des mesures de la santé supplémentaires plutôt que dans la mise en place de leur propre infrastructure parallèle.
« Nous sommes le bureau de statistique national et nous respectons notre mandat. Nous utilisons l'infrastructure nationale existante, bien établie et hautement fonctionnelle. C'est là l'une des définitions de l'efficience. »
L'ECMS a travaillé en collaboration avec la Direction générale de la santé des Premières Nations et des Inuits (DGSPNI) de SC dans le cadre de l'initiative de biosurveillance de la population des Premières Nations, qui fait partie des responsabilités de la DGSPNI en vertu du Plan d'action. D'après les gestionnaires responsables du programme de l'ECMS, l'utilisation de méthodes, de procédures, d'outils et de laboratoires de référence comparables a permis à la DGSPNI de réaliser des efficiences sur le plan opérationnel, en plus de faciliter la comparabilité des résultats parce que les mesures utilisées pour la population des Premières Nations étaient les mêmes que pour l'ensemble de la population canadienne. Toutefois, les responsables du programme estiment que l'on pourrait encore améliorer la collaboration entre les deux initiatives.
Les chercheurs internes et externes ont suggéré qu'une approche de la recherche axée sur la collaboration permet de mieux combiner les points forts de toutes les parties et d'accroître l'intensité des connaissances et la puissance d'analyse des études. Les chercheurs de Statistique Canada peuvent tirer profit de leur capacité technique, notamment leur facilité d'accès, de manipulation et d'interprétation statistique des données. Les chercheurs externes sont généralement des spécialistes d'un domaine particulier et, en conséquence, sont en mesure d'interpréter, de produire et de partager des résultats avec la collectivité scientifique. Grâce à cette collaboration, l'ECMS contribue à accroître la capacité d'analyse dans le domaine de la santé.
4.2.2.3 Dédoublements, complémentarités et solutions de rechange possibles
Les résultats de l'évaluation montrent que la plupart des informateurs clés estiment que l'ECMS ne chevauche pas d'autres enquêtes provinciales ou internationales. En fait, à l'heure actuelle, il n'y au Canada pas d'autres données d'enquête sur des mesures directes de la santé représentatives à l'échelle nationale. Bien qu'il existe plusieurs enquêtes provinciales (p. ex. Étude sur la santé Ontario), la plupart d'entre elles ne comprennent pas de mesures physiques ou utilisent des échantillonnages autosélectionnés, ce qui, selon les responsables du programme, peut entraîner des biais (p. ex. seules les personnes en santé pourraient choisir de participer). Sur la scène internationale, beaucoup de pays (environ 20) mettent en œuvre des programmes similaires et, selon les interviews des gestionnaires à l'interne, des initiatives visant à comparer les résultats dans chacun des pays ont été entreprises.
Comme il est mentionné plus haut, les faits indiquent également que l'ECMS produit des données complémentaires à celles d'autres types d'enquêtes (p. ex. données autodéclarées, données administratives) réalisées au Canada, et contribuent à valider et à redresser ces données.
Même si tous les informateurs clés estiment que l'ECMS doit être financée par le gouvernement fédéral, certains chercheurs externes ont soulevé la question de la pertinence pour le gouvernement fédéral d'exécuter lui-même toutes les activités au lieu de confier une partie du travail à des sous-traitants. Des modèles de rechange pour la prestation du programme ont été suggérés, notamment l'exécution contractuelle d'une partie des activités de l'ECMS par des organismes non fédéraux; cette solution pourrait toutefois avoir une incidence sur la confiance des répondants à l'égard l'ECMS, ainsi que sur le taux de réponse et la qualité des données de l'ECMS.
5. Conclusions
5.1 Pertinence
L'ECMS est un programme unique au Canada, qui offre des données sur des mesures directes de la santé pour soutenir la recherche, l'élaboration de politiques et la prise de décisions en matière de santé. Il est clair que le programme est pertinent pour les Canadiens et les organismes de santé, et qu'il est nécessaire à l'heure actuelle et continuera de l'être à l'avenir. Même si la majorité des répondants estiment que l'ECMS répond aux besoins actuels et nouveaux en matière de contenu, il n'y a jamais eu de plan de contenu développé pour l'ECMS.
L'ECMS s'inscrit bien dans les priorités du gouvernement fédéral et de Statistique Canada. Le gouvernement fédéral est le mieux placé pour réaliser l'ECMS, et comme le programme lui permet de s'acquitter de certaines obligations législatives particulières, l'exécution de celui-ci devient une activité légitime, appropriée et nécessaire.
5.2 Rendement – Efficacité
L'ECMS a produit les extrants escomptés et atteint le résultat immédiat attendu, soit rendre disponibles des données fiables et utilisables sur l'état de santé de référence des Canadiens et sur l'importance des contaminants de l'environnement et l'exposition à ces contaminants. On constate certains problèmes en matière d'accessibilité des données, qui risquent de nuire aux résultats à long terme s'ils ne sont pas résolus. Plus particulièrement, même si la majorité des chercheurs connaissent l'existence des données, beaucoup ne savent pas comment y accéder. Les personnes de l'extérieur interviewées corroborent ce point de vue; selon eux, le manque d'accessibilité (ou la complexité de l'accès) constitue un obstacle à l'utilisation des données. Certains informateurs clés ont souligné que les fichiers de microdonnées de l'ECMS n'étaient pas disponibles dans l'Internet, et que les chercheurs doivent s'adresser aux centres de données de recherche (CDR) pour pouvoir utiliser les fichiers de données de l'ECMS. Des chercheurs internes et externes ont soulevé diverses préoccupations concernant les CDR, notamment le manque d'information sur la façon d'accéder aux données et les délais d'approbation des demandes d'accès (qui peuvent aller jusqu'à six mois).
Les résultats de l'évaluation montrent que le grand public, les chercheurs et les utilisateurs de données connaissent l'existence des données de l'ECMS grâce aux publications fondées sur les données du cycle 1. Toutefois, certains problèmes, notamment le « rayonnement » des publications, l'absence de promotion des données de l'ECMS auprès des collectivités scientifiques ont été cités comme des facteurs ne favorisant pas la sensibilisation. Les chercheurs estiment qu'il faut améliorer la communication et la collaboration afin d'éviter d'effectuer des recherches et des analyses en double lorsque des groupes de recherche différents s'intéressent aux mêmes données.
Les résultats de l'évaluation montrent que les données de l'ECMS sont utilisées à des fins de recherche, d'élaboration de politiques et de prise de décisions – soit le résultat ultime attendu. Des chercheurs ont déjà utilisé les données de l'ECMS pour valider les données autodéclarées dans le cadre d'autres enquêtes, ainsi que pour mener des recherches visant à faire des découvertes scientifiques. En outre, les données de l'ECMS sont utilisées pour l'élaboration de politiques et la prise de décisions dans les domaines de l'activité physique, de l'exposition aux contaminants de l'environnement, des marqueurs de la nutrition et de la santé buccodentaire. Il est toutefois encore trop tôt dans le cycle de vie du programme pour constater à grande échelle le plein potentiel de l'ECMS. L'information sur les publications (études) ne fait l'objet d'un suivi qu'à l'interne et n'est pas partagée avec les intervenants externes, ce qui dans certains cas rend la collaboration et la reddition de comptes plus difficiles.
5.3 Rendement – Économie et efficience
La transition d'un financement principalement axé sur le recouvrement des coûts vers un financement de base pour l'ECMS, dans la foulée de la mise en œuvre du Plan d'action de 2008, a contribué à la stabilité de l'enquête, ce qui a eu une incidence positive sur l'ECMS. Cela a notamment permis d'améliorer la planification à long terme et d'explorer les possibilités d'accroître l'efficience opérationnelle. Les résultats de l'évaluation montrent que les ressources humaines et financières consacrées au programme sont suffisantes. Certaines parties externes ont souligné qu'il serait possible d'améliorer l'efficience et l'économie en mettant en œuvre des pratiques de recrutement plus souples et en ayant recours à des cliniques et à des infrastructures locales plutôt qu'à des cliniques mobiles. Bien que ces options méritent d'être examinées, leur faisabilité doit être évaluée en tenant compte du risque qu'elles puissent nuire à la qualité de la collecte de données.
En outre, le recours à l'infrastructure existante de l'ECMS par d'autres partenaires fédéraux permet à ces derniers d'atteindre leurs objectifs de façon efficiente tout en réduisant leur investissement en temps et en argent. En partageant leurs connaissances complémentaires, Statistique Canada, ses partenaires fédéraux et le milieu universitaire accroissent la capacité d'analyse dans le domaine de la santé.
L'ECMS est la seule enquête au Canada portant sur des mesures directes représentatives à l'échelle nationale; elle complète d'autres études canadiennes et internationales. On ne constate donc aucun élément de preuve à l'appui d'un dédoublement des efforts qui pourrait nuire à l'efficience.
6. Recommandations
L'évaluation fait ressortir trois recommandations concernant l'amélioration de la planification et de la coordination avec les divers intervenants en ce qui a trait au contenu et aux études analytiques, l'amélioration de l'accès aux données de l'ECMS et le renforcement des capacités de mesure systématique du rendement afin de démontrer l'atteinte des résultats.
Recommandation 1 – Pertinence
On recommande que les gestionnaires responsables de l'ECMS améliorent la planification et la coordination externe avec les chercheurs et les intervenants – tant à l'interne au sein du gouvernement fédéral qu'à l'externe auprès des chercheurs du milieu universitaire – en ce qui concerne la détermination du contenu (plan relatif au contenu) et la planification de la recherche analytique fondée sur le contenu.
Recommandation 2 – Rendement
On recommande aux gestionnaires responsables de l'ECMS d'améliorer la sensibilisation et l'accès aux données en faisant la promotion de l'ECMS auprès d'un public élargi de clients et d'utilisateurs potentiels et en offrant un soutien pour l'utilisation des données.
Recommandation 3 – Mesures du rendement
On recommande aux gestionnaires responsables de l'ECMS d'améliorer le système de mesure du rendement, en tant qu'outil, afin de recueillir systématiquement des données sur le rendement et de surveiller les progrès réalisés à l'égard des résultats attendus.
3a) Amélioration des données
Pour évaluer avec précision l'atteinte du résultat ultime et l'impact de l'ECMS, on recommande aux gestionnaires responsables de l'ECMS de veiller à ce qu'un suivi formel, tel que le système de gestion des relations clients (SGRC), des publications et des études reposant sur les données de l'ECMS soit effectué afin de confirmer l'utilisation des données. Ces renseignements sur les publications qui utilisent les données de l'ECMS devraient être communiqués régulièrement aux chercheurs et aux autres parties intéressées afin d'améliorer la coordination externe.
3b) Données financières
On recommande que l'information financière exacte soit mise à disposition par la Direction des finances pour appuyer la collecte de données sur le rendement de l'ECMS afin de démontrer le degré d'efficience de l'ECMS au fil du temps et de soutenir les rapports sur la prise de décisions et la reddition de comptes.
7. Réponse de la direction et plan d'action
Recommendation 1
Pertinence :
On recommande que les gestionnaires responsables de l'ECMS améliorent la planification et la coordination externe avec les chercheurs et les intervenants – tant à l'interne au sein du gouvernement fédéral qu'à l'externe auprès des chercheurs du milieu universitaire – en ce qui concerne la détermination du contenu (plan relatif au contenu) et la planification de la recherche analytique fondée sur le contenu.
Énoncé d'accord ou de désaccord
La direction est d'accord avec la recommandation.
Réponse de la direction
L'évaluation confirme l'objectif stratégique de la direction pour le présent exercice, qui constitue en l'élaboration d'un plan de contenu à plus long terme pour l'ECMS afin de garantir la pertinence soutenue de l'enquête. Les travaux sont déjà commencés et seront achevés au cours des 12 prochains mois. En outre, l'évaluation montre qu'une meilleure planification des travaux d'analyse dans les trois organismes fédéraux – Statistique Canada, ASPC et Santé Canada – constituerait un nouvel objectif stratégique valable. Le mandat d'un nouveau groupe de travail d'analyse de l'ECMS, qui sera présidé par Statistique Canada et formé de représentants de l'ASPC et de Santé Canada, a déjà été élaboré.
Recommendation 1
Calendrier
Produits livrables
Responsable
1er janvier 2014
Plan de contenu de huit ans
Directeur, Division de la statistique de la santé (DSS)
1er avril 2013
Groupe de travail d'analyse de l'ECMS, avec l'ASPC et Santé Canada
Directeur, DSS
Recommendation 2
Rendement :
On recommande aux gestionnaires responsables de l'ECMS d'améliorer la sensibilisation et l'accès aux données en faisant la promotion de l'ECMS auprès d'un public élargi de clients et d'utilisateurs potentiels et en offrant un soutien pour l'utilisation des données
Énoncé d'accord ou de désaccord
La direction est d'accord avec la recommandation.
Réponse de la direction
L'évaluation montre clairement que l'augmentation de l'utilisation de l'ECMS et l'amélioration de la sensibilisation à l'ECMS constituent des objectifs importants. La direction convient que les activités à cet égard pourraient être intensifiées, et a élaboré trois initiatives claires afin de mieux promouvoir et soutenir l'utilisation de l'ECMS. En premier lieu, nous avons commencé à former du personnel supplémentaire du secteur des Services à la clientèle de la DSS pour répondre aux demandes des clients externes qui souhaitent obtenir des renseignements sur l'ECMS ou des tableaux personnalisés des données de l'ECMS. En deuxième lieu, la direction élabore un plan de communication visant à accroître le degré de sensibilisation aux données de l'ECMS disponibles dans les CDR et aux échantillons de la biobanque mis à la disposition des chercheurs. En troisième lieu, la direction envisage la possibilité d'organiser un plus grand nombre d'ateliers à travers le pays afin d'améliorer la capacité des utilisateurs à analyser les données de l'ECMS. Cette dernière stratégie exige toutefois des ressources pour payer les frais de déplacement et les frais supplémentaires associés à la tenue de tels ateliers. La réalisation de cet objectif dépendra de notre capacité à trouver des ressources suffisantes pour accroître le nombre d'ateliers offerts au cours des deux prochaines années.
Recommendation 2
Calendrier
Produits livrables
Responsable
1er avril 2013
Deux employés supplémentaires formés
Directeur, DSS
30 avril 2013
Plan de communications
Directeur, DSS
En permanence
Ateliers
Directeur, DSS
Recommendation 3
Mesures du rendement
On recommande aux gestionnaires responsables de l'ECMS d'améliorer le système de mesure du rendement, en tant qu'outil, afin de recueillir systématiquement des données sur le rendement et de surveiller les progrès réalisés à l'égard des résultats attendus.
3a) Amélioration des données
Pour évaluer avec précision l'atteinte du résultat ultime et l'impact de l'ECMS, on recommande aux gestionnaires responsables de l'ECMS de veiller à ce qu'un suivi formel, tel que le système de gestion des relations avec les clients (SGRC), des publications et des études reposant sur les données de l'ECMS soit effectué afin de confirmer l'utilisation des données. Ces renseignements sur les publications qui utilisent les données de l'ECMS devraient être communiqués régulièrement aux chercheurs et aux autres parties intéressées afin d'améliorer la coordination externe.
3b) Données financières
On recommande que l'information financière exacte soit mise à disposition par la Direction des finances pour appuyer la collecte de données sur le rendement de l'ECMS afin de démontrer le degré d'efficience de l'ECMS au fil du temps et de soutenir les rapports sur la prise de décisions et la reddition de comptes.
Énoncé d'accord ou de désaccord
3a) La direction est d'accord avec la recommandation
3b) La direction est d'accord avec la recommandation
Réponse de la direction
3a) La direction a déjà mis en place un système de suivi adéquat des publications et des études fondées sur les données de l'ECMS; ces renseignements ne sont toutefois pas systématiquement partagés avec les chercheurs externes. La direction propose donc de publier la liste dans son site Web externe sur l'ECMS et de la mettre à jour chaque année.
3b) La direction entreprend un examen opérationnel de la Section des opérations de l'ECMS pour s'assurer que les processus et les pratiques sont optimaux. Cet examen sera réalisé au cours des six prochains mois et débouchera sur la mise en œuvre d'indicateurs de rendement qui permettront de mesurer l'efficience du programme.
Plan d'action de la direction des finances:
La Direction des finances élaborera des rapports standards et les indicateurs financiers à l'appui de tous les programmes. L'organisation dispose déjà d'informations financières détaillées qui peuvent être facilement mis en forme pour mieux répondre aux besoins d'évaluation des programmes et disponibles en temps opportun. La détermination du format et les éléments à mesurer seront élaborés et validés en collaboration avec les gestionnaires de programme et le groupe d'évaluation ministériel. La recommandation finale sera présentée et approuvée par le Comité des pratiques administratives.
Recommendation 3
Calendrier
Produits livrables
Responsable
Décembre 2013
Liste de suivi sur le site Web
Directeur, DSS
Septembre 2013
Rapport d'examen opérationnel
Directeur, DSS
Janvier 2014
Indicateurs d'efficience
Directeur, DSS
Direction des finances – Plan d'action
Calendrier
Produits livrables
Responsable
Mars 2014
Principaux indicateurs standardisés financiers du programme approuvés.
DG, Finances
Conformément au plan pour le développement de la Stratégie de MR du programme (voir PVEBR).
Revu et ajustement de la structure de codage financier pour soutenir le cadre de mesure de rendement du programme.
DG, Finances et Directeur, DSS
Direction des communications – Plan d'action
Calendrier
Produits livrables
Responsable
Janvier 2014
Développement d'un système de suivi formel
DG, Communications
Figures
Figure 1 : Modèle logique de l'Enquête canadienne sur les mesures de la santé
Description : Figure 1 Modèle logique de l'Enquête canadienne sur les mesures de la santé
Cette figure représente le modèle logique de l'Enquête canadienne sur les mesures de la santé.
Les intrants sont constitués de financement de base, ententes de financement à recouvrement des coûts et équivalents temps plein.
Une partie des intrants supporte les activités du programme (planification, la collecte et la diffusion) directement, le reste des intrants supporte une infrastructure (par exemple, les remorques et les équipements de laboratoire) qui sert une fonction habilitante permettant des activités de programme de se produire.
Les activités sont constituées de planification, la collecte et la diffusion.
Les extrants de la planification sont constitués de contenu de l'enquête approuvé, méthodologie d'enquête, outils informatiques et équipement, guides et protocoles, procédures d'AQ/CQ et personnel formé pour la collecte. Ces extrants sont des intrants pour la collecte.
Les extrants de la collecte sont constitués de questionnaires auprès des ménages remplis (tous les cycles), données sur les mesures physiques (tous les cycles), échantillons d'air intérieur (cycles 2 et 3), échantillons d'eau du robinet (cycle 3), échantillons biologiques (tous les cycles), échantillons pour la biobanque (tous les cycles) et moniteurs d'activité physique (tous les cycles). Ces extrants sont des intrants pour la diffusion.
Les extrants de la diffusion sont constitués des communiqués du Quotidien, fichiers de microdonnées, tableaux personnalisés, articles revus par des pairs dans les Rapports sur la santé et d'autres publications, feuillets d'information et tableaux sommaires. Les extrants de la diffusion mènent au résultat immédiat.
Le résultat immédiat est : Production de données fiables et utilisables à l'intention des décideurs, des chercheurs et des Canadiens à propos de l'état de santé de référence des Canadiens, de l'importance des contaminants de l'environnement et de l'exposition à ces contaminants. Le résultat Immédiat mène au résultat intermédiaire.
Le résultat intermédiaire est : Sensibilisation accrue des utilisateurs aux données et à l'information recueillies. Finalement, le résultat intermédiaire mène au résultat ultime.
Le résultat ultime est : Utilisation accrue, par les décideurs, de l'information sur les liens établis entre les contaminants et les maladies afin d'orienter les décisions en matière de pratiques de santé publique, de recherche, de réglementation stratégique et de programmes et services.
Annexes
Annexe 1: Schéma des processus de l'Enquête canadienne sur les mesures de la santé
Annexe 2: Modèle logique composite pour toutes les activités prévues dans le Plan d'action
Annexe 3: Matrice d'évaluation de l'Enquête canadienne sur les mesures de la santé (ECMS)
Annexe 4: Liste des publications qui ont fait partie de l'examen de la documentation
Le financement de base de l'ECMS comprend seulement le budget de fonctionnement et exclut le régime d'avantages sociaux des employés et les frais des locaux de TPSGC.
Dans son Rapport annuel 2010 sur l'état de la fonction d'évaluation, le SCT insiste sur l'importance du calibrage des évaluations; dans ce contexte, le « calibrage » consiste en la détermination du juste équilibre entre l'ampleur des efforts d'évaluation et le contexte d'évaluation (p. ex. importance relative du programme, risques qui y sont associés, etc.) (p. 40).
Le secteur de programme a été en mesure de fournir les noms de ses partenaires et clients auprès de qui les coûts sont recouvrés, les noms des chercheurs qui ont eu accès aux fichiers partagés à SC et à l'ASPC ainsi que les noms de ceux qui ont demandé à un CDR l'accès aux fichiers de données de l'ECMS. Il est fort probable que les noms obtenus ne correspondent pas à la liste exhaustive de toutes les personnes qui ont été exposées aux données.
Connor Gorber, S., M.S. Tremblay, D. Moher et al. (2007). « A comparison of direct versus selfreport measures for assessing height, weight and body mass index: a systematic review », Obesity Reviews, 8: 30726.
Statistique Canada. Enquête canadienne sur les mesures de la santé : raison d'être, contexte et aperçu, Rapports sur la santé : Documents de référence de l'Enquête canadienne sur les mesures de la santé, numéro spécial, supplément du n° 18, décembre 2007.
Statistique Canada. Enquête canadienne sur les mesures de la santé : raison d'être, contexte et aperçu. Rapports sur la santé : Documents de référence de l'Enquête canadienne sur les mesures de la santé, numéro spécial, supplément du n° 18, décembre 2007. N° de catalogue 82-003-XIF2007101
Centers for Disease Control, National Center for Health Statistics, National Health and Nutrition Examination Survey, disponible à l'adresse : http://www.cdc.gov/nchs/nhanes.htm (document consulté le 1er janvier 2007)
Le programme de la NHANES a été lancé au début des années 60 et comprend une série d'enquêtes axées sur différents groupes de population ou sujets relatifs à la santé. En 1999, l'enquête est devenue un programme permanent portant sur diverses mesures de la santé et de la nutrition et dont l'objet varie selon les besoins émergents. L'enquête porte chaque année sur un échantillon national représentatif d'environ 5 000 personnes (source : www.cdc.gov/nchs/nhanes)
Kuczmarski, R.J., C.L. Ogden, S.S. Guo et al., « 2000 CDC Growth Charts for the United States: methods and development », Vital Health Statistics, 11(246), 2002, p. 1190.
National Center for Health Statistics, National Health and Nutrition Examination Survey Data Accomplishments, disponible à l'adresse : www.cdc.gov/nchs/about/major/nhanes/DataAccomp.htm (document consulté le 1er juin 2007)
A. Aromaa, S. Koskinen et J. Huttunen. Health in Finland, KTL – National Public Health Institute, Ministry of Social Affairs and Health. Helsinki (Finlande), Edita Ldt., 1999.
A. Aromaa, S. Koskinen (sous la direction de), Health and Functional Capacity in Finland, Baseline Results of the Health 2000 Health Examination Survey, Helsinki, Finland, KTL – National Public Health Institute, 2004
Statistique Canada. Enquête canadienne sur les mesures de la santé : raison d'être, contexte et aperçu, Rapports sur la santé : Documents de référence de l'Enquête canadienne sur les mesures de la santé, numéro spécial, supplément du n° 18, décembre 2007.
Ces besoins ont été définis à partir des préférences et des suggestions des personnes interviewées. On sait toutefois que certains éléments sont déjà en place (p. ex. la possibilité de coupler des enregistrements), alors que d'autres ne s'inscrivent pas dans la portée d'une enquête nationale représentative comme l'ECMS.
Les médecins et les professionnels de la santé utilisent diverses lignes directrices pour interpréter l'état de santé des patients et déterminer les traitements appropriés. Les données de l'ECMS constituent des données de référence représentatives de la population canadienne pour l'élaboration et la mise à jour de certaines de ces lignes directrices (p. ex. guide d'interprétation du plomb dans le sang et lignes directrices sur l'apport d'acide folique chez les femmes en âge de procréer). En l'absence de données de référence nationales représentatives sur la santé de la population canadienne, de telles lignes directrices doivent reposer sur les données ou les pratiques d'autres pays, comme les États-Unis.
Dans le cadre de l'étude d'un problème de santé éventuel, les chercheurs doivent comparer l'objet de leur recherche à un état de santé « normal » (par exemple, pour confirmer l'importance d'un problème ou évaluer l'effet d'une intervention). D'après les chercheurs, les données de l'ECMS fournissent un groupe témoin représentatif de la population canadienne typique pour de telles études, et sont « extrêmement utiles aux chercheurs dans de nombreux domaines ».
Les activités de collecte de données dans le cadre de l'ECMS comprennent le prélèvement d'échantillons de sang et d'urine des répondants, qui sont ensuite entreposés dans une biobanque au Laboratoire national de microbiologie, à Winnipeg. Des lignes directrices et des protocoles rigoureux conformes à la Loi sur la statistique et aux règlements du Comité d'éthique de la recherche de SC sont en place pour garantir la confidentialité, la sécurité et l'accès approprié aux échantillons. L'accès aux échantillons de la biobanque est offert depuis juin 2012 et est réglementé par le Comité de la biobanque.
Les mesures de biosurveillance comprennent des mesures de l'exposition aux contaminants de l'environnement, mais aussi des biomarqueurs relevant d'autres volets de la santé.
L'évaluation de l'efficience et de l'économie du programme de l'ECMS a présenté quelques défis. La pratique constituant à compiler les données financières en fonction de l'exercice plutôt que du cycle, l'absence de données de référence sur les coûts et les ressources utilisées (à cause du caractère novateur et unique de l'ECMS au Canada) et le manque de temps et de ressources d'évaluation pour effectuer une comparaison avec des enquêtes similaires menées dans d'autres pays ont notamment eu des répercussions sur le caractère intégral et concluant de l'évaluation.
Annexe B : Assertions et détails, tirés de la Ligne directrice sur l'attestation du DPF
Annexe C : Acronymes
Résumé
La haute direction a fait une demande proactive fondée sur les risques pour la réalisation d'un audit afin de vérifier qu'on a donné suite aux recommandations de l'audit des contrôles financiers clés de 2011-2012; et d'évaluer le cadre et les processus actuels en place pour appuyer le processus d'attestation du dirigeant principal des finances (DPF) conformément à la nouvelle ligne directrice entrée en vigueur le 1er janvier 2014.
L'objectif de cet audit est de donner au statisticien en chef, au DPF et au Comité ministériel d'audit (CMA) de l'organisme l'assurance du caractère adéquat et de l'efficacité des activités d'examen et de surveillance menées au sein de la Direction des finances à l'appui :
de la mise en œuvre de la réponse et du plan d'action de la direction (RPAD) d'après les recommandations sur la Déclaration de responsabilité de la direction englobant le contrôle interne en matière de rapports financiers (CIRF) qui a été établie à la suite de l'audit des contrôles financiers clés (avril 2013);
du processus de contrôle diligent appuyant l'attestation du DPF pour les présentations au Cabinet.
Conclusions clés
Les pratiques révisées de l'équipe de la Politique sur le contrôle interne (PCI) sont un moyen efficace de faire en sorte que sa stratégie relative à la PCI soit périodiquement mise à jour, que les contrôles compensatoires en place pendant une période de changements apportés à des processus ou systèmes soient pris en considération aux fins des tests, pour ce qui est de fournir une assurance continue sur le CIRF, que la preuve de la mise en œuvre de mesures correctives soit réunie et documentée, et que le caractère adéquat des mesures correctives soit évalué par l'équipe de la PCI dans un cycle de tests de 12 mois.
La mise en œuvre d'un Comité directeur de la PCI est un moyen efficace de faire en sorte que les problèmes soient communiqués et réglés au niveau approprié de la direction, et peut être considérée comme une pratique à suivre. L'information sur les mesures correctives non réglées suite aux tests des années antérieures n'a pas été divulguée dans l'annexe de l'année en cours.
La Direction des finances intervient tôt dans la préparation des présentations au Cabinet et au Conseil du Trésor. Le directeur de la Division de la planification financière et les agents financiers donnent des conseils et de l'aide aux programmes, assistent aux réunions de programme pendant tout le processus pour veiller à faire préparer de l'information pour justifier divers coûts, en prévision de remises en question internes et externes dans le cadre du contrôle diligent. Cette participation permet d'améliorer la qualité de la présentation et est une bonne pratique, mais il faut renforcer l'objectivité requise pour effectuer le processus de contrôle diligent.
Deux équipes (l'équipe de l'établissement des coûts et l'équipe de la PCI) au sein de la Division de la divulgation financière aident aussi à la préparation des présentations au Cabinet et au CT en faisant des recommandations de politique et offrant des conclusions sur l'efficacité des contrôles internes. L'audit a révélé que l'aide fournie pour la préparation des présentations au Cabinet et au CT est adéquate.
L'audit a révélé que la conception actuelle du modèle de liste de contrôle n'est pas totalement alignée sur les sous-critères d'assertion de l'annexe B de la ligne directrice. L'examen du dossier a fait ressortir plusieurs lacunes dans la documentation recueillie pour le processus de contrôle diligent et la fonction de remise en question. Par conséquent, un certain nombre de critères d'assertion ne pourraient pas être évalués. Il faut un dossier de gestion suffisant pour documenter le processus de contrôle diligent et la fonction de remise en question, afin de permettre à un tiers de comprendre la portée de l'examen et des tests des assertions et d'évaluer comment le DPF en est arrivé à ses conclusions et ses observations pour sa lettre d'attestation, afin de répondre aux exigences de la ligne directrice.
Conclusion générale
La mise en œuvre d'un Comité directeur de la PCI est un outil efficace de gouvernance et de surveillance, et une pratique à suivre. Les quatre recommandations de l'audit des contrôles financiers clés de 2012-2013 ont toutes été mises en œuvre, mais il y aurait lieu de dévoiler dans l'annexe de l'année en cours les mesures correctives découlant des tests des années précédentes.
Il y a plusieurs bonnes pratiques en place pour améliorer la qualité des présentations au Cabinet à Statistique Canada. Pour renforcer les pratiques opérationnelles et répondre aux exigences de la nouvelle Ligne directrice sur l'attestation du DPF, le bureau du DPF aurait intérêt à accroître l'indépendance du processus d'examen et de la fonction de remise en question et à améliorer la documentation pour appuyer les assertions.
Conformité aux normes professionnelles
L'audit a été réalisé conformément aux Normes d'audit du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors (IIA) – Institut des vérificateurs internes.
L'application de procédures d'audit suffisantes et appropriées et le rassemblement de données appuient l'exactitude des constatations et conclusions du présent rapport et donnent une assurance. Les constatations et les conclusions sont fondées sur une comparaison des conditions, telles qu'elles existaient à l'époque, au regard de critères d'audit préétablis. Les constatations et conclusions s'appliquent à l'entité examinée et pour la portée et la période de référence de l'audit.
Patrice Prud'homme
Dirigeant principal d'audit
Introduction
Contexte
La Politique sur la gouvernance en matière de gestion financière (la politique) a pris effet le 1er avril 2009 et a été modifiée pour la dernière fois le 1er juin 2010. Cette politique a pour objectif de renforcer la gestion financière dans le secteur public et son leadership, de manière à contribuer à la gérance des ressources publiques, à l'efficacité des processus décisionnels et à l'exécution des politiques et des programmes. Cette politique établit les responsabilités en matière de gouvernance de gestion financière et les aptitudes s'y rattachant, et est conçue afin d'assurer une gestion financière robuste des ressources publiques, à appuyer les principes de probité et de prudence ainsi que de contribuer à l'améliorer la prise de décision. Selon cette politique, le dirigeant principal des finances (DPF) est responsable de :
Signer les déclarations et divulgations en matière de gestion financière, qui peuvent inclure les états financiers ministériels, y compris la Déclaration de la responsabilité de la direction englobant le contrôle interne exercé en matière de rapports financiers, et donner l'assurance raisonnable que les mesures appropriées ont été prises pour maintenir un système de contrôle interne efficace;
Approuver tous les rapports financiers et les rapports connexes, les présentations et les divulgations de l'organisme qui nécessitent l'approbation du statisticien en chef, en assurant une fonction de remise en question sur les éléments de gestion financière et d'utilisation des ressources publiques au sein de Statistique Canada.
En 2012, la Division de l'audit interne a effectué un audit des contrôles financiers clés. Cet audit a donné lieu à quatre recommandations touchant : la révision périodique du cadre de la stratégie de la Politique sur les contrôles internes (PCI), les tests des contrôles compensatoires, le suivi opportun des mesures correctives et la clarté de la Déclaration de responsabilité de la direction englobant le CIRF.
En outre, le Secrétariat du Conseil du Trésor a publié une nouvelle Ligne directrice sur l'attestation du dirigeant principal des finances pour les présentations au Cabinet (la ligne directrice), qui est entrée en vigueur le 1er janvier 2014. Cette ligne directrice vise à fournir un cadre et des conseils pratiques aux DPF en ce qui a trait au contrôle diligent et à l'attestation des éléments de la gestion financière contenus dans les présentations au Cabinet. En vertu de cette politique, le DPF a le mandat de fournir des avis objectifs et indépendant au statisticien en chef, ce dernier étant l'administrateur des comptes de l'organisme. Six assertions fondamentales ont été établies pour caractériser les éléments de l'attestation et communiquer les conclusions de l'attestation du DPF en vue de la prise de décisions.
Deux divisions de la Direction des finances assument les responsabilités de la conformité à la PCI et de l'attestation du DPF. La Division de la divulgation financière coordonne les activités pour l'évaluation des contrôles internes et fournit un cadre pour l'attestation du DPF. La Division de la planification financière offre une expertise financière et un soutien aux programmes dans la préparation des présentations au Cabinet et au Conseil du Trésor (CT) par l'intermédiaire de ses agents et conseillers financiers, et assure la liaison pour toutes les questions touchant le processus d'approbation des présentations au CT, tant à l'interne qu'avec les autres ministères et organismes centraux.
Objectifs de l'audit
L'objectif de l'audit était de fournir au statisticien en chef, au DPF et au CMV de l'organisme l'assurance du caractère adéquat et de l'efficacité des activités d'examen et de surveillance menées au sein de la Direction des finances à l'appui de :
La mise en œuvre de la RPAD après les recommandations touchant la Déclaration de responsabilité de la direction englobant le CIRF suite à l'audit des contrôles financiers clés (avril 2013);
Les processus de contrôle diligent appuyant l'attestation du DPF pour les présentations au Cabinet.
Portée
La portée de l'audit comprenait un examen :
Des plans d'action mis en œuvre suite aux recommandations de l'audit des contrôles financiers clés d'avril 2013.
Du cadre et des processus actuels en place pour appuyer l'attestation du DPF pour les présentations au Cabinet conformément à la nouvelle ligne directrice, qui est entrée en vigueur le 1er janvier 2014.
Approche et méthodologie
L'approche de l'audit s'inspirait de la Politique sur le contrôle interne du Conseil du Trésor et du Document préliminaire d'outil diagnostic à l'intention des Ministères et organismes relativement à la Politique sur le contrôle interne publié par le Bureau du contrôleur général en juillet 2010, ainsi que de la Ligne directrice pour l'attestation du DPF du Conseil du Trésor, qui est entrée en vigueur le 1er janvier 2014.
Le travail d'audit a consisté à examiner des documents, à mener des entrevues auprès de membres clés de la haute direction et du personnel de Statistique Canada; à passer en revue les processus et procédures liés au CIRF, et le processus actuel de contrôle diligent pour deux présentations, l'un au Cabinet et l'autre au CT, préparées en 2013, soit avant la date de prise d'effet de la nouvelle ligne directrice le 1er janvier 2014.
L'audit a été réalisé conformément aux Normes d'audit du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors (IIA) – Institut des vérificateurs internes.
Autorité
L'audit a été effectué suite à une demande de la direction basée sur le risque.
Constatations, recommandations et réponses de la direction
Objectif 1 : Constater le caractère adéquat et l'efficacité des activités d'examen et de surveillance menées au sein de la Direction des finances à l'appui de la RPAD en ce qui concerne les recommandations touchant l'annexe de la Déclaration de responsabilité de la direction englobant le CIRF suite à l'audit des contrôles financiers clés de 2012-2013.
Suivi de l'audit des contrôles financiers clés
Les pratiques révisées de l'équipe de la PCI sont un moyen efficace de mettre à jour périodiquement sa stratégie pour la conformité à la PCI, de prendre en considération aux fins des tests les contrôles compensatoires en place pendant une période de changements apportés à des processus ou systèmes, pour ce qui est de fournir une assurance continue sur le CIRF, de réunir et de documenter la preuve de la mise en œuvre de mesures correctives, et de faire évaluer par l'équipe de la PCI, dans un cycle de tests de 12 mois, le caractère adéquat des mesures correctives.
La mise en œuvre d'un Comité directeur de la PCI est un moyen efficace de veiller à ce qu'il soit fait rapport des problèmes et que les problèmes se règlent au niveau approprié de la direction, et peut être considérée comme une pratique exemplaire. L'information touchant les mesures correctives restant à prendre suite aux tests des années antérieures n'a pas été divulguée dans l'annexe de l'année en cours.
En avril 2013, la Division de l'audit interne de Statistique Canada a fait rapport de son audit des contrôles financiers clés – Déclaration de responsabilité de la direction englobant le contrôle interne en matière de rapports financiers (CIRF). L'audit a conclu que, si les activités qui soutiennent le cadre existant sont adéquates, il existe néanmoins des possibilités de faire en sorte que l'organisme puisse soutenir le cycle de son processus d'évaluation du CIRF. Sa recommandation était de mettre à jour la stratégie de l'organisme, et de communiquer clairement les points nécessitant des mesures correctives et ceux pour lesquels on n'a pas été en mesure de fournir une assurance.
La stratégie pour la conformité à la PCI est périodiquement mise à jour par un processus d'examen annuel.
Pendant l'audit précédent des contrôles financiers clés, il y a eu plusieurs circonstances où le calendrier des tests n'a pas été suivi. Pour maintenir la pertinence de la stratégie, la Division de l'audit interne a recommandé que la stratégie pour la conformité à la PCI soit périodiquement mise à jour et validée par le DPF et le statisticien en chef.
L'équipe de la PCI a mis en œuvre un processus d'examen annuel. La stratégie de tests pour évaluer les contrôles compensatoires est déterminée par l'examen des processus opérationnels pour indiquer les changements prévus aux systèmes. Le processus d'examen annuel est piloté par l'équipe de la PCI; les propriétaires des processus opérationnels (PPO) sont consultés et ont la possibilité de communiquer les changements prévus aux systèmes. L'équipe de la PCI évalue alors l'incidence des changements aux systèmes sur les contrôles internes, dans le cadre du processus d'examen annuel. Une fois l'examen annuel des processus opérationnels terminé, l'équipe de la PCI prend connaissance et discute de l'incidence des changements à apporter aux systèmes, et décide s'il y a lieu d'apporter des rajustements au plan des tests.
Le Plan des tests fondés sur les risques du CIRF pour 2015-2019 remplace la stratégie pour la conformité à la PCI. Il est mis à jour annuellement, peut être rajusté selon la nécessité, et est fondé sur l'évaluation des résultats, des changements et de l'incidence des mesures correctives.
L'approche révisée de l'équipe de la PCI est un moyen efficace d'assurer la mise à jour périodique de la stratégie pour la conformité à la PCI.
Les contrôles compensatoires en place pendant une période de changements apportés à des processus ou systèmes sont pris en considération aux fins des tests, pour ce qui est de fournir une assurance continue sur le CIRF.
L'audit précédent des contrôles financiers clés a recommandé que les contrôles compensatoires en place pendant une période de changements apportés à des processus ou systèmes soient pris en considération aux fins des tests, pour ce qui est de fournir une assurance continue sur le CIRF.
En 2013-2014, l'équipe de la PCI a testé les contrôles compensatoires pour tous les processus où les tests avaient été retardés à cause de changements à apporter aux systèmes. Ces processus étaient : les immobilisations, la réconciliation des salaires pour la paie et les avantages sociaux, les dépenses de fonctionnement et les revenus.
Les résultats des tests de l'équipe de la PCI ont démontré que tous les contrôles compensatoires fonctionnaient efficacement, sauf pour ceux entourant la paie et les avantages sociaux. Ces résultats ont été communiqués aux propriétaires des processus opérationnels concernés. Par suite de l'examen et de la mise à jour de tous les processus opérationnels du CIRF par l'équipe de la PCI en 2013-2014, il n'y a pas eu d'autres tests des contrôles qui aient été reportés à cause de changements aux systèmes.
Partant du principe que les contrôles des processus doivent être maintenus et être efficaces avant et après tout changement et que, dans la plupart des cas, les contrôles des processus et les objectifs des contrôles ne changent pas, même lorsque la responsabilité ou les outils changent, l'équipe de la PCI prendra dorénavant pour approche de s'en tenir au calendrier du plan des tests et de ne pas retarder les tests. Si des contrôles clés deviennent inefficaces à cause de grands changements aux systèmes, on pourra toujours décider de retarder les tests périodiques et de tester les contrôles compensatoires. De cette façon, les tests des contrôles compensatoires seront limités aux cas où les contrôles périodiques ne sont plus efficaces.
L'approche révisée de l'équipe de la PCI fait en sorte que les contrôles compensatoires en place pendant une période de changements apportés à des processus ou systèmes seront pris en considération aux fins des tests, pour ce qui est de donner une assurance continue sur le CIRF.
La mise en œuvre de mesures correctives est validée rapidement par l'équipe de la PCI.
Par le passé, l'équipe de la PCI réunissait de l'information sur l'état de la mise en œuvre des mesures correctives en adressant des demandes aux PPO. L'équipe de la PCI utilise des modèles de suivi des mesures correctives pour suivre les progrès de la mise en œuvre des plans de mesures correctives. Tous les trimestres, les PPO sont appelés à faire le point à l'équipe de la PCI sur la situation en ce qui concerne les plans de mesures correctives afin de mettre à jour le modèle de suivi.
Les examens des processus opérationnels menés en 2013-2014, et le processus d'examen annuel décrit dans le Plan des tests fondés sur les risques du CIRF pour 2015-2019, combinés à l'évaluation des questions relatives à la PCI discutées pendant les réunions de l'équipe de la PCI sont suffisants pour réunir et documenter la preuve de la mise en œuvre de mesures correctives, et pour que l'équipe de la PCI puisse évaluer le caractère adéquat des mesures correctives dans un cycle de tests de 12 mois.
La mise en œuvre du Comité directeur de la PCI est un outil efficace de gouvernance et de surveillance, et une pratique à suivre
La nouvelle ligne directrice pour la PCI oblige à gérer les contrôles internes par une surveillance formelle et une gouvernance efficace, qui comprennent des rapports périodiques à la haute direction, à l'administrateur général et au CMV.
En 2013-2014, la Division de la divulgation financière a créé le Comité directeur de la PCI. Ce comité s'était réuni trois fois en date de janvier 2014. Les rôles et responsabilités du Comité directeur de la PCI ont été établis et approuvés à la réunion du 15 juillet 2013. Les membres du Comité directeur comprennent les DG qui surveillent les secteurs où les contrôles des processus sont inclus et testés dans le cadre de la PCI. L'objet du Comité est d'informer les membres des changements proposés à la stratégie de tests et des progrès réalisés dans divers secteurs de la PCI. Le résultat attendu de ce nouveau comité est un accroissement de la sensibilisation et de l'adhésion des PPO à l'importance de la PCI.
Les membres du Comité de la PCI reçoivent de l'information sur l'état du processus annuel de la PCI, et proposent des changements au plan des tests. On leur rappelle également pendant les réunions l'importance de l'exécution rapide des mesures correctives.
La mise en œuvre d'un Comité directeur de la PCI est un moyen efficace de faire en sorte que les problèmes soient communiqués et réglés au niveau approprié de la direction, et peut être considérée comme une pratique à suivre.
Les mesures correctives non encore appliquées pour les tests des années antérieures devraient être incluses dans l'annexe de l'année en cours
Par le passé, l'information présentée dans l'annexe de la Déclaration de responsabilité de la direction englobant le contrôle interne en matière de rapports financiers n'expliquait pas spécifiquement la nature du travail à faire pour atteindre l'état de préparation à l'audit, relativement aux mesures correctives en instance. La Division de l'audit interne a fait une recommandation pour faire en sorte que l'annexe communique clairement les secteurs nécessitant des mesures correctives en vue d'atteindre l'état de préparation à l'audit, ainsi que les secteurs pour lesquels une assurance n'a pas été fournie pour une période donnée.
L'information présentée dans l'annexe 2012-2013 de la Déclaration de responsabilité de la direction englobant le CIRF suit le modèle inclus dans la nouvelle ligne directrice pour la PCI. Cependant, l'information concernant les mesures correctives en instance suite aux tests des années antérieures n'a pas été divulguée dans l'annexe de l'année en cours.
Le modèle proposé dans la nouvelle ligne directrice pour la PCI ne traite pas spécifiquement des cas où des faiblesses de contrôle subsistent pour des périodes de plus de 12 mois. Le corps de la ligne directrice énonce que, une fois terminée la première évaluation complète, l'annexe du Ministère doit refléter le stade de la surveillance continue; dans la section concernant l'état de l'évaluation, la ligne directrice demande de l'information sur les plans pour l'exécution des travaux d'évaluation où des mesures correctives doivent être terminées dans les années suivantes.
La pratique de faire état annuellement sur les faiblesses du contrôle qui restent à régler pour des périodes de plus de 12 mois encouragera les mesures correctives rapides et fera en sorte qu'elles continuent d'être portées à l'attention de la haute direction.
Recommandation :
Le statisticien en chef adjoint, Services intégrés (et DPF), doit s'assurer que :
L'information concernant les mesures correctives incomplètes ou en instance qui a été divulguée dans l'annexe de la Déclaration de responsabilité de la direction englobant le CIRF des années précédentes continue d'être divulguée dans l'annexe des années ultérieures jusqu'à ce que les mesures correctives soient terminées.
Réponse de la direction :
La direction souscrit aux recommandations.
Le directeur de la Division de la divulgation financière veillera à ce que tous les points en instance des années antérieures soient réglés rapidement, avec l'aide du Comité directeur de la PCI, pour assurer des suivis rigoureux, et dévoilera dans l'annexe les mesures correctives restant à appliquer pour les années précédentes.
Livrables et échéancier : Les mesures correctives incomplètes ou en instance des années précédentes seront divulguées dans l'annexe de 2013-2014 de la Déclaration de responsabilité de la direction englobant le CIRF qui sera présentée au dirigeant principal des finances, au statisticien en chef et au Comité ministériel d'audit. Cette annexe sera publiée avec le Rapport ministériel sur le rendement et les états financiers dans le site Web de Statistique Canada, d'ici novembre 2014.
Objectif 2 : Constater le caractère adéquat/l'efficacité des activités d'examen et de surveillance menées au sein de la Direction des finances à l'appui de l'attestation du DPF pour les présentations au Cabinet.
Attestation du DPF et contrôle diligent
La Direction des finances intervient tôt dans la préparation des présentations au Cabinet et au CT. Le directeur de la Division de la planification financière et les agents financiers donnent des conseils et de l'aide aux programmes, assistent aux réunions de programme pendant tout le processus pour veiller à faire préparer de l'information pour justifier divers coûts, en prévision de remises en question internes et externes dans le cadre de contrôle diligent. Cette participation permet d'améliorer la qualité de la présentation et est une bonne pratique, mais il faut renforcer l'objectivité requise pour effectuer le contrôle diligent.
Deux équipes (l'équipe de l'établissement des coûts et l'équipe de la PCI) au sein de la Division de la divulgation financière aident aussi à la préparation des présentations au Cabinet et au CT en faisant des recommandations de politique et offrant des conclusions sur l'efficacité des contrôles internes. L'audit a révélé que l'appui fourni pour la préparation des présentations au Cabinet et au CT est adéquate.
L'audit a révélé que la conception actuelle du modèle de liste de contrôle n'est pas totalement alignée sur les sous-critères d'assertion de l'annexe B de la ligne directrice. L'examen du dossier a fait ressortir plusieurs lacunes dans la documentation recueillie pour le processus de contrôle diligent et la fonction de remise en question. Par conséquent, un certain nombre de critères d'assertion ne pourraient être évalués par les auditeurs ou par un éventuel examen indépendant. Pour répondre aux exigences de la ligne directrice, il faut un dossier de gestion suffisant pour documenter le processus de contrôle diligent et la fonction de remise en question, afin de permettre à un tiers de comprendre la portée de l'examen et des tests des assertions et d'évaluer comment le DPF en est arrivé à ses conclusions et ses observations pour sa lettre d'attestation.
Nouvelle ligne directrice pour l'attestation du DPF
Le Secrétariat du Conseil du Trésor a publié une nouvelle Ligne directrice sur l'attestation du DPF pour les présentations au Cabinet (la ligne directrice), qui est entrée en vigueur le 1er janvier 2014. La ligne directrice vise à fournir un cadre et des conseils pratiques aux DPF en ce qui a trait au contrôle diligent et à l'attestation des éléments de la gestion financière contenus dans les présentations au Cabinet.
En sa qualité d'administrateur des comptes de l'organisme, le statisticien en chef est ultimement responsable de l'élaboration et de la préparation des présentations, ainsi que de l'obtention de la signature du ministre promoteur. Le DPF et les cadres supérieurs de l'organisme jouent un rôle important dans la préparation des présentations et le processus de contrôle diligent et l'attestation. Le DPF joue le double rôle de fournisseur de l'expertise financière aux programmes clients, et de source de conseils objectifs et indépendants destinés à l'administrateur général.
Le rôle de remise en question et d'attestation du DPF est fondé sur la gérance financière ministérielle ainsi que sur un rôle de conseiller stratégique objectif à l'égard des questions qui concernent, entre autres choses, la gestion des risques, l'examen des solutions financières et la limitation des coûts.
Six assertions fondamentales permettent de caractériser les éléments de l'attestation et de communiquer les conclusions de l'attestation du DPF en vue de la prise de décisions. Les assertions du DPF1 sont les suivantes :
La nature et la portée de la proposition sont décrites de manière raisonnable, et les hypothèses qui ont une incidence importante sur les besoins financiers connexes ont été identifiées et sont appuyées.
Les risques importants ayant une incidence sur les besoins financiers, la vulnérabilité des besoins financiers à la modification des principales hypothèses et les stratégies d'atténuation des risques connexes ont été communiqués.
Les besoins en matière de ressources financières ont été communiqués et cadrent avec les hypothèses décrites dans la proposition, et les solutions pour limiter les coûts ont été examinées.
Le financement est déterminé et il est suffisant pour répondre aux besoins financiers pour la durée prévue de la proposition.
La proposition est conforme aux lois et politiques pertinentes en matière de gestion financière, et les pouvoirs de gestion financière nécessaires sont en place ou sont demandés dans la proposition.
Les principaux contrôles financiers nécessaires à la mise en œuvre et au soutien continu de la proposition sont en place.
Avant de procéder à l'attestation, les DPF doivent effectuer un contrôle diligent exhaustif et exercer une fonction de remise en question pour attester l'intégrité de l'information financière et les hypothèses présentées dans les présentations au Cabinet et au CT. La ligne directrice énonce que cet examen se fonde à tout le moins sur les six assertions énumérées plus haut et couvre un ensemble de critères et sous-critères énoncés à l'annexe B de la ligne directrice(voir l'annexe B). Un contrôle diligent objectif et indépendant doit être effectué par du personnel autre que celui qui participe directement à la préparation de la présentation, et les rapports hiérarchiques doivent être structurés de manière à réduire les risques d'influence, de subjectivité et de partisanerie.
Il doit être tenu un dossier de gestion suffisamment détaillé pour qu'un tiers puisse saisir et comprendre la portée de la diligence raisonnable et le processus d'audit des assertions, et voir comment ils appuient les conclusions et observations contenues dans la lettre d'attestation. Le Bureau du contrôleur général encourage l'utilisation d'une liste de contrôle pour documenter, pour chaque critère d'assertion, le travail d'analyse et de tests effectué par l'équipe d'attestation du DPF.
Les rôles et responsabilités du processus de contrôle diligent et son indépendance doivent être clairement définis
Statistique Canada a deux initiatives de programme qui nécessitent un mémoire au Cabinet au début de chaque cycle quinquennal et des présentations au CT pour obtenir du financement. L'équipe d'audit a interviewé des membres clés du personnel au sein de la Direction des finances ainsi que des gestionnaires de programme, et examiné les organigrammes et documents de procédures de la Direction des finances afin de repérer les employés clés qui participent à la préparation des présentations au Cabinet et au CT et ceux qui travaillent à l'exécution du contrôle diligent et à la fonction de remise en question. L'équipe d'audit a aussi évalué si les rôles et responsabilités de l'équipe d'attestation du DPF et l'indépendance de cette fonction ont été clairement définis, documentés et compris.
À Statistique Canada, les agents/conseillers financiers travaillent directement à la préparation des présentations au CT. Ils sont généralement des FI-02 et FI-03 qui relèvent fonctionnellement de la Division de la planification financière Ils donnent des conseils financiers stratégiques et un soutien aux secteurs de programme qui sont leurs clients et interviennent tôt dans le processus en fournissant une aide technique financière, tirant des renseignements historiques des systèmes financiers de l'organisme et compilant des données financières, ainsi qu'en fournissant des services de calcul des coûts aux gestionnaires de programme pour la formulation d'hypothèses financières pour les présentations au Cabinet et au CT. La consultation des agents financiers au stade de la préparation des présentations au Cabinet et au CT permet d'améliorer la qualité de la présentation et est considérée comme une bonne pratique opérationnelle.
Deux équipes au sein de la Division de la divulgation financière participent également au processus d'attestation du DPF. L'équipe de l'établissement des coûts donne des conseils aux conseillers/agents financiers sur la méthodologie de calcul des coûts et les modèles à utiliser pour assurer la conformité à la législation financière et aux politiques du CT. L'équipe de la PCI évalue de façon continue l'état de préparation à l'audit pour les contrôles internes au sein des programmes. Ces deux équipes ne travaillent pas directement à la préparation des présentations au Cabinet et au CT, et elles fournissent une perspective indépendante et objective des questions liées à la conformité de la présentation et des contrôles internes. L'audit a révélé que le soutien fourni pour la préparation des présentations au Cabinet et au CT est adéquat.
Le directeur de la Division de la planification financière assiste aux réunions de programme pendant la préparation des présentations au CT et applique de façon continue les procédures d'analyse requises. Il est ressorti des entrevues que l'analyse comparative de l'information, comme l'information financière du cycle de projet précédent et la présentation courante au CT, avait été effectuée et que des questions avaient été soulevées auprès du programme là où il y avait des différences ou des augmentations importantes. La Division de la planification financière mène ces activités pour pouvoir fournir des conseils au programme afin de l'aider à préparer de l'information pour justifier divers coûts, en prévision de questions toujours possibles de la part du CT. L'analyse menée par la Division de la planification financière est cruciale, mais l'objectivité que requiert le processus de contrôle diligent doit être renforcée.
La Direction des finances a mis au point une liste de contrôle divisée en six sections correspondant aux assertions fondamentales. Elle est à remplir par l'équipe de gestion du programme et le personnel financier qui participe directement à la préparation et à l'élaboration de la présentation. Dès lors que l'information est compilée et approuvée, la liste de contrôle est signée par divers niveaux de direction du programme, jusqu'au statisticien en chef adjoint (SCA). Les résultats de l'exercice donnent des dossiers de corroboration à utiliser par le chef, Présentations au CT, pour l'exécution d'un contrôle diligent indépendant conformément à la ligne directrice.
Dans tout le processus de présentation au CT, la Direction des finances organise des séances de rapport avec le SCA et le DPF pour passer en revue le dossier de corroboration établi pour le programme. Pendant ce processus, l'équipe de gestion du programme et les agents/conseillers financiers désignés présentent au DPF de l'information sur les hypothèses clés, les coûts, les options de financement, et d'autres détails, et le DPF, de son côté, fait la remise en question de l'information reçue.
Actuellement, on s'appuie sur les travaux accomplis par les agents financiers qui compilent l'information financière pour le programme afin de répondre aux exigences du contrôle diligent indépendant/objectif. Parce qu'ils participent directement à la compilation de l'information pour les présentations au Cabinet et au CT, cela entrave leur capacité de revoir objectivement l'information, comme l'exige la ligne directrice. Pour respecter intégralement les exigences de la nouvelle Ligne directrice sur l'attestation du DPF, il faut définir clairement les rôles et responsabilités des intervenants à l'attestation du DPF, et renforcer l'objectivité et l'indépendance du processus de contrôle diligent et de la fonction de remise en question.
Le processus de contrôle diligent n'est pas suffisamment documenté pour répondre aux exigences de la nouvelle ligne directrice
Pour évaluer si un dossier de gestion appuie le contrôle diligent effectué, selon la section 4.3.4 de la ligne directrice, l'équipe d'audit a passé en revue toute la documentation compilée par la Division de la planification financière à l'appui de l'attestation du DPF pour deux récentes initiatives de programme : un mémoire au Cabinet et une présentation au CT. Les pièces justificatives consistaient de dossiers de corroboration qui contenaient des listes de contrôle remplies par les personnes ayant travaillé à la préparation de la présentation, des rapports financiers et non financiers, et des tableaux préparés par les programmes.
L'audit a comparé la conception du modèle de liste de contrôle élaboré par la Direction des finances pour l'aligner sur les critères d'assertion inclus à l'annexe B de la ligne directrice. L'audit a révélé que la conception actuelle du modèle de liste de contrôle n'est pas totalement alignée sur les sous-critères d'assertion de l'annexe B de la ligne directrice. Il y a plusieurs questions où le lien avec les critères d'assertion n'est pas clair. Par exemple, selon l'annexe B de la ligne directrice, les critères concernant la gestion des risques devraient comprendre : Les principaux risques financiers ont été examinés; La probabilité et l'incidence des principaux risques ont été examinées; et Les réactions aux risques et les stratégies d'atténuation sont claires. À la section 2.1 du modèle de liste de contrôle de la Direction des finances, qui a trait à la gestion des risques, les questions suivantes sont des exemples de questions qui ont été incluses : Tous les principaux intervenants ont-ils été consultés? Si oui, joindre une confirmation écrite de chaque secteur; la capacité des ressources humaines a-t-elle été confirmée? Les besoins en ressources ont-ils été analysés? Il y a de l'ambigüité au niveau du lien entre ces questions et la gestion des risques dans le contexte de la nouvelle ligne directrice, et en quoi ces questions donneraient de l'information qui serait utile pour l'évaluation des critères d'assertion sur la gestion des risques.
Pendant l'examen du dossier, l'audit a révélé un certain nombre de lacunes dans la documentation recueillie pour le processus de contrôle diligent et la fonction de remise en question. Il y a eu des cas où le programme a indiqué soit que la documentation pour certaines assertions était sans objet, soit qu'elle serait disponible plus tard, soit encore que l'information était disponible mais non comprise dans le dossier. Voici des exemples précis de critères pour lesquels il n'a pas été produit de documentation pour examen : l'analyse de sensibilité financière pour les déterminants de coûts qui ont une incidence importante sur les besoins en ressources; la conformité à la législation et aux politiques sur la gestion financière; et les dépenses ou les autorisations de dépenser. Par conséquent, un certain nombre de critères d'assertion n'ont pu être évalués par les auditeurs ou ne pourraient l'être dans le cadre d'un éventuel examen indépendant.
Par ces entrevues, l'équipe d'audit a pu corroborer que le directeur de la Division de la planification financière avait soulevé des questions auprès du programme après une analyse comparative de l'information financière du cycle de projet précédent et de la nouvelle présentation au CT. Là où il existait des écarts importants entre le dernier cycle de projet et les chiffres financiers courants, le programme a reçu instruction de préparer suffisamment d'information pour justifier ces coûts. Les conclusions tirées de cette analyse ne sont pas formellement documentées dans des procès-verbaux de réunion ou comptes rendus de décisions et ne peuvent être rattachées aux résultats de l'attestation du DPF.
Par conséquent, l'équipe d'audit n'a pas pu établir quelles analyses ou quels tests ont été effectués, quelle justification des divers coûts présentés par le programme a été jugée satisfaisante, et quelles conclusions ont été tirées à l'appui de l'attestation du DPF.
Un dossier de gestion suffisant documentant le contrôle diligent et la fonction de remise en question, et permettant à un tiers de comprendre la portée de l'examen et des tests des assertions et de voir comment le DPF en est arrivé aux conclusions et observations qui se trouvent dans sa lettre d'attestation, est nécessaire pour répondre aux exigences de la ligne directrice.
Recommandations :
Le statisticien en chef adjoint, Services intégrés (et DPF), doit s'assurer que :
Les rôles et responsabilités du personnel participant à l'attestation du DPF sont raffinés et documentés d'une manière qui répond aux exigences d'indépendance exprimées dans la ligne directrice.
Les dossiers de gestion pour appuyer l'analyse, les conclusions et la lettre d'attestation du DPF sont établis et documentés, conformément à la section 4.3.4 de la ligne directrice.
Réponse de la direction :
La direction souscrit aux recommandations.
Le directeur de la Division de la divulgation financière, le directeur de la Division de la planification financière, le dirigeant principal des finances adjoint (DPFA) et le DPF établiront, documenteront et communiqueront clairement les rôles et responsabilités de tous les intervenants au processus d'attestation du DPF, d'une manière conforme aux exigences d'indépendance exprimées dans la ligne directrice.
Livrables et échéancier :
Les rôles et responsabilités de toutes les parties intervenant à un processus de présentation de document au Cabinet seront élaborés et documentés d'une manière conforme aux exigences d'indépendance exprimées dans la ligne directrice, d'ici septembre 2014.
Les rôles et responsabilités seront validés avec un groupe de travail formé de participants à un échantillon de récents processus de présentation de documents au Cabinet, d'ici octobre 2014.
La proposition finale sera examinée et approuvée par le DPFA et le DPF, d'ici novembre 2014.
Les rôles et responsabilités seront publiés dans le carrefour des Services intégrés, d'ici décembre 2014.
Le directeur de la Division de la divulgation financière, le directeur de la Division de la planification financière, le DPFA et le DPF maintiendront des dossiers de gestion appuyant l'analyse, les conclusions et la lettre d'attestation du DPF.
Livrables et échéancier :
Il sera élaboré un protocole pour la consignation de l'analyse et des conclusions des discussions avec le DPFA et le DPF, dans le cadre du processus formel d'examen et d'attestation. À mettre en œuvre pour septembre 2014.
Des descriptions plus explicites des documents justificatifs, inclus comme élément de preuve pour chacune des sections de la liste de contrôle, seront également incluses pour aider les tiers à mieux comprendre la profondeur de l'analyse effectuée par le DPF et son équipe. À mettre en œuvre pour décembre 2014.
Annexes
Annexe A : Critères d'audit
Annexe A : Critères d'audit
Sommaire du tableau
Le tableau de l'Annexe A identifie les critères de vérification, les sous-critères et les instruments de politiques qui ont servit de source pour les critères
Objectif du contrôle/contrôles de base/critères
Sous-critères
Instruments de politique
1) Donner au statisticien en chef (SC), au dirigeant principal des finances (DPF) et au Comité ministériel d'audit (CMA) de l'organisme l'assurance du caractère adéquat et de l'efficacité des activités d'examen et de surveillance menées au sein de la Direction des finances et à l'appui :
De la mise en œuvre de la Réponse de la direction et plan d'action (RDPA) au sujet des recommandations concernant la Déclaration de responsabilité de la direction englobant le contrôle interne en matière de rapports financiers (CIRF) suite à l'audit des contrôles financiers clés (avril 2013).
1.1 Les contrôles compensatoires en place pendant une période de changements apportés à des processus ou systèmes sont pris en considération aux fins des tests, pour ce qui est de fournir une assurance continue sur le CIRF.
1.1.1 Les changements prévus à apporter aux systèmes sont indiqués et communiqués à l'équipe de la PCI.
1.1.2 L'équipe de la PCI évalue les incidences sur les contrôles internes des changements apportés aux systèmes.
1.1.3 La stratégie des tests est déterminée
(c.-à-d. les tests des contrôles compensatoires) et les contrôles font l'objet de tests.
1.1.4 La stratégie de conformité à la PCI est mise à jour, et les questions relatives à la PCI sont repérées et communiquées rapidement.
Politique sur le contrôle interne (PCI)
Outil diagnosticpréliminaire à l'intention des ministères et organismes. Juillet 2010.
La Politique sur la gouvernance en matière de gestion financière
1.2 Le processus de surveillance comprend une validation rapide de l'état d'exécution des mesures correctives déclarées par les propriétaires de processus opérationnels.
1.2.1 Il y a un processus de surveillance pour valider l'état d'exécution des mesures correctives déclarées par les propriétaires de processus opérationnels.
1.2.2 L'équipe de la PCI rassemble et documente la preuve de la mise en œuvre de mesures correctives.
1.2.3 L'équipe de la PCI évalue le caractère adéquat des mesures correctives.
1.2.4 Les problèmes sont signalés et le comité directeur de la PCI en discute s'il y a lieu.
2) Donner au statisticien en chef (SC), au dirigeant principal des finances (DPF) et au Comité ministériel d'audit (CMA) de l'organisme l'assurance du caractère adéquat et de l'efficacité des activités d'examen et de surveillance menées au sein de la Direction des finances et à l'appui :
Des contrôles diligents appuyant l'attestation du DPF pour les présentations au Cabinet.
2.1 La structure de gouvernance en place au sein de la Direction des finances appuie le processus d'attestation de la diligence raisonnable.
2.1.1 Les rôles et responsabilités ont été clairement définis, documentés et compris.
2.1.2 Il a été élaboré des processus et des outils à l'appui du processus d'attestation du DPF.
2.1.3 Les pouvoirs d'approbation des présentations au CT sont clairement établis et appliqués.
2.1.4 Les étapes critiques et les échéanciers ont été rajustés et prévoient suffisamment de temps pour procéder au contrôle diligent.
2.1.5 Les responsabilités ont été déléguées pour assurer le maintien de l'indépendance et de l'objectivité du DPF dans la préparation des présentations au Cabinet et au CT.
Ligne directrice sur l'attestation du dirigeant principal des finances pour les présentations au Cabinet (en vigueur le 1er janvier 2014)
2.2 Le DPF a mis au point un processus de contrôle diligent pour vérifier que l'information donnée dans les présentations au CT est raisonnable, complète, fiable et pertinente.
2.2.1 L'évaluation de l'information financière dans une présentation au CT part des 6 assertions contenues à l'annexe B de la ligne directrice sur l'attestation du DPF.
2.2.2 L'attestation du DPF est fondée sur l'exécution d'un contrôle diligent et l'application d'un processus de remise en question accomplis formellement par le personnel d'attestation du DPF.
2.2.3 La preuve des travaux accomplis pendant le contrôle diligent est maintenue.
2.2.4 Le personnel d'attestation du DPF a les compétences requises pour effectuer le contrôle diligent et appliquer la fonction de remise en question.
2.2.5 Le DPF intervient tôt auprès du programme, examine l'information de la présentation au CT et traite des questions soulevées.
2.3 La lettre d'attestation du DPF communique formellement les observations finales du DPF et ses conclusions d'ensemble sur les six assertions à la date de la signature.
2.3.1 Si nécessaire, la lettre d'attestation comprend des observations touchant la non-conformité à une assertion particulière, ou les cas où de l'information critique est absente ou inadéquate ou la diligence raisonnable a été limitée.
2.3.2 L'opinion d'ensemble du DPF tient compte des conclusions et des observations faites dans les 6 assertions.
Annexe B : Assertions et détails, tirés de la Ligne directrice sur l'attestation du DPF
Assertion 1 : La nature et la portée de la proposition sont décrites de manière raisonnable, et les hypothèses qui ont une incidence importante sur les besoins financiers connexes ont été identifiées et sont appuyées.
Justification :
En validant cette assertion, le DPF indique qu'il a fait preuve de diligence raisonnable pour garantir que la proposition est décrite de manière convenable et que les hypothèses et les estimations clés, généralement élaborées sous la supervision des cadres supérieurs du ministère, qui ont une incidence importante sur les besoins financiers connexes, ont été bien identifiées et sont appuyées par divers documents.
Les hypothèses sont les suppositions qui sous-tendent la proposition sur laquelle les besoins financiers sont fondés. Elles sont essentielles pour comprendre et examiner les répercussions financières de la proposition. Ces hypothèses peuvent avoir trait à la portée, aux délais, à la capacité ministérielle ou à la conception du programme inhérents à la proposition, ainsi qu'aux critères relatifs à l'admissibilité et à la participation des clients, aux conditions futures du marché, au contexte environnemental et à d'autres facteurs propres à la proposition.
Critère 1.1 Les principales hypothèses financières sont clairement documentées
Sous-critères
1.1.1 Toutes les principales hypothèses ont été documentées et communiquées de façon claire et compréhensible.
1.1.2 L'incidence des principales hypothèses sur les besoins financiers est expliquée.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Une documentation ayant trait aux principales hypothèses, notamment en ce qui concerne les projections, les conditions économiques, les conditions du marché, la participation des clients, les plans, les éventualités.
Une documentation qui permettrait à un futur lecteur ou examinateur de comprendre les justifications sous-tendant les différentes hypothèses.
Une documentation qui établit des liens entre les principales hypothèses et les incidences sur les besoins financiers.
Critère 1.2 Les principales hypothèses financières sont fiables
Sous-critères
1.2.1 Compte tenu de l'environnement actuel et des renseignements disponibles, les hypothèses sont fiables et celles qui sont les plus susceptibles d'être modifiées ont été indiquées.
1.2.2 Il a été tenu compte des événements/changements potentiels susceptibles d'avoir un impact financier important sur l'initiative.
Á des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Des hypothèses formulées en temps opportun qui sont objectives, uniformes et qui sont fondées sur les meilleurs renseignements disponibles au moment de leur formulation, ainsi que sur les ressources disponibles.
L'identification et la communication des hypothèses qui sont les plus susceptibles d'être modifiées avant et pendant l'initiative.
La prise en compte des possibles incidences financières importantes rattachées à ces hypothèses.
Assertion 2 : Les risques importants ayant une incidence sur les besoins financiers, la vulnérabilité des besoins financiers à la modification des principales hypothèses et les stratégies d'atténuation des risques connexes ont été communiqués
Justification :
En validant cette assertion, le DPF indique qu'il a fait preuve de diligence raisonnable pour garantir que les risques importants liés au projet ou à l'initiative ont été cernés et examinés et que, lorsque ces risques comportent des incidences financières considérables, des stratégies d'atténuation et de gestion des risques ont été établies. La corrélation des besoins financiers et la vulnérabilité de ces derniers au risque éventuel que les hypothèses financières et l'information connexe soient modifiées constituent des aspects importants de l'analyse.
L'évaluation rigoureuse de la proposition et la communication des risques financiers connexes sont des éléments essentiels à la prise de décisions éclairées. Cela inclut aussi les mesures d'atténuation et de gestion des risques, qui peuvent comprendre des stratégies de sortie et les incidences financières qui en résultent. La corrélation des besoins financiers et la vulnérabilité de ces derniers au risque éventuel que les hypothèses financières et l'information connexe soient modifiées constituent des aspects importants du principe de la clarté.
Critère 2.1 Les principaux risques financiers ont été examinés
Sous-critères
2.1.1 Compte tenu de l'environnement actuel et des renseignements disponibles, les principaux risques financiers sont indiqués, clairement décrits et présentés comme il se doit.
2.1.2 Les risques ont été analysés dans le contexte du profil de risque du ministère.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
L'identification et la communication des principaux risques susceptibles d'avoir un impact financier important.
Un examen convenable des sources d'information sur les risques à l'échelle du ministère, notamment le Profil de risque organisationnel, le registre des risques, le profil de risque de la direction, du projet ou du programme, les rapports d'évaluation et les audits des programmes.
Critère 2.2 La probabilité et l'incidence des principaux risques ont été examinées
Sous-critères
2.2.1 La probabilité et l'incidence des principaux risques sur les besoins financiers ont été examinées, évaluées et expliquées, dans l'éventualité où les risques venaient à se concrétiser ou les hypothèses venaient à changer.
2.2.2 La vulnérabilité des besoins financiers au changement a été examinée, dans l'éventualité où l'un des principaux risques venait à se concrétiser.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par ce qui suit :
L'évaluation, l'analyse et l'explication des changements à apporter aux besoins financiers, dans l'éventualité où certains risques venaient à se concrétiser ou les hypothèses venaient à changer.
L'examen de l'ampleur du changement, incluant son calendrier, dans l'évaluation des besoins financiers pour l'initiative ou le ministère, dans l'éventualité où un risque important venait à se matérialiser.
Critère 2.3 Les réactions aux risques et les stratégies d'atténuation sont claires
Sous-critères
2.3.1 Les stratégies d'atténuation des principaux risques ayant une incidence financière sont claires et raisonnables.
2.3.2 La vulnérabilité des besoins aux changements a été examinée, dans l'éventualité où un risque principal venait à se concrétiser.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Des stratégies d'atténuation claires et raisonnables pour les principaux risques comportant une incidence financière.
Les stratégies de gestion et d'atténuation des principaux risques comportant une incidence financière sont proportionnelles à l'impact de ces risques ou à la probabilité qu'ils se concrétisent.
Des responsabilités établies pour la mise en œuvre des stratégies de gestion et d'atténuation des principaux risques.
Assertion 3 : Les besoins en matière de ressources financières ont été communiqués et cadrent avec les hypothèses décrites dans la proposition, et les solutions pour limiter les coûts ont été examinées
Justification :
En validant cette assertion, le DPF indique qu'il a fait preuve de diligence raisonnable pour garantir que les méthodologies d'établissement des coûts sont appropriées, considérant la nature de l'initiative (initiative législative ou stratégique, acquisition, projet, paiement de transfert) et l'étape de son élaboration. La diligence raisonnable sous-entend aussi de vérifier si les besoins futurs en matière de ressources financières ont été évalués et s'ils ont été communiqués avec suffisamment de détails.
Étant donné que, au cours du cycle de vie d'une initiative ou d'un projet, les incertitudes diminuent, le DPF détermine si l'information ayant trait aux coûts est en adéquation avec le type d'initiative dont il est question, avec la définition de l'initiative ou du projet, et avec les autorisations demandées. Cet étude vise notamment les coûts connexes possibles de la proposition pour les autres intervenants (p. ex., les autres ministères, les autres ordres de gouvernement, les organismes du secteur privé, les bénéficiaires de paiements de transfert, etc.), suivant le cas. En tant que conseiller stratégique au niveau opérationnel possédant de l'expertise en gestion financière, le DPF exerce également une fonction organisationnelle d'analyse critique afin de garantir que la limitation des coûts qui complètent ou majorent les considérations est appliquée, que la proposition témoigne d'une utilisation efficace, efficiente et économique des ressources, et que d'autres approches ont été envisagées. Les DPF se penchent sur les dépenses, les revenus et les stratégies de réduction des coûts de la proposition et s'assurent que tous les besoins financiers pertinents ont été évalués et communiqués avec suffisamment de détails.
Critère 3.1 Une méthode d'établissement des coûts a été établie et utilisée.
Sous-critères
3.1.1 Une méthode d'établissement des coûts a été établie, conformément aux principes et aux concepts du Guide d'établissement des coûts du SCT et aux autres politiques pertinentes du Conseil du Trésor, dont la Politique de planification des investissements – Actifs et services acquis.
3.1.2 La méthode d'établissement des coûts utilisée est en harmonie avec l'étape d'élaboration de l'initiative et concorde avec la méthodologie utilisée dans les propositions antérieures. Dans le cas contraire, la méthode d'établissement des coûts employée a été documentée et justifiée.
3.1.3 Tous les principaux coûts (p. ex., les coûts associés au cycle de vie ou les coûts différentiels, selon le cas) ont été examinés, intégrés et indiqués de façon claire et compréhensible, et ils ont été ventilés.
3.1.4 Les coûts des services internes et les frais administratifs et généraux sont présentés séparément des coûts de programmes directs et ils ont été divulgués, le cas échéant.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Une méthode d'établissement des coûts, qui est appropriée pour l'initiative visée et conforme au Guide d'établissement des coûts du Secrétariat du Conseil du Trésor du Canada et aux autres politiques pertinentes, dont la Politique de planification des investissements – Actifs et services acquis et la Politique sur la gestion des projets.
Une méthodologie appropriée pour l'initiative à cette étape particulière de son élaboration et pour le type de décision prise, méthodologie qui est utilisée et comprise par toutes les parties : il convient de préciser si des coûts indicatifs ou des coûts fondés relativement à la proposition ont été élaborés et proposés. Soulignons que plus d'un jeu de mesures d'établissement et de prévision des coûts pourrait être nécessaire, comme le coût du marché et le coût pour le cycle de vie.
Une méthodologie d'établissement des coûts a été documentée et simplifiée si elle diffère de la méthodologie d'établissement des coûts utilisée dans les propositions antérieures.
L'étude de tous les coûts importants (coûts pendant le cycle de vie ou coûts différentiels, selon le cas, et coûts directs et indirects) qui ont été incorporés et divulgués d'une manière claire et compréhensible, et qui sont ventilés (p. ex., par exercice, selon le principe de la comptabilité de trésorerie ou de la comptabilité d'exercice, par composantes majeures, selon les coûts de fonctionnement ou les coûts en capital, par paiements de transfert, etc.). Les tableaux requis dans la présentation ont été remplis et les chiffres peuvent être associés aux hypothèses.
Le recours à une méthodologie appropriée pour calculer et divulguer les coûts d'exécution et les frais administratifs ou généraux du ministère séparément des coûts de programmes directs.
Le recours à une méthodologie appropriée pour l'estimation des besoins en matière d'équivalents temps plein (ETP) au sein du ministère.
Critère 3.2 Les besoins financiers sont clairs, précis, complets et en adéquation avec les hypothèses.
Sous-critères
3.2.1 L'analyse des besoins financiers tient compte de toutes les hypothèses de la proposition et des risques énoncés dans les assertions 1 et 2.
3.2.2 Les calculs ayant une incidence sur les besoins financiers ont été examinés et validés, garantissant ainsi l'exactitude des renseignements financiers.
3.2.3 Les approvisionnements et marchés tiennent dûment compte des impôts.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Une analyse des besoins financiers qui tient compte de toutes les hypothèses de la proposition et de tous les risques associés énoncés dans les assertions 1 et 2 ci-dessus.
Des calculs, données de tableurs, formules et calculs dans les tableurs et modèles financiers ont été examinés et validés. Les données et les calculs ne comportent aucune erreur ni omission importante.
Exclusion appropriée de la TPS/TVH aux fins de calcul des budgets et des dépenses, et inclusion appropriée de la TPS/TVH aux fins de détermination des limites et approbations contractuelles. Application appropriée de la TVQ, le cas échéant, tout en tenant compte des importations et droits divers.
Critère 3.3 La vulnérabilité des besoins en ressources est prise en compte.
Sous-critères
3.3.1 L'analyse de la vulnérabilité financière concernant les facteurs de coût ayant une incidence importante sur les besoins en ressources a été documentée.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Une analyse documentée de la vulnérabilité financière concernant les facteurs de coût qui ont une incidence importante sur les besoins en ressources.
Critère 3.4 La proposition respecte le principe de l'utilisation efficace, efficiente et économique des ressources du gouvernement du Canada.
Sous-critères
3.4.1 Les coûts ont été remis en question et d'autres options de contrôle des coûts ont été examinées et documentées.
3.4.2 Des partenariats stratégiques, d'autres mécanismes de prestation et d'autres approches efficientes ont été étudiées.
3.4.3 Des démarches ont été menées à bien au regard de l'autofinancement ou de la réaffectation de fonds.
3.4.4 La proposition est financièrement viable et ne mettra aucune pression injustifiée sur le ministère, maintenant ou dans le futur.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Des coûts qui ont été remis en question, en fonction de l'information disponible, et d'autres options de contrôle des coûts qui ont été examinées et documentées. Ces dernières comprennent le scénario de « maintien du statu quo » et d'autres options novatrices.
La prise en considération de partenariats stratégiques, d'autres mécanismes de prestation et d'autres approches efficientes. Les partenariats et les autres mécanismes de prestation pourraient inclure d'autres ministères, des provinces, des universités, des entreprises à but lucratif ou des entreprises à but non lucratif. Il serait également possible de prendre en considération des partenariats public-privé (PPP), des initiatives de cession-bail, des baux à long terme, la sous-traitance, ainsi que le recours à des subventions et des contributions.
La prise en considération de l'autofinancement ou de la réaffectation de fonds à l'échelle du ministère ou du gouvernement.
Une proposition financièrement viable, établie en fonction de l'information disponible, qui ne mettra aucune pression injustifiée sur le ministère, maintenant ou dans le futur.
Assertion 4 : Le financement est déterminé et il est suffisant pour répondre aux besoins financiers pour la durée prévue de la proposition
Justification :
En validant cette assertion, le DPF indique qu'il a fait preuve de diligence raisonnable pour garantir que les besoins financiers du gouvernement et du ministère sont étayés par une stratégie de financement et une stratégie financière appropriées.
Pour prendre des décisions éclairées, il est nécessaire de comprendre les répercussions pour le gouvernement et le ministère des engagements financiers contenus dans la proposition. L'évaluation de la viabilité de la stratégie de financement constitue une étape fondamentale de ce processus. Même s'ils n'ont pas à confirmer la source des fonds provenant de l'extérieur du ministère, les DPF jouent un rôle essentiel en s'assurant que les besoins financiers sont étayés par une stratégie de financement et une stratégie financière adéquates. En outre, le point de vue du DPF en ce qui concerne la pérennité des fonds internes est particulièrement utile pour limiter les coûts.
Critère 4.1 Une solide stratégie de financement a été élaborée.
Sous-critères
4.1.1 Le financement a été indiqué et tous les besoins financiers ont été associés à une source de financement.
4.1.2 Le cas échéant, les contributions financières applicables des partenaires stratégiques ont été prises en considération, permettant ainsi de dresser un portrait complet et entier.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
La divulgation et la documentation du financement, y compris les sources de financement.
Le financement est suffisant pour l'ensemble des besoins financiers de l'initiative.
La prise en considération des contributions financières applicables des partenaires stratégiques, ainsi qu'un niveau de certitude selon lequel chaque partenaire a obtenu ou peut obtenir ces fonds et que les modes de transfert ou les autorisations de dépenser appropriés sont en place.
Critère 4.2 Des stratégies ont été étudiées pour parer à différentes éventualités.
Sous-critères
4.2.1 Des stratégies de financement raisonnables ont été élaborées pour composer avec les principales éventualités ou les principaux changements susceptibles de survenir.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Des stratégies de financement raisonnables (p. ex., annulation, diminution de la portée ou de la complexité du projet, réaffectation interne, report de fonds, financement supplémentaire) permettant de composer avec les principales éventualités ou les principaux changements susceptibles de survenir.
Critère 4.3 Le financement est viable.
Sous-critères
4.3.1 La stratégie en matière de ressources humaines et d'immobilisations rattachée à la proposition est en adéquation avec le profil de financement.
4.3.2 Dans l'éventualité où le financement d'une proposition venait à échéance, des stratégies auraient été prévues relativement à l'achèvement, à l'arrêt progressif ou à la viabilité des activités.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Des stratégies et plans raisonnables en matière de ressources humaines et d'immobilisations. La mise en œuvre d'activités d'embauche, d'adjudication de contrats et d'acquisition et la mise en œuvre des systèmes sont réalisables et conformes au profil de financement. La stratégie de sortie et les dispositions en matière d'arrêt progressif des activités sont appropriées, si l'initiative comporte des dispositions à cet égard ou si elle doit prendre fin. Il peut s'agir de plans visant à réduire les niveaux de dotation, à aliéner ou vendre des biens, à restaurer ou décontaminer des sites, etc.
L'élaboration de stratégies en vue d'obtenir d'autres fonds afin de soutenir les activités de l'initiative si celle-ci doit se prolonger au-delà de la période visée par le financement.
Un plan qui doit permettre au ministère de gérer les demandes d'information futures et les activités de comptabilité et de gestion des dossiers; notamment pour la conclusion des questions juridiques non encore réglées, l'exécution des vérifications finales et des dernières évaluations du programme, la publication d'un rapport final et l'établissement des leçons apprises après la date d'achèvement de l'initiative.
Assertion 5 : La proposition est conforme aux lois et politiques pertinentes en matière de gestion financière, et les pouvoirs de gestion financière nécessaires sont en place ou sont demandés dans la proposition
Justification :
En validant cette assertion, le DPF indique qu'il a fait preuve de diligence raisonnable pour garantir que, au moment de présenter les propositions, les autorisations législatives et de politique nécessaires avaient été obtenues et que les propositions y étaient conformes. Toute non-conformité a été repérée, et toute dérogation à la politique sur les pouvoirs de gestion financière sera signalée ou indiquée.
En tant que principal responsable de l'application des lois, politiques et pouvoirs en matière de gestion financière, le DPF est bien placé pour établir que les propositions présentées sont conformes et que les pouvoirs nécessaires sont déjà en place ou le seront lors de la présentation des propositions, ou que les propositions prévoient comporter de tels pouvoirs. Le DPF confirme également toute dérogation à la politique sur les pouvoirs de gestion financière nécessaire à l'appui de la proposition.
Critère 5.1 La proposition est conforme aux lois et politiques pertinentes en matière de gestion financière.
Sous-critères
5.1.1 La proposition est conforme aux lois et aux politiques pertinentes en matière de gestion financière, et les cas de non-conformité ont été relevés.
5.1.2 Le ministère a obtenu, tente d'obtenir ou cherchera à obtenir une dérogation pour pallier aux situations de non-conformité.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
L'identification des cas de non-conformité en matière de gestion financière, notamment la prise en considération des lois et règlements pertinents ainsi que des politiques, directives et normes visant la gestion financière.
La divulgation entière des dérogations en matière de gestion financière qui ont été obtenues par le passé ou qui sont demandées.
La détermination et la divulgation de modifications législatives futures, des changements stratégiques futurs ou d'autres mesures qui visent à rendre conformes les activités de gestion financière actuellement non conformes.
Critère 5.2 La proposition comprend les pouvoirs de dépenser nécessaires.
Sous-critère
5.2.1 La proposition comprend les pouvoirs de dépenser nécessaires; autrement, ces pouvoirs sont indiqués.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Une description claire des pouvoirs de dépenser nécessaires qui sont demandés.
L'identification des pouvoirs de dépenser nécessaires auprès d'autres sources.
Assertion 6 : Les principaux contrôles financiers nécessaires à la mise en œuvre et au soutien continu de la proposition sont en place
Justification :
En validant cette assertion, le DPF indique qu'il a fait preuve de diligence raisonnable pour garantir que l'ensemble des contrôles financiers essentiels à la réussite et à la surveillance d'une initiative sont en place ou le seront.
Des contrôles financiers efficaces comprenant des mesures de gouvernance, des processus opérationnels, des systèmes financiers et des processus redditionnels appropriés ou faisant partie intégrante de ceux-ci, sont essentiels au succès et à la surveillance d'une initiative. Le régime de contrôles financiers en place doit être en mesure d'inclure et de surveiller la mise en œuvre de la nouvelle proposition. La Politique sur le contrôle interne exige la réalisation d'une évaluation annuelle fondée sur les risques du régime de contrôles internes en matière de rapports financiers.
Critère 6.1 Le régime interne de contrôles financiers continuera de fonctionner de manière efficace.
Sous-critères
6.1.1 Un régime efficace de contrôles financiers internes est, ou sera, en place conformément à la Politique sur le contrôle interne du Conseil du Trésor.
6.1.2 Les principales préoccupations relevées dans les examens, les audits, les évaluations et les évaluations des contrôles internes ont été prises en compte.
6.1.3 Le système de rapports financiers et de surveillance fournit des renseignements financiers fiables et répond aux besoins en matière de surveillance.
À des fins d'illustration, selon le cas : Avez-vous l'assurance que votre approbation est appuyée par :
Un régime efficace de contrôles financiers internes qui est conforme à la Politique sur le contrôle interne du Conseil du Trésor, afin d'appuyer la mise en œuvre et l'exécution de l'initiative, est actuellement en place, ou, pour une nouvelle initiative, sera en place au moment approprié.
Un plan de gestion ou de règlement des principales préoccupations relevées dans la conception, l'élaboration et l'exécution de l'initiative lorsque des examens, des audits, des évaluations et des évaluations des contrôles internes ont été menés dans le cadre de programmes similaires.
Un plan pour la préparation de données et de rapports significatifs sur la gestion financière qui présentent des renseignements fiables et actuels, de manière à répondre aux besoins de la haute direction, et ce, à tous les niveaux.
Annexe C : Acronymes
Annexe C : Acronymes
Acronyme
Description
CIRF
Contrôle interne en matière de rapports financiers
CMA
Comité ministériel d'audit
CT
Conseil du Trésor
DDF
Division de la divulgation financière
DPF
Dirigeant principal des finances
DPFA
Dirigeant principal des finances adjoint
IIA
Institute of Internal Auditors – Institut des auditeurs internes
a ligne directrice
Ligne directrice sur l'attestation du dirigeant principal des finances pour les présentations au Cabinet [en vigueur le 2014-01-01]
la politique
La Politique sur la gouvernance en matière de gestion financière
PCI
Politique sur le contrôle interne
PPO
Propriétaire de processus opérationnel
RDPA
Réponse de la direction et Plan d'action
SCA
Statisticien en chef adjoint
Note
Footnote 1
On trouvera les assertions du DPF à l'annexe B du présent rapport.
