Cet examen a été mené par :
Claude Julien, directeur général de la Direction de la méthodologie et
responsable du Secrétariat pour la qualité, et
Craig Kuntz, directeur général de la Direction de la statistique économique
La version originale a été signée par Claude Julien, Directeur général, Direction de la méthodologie et responsable du Secrétariat pour la qualité, et Craig Kuntz, Directeur général, Direction de la statistique économique.
Introduction
Cet examen a été lancé par le statisticien en chef du Canada à la suite d'une erreur survenue dans la diffusion de l'Enquête sur la population active (EPA) du Canada pour la période de référence de juillet 2014. L'objet du présent rapport est d'établir ce qui s'est produit, les raisons pour lesquelles l'erreur est survenue, les raisons pour lesquelles elle n'a pas été détectée dans le processus d'assurance de la qualité et les mesures à prendre pour atténuer le risque qu'une telle erreur se répète.
L'examen a été mené par Claude Julien, directeur général de la Direction de la Méthodologie et responsable du Secrétariat de la qualité, et Craig Kuntz, directeur général de la Direction de la statistique économique.
Méthodologie
Pour comprendre ce qui s'est produit et connaître les raisons pour lesquelles l'erreur est survenue et n'a pas été détectée plus tôt dans le processus, nous avons interviewé les employés et les membres de la direction de l'EPA, ainsi que les équipes des systèmes et de la méthodologie affectées au soutien de l'EPA. L'examen a comporté une analyse des résultats de l'EPA, de la documentation connexe et des diagnostics opérationnels.
Contexte
L'EPA est un important indicateur économique clé. Chaque mois, dans le cadre de l'EPA, des données sur la population active sont recueillies à partir d'un échantillon aléatoire de 56 000 ménages. Cet échantillon est constitué de six panels de logements. Statistique Canada communique avec chaque panel pendant six mois ou cycles consécutifs de l'enquête. Chaque mois, le plus ancien panel est retiré et un nouveau est introduit. Par conséquent, deux cycles consécutifs de l'enquête ont cinq panels en commun.
Comme toute autre enquête, l'EPA doit composer avec des données incomplètes ou manquantes, en raison d'un certain pourcentage de non-réponse. L'une des méthodes utilisées pour composer avec la non-réponse s'appelle « imputation » : au moyen des différentes données disponibles, des valeurs plausibles pour les « substituer » aux données manquantes sont déterminées. Puisque deux cycles de l'enquête ont en commun cinq panels, l'EPA peut reprendre les réponses du mois précédent pour vérifier la validité des réponses du mois en cours et déterminer les valeurs les plus plausibles à substituer à toute donnée manquante attribuable à la non-réponse. Les réponses du mois précédent utilisées dans l'imputation comprennent les caractéristiques démographiques (dont l'âge et le sexe) et la situation d'activité (occupé, en chômage, inactif). En raison de la dynamique connue du marché du travail, quelqu'un qui a déclaré avoir eu un emploi le mois précédent et qui ne met pas à jour sa situation d'activité dans le mois en cours sera probablement considéré comme ayant toujours un emploi dans le système de traitement des données (selon la méthode de l'imputation). Toutefois, afin de respecter la dynamique connue du marché du travail, le système de traitement impute à certaines personnes précédemment occupées une situation de chômeur ou d'inactif.
Comme tous les programmes à Statistique Canada, l'EPA se déroule conformément au cadre d'assurance de la qualité de l'organisme et aux pratiques exemplaires suggérées dans ses Lignes directrices concernant la qualité. Au printemps 2014, les résultats d'un audit de performance effectué par le Bureau du vérificateur général du Canada sur l'EPA et trois autres programmes clés ont permis de conclure que « Statistique Canada respectait son cadre d'assurance de la qualité pour garantir la qualité des programmes de statistiques que nous avons examinés ». Les recommandations du vérificateur général ont porté essentiellement sur les améliorations visant à « assurer la pertinence et la qualité soutenues des données ».
Pour veiller à ce qu'elle reste pertinente et donne une image fidèle du marché du travail canadien, l'EPA fait l'objet d'importantes mises à jour après chaque recensement et d'un remaniement tous les 10 ans. Depuis 2011, le programme de l'EPA est soumis à un remaniement majeur qui renouvellera l'infrastructure de l'enquête, en adoptant un nombre considérable de systèmes et de services intégrés de l'organisme.
Le projet de remaniement de l'EPA se déroule en deux phases. La première phase consiste à ajuster les estimations selon les plus récents résultats du recensement de la population et à remanier l'échantillon pour, entre autres objectifs, intégrer davantage le registre des adresses de l'organisme dans l'EPA. Ce sous-projet d'ajustement comprend également l'introduction de nouvelles classifications types des professions et l'examen de la méthodologie d'imputation. La deuxième phase de ce remaniement consiste à examiner le contenu de l'enquête et à mettre au point de nouveaux systèmes en adoptant les systèmes et les services intégrés de l'organisme pour remplacer l'infrastructure existante de l'EPA.
Les systèmes actuels de l'EPA ont été élaborés à l'origine en 1997, et depuis, ils ont fait l'objet des travaux nécessaires de maintenance et de mise à jour. L'environnement de production de l'EPA comprend trois grands systèmes : le prétraitement (préparation de l'échantillon, collecte et transmission de l'échantillon), le traitement (réception, codage, révision, imputation, dérivation, pondération et production de rapports) et l'agrégation et la diffusion (agrégation, désaisonnalisation et préparation des produits de données). Le système de prétraitement change fréquemment et est soumis chaque mois à des essais visant à s'assurer qu'ils fonctionnent correctement. Le système de traitement et le système d'agrégation et de diffusion sont complexes et dotés de nombreux modules et programmes. Ils changent peu fréquemment et sont soumis à des essais uniquement lorsque des modifications y sont apportées.
En prévision de la première phase du remaniement de l'EPA, il a fallu modifier le système d'agrégation et de diffusion existant pour y incorporer le numéro d'identification du logement (NIL) révisé afin de permettre d'intégrer davantage, dans l'EPA, le registre des adresses de l'organisme pour en étayer la base de sondage. Les changements à apporter pour incorporer le NIL avaient déjà été effectués aux systèmes de prétraitement et de traitement dans le cadre du « projet de listage continu » réalisé en janvier 2013. Un cliché d'enregistrement a été changé dans quatre composantes du système de traitement : un dictionnaire de données central et trois modules (imputation, dérivation et pondération). À l'époque, conformément au plan, le système d'agrégation et de diffusion n'avait pas été changé, car les changements à apporter étaient jugés trop complexes et débordaient du cadre du projet de listage continu. Une solution provisoire a été mise en œuvre pour veiller à ce que le système d'agrégation et de diffusion continue de fonctionner correctement. La qualité de l'EPA n'a pas été touchée.
En mars 2013, une solution visant à intégrer le NIL révisé dans le système d'agrégation et de diffusion a été élaborée, et ce, d'une façon qui réduirait le risque d'introduction d'erreurs dans le système. La solution consistait à modifier le cliché du fichier d'enregistrement fixe, appelé « fichier des systèmes de tabulation » (FST), en déplaçant l'une des variables pour la faire passer du début à la fin du fichier. Cela a permis de créer de la place pour le NIL révisé au début du fichier, laissant le reste du fichier intact et lisible par le système d'agrégation et d'imputation avec un minimum de changement. Cependant, la solution nécessitait de retourner au système de traitement et d'apporter un autre changement aux clichés d'enregistrements. Le projet de mise en œuvre des changements apportés au NIL a donc été réalisé à titre d'activité de maintenance des systèmes, et non d'activité faisant partie du remaniement.
Résultats
Que s'est-il produit?
Pour mettre en œuvre les changements au système de traitement, l'équipe a cru que tout ce qu'elle avait à faire était de modifier les modules de dérivation et de pondération. Elle ne s'est toutefois pas rendu compte que le module d'imputation comprenait un renvoi au cliché d'enregistrement du FST.
Seuls les modules jugés pertinents (dérivation, pondération, agrégation, désaisonnalisation et préparation des produits statistiques) ont été changés et soumis aux essais associés avant d'être mis en œuvre pour la période de référence de juillet 2014; le module d'imputation n'a toutefois pas été changé ni soumis à des essais.
Voilà pourquoi, dans le cycle de production de juillet 2014, le module d'imputation n'a pas repris la situation d'activité du cycle de l'enquête de juin. Autrement dit, la situation d'activité de juin 2014 n'a pas été reprise, comme prévu, pour déterminer les valeurs les plus plausibles pour les personnes dont la situation d'activité de juillet était manquante, pour cause de non-réponse. Cela a eu pour effet d'accroître le nombre de personnes qui avaient déclaré avoir un emploi en juin et auxquelles le système a imputé, parce qu'elles n'ont pas répondu à l'enquête en juillet, un statut d'inactif ou de chômeur en juillet. Dans l'ensemble, le système de l'EPA a traité les données et les relevés de production n'ont pas déclenché de codes de système pour cette erreur parce que la situation d'activité est l'une de plusieurs caractéristiques utilisées dans l'imputation. Il n'y avait pas d'opération de diagnostic qui aurait permis de détecter ce type d'erreur.
Pourquoi cette erreur s'est-elle produite?
Compte tenu des faits recueillis, nous avons conclu que plusieurs facteurs ont contribué à l'erreur survenue dans les résultats de l'EPA de juillet 2014. L'équipe chargée de mettre en œuvre le changement à apporter au FST et de le soumettre à des essais n'avait pas une compréhension complète du système de traitement de l'EPA. Ce changement a été perçu comme une activité de maintenance du système; la surveillance et la gouvernance n'ont pas été à la mesure du risque potentiel. La documentation du système n'était plus à jour, était inexacte et justifiait à tort les hypothèses de l'équipe à propos du système. Les essais effectués n'étaient pas assez complets, et le système ne disposait pas de diagnostic opérationnel pour détecter ce type d'erreur. De même, les rôles et les responsabilités au sein de l'équipe n'étaient pas définis aussi clairement qu'ils auraient dû l'être. Il n'y a pas eu suffisamment de communication entre les membres de l'équipe, les analystes du marché du travail et la haute direction concernant cet enjeu particulier.
Comment l'erreur a-t-elle été détectée?
Le premier indice qu'il pourrait y avoir un problème dans les résultats de l'EPA de juillet 2014 est apparu le matin du vendredi 8 août 2014, après la diffusion officielle des données. Un membre de l'équipe responsable des systèmes essayait de comprendre, dans le cadre de l'examen de la méthodologie de l'imputation dans le sous-projet d'ajustement, les raisons pour lesquelles les résultats d'une imputation d'un mois précédent n'avaient pas pu être reproduits dans l'environnement d'essai. Le programmeur s'est rendu compte que le module d'imputation comportait un renvoi au cliché d'enregistrement du FST et en a constaté les conséquences possibles. Il a aussitôt fait part de ses préoccupations à son superviseur et dès le matin même, la gestion a pris la décision d'apporter aux systèmes les changements qui s'imposaient dans l'environnement d'essai et de relancer le cycle de production de juillet 2014 afin d'en évaluer l'incidence sur les résultats. Lorsque l'erreur et son ampleur ont été confirmées à la satisfaction du statisticien en chef, le mardi 12 août 2014, la gestion a décidé, conformément à la Directive sur les corrections apportées aux communiqués du Quotidien et aux produits statistiques de l'organisme, de retirer les données erronées, d'annoncer publiquement l'erreur et de lancer le processus de diffusion des données corrigées le 15 août 2014.
Quelles sont les procédures d'assurance de la qualité de l'EPA?
Toutes les données de Statistique Canada sont soumises à un rigoureux processus de validation. Les mécanismes de base pour la gestion de la qualité sont décrits dans le Cadre d'assurance de la qualité de Statistique Canada et dans ses Lignes directrices concernant la qualité. L'efficacité de ces mécanismes dépend non pas d'un mécanisme ou d'un processus en particulier, mais plutôt de l'effet collectif de nombreuses mesures interdépendantes.
La production de l'EPA respecte un calendrier strict de diffusion mensuelle, qui est établi chaque année. Les principales étapes de la production comprennent la mise à l'essai des systèmes de collecte, la sélection de l'échantillon, la collecte, le traitement et la diffusion (analyse et validation). Notre examen a surtout porté sur le traitement (soit l'étape à laquelle s'est produite l'erreur) et sur l'analyse et la validation (soit les étapes auxquelles l'erreur aurait pu être détectée).
Le système de traitement comprend neuf modules, dont les cinq derniers sont entièrement automatisés et comprennent le module dans lequel l'erreur s'est produite. Le système, géré par un agent de production, produit des relevés, des diagnostics opérationnels et les résultats de l'enquête. À chaque cycle de l'enquête, l'agent de production et le gestionnaire de la production examinent les relevés et les diagnostics opérationnels.
L'équipe de production livre les tableaux principaux sur support imprimé et les tableaux détaillés sur support électronique aux analystes du marché du travail de la Section de l'analyse du marché du travail actuel de la Division de la statistique du travail. Les tableaux principaux sont généralement livrés neuf jours avant la date de la diffusion officielle des données; les tableaux détaillés sont livrés le lendemain. Le gestionnaire de la production et les méthodologistes de la Division des méthodes d'enquêtes auprès des ménages valident les poids de sondage. Les analystes du marché du travail n'interviennent pas dans le processus de production pour s'assurer que les chiffres de l'EPA font l'objet d'un examen indépendant. Il s'agit d'une pratique exemplaire de l'organisme.
Les analystes du marché du travail examinent les chiffres pour détecter les anomalies, à savoir soit les variations de mois en mois anormalement fortes ou les variations anormalement faibles. Ils peuvent demander au gestionnaire de la production des tableaux supplémentaires ou des vérifications du système. Les analystes du travail, les experts dans l'analyse des séries chronologiques et le gestionnaire de la production produisent et valident les chiffres désaisonnalisés. Les analystes consultent également la Direction des études analytiques pour remettre en question les chiffres et leur interprétation dans une vaste perspective économique. L'un des analystes du travail est désigné pour diriger la rédaction de l'article à diffuser dans Le Quotidien, publication officielle des données de Statistique Canada.
Le vendredi, une semaine avant la diffusion officielle, les analystes communiquent les chiffres généraux et leur interprétation au directeur adjoint et au directeur de l'EPA. Le directeur communique ensuite les résultats au directeur général et au statisticien en chef adjoint. À chacune de ces réunions, les chiffres et leur interprétation sont remis en question. Des vérifications de la production et des analyses supplémentaires peuvent être demandées.
Le lundi précédant la diffusion officielle, une première ébauche de l'article à diffuser dans Le Quotidien a été examinée et validée ligne par ligne pendant une séance de trois à quatre heures, à laquelle participent les analystes du marché du travail, le directeur adjoint et le directeur responsable de l'EPA. Des changements et une analyse ou une recherche plus ciblée et poussée sont généralement recommandés, et ceux-ci sont effectués et mis en place dans la deuxième ébauche de l'article, qui est examinée et validée ligne par ligne le mardi pendant une deuxième séance de trois à quatre heures avec le même groupe. Pendant toute la durée de l'analyse et de la validation des chiffres, les analystes demandent des tableaux plus détaillés ou consultent l'information supplémentaire sur Internet qui pourrait expliquer les chiffres produits par l'enquête ou les éclairer dans un meilleur contexte.
Un communiqué provisoire est transmis à la Division des communications pour la préparation et la traduction de tous les documents à diffuser officiellement. Avant la diffusion, ces documents sont examinés par l'analyste du marché du travail et par des employés de la Division des communications. Deux jours avant la diffusion officielle, les résultats de l'EPA sont présentés par le chef de la Section de l'analyse du travail et des perspectives sur le travail et le revenu aux membres du Conseil exécutif de gestion (statisticien en chef et statisticiens en chef adjoints), au directeur général, Statistique de l'éducation, du travail et du revenu, au directeur général et au chercheur principal, Direction des études analytiques, et au directeur général, Communications. Les résultats sont remis en question et des vérifications et analyses supplémentaires peuvent être demandées.
Quelques jours après la diffusion officielle, l'EPA tient une réunion rétrospective mensuelle visant à examiner la qualité des données. Le directeur ou le directeur adjoint, les gestionnaires de la collecte, les gestionnaires du traitement, les analystes du marché du travail et les méthodologistes y participent. Il s'agit d'une pratique exemplaire de l'organisme. La réunion porte généralement sur l'environnement de la collecte, notamment les taux de réponse, et sur la couverture démographique de l'échantillon de l'EPA.
Pourquoi l'erreur n'a-t-elle pas été détectée plus tôt?
Dans le cycle de juillet 2014, toutes les vérifications de la production des données ont été effectuées comme prévu et les tableaux ont été livrés dans le respect du calendrier. En raison du changement qui avait été apporté au système de traitement, le gestionnaire de la production a contrevérifié les relevés du système et les diagnostics opérationnels. Tout d'abord, la production semble s'être déroulée sans incident. Les relevés du système et les diagnostics opérationnels, y compris ceux du module d'imputation, n'ont déclenché aucun code d'erreur ni résultat atypique, malgré les changements apportés au cliché d'enregistrement du FST. Notre examen a consisté à évaluer les diagnostics opérationnels produits dans le module d'imputation et a permis de confirmer que ces diagnostics n'ont pas révélé de résultats irréguliers qui auraient pu indiquer l'existence d'un problème. Sans diagnostic dans le module d'imputation pour évaluer le taux d'appariement des enregistrements du mois en cours et du mois précédent, l'équipe de production n'a pas pu savoir que le module n'avait pas fonctionné correctement. Ce diagnostic a été ajouté dans le module pendant le processus de correction.
Avant de lancer le processus de validation, trois secteurs ont été identifiés comme ayant besoin d'une attention particulière : la construction, les services d'enseignement, ainsi que les soins de santé et l'assistance sociale. Pour examiner le secteur des soins de santé, une analyse complexe spéciale a été planifiée et effectuée. Les chiffres dans ces secteurs, la faible progression nette de l'emploi (200 emplois) et la diminution de l'emploi à temps plein (-59 700 emplois) ont été remis en question et ont fait l'objet de discussions pendant tout le processus de validation jusqu'à la présentation finale aux membres du Conseil exécutif de gestion. À la fin de chaque étape, les résultats de l'EPA ont été jugés plausibles dans le contexte économique actuel et en raison de la variabilité de l'échantillonnage inhérente à l'EPA.
Les résultats étaient-ils plausibles? Pour vérifier cette conclusion, nous avons procédé, dans le cadre de notre examen, à une analyse des résultats de l'EPA disponibles dans CANSIM, base de données socioéconomiques de Statistique Canada, depuis janvier 1985 (soit 355 cycles d'enquête au total). Les résultats suivants de l'EPA sont tous désaisonnalisés. Nous avons observé que lorsque le total des emplois augmente, l'EPA produit une variation nette de 200 emplois ou moins (voire une variation négative) dans près d'un cinquième des cas. Lorsque l'emploi progresse, la variation nette médiane correspond à un gain de 22 000 emplois. Cette hausse est comparable à la prévision consensuelle de l'EPA produite par des économistes externes pour le mois de juillet 2014. Quant aux emplois à temps plein, les résultats de l'EPA montrent qu'ils ont récemment été stables. Auparavant, dans des situations comparables, l'EPA a donné une diminution nette de 60 000 emplois ou plus dans environ un sixième des cas. À la lumière de cette analyse, nous jugeons que les résultats erronés initiaux de l'EPA étaient plausibles, compte tenu de la variabilité d'échantillonnage inhérente au processus d'enquête.
Bien que les étapes de la validation des données aient été exécutées comme prévu, notre examen a permis de constater deux grands points faibles. Premièrement, l'équipe d'analystes qui a participé au processus de validation n'était pas parfaitement au courant du changement qui avait été apporté au système de production. Alors que les analystes du travail savaient qu'un changement était à l'étude, ce n'est que pendant la validation analytique qu'ils ont appris que ce changement avait été apporté. Toutefois, lorsque les résultats ont été présentés à la haute direction et qu'ils ont été remis en question, le changement apporté au système de traitement n'a pas été évoqué. Deuxièmement, il n'y a pas eu, dans le processus analytique, de rapports formels qui auraient permis d'évaluer l'importance de l'imputation dans les résultats de l'EPA. Un rapport détaillant la non-réponse et l'importance de l'imputation dans les estimations selon la situation d'activité aurait pu donner lieu à des questions à propos des résultats. L'examen de rapports plus détaillés sur les indicateurs de traitement lors des réunions mensuelles sur la qualité des données aurait pu sensibiliser davantage les participants aux répercussions potentielles de l'imputation.
Il est évident que le contexte dans lequel toute enquête est menée et traitée a une incidence sur la qualité des résultats. À cet égard, les analystes de l'enquête et les cadres supérieurs qui examinent la qualité statistique des résultats dans l'ensemble devraient avoir connaissance de cette information contextuelle. De même, les analystes devraient avoir des rapports sur les répercussions de l'imputation et en connaître l'incidence sur les résultats de l'enquête.
La réunion rétrospective sur la qualité des données de l'EPA devrait porter sur tout enjeu relevé dans l'environnement de traitement, y compris l'imputation, en plus de donner l'occasion de faire connaître tous les changements projetés qui pourraient avoir une incidence sur de prochains cycles de production.
Recommandations
1. Gouvernance
En raison de l'importance de l'EPA et vu la complexité et l'âge des systèmes, il faudrait apporter tous les changements en étant plus attentif aux risques en cause, sans les considérer comme des activités régulières de maintenance. Nous recommandons de mettre en place une structure adéquate de gouvernance et de surveillance, quelle que soit l'envergure ou la simplicité perçue des changements à apporter à l'EPA. Lorsque des changements sont mis en œuvre, il faudrait séparer clairement les rôles du gestionnaire de la production et du gestionnaire de projet, ainsi que ceux du développeur, du responsable des essais et de l'agent chargé d'accepter les résultats de ces essais. Ces rôles et responsabilités devraient être consignés en bonne et due forme, et l'équipe devrait en prendre connaissance.
2. Protocoles d'essai
La mise à l'essai de tout changement de système doit être effectuée conformément à un protocole établi. Dans cet incident, la portée des essais a été contrainte par l'importance perçue et l'incidence du changement qui a été apporté. Si un protocole visant à soumettre à des essais systématiques tous les composants du système avait été mis en place plutôt qu'un sous-ensemble seulement, cette erreur aurait pu être évitée. Nous recommandons d'élaborer et de systématiquement mettre en œuvre, à Statistique Canada, un protocole d'essai formel et rigoureux. Ce protocole devrait tenir compte de l'importance du programme, ainsi que de l'âge et de la complexité des systèmes, en plus de définir clairement les différents rôles et les différentes responsabilités des employés appelés à intervenir dans les essais, de même que la portée des essais à effectuer. Lors de la mise à jour du cadre d'assurance de la qualité de l'organisme, ce protocole d'essai, ainsi que toute autre composante du cadre de gestion organisationnel, doivent être clairement indiqués et respectés.
3. Diagnostics
Il faudrait prévoir des diagnostics et des rapports supplémentaires dans le processus de production de l'EPA pour s'assurer que non seulement les systèmes fonctionnent, mais aussi qu'ils fonctionnent comme prévu et produisent les données qu'ils sont censés produire. En particulier, il faudrait inclure des diagnostics supplémentaires dans le module d'imputation, et les analystes devraient recevoir un rapport sur l'importance de l'imputation pour les estimations et en être conscients.
4. Documentation
Une documentation exacte et à jour sur les systèmes aurait pu permettre d'empêcher que cette erreur se produise. Il faudrait prendre des mesures pour s'assurer qu'un ensemble centralisé de documentation est systématiquement mis à jour et examiné afin d'en assurer l'exactitude lorsque des changements aux systèmes sont apportés. Nous recommandons d'examiner les pratiques exemplaires applicables à l'utilisation de la documentation sur les systèmes et les meilleurs moyens à prendre pour intégrer cette documentation dans le processus de gestion des changements.
5. Communication
Le contexte dans lequel une enquête est menée et traitée a une incidence sur la qualité des résultats. Bien que nous appuyions clairement la séparation des fonctions de production, d'analyse et de gestion, les analystes de l'enquête et les membres de la direction qui examinent la qualité statistique des résultats dans l'ensemble devraient être parfaitement au courant des événements contextuels entourant le cycle de production des enquêtes. La réunion sur la qualité statistique de l'EPA qui a lieu chaque mois pour l'EPA constitue également une pratique exemplaire et devrait donner lieu à une discussion sur tous les événements projetés qui pourraient influer sur les cycles de production suivants, y compris les changements quelle que soit leur importance perçue.
Les séances d'information présentées aux membres du Conseil exécutif de gestion sur les résultats des enquêtes essentielles à la mission de Statistique Canada devraient commencer par un sommaire des événements contextuels se rapportant à l'environnement des enquêtes. Pour tous les événements répertoriés, il faudrait expliquer les mesures adoptées afin d'en atténuer les risques pour la qualité des données. Ces séances devraient aussi comprendre de l'information sur tous les événements à venir qui pourraient influer sur les cycles de production à venir.
Conclusion
Notre examen de l'incident concernant l'EPA de juillet 2014 révèle qu'un certain nombre de facteurs ont contribué à la publication de données inexactes. La méconnaissance de l'incidence des changements apportés au numéro d'identification du logement sur l'ensemble du système a été le facteur premier.
Si le projet avait été mené non pas comme une activité de maintenance du système, mais plutôt comme un sous-projet formel dans le cadre du remaniement, aurait-il fait l'objet d'un examen détaillé et d'une surveillance supplémentaires, les risques potentiels auraient-ils été mieux compris, et le plan d'essais aurait-il été remis en question? Nous ne pouvons que spéculer sur la teneur des réponses à ces questions, mais avec le recul, il est évident que ce projet se serait mieux déroulé grâce à une meilleure surveillance et à une gouvernance plus rigoureuse, à une plus grande sensibilisation aux risques en cause, à un protocole d'essai plus formel et à une meilleure communication.
L'EPA est un système complexe, qui comprend de multiples vérifications et contrôles. Les recommandations formulées dans le présent rapport visent à corriger les lacunes qui ont conduit à l'erreur survenue dans l'EPA de juillet 2014 et à faire en sorte que dorénavant, l'assurance de la qualité soit renforcée.