Vérification de la confidentialité: Enquête mensuelle sur les industries manufacturières

Rapport de vérification

Date du rapport : Mars 2012
Numéro de projet : 80590-70

• Sommaire exécutif
  • Principales constatations
  • Conculsion générale
  • Conformité aux normes professionnelles
• Introduction
  • Contexte
  • Objectifs de la vérification
  • Portée
  • Approche
  • Autorité
• Constatations, recommandations et réponses de la direction
  • Environnement de gouvernance de la qualité de l'EMIM
  • Gestion des risques
  • Gérance des données
• Annexe
  • Annexe A : Critères de vérification

Sommaire exécutif

La qualité est l'image de marque de Statistique Canada; elle est essentielle à notre réputation. Statistique Canada s'efforce d'intégrer les principes de pertinence et de qualité à tous ses programmes et produits. La qualité des statistiques officielles repose sur l'emploi de méthodes scientifiques éprouvées et adaptées progressivement aux besoins changeants des clients, à la réalité en évolution que l'organisme tente de mesurer et à la capacité ou la volonté des répondants de fournir des données fiables et à jour.

L'Enquête mensuelle sur les industries manufacturières (EMIM) est une enquête essentielle au mandat de Statistique Canada et fournit des données concernant le secteur manufacturier au Canada depuis 1947. Les résultats de cette enquête sont utilisés par les ministères des Finances des gouvernements fédéral et provinciaux, la Banque du Canada, Industrie Canada, le Système de comptabilité nationale à Statistique Canada, le secteur manufacturier et divers autres organismes de recherche au pays et à l'étranger. Par conséquent, la qualité et l'exactitude des données sont primordiales pour l'enquête.

Cette vérification vise à fournir au statisticien en chef (SC) et au Comité ministériel de vérification (CMV) l'assurance que :

• l'environnement de production de l'EMIM comporte un cadre solide de contrôle de la qualité, afin de veiller à ce que la qualité des données soit conforme à la composante de l'exactitude des Lignes directrices concernant la qualité de Statistique Canada;
• les contrôles manuels effectués par le personnel de l'EMIM pendant l'étape de la production de l'enquête sont documentés, autorisés et validés.

La vérification a été effectuée par les Services de vérification interne, en conformité avec la Politique sur la vérification interne du gouvernement du Canada.

Principales constatations

L'Enquête mensuelle sur les industries manufacturières comporte un cadre solide de contrôle de la qualité, qui intègre les six dimensions statiques de la qualité énoncées dans les Lignes directrices concernant la qualité de Statistique Canada. L'environnement de production comporte des rôles, responsabilités et pouvoirs clairement définis en ce qui a trait à la qualité. Des documents officiels de pratiques et de procédures faisant état des tâches du personnel d'enquête sont en place et sont appliqués, afin d'assurer le maintien de la qualité des données. Des objectifs de qualité et des mécanismes d'assurance de la qualité efficaces sont en place dans le processus de l'EMIM; ils sont surveillés et rajustés au besoin pour assurer le maintien de la qualité et de l'exactitude des données.

La Division dispose d'un processus officiel de détermination des risques pour l'EMIM et contrôle aussi les environnements interne et externe sur une base permanente. La direction détermine et contrôle les mesures en place pour gérer les risques relatifs à la qualité. D'autres divisions de Statistique Canada contribuent aussi au contrôle de l'assurance de la qualité des données de l'EMIM.

L'évaluation des contrôles manuels dans l'environnement de production de l'EMIM a révélé qu'il existe des possibilités de raffermir les contrôles, pour faire en sorte que les rajustements manuels majeurs soient officiellement autorisés, et qu'une surveillance permanente de l'environnement de contrôle soit effectuée pour s'assurer que les contrôles manuels n'annulent pas accidentellement les autres contrôles automatisés.

Conclusion générale

Le cadre existant de gouvernance de la qualité pour l'EMIM est efficace. Les rôles et responsabilités sont officiellement définis, communiqués et appliqués par le personnel de l'EMIM, afin d'assurer la qualité et l'exactitude des données de l'enquête. Des mécanismes d'assurance de la qualité et des objectifs de qualité efficaces sont en place et font l'objet d'une surveillance pour assurer la qualité. Des pratiques et des procédures officielles sont en place et permettent de s'assurer que la direction détermine les risques et y donne suite, en vue de maintenir la qualité et l'exactitude des données de l'EMIM.

Il existe des possibilités de raffermir les contrôles du cycle de production, par exemple : 1) veiller, lorsque des rajustements manuels majeurs sont requis, à ce que l'autorisation officielle soit documentée; et 2) surveiller l'environnement de contrôle pour s'assurer que les contrôles manuels n'annulent pas accidentellement les autres contrôles automatisés du système de production.

Conformité aux normes professionnelles

Cette mission de vérification est conforme aux Normes internationales pour la pratique professionnelle de l'audit interne et aux Normes de vérification internes du gouvernement du Canada. Des tests suffisants ont été effectués pour appuyer les constatations et les recommandations connexes.

Introduction

Contexte

La qualité est l'image de marque de Statistique Canada; elle est essentielle à notre réputation. Statistique Canada s'efforce d'intégrer les principes de pertinence et de qualité à tous ses programmes et produits. La qualité des statistiques officielles repose sur l'emploi de méthodes scientifiques éprouvées et adaptées progressivement aux besoins changeants des clients, à la réalité en évolution que l'organisme tente de mesurer et à la capacité ou la volonté des répondants de fournir des données fiables et à jour. Les Lignes directrices concernant la qualité de Statistique Canada définissent la qualité au moyen de six dimensions statiques : pertinence, exactitude, actualité, accessibilité, intelligibilité et cohérence. Ensemble, ces éléments aident les gestionnaires de programme à gérer le caractère multidimensionnel de la qualité.

L'Enquête mensuelle sur les industries manufacturières (EMIM) est considérée comme une enquête essentielle au mandat de Statistique Canada et fournit des données concernant le secteur manufacturier au Canada depuis 1947. L'EMIM produit des données sur les valeurs des ventes, des stocks et des commandes de biens manufacturés. Les données de l'EMIM servent d'indicateurs de la situation économique des industries du secteur manufacturier, d'intrants pour le produit intérieur brut (PIB) du Canada, de composantes de l'indicateur composite de Statistique Canada, de données d'entrées pour les études économiques et les modèles économétriques (p. ex., pour déterminer les parts de marché, la disponibilité apparente au pays, etc.). Les résultats de cette enquête sont utilisés par les ministères des Finances des gouvernements fédéral et provinciaux, la Banque du Canada, Industrie Canada, le Système de comptabilité nationale à Statistique Canada, le secteur manufacturier et divers autres organismes de recherche au pays et à l'étranger.

Le processus d'enquête de l'EMIM comporte huit étapes : échantillonnage, collecte, réception par lot, production, estimation, agrégation, vérification et publication. À l'intérieur de ces étapes, il existe diverses interdépendances avec d'autres divisions qui fournissent des services au personnel de l'EMIM pendant le processus d'enquête. Par exemple, la Division du Registre des entreprises et la Division des méthodes d'enquêtes auprès des entreprises participent au plan d'échantillonnage; les Opérations régionales procèdent à la collecte; la Division des comptes des industries est consultée à l'étape de l'agrégation; et la Division de la diffusion et des communications fournit des services pour la publication des données.

Au cours de l'étape de la production de l'enquête, des contrôles manuels et automatisés sont effectués pour valider et garantir l'exactitude des données recueillies. Les contrôles automatisés dans un environnement d'enquête font en sorte que les processus sont mis en œuvre de façon uniforme. Par contre, lorsque des contrôles manuels sont utilisés dans le processus d'enquête, il peut y avoir un risque plus grand pour l'exactitude, ces contrôles étant fondés sur le jugement d'une personne. Divers membres de l'équipe de l'EMIM peuvent apporter des modifications aux données qui entrent, selon certaines modalités. Les chefs d'équipe et les chefs de sous section valident les changements manuels apportés pendant la production. Des listes de tâches et de vérification sont mises à la disposition du personnel d'enquête pour veiller à ce que les changements apportés ne compromettent pas la qualité ou l'exactitude des données.

Les estimations sont produites à partir des réponses d'un échantillon d'établissements manufacturiers, combinées à des données administratives relatives à une partie des établissements les plus petits. L'échantillonnage de l'enquête comprend une couverture totale des établissements manufacturiers importants de chaque industrie, selon la province, ainsi qu'une couverture partielle des petites et moyennes entreprises. À partir de 2004, on a commencé à utiliser les données de la TPS pour estimer les ventes de biens manufacturés pour certains établissements de moyenne et de petite tailles.

Dans le cadre du programme de l'EMIM , on publie des séries mensuelles sur les valeurs des livraisons, des stocks et des commandes des industries manufacturières, pour un nombre pouvant aller jusqu'à 325 industries au niveau national et selon la province/le territoire, avec des comparaisons avec les données des États Unis, dans les 45 jours ouvrables suivant le mois de référence.

Objectifs de la vérification

Cette vérification vise à fournir au statisticien en chef et au Comité ministériel de vérification l'assurance que :

• l'environnement de production de l'EMIM comporte un cadre solide de contrôle de la qualité, afin de veiller à ce que la qualité des données soit conforme à la composante de l'exactitude des Lignes directrices concernant la qualité de Statistique Canada.
• les contrôles manuels effectués par le personnel de l'EMIM pendant l'étape de la production de l'enquête sont documentés, autorisés et validés.

Portée

La portée de cette vérification englobait les procédures d'assurance de la qualité, avec un accent particulier sur l'exactitude, afin de veiller à ce que le cadre de contrôle de la qualité soit conforme aux Lignes directrices concernant la qualité de Statistique Canada. La portée comprenait un examen des contrôles manuels effectués pendant l'étape de la production du cycle de l'EMIM, afin d'assurer le maintien de la qualité des données. La vérification a englobé les données statistiques recueillies en 2011–2012.

Le processus de l'EMIM fait l'objet de changements à différentes étapes. Par exemple, l'échantillon doit être restratifié en 2012. Par ailleurs, le système de traitement automatisé de l'enquête pour l'EMIM a été remanié et devrait englober les quatre enquêtes essentielles au mandat de la Direction à la fin du printemps 2012. Par conséquent, l'examen de l'échantillon et le système de traitement automatisé n'ont pas été inclus dans la portée de cette vérification.

Approche

L'approche de la vérification a consisté à passer en revue les politiques, procédures et données pertinentes relatives à la qualité et à l'exactitude des données de l'Enquête mensuelle sur les industries manufacturières. On a procédé à des interviews auprès des employés et de la direction de l'EMIM, à un examen et à un essai des processus et des procédures en place pour l'EMIM, ainsi qu'à une validation des mécanismes d'assurance de la qualité liés aux contrôles manuels, à l'étape de la production de l'enquête.

La vérification a été menée selon les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institut des vérificateurs internes (IVI) et en conformité avec la Politique sur la vérification interne du SCT.

Autorité

La vérification a été menée en vertu des pouvoirs prévus dans le Plan pluriannuel de vérification axé sur les risques de Statistique Canada, pour 2011–2012 et 2013–2014, approuvé en mars 2011 par le Comité ministériel de vérification.

Constatations, recommandations et réponses de la direction

Champ d'enquête n^o 1 : L'environnement de production de l'EMIM comporte un cadre solide de contrôle de la qualité, afin de veiller à ce que la qualité des données soit conforme à la composante de l'exactitude des Lignes directrices concernant la qualité de Statistique Canada.

Environnement de gouvernance de la qualité de l'EMIM

Un bon environnement de gouvernance de la qualité doit comporter des rôles, des responsabilités et des obligations de reddition de comptes clairement définis, afin d'assurer la gestion efficace de la qualité. Des objectifs de qualité doivent être en place et faire l'objet d'une surveillance en fonction des résultats et des objectifs prévus.

Rôles, responsabilités et reddition de comptes
La vérification a permis de déterminer que les rôles et responsabilités liés à l'assurance de la qualité des données de l'EMIM sont officiellement définis, communiqués et mis en pratique. À l'intérieur de la sous section de l'EMIM, l'économiste principal est chargé de déterminer quand les données sont finalisées. Le directeur de la Division est responsable de la reddition de comptes générale en ce qui a trait à la qualité des données produites par la Division. Le Comité des politiques de Statistique Canada procède à un examen des produits finaux de l'EMIM, afin d'assurer la cohérence et la pertinence des données.

Pour chaque membre de l'équipe dans l'environnement de production de l'EMIM, il existe une liste de tâches à suivre. Ces listes résument les procédures, responsabilités et détails particuliers concernant le moment où les activités du processus doivent être menées à bien.

• Les agents spécialisés de l'EMIM sont responsables de vérifier, de valider et d'analyser les données pour les industries manufacturières qui leur sont affectées. Les tâches énoncées dans la liste de tâches des agents spécialisés a trait aux fonctions qui doivent être exécutées avant la finalisation des données pour le mois. Les tâches relatives à la qualité pour les agents spécialisés comprennent les suivantes : examen des cas problèmes courants pour l'industrie dont ils sont chargés et revue des médias liée aux industries manufacturières, afin de s'assurer que les données qui entrent rendent compte de la réalité. Au fur et à mesure que les données entrent dans l'environnement de l'EMIM, par suite de la collecte dans les bureaux régionaux, les agents spécialisés les passent en revue et les valident en examinant les rapports de diagnostic au niveau de chaque industrie. Ils analysent aussi les données relatives aux industries dont ils sont chargés aux niveaux provincial et national, afin de s'assurer qu'elles sont cohérentes et précises. L'examen et l'analyse du rapport de diagnostic se poursuivent tout au long du processus de production, jusqu'à ce que tous les problèmes de données en suspens aient été résolus.
• À l'intérieur de l'équipe de l'EMIM, on compte deux chefs d'équipe. Un est chargé des industries manufacturières regroupées en industries durables et l'autre, du regroupement des industries manufacturières non durables. Ils assurent aussi la validation des données pour les industries qui relèvent de leur domaine. Les chefs d'équipe passent en revue les industries et les établissements les plus importants relevant de leur domaine, pour s'assurer que les contrôles manuels ont été appliqués de façon appropriée. Les fichiers problèmes des agents spécialisés sont examinés et font l'objet d'un suivi, en vue de résoudre les problèmes en suspens. Les chefs d'équipe passent en revue les données pour les dix principales entreprises touchées dans chaque industrie, au chapitre des ventes, des stocks et des commandes non remplies, à plusieurs points de contrôle de la qualité pendant la production. Ils procèdent aussi à des examens des données provinciales pour les industries et donnent suite aux préoccupations en matière de qualité des données des agents spécialisés et de la Division des comptes des industries.
• Le chef de sous section (économiste principal) assure la validation finale des estimations au niveau de l'industrie et de la province et au niveau agrégé et est chargé de déterminer quand les données sont finales et de les autoriser. Le chef de la sous section des opérations fait en sorte que tous les rapports de diagnostic sont exécutés aux points de contrôle appropriés. Le chef de sous section est chargé d'examiner les dix principales entreprises touchées, de passer en revue les totaux nationaux non corrigés pour le secteur manufacturier, ainsi que les données désaisonnalisées et non désaisonnalisées pour les trois mois précédents, afin de déterminer si des révisions importantes ont eu lieu. Le chef de sous section examine, analyse et valide aussi les données provinciales, pour assurer la cohérence des données au niveau de l'industrie provinciale. Le chef de sous section doit aussi donner suite aux questions de qualité des données et valider le fait que tous les contrôles manuels requis ont été exécutés.

Dans le cadre de la vérification, on a tenu un essai pour s'assurer que les listes de tâches et les listes de vérification sont appliquées de façon uniforme par les employés. Un examen des approbations et une revue des rapports de production mensuels a révélé que le chef de la sous section des opérations de l'EMIM assure un suivi des rapports de diagnostic remplis et des points en suspens à chaque étape de l'estimation pour l'équipe de l'EMIM. Chaque mois, l'économiste principal prépare une approbation des listes de vérification, qui indique que les vérifications requises ont été effectuées à chaque étape de l'estimation au cours de la période de production des données.

Des rôles, responsabilités et obligations de reddition de comptes clairement définies sont en place pour l'EMIM, afin d'assurer la gestion efficace de la qualité des données. Les tâches et responsabilités énoncées dans les listes de vérification sont menées à bien par le personnel de l'EMIM.

Surveillance
Un cadre de gestion de la qualité efficace nécessite que des objectifs de qualité et des mécanismes d'assurance de la qualité appropriés soient en place. Ces objectifs et mécanismes doivent faire l'objet d'une surveillance, et des rajustements doivent être apportés au besoin.

L'objectif principal des Lignes directrices concernant la qualité de Statistique Canada est de fournir une liste exhaustive des principes directeurs et des bonnes pratiques pour la conception des enquêtes. Ces lignes directrices font état des étapes et des processus d'enquête et comportent des stratégies d'assurance de la qualité pour maximiser les six éléments statiques de la qualité des données : pertinence, exactitude, actualité, accessibilité, intelligibilité et cohérence. Selon les Lignes directrices, des documents de procédures détaillés et à jour doivent être en place et la vérification des données doit être surveillée. Les indicateurs de qualité compris dans les lignes directrices comprennent des taux de vérification, la contribution des vérifications et variables clés, les taux d'imputation par variable, les taux de réponse pondérés et non pondérés et les coefficients de variation pour les estimations principales.

Dans l'environnement de l'EMIM, des documents de procédures sont en place et ont été élaborés sous forme de listes de tâches, qui déterminent efficacement les fonctions et responsabilités de chaque membre de l'équipe. Les tâches comportent une description détaillée des étapes nécessaires pour assurer la qualité des données pendant le traitement de l'enquête, conformément aux Lignes directrices concernant la qualité de Statistique Canada.

La direction de l'EMIM a déterminé plusieurs indicateurs de qualité pour usage interne, afin d'assurer la qualité des données aux étapes de la collecte et du traitement des données de l'EMIM. La vérification a permis de déterminer que les indicateurs de qualité suivants sont en place et efficaces; pendant la collecte, des indicateurs de qualité, comme les taux de contact et les taux de réponse, sont documentés et surveillés, afin de veiller à ce que la collecte se déroule à temps et que les unités prioritaires soient contactées. À l'intérieur du cycle de traitement des données, des rapports de diagnostic qui examinent les valeurs négatives, les valeurs aberrantes, les non déclarants, les principales entreprises touchées et les principaux contributeurs sont créés pour surveiller et valider l'exactitude des données pour les valeurs négatives, les valeurs aberrantes, les non répondants et les principales entreprises touchées.

Des mesures de qualité des données sont produites et font l'objet de rapports externes pour l'EMIM, conformément à la Politique visant à informer les utilisateurs, qui prescrit les quantités minimales d'information sur la qualité des données et la méthodologie qui doivent être fournies aux utilisateurs.

En ce qui a trait à l'exactitude, la Politique précise aussi que toutes les diffusions de données doivent s'accompagner d'information sur les trois sources les plus courantes d'erreurs : couverture, non réponse et erreur d'échantillonnage, ainsi que toute autre source importante d'erreurs (p. ex., erreurs de réponse, erreurs de traitement). La vérification a permis de déterminer que, pour l'EMIM, des données sur ces sources d'erreur sont produites mensuellement. Les mesures de la qualité produites comprennent les taux de réponse finals, les taux de contrôle et d'imputation et les coefficients de variation (c.v.) pour les estimations principales. Chaque mois, ces indicateurs de qualité, ainsi que des données sur les concepts, définitions, sources des données et méthodologie de l'enquête, sont publiés dans la Base de métadonnées intégrée (BMDI), qui relève de la Division des normes.

À l'intérieur des diverses étapes du processus de l'EMIM, il existe une gamme variée de stratégies d'assurance de la qualité, qui sont appliquées et efficaces. Les examens des microdonnées sont effectués par des agents spécialisés à chaque étape d'estimation du cycle de production de l'EMIM.^{Footnote 1} À chaque passage d'estimation, les agents spécialisés produisent des rapports de diagnostic sur des industries particulières, afin de veiller à ce que les données qui entrent soient valides et que les stratégies de contrôle et d'imputation soient appliquées de façon appropriée. Lorsque des anomalies sont notées dans les données, les agents spécialisés et les chefs d'équipe valident les changements et recréent des rapports de diagnostic pour s'assurer que les données sont cohérentes et exactes. L'économiste principal procède à un examen final, exécute des rapports de diagnostic au sujet des microdonnées et valide les tendances agrégées. Avant l'approbation des données, un examen externe des microdonnées est effectué par la Division des comptes des industries, afin d'assurer l'exactitude et la cohérence des données. Un examen final des données agrégées est assuré par les cadres supérieurs de la Division de la fabrication et de l'énergie (DFE) et au niveau de Statistique Canada.

Sur la base des processus de qualité existants, la vérification a permis de déterminer qu'un cadre efficace de gestion de la qualité est en place et que les objectifs de qualité et les mécanismes d'assurance de la qualité sont surveillés et sont efficaces.

Gestion des risques

L'existence de pratiques et de procédures officielles pour la gestion des risques liés à la qualité des données de l'EMIM fait en sorte que la direction détermine les risques au chapitre de l'exactitude et de la qualité des données d'enquête et y donne suite.

Cela comprend la détermination des risques, l'évaluation des contrôles en place pour atténuer les risques, la mise en œuvre de stratégies d'atténuation des risques et de plans d'action pour gérer les risques courants au chapitre de la qualité, ainsi qu'une réévaluation périodique des risques au chapitre de la pertinence et l'évaluation de l'efficacité des stratégies d'atténuation.

Gestion des risques à la Division
À la DFE, l'évaluation des risques pour l'EMIM a été effectuée dans le cadre de l'Examen de rendement de programme (2010) de la Division, ainsi que pendant l'Examen d'assurance de la qualité (2007). Au cours de ces exercices, les risques externes et internes pour la qualité des données de l'EMIM ont été déterminés, et des stratégies d'atténuation ont été élaborées. La direction de la DFE a noté que la détermination des risques est aussi un processus permanent qui se déroule de façon officieuse, au fur et à mesure que des problèmes se posent; toutefois, ces discussions n'ont pas été documentées.

La gestion des risques à la DFE fait l'objet d'un exercice officiel qui permet à la direction d'évaluer et de surveiller l'environnement interne (processus d'enquête) et l'environnement externe (secteur manufacturier en général), au chapitre des risques. La direction détermine, évalue et surveille de façon proactive les risques; des stratégies d'atténuation ont été élaborées pour réduire à des niveaux acceptables les risques clés déterminés. La direction réévalue les risques et l'environnement des risques de façon officielle, dans le cadre des examens de rendement de programme, et de façon informelle, sur une base permanente.

Dans l'ensemble, la Division de la fabrication et de l'énergie dispose d'un processus officiel efficace de détermination des risques pour l'EMIM, qui permet de surveiller les environnements interne et externe sur une base permanente. La direction détermine et surveille les contrôles en place pour gérer les risques pour la qualité, et les données d'entrée du contrôle d'assurance de la qualité des données de l'EMIM proviennent d'autres divisions de Statistique Canada.

Champ d'enquête n^o 2 : Les contrôles manuels effectués par le personnel de l'EMIM pendant l'étape de la production de l'enquête sont validés, documentés et autorisés.

Gérance des données

Les points de contrôle clés de la qualité devraient être appliqués de façon uniforme par le personnel de l'EMIM, et les activités relatives à la qualité dans les listes de tâches devraient être reliées aux six dimensions statiques de la qualité dont il est fait état dans les Lignes directrices concernant la qualité de Statistique Canada.

La vérification a permis de déterminer que les points de contrôle clés de la qualité ont été intégrés dans le processus de l'EMIM et sont appliqués de façon uniforme. Les points de contrôle clés de la qualité du processus de l'EMIM correspondent à chaque passage d'estimation de la production des données. Les résultats de la visite du chef de la sous section des opérations et l'essai d'approbation des listes de vérification remplies par l'économiste principal ont montré que les rapports de diagnostic requis étaient créés et surveillés à chaque passage d'estimation. L'économiste principal a validé le fait que les vérifications requises étaient effectuées à chaque point de contrôle et appliquées de façon uniforme.

Les Lignes directrices concernant la qualité de Statistique Canada indiquent que des documents de procédures détaillés et à jour devraient exister. Ces lignes directrices soulignent aussi que Statistique Canada considère la qualité comme multidimensionnelle et la définit selon six dimensions, celles ci pouvant être liées au processus d'enquête. Les listes de tâches pour l'EMIM servent de documents de procédures et sont détaillées et efficaces. Même si les listes de tâches de l'EMIM pour les agents spécialisés, les chefs d'équipe et le chef de sous section ne font pas référence de façon particulière aux six dimensions de la qualité, l'équipe de vérification a examiné les listes de tâches et les lignes directrices et a déterminé que les processus et les tâches détaillés pour chaque employé de production de l'EMIM peuvent être clairement reliés aux six éléments de la qualité.

L'efficacité des contrôles manuels devrait inclure un ensemble équilibré de contrôles de prévention et de détection et devrait être validée, documentée et autorisée. Les contrôles manuels devraient faire l'objet d'une vérification d'efficacité sur une base périodique, et un processus officiel de remise en question des hypothèses d'enquête devrait être en place.

Le système de traitement de l'EMIM utilise à la fois des contrôles manuels et automatisés pour la production des estimations mensuelles de l'EMIM. Les contrôles automatisés dans un environnement d'enquête font en sorte que les processus sont mis en œuvre de façon uniforme. Par exemple, des contrôles automatisés sont utilisés pour mettre en œuvre des révisions des données récurrentes sur une base permanente, comme la calendrialisation des données pour les répondants qui ne peuvent produire de déclarations mensuelles, le fractionnement permanent des données entre les établissements et les calculs des ventes aux fins de la TPS.

L'EMIM comporte un ensemble fonctionnel de contrôles manuels de prévention et de détection intégrés dans l'environnement de production. Les agents spécialisés tiennent une liste permanente des établissements pour lesquels une validation ou une révision manuelle des données est nécessaire. Parmi les exemples de contrôles manuels de prévention figure la conversion des données d'entrée en devises canadiennes, afin d'assurer l'exactitude des données, des nouvelles structures de déclaration pour un établissement, qui n'ont pas été programmées dans le système, ou dans les cas où il existe des dispositions préalables avec un établissement important et complexe comportant plusieurs emplacements pour que le siège social recueille les données. Ces contrôles de prévention permettent les calculs et les répartitions des données appropriés.

Les contrôles manuels de détection servent lorsque les rapports de diagnostic montrent des anomalies dans les données. Par exemple, les non déclarants, les valeurs négatives, les enregistrements en blanc, les principales entreprises touchées et les entreprises les plus importantes à l'intérieur de chaque industrie particulière susciteraient tous un examen manuel des données pour ces établissements. Les tests de vérification ont déterminé que lorsqu'un établissement figure dans un rapport de diagnostic, les données font l'objet d'un examen et d'une validation, afin que la cause des anomalies soit justifiée.

Des essais ont été menés dans le cadre de la vérification pour confirmer que les contrôles manuels étaient documentés, validés et autorisés. L'essai comprenait la vérification de la documentation de justification des contrôles manuels dans le système de traitement de l'EMIM. On a choisi un échantillon de 22 établissements nécessitant des contrôles manuels.

Dans l'échantillon de la vérification, une grande entreprise nécessitait une conversion de devises. Les essais de vérification ont confirmé que le taux de conversion utilisé pour la conversion des devises correspondait aux taux prescrit dans les listes des tâches et de vérification pour l'industrie, pour les périodes de référence de l'enquête de septembre et novembre 2011. Pour 11 cas dans l'échantillon choisi, les données ont dû être fractionnées pour faire en sorte que les ventes, les stocks et/ou les commandes appropriés soient affectés aux emplacements appropriés de l'entreprise. La vérification a confirmé que ces fractionnements ont été effectués avec succès et documentés dans le système.

La vérification a permis d'examiner 11 principales entreprises visées parmi les trois plus grands secteurs de l'industrie manufacturière au Canada. La vérification a confirmé que, pour l'ensemble des principales entreprises visées, le personnel de l'EMIM a confirmé que le changement majeur était le résultat d'un événement économique qui était documenté. Dans les cas où aucune justification n'a pu être fournie pour un changement majeur, il existait une stratégie à court terme documentée pour la situation, qui a aussi fait en sorte que l'établissement a été placé dans le fichier des problèmes pour faire l'objet d'une surveillance. Aucune autorisation officielle n'était en évidence pour les modifications manuelles des données. Le personnel de l'EMIM a indiqué que les autorisations des révisions majeures se font verbalement, mais ne sont pas documentées. Les autorisations informelles non documentées augmentent le risque que les obligations de reddition de comptes ne soient pas bien définies et que la justification des révisions manuelles des données se perde au fil du temps.

L'échantillon comprenait un cas où les données pour un répondant avaient été tirées des fichiers de la TPS et avaient été déclarées comme égales à zéro pour les ventes pour le mois de novembre. Après examen des commentaires figurant dans le système, on a noté que les ventes du secteur manufacturier étaient imputées à partir des données fiscales. Les fichiers de données fiscales ont par la suite été examinés, et l'équipe de vérification a déterminé que, même si les ventes étaient égales à zéro aux fins de la TPS, les données fiscales indiquaient que des ventes avaient été déclarées pour l'unité et avaient servi à estimer les ventes du secteur manufacturier pour le mois. On a noté que les données de la TPS ne devraient pas comporter de valeur de zéro. Cela a incité les agents spécialisés à examiner le RE, dans lequel l'unité était classée comme unité manufacturière. Toutefois, après examen du fichier de l'impôt des sociétés, on a déterminé que l'unité était classée comme un grossiste, ce qui fait qu'elle ne devait pas figurer dans l'échantillon et pouvait avoir des répercussions sur l'industrie manufacturière en question. Par conséquent, l'agent spécialisé a envoyé une demande aux responsables du RE pour valider le type d'industrie de l'unité.

L'examen des commentaires dans le système de production et dans les fichiers de problèmes courants pour les trois plus grandes industries manufacturières a montré que les contrôles manuels de prévention et de détection étaient documentés dans les faits. Le système comprend aussi une piste de vérification qui rend compte de tous les changements apportés aux données, de la date des changements et de l'utilisateur qui les a effectués.

La validation des contrôles manuels se fait de façon permanente, tout au long du processus de l'EMIM. Les agents spécialisés, les chefs d'équipe et l'économiste principal de l'EMIM exécutent à nouveau les rapports de diagnostic à chaque passage d'estimation, procèdent à la validation et remettent en question les contrôles manuels effectués pendant le mois.

À l'étape de l'essai, l'équipe de vérification a trouvé deux cas dans l'échantillon où les contrôles manuels annulaient les contrôles automatisés distincts. De façon plus particulière, le système de production a été programmé pour calendrialiser automatiquement les données d'entrée pour ces établissements, parce que leurs périodes de déclaration ne sont pas mensuelles. Par suite de l'entrée manuelle de données, les contrôles automatisés ont été annulés. Cette situation n'a pas été décelée jusqu'en juillet 2011, date à laquelle un nouvel agent spécialisé a noté que le contrôle automatisé n'était pas appliqué. La calendrialisation de ces deux établissements est maintenant calculée manuellement. Même si cette situation a été corrigée par le personnel de l'EMIM, il n'y a pas de procédure établie à l'intérieur du processus de l'EMIM pour veiller à ce que les contrôles manuels n'aient pas de répercussions sur les contrôles automatisés.

L'équipe de vérification a déterminé que des contrôles manuels de détection et de prévention étaient en place et que les contrôles manuels étaient validés et documentés dans les faits. Il existe des possibilités de s'assurer que les contrôles manuels sont autorisés officiellement. L'évaluation des contrôles manuels à l'intérieur du système de production de l'EMIM ont montré que le cadre de contrôle devrait être raffermi, afin que les contrôles manuels n'annulent pas accidentellement les autres contrôles automatisés.

Recommandations

Il est recommandé que le statisticien en chef adjoint, Secteur de la statistique du commerce et des entreprises, s'assure :

• que les contrôles manuels sont autorisés officiellement, au besoin, lorsque des révisions majeures des données sont requises;
• qu'une surveillance permanente de l'environnement de contrôle est effectuée pour s'assurer que les contrôles manuels n'annulent pas accidentellement les autres contrôles automatisés.

Réponse de la direction

La direction est d'accord avec les recommandations.

• Le chef de la DFE assurera l'élaboration et la mise en œuvre d'une fiche de contrôle pour enregistrer les événements et les approbations, lorsque des contrôles manuels sont appliqués à l'égard des données de l'EMIM, et il s'assurera que ces nouvelles exigences de rapports sont communiquées à tous les employés de l'EMIM et intégrées dans les documents de procédures existants pour les agents spécialisés. Une surveillance sera assurée pour faire en sorte que les fiches de contrôle soient utilisées de façon appropriée.
  Produits livrables et échéance : Élaboration et mise en œuvre de la fiche de contrôle d'ici octobre 2012. La surveillance sera permanente à partir d'octobre 2012.
• Le gestionnaire du Projet d'intégration du système d'enquêtes mensuelles de la Direction de la statistique de l'industrie (PISEMDSI) de la DFE s'assurera que la mise en œuvre du système de production de ce projet est assurée, ce qui réduira la nécessité d'interventions manuelles et permettra des commentaires et des notes améliorés dans le système.
  Produits livrables et échéance : Mise en œuvre du système de production du PISEMDSI d'ici juin 2012.
• Le chef de la DFE assurera la restratification de l'échantillon, ce qui réduira la nécessité de contrôles manuels correctifs dans l'environnement de production de l'EMIM.
  Produits livrables et échéance : La restratification de l'échantillon de l'EMIM sera terminée d'ici mars 2013.
• Le chef de la DFE s'assurera que les autres employés de l'EMIM et les utilisateurs des données de Statistique Canada sont au courant des contrôles manuels appliqués aux données pour réduire les risques d'annuler les autres contrôles.
  Produits livrables et échéance : Plan visant à faire en sorte que les contrôles manuels appliqués soient communiqués aux autres employés de l'EMIM et aux utilisateurs des données de façon permanente.
• Le chef de la DFE s'assurera qu'un registre des dossiers nécessitant des contrôles manuels est produit chaque mois et que ces unités font l'objet d'une surveillance pour s'assurer que les contrôles automatisés n'ont pas été annulés accidentellement.
  Produits livrables et échéance : Mise en œuvre d'un registre de contrôle manuel d'ici octobre 2012. Surveillance permanente pour faire en sorte que les contrôles manuels n'annulent pas accidentellement les autres contrôles automatisés.

Annexe

Annexe A : Critères de vérification

Champ d’enquête/ Contrôle clé	Critère
L'environnement de production de l'EMIM comporte un cadre solide de contrôle de la qualité, afin de veiller à ce que la qualité des données soit conforme à la composante de l'exactitude des Lignes directrices concernant la qualité de Statistique Canada.
Reddition de comptes	Les pouvoirs, les responsabilités et la reddition de comptes en matière de qualité sont clairs et bien communiqués.
Résultats et rendement	La direction a déterminé des mesures appropriées d'évaluation du rendement par rapport aux résultats escomptés. La direction surveille le rendement réel en fonction des résultats escomptés et modifie son plan d'action au besoin.
Gestion des risques	La direction définit les risques qui pourraient entraver l'atteinte de ses objectifs. La direction détermine et évalue les contrôles en place pour gérer les risques.
Les contrôles manuels effectués par le personnel de l'EMIM pendant l'étape de la production de l'enquête sont validés, documentés et autorisés.
Gérance	Les activités nécessaires pour atteindre les objectifs de qualité ont été intégrées dans le processus de contrôle de la qualité de l'EMIM. Un processus officiel est en place pour remettre en question les hypothèses d'enquête et les contrôles manuels de qualité connexes.

Note