Audit des statistiques juridiques

Contexte

Depuis 1981, les sous-ministres fédéraux, provinciaux et territoriaux responsables du système de justice du Canada travaillent avec le statisticien en chef à l'Entreprise nationale relative à la statistique juridique (ENRSJ). L'ENRSJ a pour mandat de fournir à la communauté juridique et au public des renseignements sur la nature et l'étendue de la criminalité et de la victimisation, ainsi que sur l'administration de la justice pénale et civile au Canada.

Par l'entremise du Centre canadien de la statistique juridique (CCSJ), une division de Statistique Canada, l'ENRSJ produit des données afin d'éclairer les programmes législatifs, de politique, de gestion et de recherche des partenaires fédéraux, provinciaux et territoriaux et d'informer le public. Le CCSJ s'emploie à élaborer, à recueillir, à intégrer et à analyser des données permettant d'illustrer les tendances au Canada, ainsi qu'à mettre au point des indicateurs au niveau du pays et de chaque secteur de compétence.

Le CCSJ englobe trois programmes statistiques : le Programme des services policiers, le Programme des tribunaux et le Programme des services correctionnels. Ces programmes sont responsables des enquêtes vedettes suivantes :

• Programme des services policiers : Le Programme de déclaration uniforme de la criminalité (DUC) vise à recueillir des données auprès des services de police de tout le Canada sur les incidents, les victimes et les personnes accusées des crimes déclarés à la police, y compris les crimes motivés par la haine.
• Programme des tribunaux : L'Enquête intégrée sur les tribunaux de juridiction criminelle (EITJC) vise à recueillir des microdonnées détaillées sur chaque comparution devant les tribunaux de juridiction criminelle pour adultes et les tribunaux de la jeunesse, lesquelles sont agrégées au niveau des accusations et des causes.
• Programme des services correctionnels : L'Enquête intégrée sur les services correctionnels vise à recueillir des microdonnées sur les adultes et les jeunes qui sont sous la surveillance des systèmes correctionnels fédéraux, provinciaux et territoriaux.

À ces trois programmes du CCSJ s'ajoutent d'autres groupes et unités :

• La Section de l'analyse travaille avec les membres du Comité des agents de liaison de l'Entreprise nationale relative à la statistique juridique (CALENRSJ) à l'analyse des sujets qui présentent un intérêt particulier pour l'ENRSJ. Elle procède également, en régime de recouvrement des coûts, à des analyses sur des questions liées à la justice pour les partenaires de l'initiative et pour d'autres ministères.
• La Sous-section de l'accès aux données et de la diffusion des données travaille avec les secteurs de programme et d'autres secteurs de Statistique Canada afin d'accroître l'accès aux produits de données du CCSJ, par exemple au moyen de la mise à disposition des données sur la justice par le truchement des centres de données de recherche.
• La Sous-section du développement des données (ancienne Sous-section des projets intégrés et spéciaux) travaille avec les membres du CALENRSJ à un projet pluriannuel visant à examiner les nouveaux contacts avec le système de justice. Ce projet créera une série d'indicateurs propres au secteur, qui fourniront aux décideurs et aux chercheurs de l'information sur la portée des nouvelles arrestations, des nouvelles condamnations et des nouvelles interactions avec les services de police, les tribunaux et les secteurs correctionnels au Canada, ainsi que la capacité d'analyser les facteurs intersectoriels qui influencent les nouveaux contacts. La Sous-section est aussi responsable de certains autres projets visant à préserver la pertinence des rapports produits par le CCSJ dans les années à venir.
• Au Secrétariat de la qualité de Statistique Canada, qui a pour mission de promouvoir de saines pratiques de gestion de la qualité fondées sur les Lignes directrices concernant la qualité dans les secteurs de programme de l'organisme, s'ajoute le Secrétariat de la qualité des données (SQD) du CCSJ, qui a récemment été créé pour évaluer la qualité des données et aider les secteurs de programme du Centre à améliorer les procédures d'assurance de la qualité des données. Le SQD compte continuer d'évaluer la qualité des données et les risques clés et de documenter les pratiques exemplaires pour les différents programmes de données du CCSJ; élaborer un plan de protection des principaux secteurs de vulnérabilité touchant la qualité des données; et commencer à mettre en œuvre les initiatives recommandées de qualité des données.

Les trois programmes du CCSJ comptent sur les données administratives provenant des partenaires du milieu juridique, dont les services policiers, les tribunaux et les établissements correctionnels, appelés « fournisseurs de données ». Un certain nombre de comités de gouvernance et de groupes de travail — qui se composent de membres clés du personnel du CCSJ, de fournisseurs de données et d'autres intervenants du système de justice — ont été établis afin d'assurer la qualité des données et des produits de données du CCSJ. Par exemple, le CALENRSJ surveille le travail du CCSJ pour le compte de l'ENRSJ. Le CALENRSJ se compose de fonctionnaires ministériels nommés par les sous-ministres, du directeur général de Statistique Canada responsable du CCSJ, ainsi que d'un représentant de l'Association canadienne des chefs de police. Le comité apporte des éclaircissements sur des sujets d'intérêt dans la collectivité, passe en revue des articles de Juristat en cours de préparation et d'autres rapports, et constitue une voie de communication entre les fournisseurs de données et le CCSJ pour la discussion des questions liées à la qualité des données.

Objectifs de l'audit

Les objectifs de l'audit étaient de fournir au statisticien en chef et au Comité ministériel de vérification l'assurance que :

• Statistique Canada a établi un cadre de gouvernance approprié à l'appui de la qualité des données statistiques juridiques;
• des mécanismes de contrôle efficaces ont été établis et sont appliqués de façon uniforme, afin d'assurer la diffusion de données de qualité conformément aux Lignes directrices concernant la qualité de Statistique Canada.

Portée

La portée de cet audit comprenait un examen du caractère adéquat et de l'efficacité du cadre d'assurance de la qualité des statistiques juridiques. L'audit visait notamment à déterminer si :

• la gouvernance, les rôles, les responsabilités et les obligations redditionnelles en lien avec la qualité des données au CCSJ sont clairement définis et bien communiqués;
• l'équipe de direction détermine et évalue les risques qui pourraient empêcher d'offrir des produits de qualité;
• des mécanismes de contrôle efficaces ont été établis et sont appliqués de manière cohérente afin d'assurer la qualité des données provenant des fournisseurs de données de l'EITJC et du Programme DUC, ainsi que la qualité de l'information diffusée dans les publications Juristat et Le Quotidien.

La portée initiale de l'audit incluait une évaluation des activités liées à la production des statistiques juridiques qui se sont déroulées entre le 1er janvier 2014 et le 31 décembre 2014. La portée de l'audit a ensuite été étendue à une évaluation des activités liées à la production des statistiques juridiques concernant le Programme des tribunaux qui se sont déroulées entre le 1er janvier 2013 et le 31 décembre 2013, car le Programme des tribunaux n'a traité aucune donnée depuis 2013 en raison de la transition en cours à l'Environnement pour le traitement des enquêtes sociales.

Les critères d'audit sont présentés à l'annexe A.

Approche et méthodologie

Les travaux d'audit comprenaient un examen exhaustif et une analyse de documents pertinents, des entrevues avec des membres clés de la direction et du personnel, ainsi qu'une évaluation de l'efficacité des processus en place.

Les travaux sur le terrain comprenaient l'examen et la mise à l'essai des processus et procédures du CCSJ liés à la qualité et à l'exactitude des données statistiques juridiques.

L'audit mettait l'accent sur l'évaluation des principaux contrôles et processus établis pour deux des trois enquêtes clés du CCSJ : le Programme DUC et l'EITJC.

Cet audit a été réalisé conformément aux Normes relatives à la vérification interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors.

Pouvoirs

L'audit a été mené en vertu des pouvoirs prévus dans le Plan intégré de vérification et d'évaluation fondé sur les risques pour 2014-2015 à 2018-2019, qui a été approuvé par Statistique Canada.

Gouvernance à l'appui de la qualité des statistiques juridiques

Étant donné le nombre d'intervenants internes et externes, un cadre de gouvernance robuste est essentiel pour assurer la qualité des statistiques juridiques. Les rôles, responsabilités et obligations redditionnelles liés à la qualité des données au Centre canadien de la statistique juridique (CCSJ), y compris le Secrétariat de la qualité des données (SQD), doivent être clairement documentés et bien compris. De plus, des organismes de surveillance compétents et efficaces doivent être établis afin de surveiller la qualité des données du CCSJ en ce qui a trait aux environnements interne et externe du Centre.

Les rôles, responsabilités et obligations redditionnelles sont bien compris au sein du CCSJ et par les principaux intervenants externes. Il existe toutefois des possibilités d'améliorer l'officialisation de leurs rôles, responsabilités et interdépendances.

Un élément clé des structures de gouvernance est l'établissement des rôles, responsabilités et obligations redditionnelles des intervenants. L'équipe d'audit a constaté que les rôles, responsabilités et obligations redditionnelles des principaux employés responsables de la qualité des statistiques juridiques semblaient appropriés et bien compris au sein du CCSJ et par les principaux intervenants externes, mais qu'ils n'étaient pas officiellement documentés. En effet, les seuls documents énonçant les rôles et responsabilités au niveau du personnel sont les descriptions de travail, qui sont génériques et ne reflètent donc pas pleinement l'ensemble des rôles et responsabilités du personnel clé ou qui sont périmées.

La structure de gouvernance du CCSJ est unique en ce sens que le Centre rend compte aux intervenants non seulement internes mais aussi externes, en participant à l'Entreprise nationale relative à la statistique juridique (ENRSJ), qui travaille avec lui à la production de renseignements utiles afin d'éclairer les programmes législatifs, de politique, de gestion et de recherche des partenaires fédéraux, provinciaux et territoriaux et d'informer le public. Les intervenants externes sont des partenaires importants pour assurer la qualité des données et des produits de données du CCSJ. En conséquence directe de l'ENRSJ, plusieurs comités de gouvernance ont été établis afin de surveiller la qualité des données du CCSJ. Ces comités de gouvernance comprennent le Comité des agents de liaison de l'Entreprise nationale relative à la statistique juridique et le Comité des informations et statistiques policières (CISP), un sous-comité du comité de l'Association canadienne des chefs de police, et se composent de représentants des programmes pertinents du CCSJ et des intervenants externes tels que les gouvernements et les fournisseurs de données. La structure des comités favorise une compréhension commune des attentes relatives à la qualité des produits de données, des définitions de données et des exigences des parties relatives à la qualité des données, entre autres. Des mandats officiels ont été définis pour les différents comités de gouvernance, mais il n'existe aucun cadre de responsabilisation officiel énonçant les rôles, responsabilités et obligations redditionnelles des différents comités de gouvernance, y compris leur structure hiérarchique et autres interdépendances. Comme bon nombre des employés clés du CCSJ sont en poste depuis un bon moment et connaissent bien l'organisation, on ne ressent pas le besoin de documenter ces rôles et responsabilités.

Cependant, comme le CCSJ n'a pas de cadre de gouvernance unique et intégré incluant une surveillance au niveau de l'organisme et par l'entremise des différentes organisations partenaires de l'extérieur, il existe un risque de chevauchement ou de couverture lacunaire en l'absence de cadre de responsabilisation officiel. Un tel cadre permettrait aussi de s'assurer que le personnel clé et les intervenants externes connaissent leurs responsabilités et obligations redditionnelles respectives concernant la qualité des données.

Les rôles, responsabilités et obligations redditionnelles du Secrétariat de la qualité des données du CCSJ n'ont pas été officiellement définis ni communiqués.

Le SQD a été créé en 2014 pour aider le CCSJ à répondre aux préoccupations relatives à la qualité découlant du fait que certains numéros de Juristats^{Note de bas de page 1} ont dû être rétractés en raison d'erreurs de données. Le SQD, qui fait partie de la Sous-section de l'accès aux données et de la diffusion des données du CCSJ, est décrit dans le Plan opérationnel du CCSJ de 2015-2016 comme étant un « nouveau secrétariat [qui] a été créé pour évaluer la qualité des données et aider les programmes à améliorer leurs procédures relatives à la qualité des données ».

Bien que le SQD travaille à un certain nombre d'examens de la qualité au CCSJ, ses autres rôles, responsabilités et obligations redditionnelles n'ont pas encore été bien définis ni documentés. De plus, les personnes interviewées ont fait état d'une certaine confusion entourant le rôle du SQD du CCSJ par rapport à celui du Secrétariat de la qualité de Statistique Canada, qui a récemment effectué un examen de la qualité du Programme des tribunaux du CCSJ. Selon l'intranet de Statistique Canada, le Secrétariat de la qualité appuie le développement et la mise en place de politiques et de procédures encourageant l'utilisation de pratiques éprouvées de gestion de la qualité, conçoit et gère des études portant sur la gestion de la qualité, et donne des conseils et de l'aide en gestion de la qualité aux secteurs de programme.

Le personnel du SQD se limite actuellement au chef de la sous-section, et aucun autre poste n'a été doté. Entre-temps, le travail de la sous-section est effectué par le chef et des représentants de la Sous‑section de l'accès aux données et de la diffusion des données.

En l'absence de documentation officielle sur ses rôles et responsabilités, il existe un risque accru que le SQD ne réponde pas aux attentes de la haute direction et des intervenants en améliorant la qualité des données dans l'ensemble de la division du CCSJ. Il existe également un risque accru de chevauchement des efforts, particulièrement avec le Secrétariat de la qualité de Statistique Canada. Comme il est mentionné plus haut, l'élaboration d'un cadre de responsabilisation et de gouvernance permettrait de définir les rôles et responsabilités du SQD et de préciser comment ils diffèrent de ceux du Secrétariat de la qualité de Statistique Canada.

Gestion des risques à l'appui de la qualité des statistiques juridiques

Il faut établir un cadre efficace de gestion des risques afin d'identifier, d'évaluer, d'atténuer et de surveiller les risques potentiels et émergents susceptibles d'altérer la qualité des données et produits de données du Centre canadien de la statistique juridique (CCSJ).

Il n'existe aucun processus officiel de gestion des risques au niveau de la division ou du programme du CCSJ afin de repérer et d'évaluer les risques pour la qualité des données.

La direction du CCSJ participe à l'exercice de gestion des risques de Statistique Canada, qui consiste à cerner et à évaluer périodiquement les risques de haut niveau liés à l'atteinte de ses objectifs dans le cadre de l'exercice du Profil de risque organisationnel. Toutefois, aucun processus officiel de gestion des risques n'a été établi pour cerner et évaluer régulièrement les risques au niveau de la division ou du programme du CCSJ.

Bien que divers documents décrivent les risques de haut niveau auxquels fait face la division du CCSJ, le registre détaillé des risques pour la division n'a pas été mis à jour depuis mars 2012. Les chefs et le directeur du CCSJ sont en train de revoir et de mettre à jour le registre des risques afin de refléter les risques actuels pour les trois programmes du CCSJ. Cet exercice se poursuivait au moment de l'audit.

L'équipe d'audit a constaté par ailleurs que certains risques et problèmes font l'objet de mesures informelles d'atténuation et de surveillance pour chaque programme, mais qu'aucun processus officiel n'a été établi pour élaborer et surveiller les stratégies d'atténuation des risques au niveau de la division ou du programme. L'ancien registre des risques, qui date de mars 2012, attribue une cote à l'efficacité des stratégies d'atténuation actuelles. Cependant, il n'inclut pas de renseignements précis sur les stratégies d'atténuation ni sur la façon dont elles permettront de réduire les risques cernés. En outre, aucune documentation n'a été conservée comme preuve de la surveillance continue des risques cernés et de l'efficacité des stratégies d'atténuation.

En l'absence de processus officiel d'identification et d'évaluation systématiques et continues des risques pour la qualité des données et des produits connexes du CCSJ, il existe une possibilité accrue que ces risques potentiels ne soient pas renvoyés au niveau approprié ni atténués en temps opportun par le propriétaire (identifié) du ou des risques.

Mécanismes de contrôle du traitement des données

Selon les Lignes directrices concernant la qualité de Statistique Canada, les principaux indicateurs de qualité des données administratives telles que celles utilisées par le Centre canadien de la statistique juridique (CCSJ) sont la pertinence, l'exactitude, l'actualité et la cohérence. Les contrôles effectués lors du traitement des données reçues des fournisseurs permettent de s'assurer que les données satisfont à ces critères de qualité. Il faut offrir une orientation et une formation adéquates aux fournisseurs de données afin d'assurer la fiabilité, l'intégralité, l'exactitude et l'actualité des données recueillies et établir des voies de communication par lesquelles les fournisseurs peuvent passer pour signaler toute modification apportée à leurs systèmes et processus ou aux définitions des données administratives qui affectent les données fournies au CCSJ. Il faut aussi établir des processus efficaces de nettoyage et de vérification des données pour assurer la fiabilité et la pertinence des données recueillies, ainsi qu'un processus de validation efficace pour confirmer la fiabilité, l'intégralité et l'exactitude des données fournies.

Une orientation et une formation adéquates sont offertes aux fournisseurs afin d'assurer la fiabilité, l'intégralité, l'exactitude et l'actualité des données recueillies.

En collaboration avec les fournisseurs de données, le CCSJ a déterminé les Besoins nationaux en données pour chacune des enquêtes examinées. Ce document contient les définitions et paramètres approuvés pour chaque champ de données requis pour le Programme de déclaration uniforme de la criminalité (DUC) et l'Enquête intégrée sur les tribunaux de juridiction criminelle (EITJC). Il tient lieu de référence pour les fournisseurs et le personnel des programmes et assure une compréhension uniforme des définitions des données. Outre les Besoins nationaux en données, le Programme des services policiers a élaboré le Manuel du Programme de déclaration uniforme de la criminalité fondé sur l'affaire afin de donner des directives additionnelles aux fournisseurs dans l'exercice de leurs responsabilités relatives à la qualité de leurs données.

Étant donné le nombre important de fournisseurs de données (plus de 100 fournisseurs couvrant plus de 1 000 détachements de police) dont ils dépendent, les responsables du Programme des services policiers ont mis au point une formation normalisée, qui est offerte à tous les fournisseurs, et ont créé le poste d'agent de formation nationale, dont les principales responsabilités englobe la prestation de conseils, d'un soutien et d'une formation aux fournisseurs.

Étant donné le nombre limité de fournisseurs de données et l'éventail de systèmes d'information utilisés pour recueillir et transférer des données au CCSJ, les responsables du Programme des tribunaux n'ont pas élaboré de formation normalisée à l'intention des fournisseurs sauf pour les Besoins nationaux en données. Ils comptent plutôt sur leur relation continue avec leurs 13 fournisseurs de données et leur participation au groupe de travail sur la qualité des données de l'EITJC du Comité des agents de liaison de l'Entreprise nationale relative à la statistique juridique (CALENRSJ) pour offrir une orientation et un soutien continus aux fournisseurs.

L'équipe d'audit a constaté que le Programme des services policiers et le Programme des tribunaux avaient établi des voies de communication pour que les fournisseurs de données puissent signaler les modifications apportées à leurs systèmes et processus ou aux définitions de leurs données administratives qui affectent les données fournies au CCSJ. Elle a particulièrement noté que les deux programmes avaient des mécanismes en place pour favoriser de solides relations de travail avec les fournisseurs de données par l'entremise du CALENRSJ, du Comité des informations et statistiques policières et de certains de leurs sous-comités respectifs, ainsi que par des contacts continus avec chaque fournisseur.

Des processus adéquats de nettoyage et de vérification de données ont été établis pour assurer la fiabilité et la pertinence des données recueillies, mais les pratiques de vérification variaient entre les programmes.

Comme le Programme DUC et l'EITJC dépendent entièrement des données administratives provenant des fournisseurs de données, ils doivent utiliser des programmes de contrôle et d'imputation afin de nettoyer et de vérifier les données reçues de façon efficace. Les processus de nettoyage et de vérification des données aident à détecter et à corriger (ou à supprimer) les enregistrements corrompus, inexacts ou en double d'un ensemble d'enregistrements. Des programmes de contrôle et d'imputation ont été mis au point conjointement avec la Direction de la méthodologie de Statistique Canada afin de produire des données au niveau de qualité requis pour le Programme DUC et pour l'EITJC.

Deux types de fournisseurs de données sont spécifiques au Programme DUC :

• DUC1 : Les répondants ne sont pas en mesure de fournir des microdonnées numériques parce que leurs systèmes sont incompatibles avec ceux du CCSJ. Ils fournissent plutôt des chiffres agrégés sur papier au CCSJ.
• DUC2 : Les répondants utilisent généralement un des deux systèmes de gestion des données qui sont compatibles avec ceux du CCSJ et fournissent des microdonnées au programme en extrayant des données de leur système.

En 2011, pour tirer parti de l'expertise disponible à Statistique Canada, la Division des opérations et de l'intégration (DOI) a commencé à jouer un rôle dans le traitement des données DUC1 et DUC2. Plus précisément, le Programme DOI est responsable de la saisie des données agrégées reçues sur papier des répondants du Programme DUC1 et du traitement des données reçues par les fournisseurs de données du Programme DUC2.

En général, selon les informations fournies par un échantillon de 5 répondants du Programme DUC1 et de 10 répondants du Programme DUC2, les données sont saisies manuellement par un représentant de la DOI. L'équipe d'audit a remarqué que certains contrôles avaient été intégrés au processus de saisie des données, comme des vérifications totales par lots, mais que les données saisies n'étaient pas vérifiées par un pair ou un superviseur. Comme les répondants du Programme DUC1 ne représentent qu'un faible pourcentage des fournisseurs de données (environ 4 %), la vérification des données saisies par un pair ou un superviseur pourrait aider à réduire le risque que les problèmes d'intégrité des données ne soient pas détectés.

Les données DUC2 sont traitées au moyen d'un programme SAS de contrôle et d'imputation. Ce programme effectue des contrôles et des imputations de nettoyage et de vérification des données et indique les champs qui débordent les paramètres prévus aux fins de vérification. Le système de traitement générera alors un rapport de contrôle et d'imputation (C&I), dans lequel seront consignés les contrôles, les imputations ou les avertissements découlant du traitement des données. Comme les suppressions, les contrôles et les imputations des enregistrements peuvent affecter la qualité globale des données, les responsables du Programme des services policiers ont indiqué qu'il était essentiel d'assurer un suivi auprès des fournisseurs afin de prévenir certains problèmes potentiels liés à l'intégrité des données.

L'équipe d'audit a pu examiner des preuves que les responsables du programme et la DOI avaient procédé à des activités de suivi. Cependant, différents niveaux de documentation ont été fournis pour 7 des 10 rapports de C&I échantillonnés. Il faut donc conclure que les activités de suivi auprès des fournisseurs de données ne sont pas systématiquement consignées et qu'un processus ou modèle normalisé que les analystes du Programme DUC pourraient suivre pour surveiller ces activités n'avait pas encore été mis au point. D'ailleurs, la direction du programme n'est actuellement pas tenue d'examiner les mesures prises par les analystes qui assurent un suivi auprès des fournisseurs de données.

Le suivi effectué auprès des fournisseurs de données du Programme DUC2 ne fait pas l'objet d'une surveillance systématique et officielle fondée sur les résultats des rapports de C&I générés par le système de traitement, et les mesures prises par l'analyste pour régler les problèmes de données ne sont pas examinées par la direction du programme du CCSJ. Cette absence de surveillance fait augmenter le risque que le suivi ne soit pas effectué ou que les problèmes ne soient pas corrigés conformément aux attentes.

À l'instar des responsables du Programme DUC2, l'EITJC reçoit ses données par voie électronique sous forme de microdonnées, puis les traite au moyen d'un programme SAS. Là encore, comme pour les données DUC2, les rapports automatiquement générés par le système présentent au CCSJ un résumé des contrôles et imputations effectués par le programme et des avertissements subséquents.

Lorsque cela est jugé important, les analystes assurent un suivi des contrôles, des imputations et des avertissements du système auprès des fournisseurs de données de l'EITJC. Les responsables du programme ont indiqué que, dans le passé, les enregistrements supprimés ou imputés des données de l'EITJC ne représentaient qu'un faible pourcentage des enregistrements de données reçus. L'équipe d'audit a toutefois noté qu'aucun paramètre officiel (p. ex. des nombres ou pourcentages limites) n'avait été établi pour indiquer à l'équipe du Programme des tribunaux responsable de l'EITJC quand il y aurait lieu d'examiner de plus près les contrôles, les imputations, les avertissements ou les tendances du traitement. La décision de procéder à des activités de suivi est plutôt laissée à la discrétion de l'analyste responsable, qui se fonde sur l'examen d'une feuille de suivi du nombre et du type de contrôles, d'imputations et d'avertissements générés par le système pour chaque fournisseur de données au cours des années écoulées.

L'absence de paramètres établis (nombres et/ou pourcentages) pour l'examen des contrôles, des imputations, des avertissements et des tendances de traitement de l'EITJC fait augmenter le risque que les graves problèmes d'intégrité des données ne fassent pas l'objet d'une enquête ou que des données clés soient supprimées, ce qui affecterait la qualité des produits de données.

Un processus de validation efficace a été créé afin de confirmer la fiabilité, l'intégralité et l'exactitude des données fournies.

Pour améliorer la fiabilité, l'intégralité et l'exactitude des données, le CCSJ demande aux fournisseurs de données de valider leurs ensembles de données chaque année avant la diffusion des statistiques juridiques. Dans le cadre du processus, le CCSJ préparera des tableaux de données exposant l'ensemble complet de données du fournisseur pour l'année et expliquant les tableaux et leur signification. Les fournisseurs de données disposent alors d'un certain temps pour examiner les ensembles de données et pour apporter des corrections au programme applicable du CCSJ ou expliquer les écarts imprévus. Une fois les modifications apportées, les fournisseurs de données sont censés approuver l'ensemble de données.

L'équipe d'audit a observé que les fournisseurs attestent systématiquement que leurs données sont raisonnables et, dans la mesure du possible, exactes et complètes. Elle a examiné un échantillon de 18 fournisseurs de données du Programme DUC et de l'EITJC et déterminé que tous les ensembles de validation annuels avaient été approuvés pour l'année en question.

Mécanismes de contrôle de la production des produits de statistique de la justice

Des mécanismes de contrôle efficaces de la production des produits de données statistiques juridiques permettent au Centre canadien de la statistique juridique (CCSJ) de répondre aux attentes en matière de qualité des intervenants. Conformément aux Lignes directrices concernant la qualité de Statistique Canada, il est essentiel de mettre des contrôles en place pour s'assurer que les données diffusées par le CCSJ sont pertinentes, exactes, à jour et cohérentes. Un processus d'examen efficace doit donc être établi afin de repérer les erreurs qui pourraient être présentes dans les produits de données et de les corriger en temps opportun. Il faut aussi établir un cadre efficace pour que les erreurs de données détectées après examen soient signalées et corrigées à temps.

Un processus d'examen efficace a été mis en place afin d'identifier les erreurs présentes dans les produits de données préliminaires en temps opportun. Toutefois, des preuves que des examens internes et externes ont été effectués ne sont pas conservées de façon systématique.

Les responsables du Programme des tribunaux et du Programme des services policiers utilisent les ensembles de données validés par les fournisseurs pour créer des produits de données (dans Juristat et Le Quotidien). Les analystes de programme du CCSJ sont chargés de créer les produits de données qui, une fois terminés, sont soumis à un robuste processus d'examen interne incluant (1) un examen par les pairs durant lequel toutes les données sont recalculées et analysées; (2) un examen par le gestionnaire de l'enquête et le chef du programme, qui scrutent l'analyse effectuée par l'analyste et les tendances imprévues des données; et (3) des examens par les chefs des autres programmes du CCSJ et le directeur ou directeur général, qui vérifient si les données sont généralement raisonnables et si leur présentation est conforme à celle des autres produits de données du CCSJ.

Afin d'améliorer la fiabilité des données fournies, le CCSJ soumet les produits de données non seulement à un processus d'examen interne, mais aussi à l'examen et à la validation des intervenants externes, y compris les fournisseurs de données. Plus précisément, les publications Juristat de l'Enquête intégrée sur les tribunaux de juridiction criminelle (EITJC) sont soumises aux agents de liaison (AL) associés, tandis que les publications Juristat du Programme de déclaration uniforme de la criminalité (DUC) sont soumises aux représentants du Comité des informations et statistiques policières et aux AL représentants pour qu'ils confirment que l'information figurant dans la publication semble exacte.

Quoique satisfaite du niveau d'examen interne et externe, l'équipe d'audit a observé un manque de cohérence dans la documentation conservée pour prouver que des examens internes et externes ont été effectués et indiquer comment les problèmes et les erreurs ont été réglés ou corrigés.

Aucun processus officiel interne n'a été établi pour communiquer et corriger les erreurs de données repérées après l'examen (avant ou après la diffusion).

Les processus à suivre lorsqu'une erreur est repérée après l'examen (avant ou après la diffusion) n'ont pas été officiellement documentés. Au contraire, l'équipe d'audit a constaté que des processus informels sont suivis lorsqu'une erreur est détectée à l'interne ou signalée par des intervenants externes. Plus précisément, la Division de la diffusion de Statistique Canada a mis au point un journal des erreurs pour suivre les erreurs relevées dans les publications. Ce journal contient les résultats d'une évaluation de l'impact de l'erreur, indique si les données ont été corrigées et précise la date de rechargement de la publication. Toutefois, l'équipe d'audit a noté un manque de cohérence dans la documentation conservée pour indiquer comment les erreurs ont été repérées, communiquées et corrigées. Pour certaines des erreurs repérées, le CCSJ a élaboré et tenu à jour un plan de communication afin de décrire l'erreur et son impact et de comparer les données originales aux données révisées et de mettre en place une stratégie pour corriger l'erreur et communiquer son impact aux intervenants concernés. Cependant, pour d'autres erreurs, aucune preuve indiquant que le problème avait été communiqué à l'interne et renvoyé à un échelon supérieur n'a été conservée.

Une fois les erreurs corrigées et les publications rechargées sur le site Web externe de Statistique Canada, une note explicative est affichée sur le site Web pour indiquer la nature de l'erreur corrigée et la date de rechargement de la publication.

L'équipe d'audit a également remarqué que le CCSJ corrige et communique les erreurs relevées après l'examen et que la Directive sur les corrections apportées aux communiqués du Quotidien et aux produits statistiques de Statistique Canada est respectée au moment de la correction des erreurs repérées le jour de production ou après la diffusion ou de leur renvoi à un échelon supérieur.

Annexe A : Critères d'audit

Annexe B : Acronymes