Évaluation du Programme du Recensement de l'agriculture
(2009-2010 à 2013-2014)

Sommaire et Réponse et plan d'action de la direction

Avril 2016

• Sommaire
• Réponse et plan d'action de la direction

Remerciements

L'Équipe d'évaluation du projet aimerait remercier les personnes qui ont contribué à ce projet, et plus particulièrement les membres du Comité ministériel d'évaluation, ainsi que toutes les personnes interviewées, dont les réflexions et commentaires se sont avérés essentiels à la présente évaluation.

Le présent rapport a été approuvé par le statisticien en chef.

Conformément aux exigences en matière de reddition de comptes de la Politique sur l'évaluation (2009) du Conseil du Trésor et de la Directive sur la fonction d'évaluation, le présent rapport est mis à la disposition du grand public et est affiché sur le site Internet de l'organisation, dans les deux langues officielles.

Statistique Canada a aussi mis en commun ce rapport avec ses partenaires de l'exécution du programme et les intervenants clés, y compris le Conseil national de la statistique.

Préparé par la Division de l'évaluation et de la mesure du rendement, Direction de l'audit et de l'évaluation. Khaddouj Souaid était à la tête de l'Équipe d'évaluation du projet, qui comprenait Sonia Ben Amor, Justin Wabgou, Mihaela Tapuc, Sonia Demers et Tony Haddad.

Liste des sigles et des abréviations

AAC

Agriculture et Agroalimentaire Canada

PSA

Programme de la statistique agricole

RE

Registre des entreprises

REAG

Recensement de l'agriculture

Repop

Recensement de la population

ACIA

Agence canadienne d'inspection des aliments

SGRC

Système de gestion des relations avec les clients

RF

Registre des fermes

DEMR

Division de l'évaluation et de la mesure de rendement

SCIAN

Système de classification des industries de l'Amérique du Nord

ENM

Enquête nationale auprès des ménages

ARLA

Agence de réglementation de la lutte antiparasitaire

PEEFR

Plan d'audit et d'évaluation fondé sur les risques

CAQ

Cadre d'assurance de la qualité

SADD

Système d'analyse des données à distance

SPC

Services partagés Canada

CT

Conseil du Trésor

SCT

Secrétariat du Conseil du Trésor

FAO

Organisation des Nations Unies pour l'alimentation et l'agriculture

Sommaire

La Division de l'évaluation et de la mesure du rendement (DEMR) de la Direction de l'audit et de l'évaluation de Statistique Canada a procédé à une évaluation indépendante du Programme du Recensement de l'agriculture (REAG). Les résultats ont permis d'obtenir des renseignements objectifs et des recommandations à l'appui de l'amélioration du programme, ainsi que d'éclairer les décisions futures de Statistique Canada et du Parlement en ce qui a trait à la gestion des ressources et des programmes par le gouvernement.

L'évaluation a été conçue et menée en conformité avec la Politique sur l'évaluation (2009) du Conseil du Trésor (CT) et les directives et normes connexes, et elle respecte un engagement en matière de reddition de comptes énoncé dans le Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2012-2013 à 2014-2015). L'objectif de l'évaluation est de fournir des renseignements crédibles et neutres sur la pertinence et le rendement continus (efficacité, efficience et économie) du programme.

Le présent rapport comprend les résultats de l'évaluation du REAG. Il a été soumis au Comité ministériel d'évaluation et approuvé par le statisticien en chef du Canada.

Programme du Recensement de l'agriculture

Le Recensement de l'agriculture se tient tous les cinq ans. Il permet de recueillir des données sur la situation de toutes les exploitations agricoles au Canada, afin de fournir aux Canadiens un profil détaillé de l'industrie de l'agriculture et des gens qui la composent. Les objectifs du Programme du REAG sont les suivants : (1) établir une liste complète et précise des exploitations agricoles et des types d'exploitations agricoles; (2) fournir des données exhaustives sur l'agriculture pour des régions géographiques détaillées; (3) fournir une mesure des produits de base rares ou émergents; (4) fournir des données essentielles pour la gestion des dépenses des gouvernements fédéral et provinciaux, à l'appui du secteur de l'agriculture. Le budget pour le cycle de 2011 du Programme du REAG était de 46,6 millions de dollars sur six ans (2008-2009 à 2013-2014).

Portée et méthodologie de l'évaluation

La période de référence de cinq ans de l'évaluation allait de 2009-2010 à 2013-2014; cela comprenait la tenue du REAG de 2011 et l'étape de planification du cycle de 2016. Dans le cadre de l'évaluation, le rendement de produits et de services personnalisés à frais recouvrables lié au REAG a été examiné. La collecte des données pour cette évaluation a été menée entre février et octobre 2015. Six sources de données, tant quantitatives que qualitatives, ont été utilisées, y compris des examens des ouvrages publiés et de la documentation, des données administratives, des interviews^{Note de bas de page 1} des intervenants clés, auprès de 60 intervenants internes et externes et utilisateurs de données, une analyse de l'efficience et de l'économie, ainsi que des études bibliométriques et webométriques. Les données de ces sources ont été analysées et triangulées pour élaborer les constatations et produire des recommandations à partir des conclusions.

Constatations

Pertinence du programme

L'évaluation a démontré que le REAG est toujours nécessaire pour répondre aux exigences législatives et réglementaires et les appuyer, en vertu des lois et des règlements fédéraux, provinciaux et municipaux. Un examen de la pertinence du programme mené en 2012^{Note de bas de page 2} a permis de déterminer que le REAG quinquennal était nécessaire pour répondre à la vaste gamme de besoins d'information des divers intervenants et utilisateurs des données. Le programme représente une source de données unique, uniforme à l'échelle nationale, y compris un dénombrement complet de toutes les exploitations agricoles au Canada, et répond aux besoins en matière de politiques, de programmes et de recherches des divers utilisateurs de données des secteurs public et privé. Dans certains cas, les données pour les petites régions géographiques sont la seule source de données essentielles pour les rapports environnementaux, la gestion des crises, la planification de l'utilisation des terres et les règlements connexes, ainsi que la sécurité alimentaire.

Le programme correspond aux priorités du gouvernement fédéral à l'appui de ses investissements dans le secteur de l'agriculture et de ses partenariats avec les provinces et territoires. La tenue d'un Recensement de l'agriculture s'inscrit dans les rôles et responsabilités du gouvernement fédéral, qui sont énoncés dans la Loi sur la statistique. Le programme appuie le mandat de Statistique Canada de « veiller à ce que les Canadiens aient accès à une source fiable de données statistiques sur le Canada afin de répondre à leurs besoins prioritaires »^{Note de bas de page 3} et contribue à ses objectifs stratégiques.

L'évaluation n'a pas permis de déterminer d'autres options valables pour la collecte de données comportant la même portée, le même niveau de détail et la même qualité pour remplacer les données du REAG.

Rendement du programme – Atteinte des résultats attendus

Le Programme du REAG de 2011 a permis d'atteindre les résultats attendus, en fournissant des statistiques de grande qualité accessibles et des produits de données personnalisés connexes. Il a respecté les besoins d'information de ses divers intervenants, et ses données statistiques ont été largement utilisées, à de multiples fins, par exemple, pour les analyses des chercheurs et les analyses stratégiques, ainsi que la conception et l'évaluation du programme. En 2014, le budget affecté au REAG a connu une baisse de 9,2 %, et sa portée a été limitée aux activités de base. La décision du gouvernement fédéral a entraîné une réduction subséquente du nombre de produits du REAG. L'on s'attend à ce que l'abandon de produits analytiques et des données couplées du REAG–Repop pour le cycle de 2016 réduisent l'accessibilité et l'utilisation des données du REAG à l'avenir. Dans le contexte d'une demande continue à l'égard de ces produits, de nombreux intervenants se sont dits inquiets que les lacunes dans l'information entraînent l'utilisation de ressources de données moins fiables.

Dans le cadre de l'évaluation, la qualité des statistiques du REAG a été examinée, c'est-à-dire que leur actualité, leur exactitude, leur intelligibilité, leur cohérence et leur accessibilité ont été examinées. Les données montrent que les produits de base du REAG de 2011 ont été diffusés selon les calendriers annoncés. Toutefois, des retards se sont produits, de l'ordre de 7 à 17 mois, dans la diffusion des publications analytiques. Ces retards étaient attribuables principalement aux contraintes de ressources. Le REAG de 2011 a obtenu un taux de réponse de 95,9 %, et des améliorations ont été notées en ce qui a trait à l'utilisation d'Internet (qui est passée de 5,0 % en 2006 à 10,9 % en 2011), et aux baisses du sous-dénombrement net estimé (qui est passé de 3,4 % en 2006 à 1,8 % en 2011). Les statistiques du REAG sont aussi généralement cohérentes avec d'autres ensembles de données et sont validées par d'autres sources (p. ex., les programmes des produits et du revenu agricoles, et le programme des prix).

Le REAG a continué de répondre aux besoins de données existants et émergents, tout en assurant la stabilité du contenu pour l'uniformité et la comparabilité des données au fil du temps. Les données du REAG ont été fournies par thème et codées de façon appropriée; des définitions à jour et des renseignements supplémentaires étaient disponibles pour une interprétation appropriée des données. Dans le cadre du REAG de 2011, le public a eu accès à cinq types de produits statistiques, sans frais, et on a répondu à plus de 500 demandes de données personnalisées de grande qualité à frais recouvrables, comme des totalisations personnalisées pour les données régionales. L'accessibilité semble avoir été limitée par des retards importants dans le suivi de ces demandes, dont ont fait mention des utilisateurs des données. Il convient de souligner qu'en 2011-2012, le processus d'élaboration de l'entente de licence ouverte intégrée s'est déroulé dans le contexte d'une initiative d'accès non restreint aux données gouvernementales et de diffusion gratuite de celles-ci, qui a été lancée à l'échelle du gouvernement par le SCT. Cela, et des contraintes de ressources, a entraîné un arriéré global dans les demandes de données personnalisées.

L'avènement de la base de données du Système canadien d'information socioéconomique (CANSIM), en 2012, a représenté une amélioration significative en ce qui a trait à l'accessibilité, comme le mentionnent constamment les intervenants. L'analyse du contrôle des données pour l'accès en ligne^{Note de bas de page 4} aux produits du REAG montre des niveaux élevés d'activité (4,5 millions de téléchargements et 3,5 millions de consultations de pages de produits sur trois ans, de 2011-2012 à 2014-2015), particulièrement les années de diffusion. Le programme comporte des structures de gouvernance efficaces, des partenariats de longue date avec les intervenants internes et externes, et des processus de consultation exhaustifs pour obtenir de la rétroaction d'un ensemble d'experts et d'utilisateurs des données (gouvernements fédéral-provinciaux, industrie de l'agriculture, chercheurs universitaires et grand public). Certains besoins d'information non comblés ou mal comblés ont été déterminés dans certains domaines, comme les pratiques environnementales, la production biologique et l'utilisation des technologies. Même si ces besoins jouent de toute évidence un rôle important pour l'adaptation du programme à un secteur en rapide évolution, on note que les données spécifiques et détaillées liées à ces enjeux relèvent peut-être davantage d'enquêtes plus ciblées (p. ex., sur l'agriculture ou l'environnement) et dépassent la portée du recensement.

L'utilité des données statistiques du REAG pour éclairer le débat public, la recherche et la prise de décisions est démontrée par la mesure dans laquelle on y fait référence dans les documents de politique, de recherche et d'élaboration de programmes, ainsi que les documents d'évaluation qui ont été passés en revue. Les données montrent que les produits du REAG ont été largement cités dans des publications scientifiques évaluées par des pairs, sur Internet et dans des articles de journaux^{Note de bas de page 5}.

Rendement du programme – Efficience et économie

Dans l'ensemble, le Programme du REAG a fonctionné de façon efficiente et économique, c'est-à-dire qu'il a réalisé des économies de coûts de plus en plus importantes au cours des cycles successifs. Des efforts d'optimisation de l'utilisation des ressources, y compris des examens et des études, ont été déployés entre 2011-2012 et 2013-2014, afin de trouver et de mettre en œuvre des façons d'exécuter le programme de façon plus rentable. Le REAG est mené en parallèle avec le Recensement de la population. Les deux programmes ont des processus et une infrastructure clés en commun (afin d'assurer une couverture exacte et de réduire le chevauchement); cela entraîne des économies de coûts importantes. Les dossiers financiers montrent que les fonds approuvés pour le REAG étaient uniformément plus faibles que les estimations de coût projetées au cours des trois cycles consécutifs du REAG (2006, 2011 et 2016). Cela a entraîné l'application d'autres réductions de coûts pour exécuter le programme en respectant les budgets affectés. Même si le budget en dollars constants^{Note de bas de page 6} pour le REAG de 2011 (47 millions de dollars) était similaire à celui pour le cycle de 2006 (46,8 millions de dollars), le programme a produit le même nombre de produits, ainsi qu'une publication analytique additionnelle, tout en permettant une amélioration globale de la qualité des données.

Par suite de changements majeurs touchant la méthodologie, le traitement et l'utilisation de la technologie dans le cycle de 2006, des investissements stratégiques de 2,7 millions de dollars visant à améliorer encore l'efficience ont été effectués dans le cadre du REAG de 2011. Cela comprenait le Registre des fermes du REAG et l'initiative de compatibilité des adresses avec le Recensement de la population (pour réduire les taux d'envois par la poste et la dépendance à l'égard des ressources humaines), ainsi que l'initiative d'élaboration de la réponse multimodes (grâce à laquelle les répondants ont l'option de répondre au questionnaire par téléphone). Ces améliorations ont donné lieu à un taux de réponse plus élevé sur Internet en 2011. Statistique Canada s'est fixé un taux de réponse cible par Internet de 30 % pour le cycle de 2016, en raison particulièrement de la réduction de la taille du questionnaire^{Note de bas de page 7}. Le Programme du REAG se conforme aux transformations effectuées dans le contexte de l'Architecture opérationnelle du Bureau, afin de trouver des façons efficaces d'exécuter les programmes statistiques.

Il convient de souligner que, dans le cadre du programme, on procède actuellement à la mise en œuvre du cycle du REAG de 2016, conformément au niveau de ressources et à la portée approuvés par le gouvernement en 2014, avec un budget de 42,6 millions de dollars, soit une baisse de 9,2 % par rapport au cycle de 2011. Les données d'évaluation qualitatives et quantitatives laissent supposer que d'autres diminutions des ressources limiteraient la capacité du Programme du REAG de produire le même niveau et la même qualité de données statistiques et de maintenir la qualité globale.

Conclusions et recommandations

L'évaluation a révélé un besoin manifeste pour le Programme du REAG de répondre aux besoins d'information existants et de s'adapter aux besoins de données émergents d'une industrie en rapide évolution. Le cycle de 2011 a atteint les résultats prévus de façon efficace et économique, en donnant accès à des données de grande qualité et en répondant à la plupart des besoins d'information des utilisateurs des données.

Certains besoins d'information non comblés ou mal comblés ont été déterminés, particulièrement en ce qui a trait aux pratiques environnementales, à la production biologique, à l'utilisation de la technologie et à la commercialisation directe. Ces besoins sont connus de Statistique Canada; on a examiné la faisabilité de répondre à certains d'entre eux et, au besoin, des mesures ont été prises. L'évaluation a conclu que l'utilisation d'autres enquêtes pour combler les lacunes représente une approche plus appropriée et efficace. L'utilisation des ressources pour mener conjointement des consultations pour le REAG et d'autres enquêtes sur l'agriculture pourrait mener à une utilisation plus efficace des ressources. Certains domaines d'amélioration pourraient accroître l'accès aux données du REAG et l'utilisation de celles-ci, y compris la production et la diffusion de produits analytiques pour le REAG de 2016, et la fourniture au moment opportun de produits et de services de données personnalisés.

Même si l'évaluation a révélé des besoins et des tendances émergents en matière d'information, elle a aussi permis de déterminer que le REAG n'est peut-être pas l'outil le plus approprié et efficace pour répondre à ces besoins. Dans le cadre de l'évaluation, on a noté aussi que les intervenants et les utilisateurs de données du REAG sont aussi les utilisateurs principaux des enquêtes du Programme de la statistique agricole (PSA), qui recueille des données plus détaillées sur des sujets particuliers liés à l'agriculture. Il est important d'assurer une coordination étroite des activités des deux programmes, particulièrement la consultation des intervenants et la planification, afin de déterminer l'utilisation la plus appropriée et efficace des ressources pour chacun.

Recommandation nº 1 – Rendement (efficience)

Il est recommandé que le statisticien en chef adjoint du Secteur de la statistique économique envisage la possibilité de coordonner les activités de consultation des intervenants du Programme du Recensement de l'agriculture avec celles du Programme de la statistique agricole. Des économies pourraient être réalisées grâce à la réduction du chevauchement des efforts et à la détermination de l'utilisation la plus appropriée et efficace des ressources de chaque programme, pour mieux répondre aux besoins d'information des intervenants et des utilisateurs des données, étant donné qu'il s'agit pratiquement des mêmes pour les deux programmes.

Les produits analytiques du REAG font l'objet d'un accès et d'une utilisation larges par une gamme variée d'utilisateurs. En 2014, le gouvernement a décidé de mettre l'accent sur les activités de base, dans le cadre du REAG, ce qui a entraîné une réduction du budget et de la portée. Dans le cadre du programme, on procède actuellement à la mise en œuvre du cycle du REAG de 2016, conformément à ce qui a été approuvé. On prévoit que l'abandon des produits analytiques et des données couplées du Repop-REAG limitera de façon significative l'accessibilité et l'utilisation futures des données du REAG par rapport au cycle précédent.

Recommandation nº 2 – Rendement (accessibilité et utilisation)

Compte tenu de la valeur importante accordée par les utilisateurs aux produits analytiques, il est recommandé que le statisticien en chef adjoint du Secteur de la statistique économique explore des options de sources externes de financement pour appuyer la production continue de produits analytiques pour le REAG, afin de maintenir l'accessibilité et l'utilisation de ses données.

Même si les données de l'évaluation montrent que le programme fournit des produits de données personnalisés de grande qualité et des services efficaces axés sur les clients, on a aussi déterminé la nécessité d'apporter des améliorations à l'actualité de ces produits et services (comme l'ont demandé les utilisateurs des données) et d'assurer le suivi et la documentation du rendement lié à ces produits et services.

Recommandation nº 3 – Rendement (actualité)

1. Il est recommandé que le statisticien en chef adjoint du Secteur de la statistique économique s'assure qu'un examen des leçons retenues aux niveaux interne et externe soit effectué, afin d'élaborer des stratégies et des options à prendre en compte en ce qui a trait à la fourniture de produits et de services de données personnalisés à frais recouvrables, et que des améliorations sont apportées au suivi et à la documentation du rendement en ce qui a trait à ces services.
2. Il est recommandé que le statisticien en chef adjoint du Secteur du recensement, des opérations et des communications s'assure que des améliorations sont apportées au Système de gestion des relations avec les clients (SGRC), afin de permettre la documentation du rendement en ce qui a trait à l'actualité des produits et des services de données personnalisés fournis, pour tous les programmes statistiques.

Réponse et plan d'action de la direction