Traitement des images satellites à Statistique Canada pour le Programme d’évaluation de l’état des cultures (PEEC)

Pour: La base de métadonnées intégrée à Statistique Canada

Écrit par: Frédéric Bédard

Révisé par: Richard Dobbins, Gordon Reichert

Télédétection et analyse géospatiale (TAG)
Division de l’agriculture
Statistique Canada

Avril 2010

 

Historique
Étapes de traitement des données
Temps requis pour la mise à jour de l’application
Références

1. Historique

Interactif et disponible gratuitement sur Internet (http://www26.statcan.ca/ccap-peec), le Programme d’évaluation de l’état des cultures (PEEC) utilise des données d’images satellites durant la saison de croissance pour suivre le changement des conditions de végétation pour l’ensemble des régions agricoles du Canada ainsi que pour la portion nord des Etats-Unis.

La source principale des données du PEEC est l’imagerie brute par satellite.  L’application peut être lancée en utilisant 2 différentes sources de données satellites.  L’application originale utilise des données à un kilomètre de résolution obtenues du Advanced Very High Resolution Radiometer (AVHRR), de la série de satellites d’observation de la Terre (OT) de la National Oceanographic and Atmospheric Administration (NOAA).  Une nouvelle application lancée en 2010 utilise des données satellites à une résolution de 250 mètres obtenue du Spectroradiomètre imageur à résolution moyenne (MODIS) à bord du satellite expérimental TERRA.

Ce document décrit les étapes de traitement des données effectuées à Statistique Canada pour la publication de données par le PEEC.  Au préalable, des images composites de 7 jours sont construites à l’aide d’images satellites brutes quotidiennes par nos partenaires.  Les données composites hebdomadaires de 7 jours de NOAA-AVHRR sont créées à l’aide d’un logiciel développé par le Centre canadien de télédétection (CCT) de Ressources Naturelles Canada (RNCan).  La méthodologie des étapes générales de traitement des données est décrite dans Latifovic et al. (2005).  Les images composites de TERRA-MODIS sont construites par une équipe du groupe des services agro-environnementaux d’Agriculture et agroalimentaire Canada (AAC) (Davidson et al, 2009).

2. Étapes de traitement des données

2.1. Traitement des données satellites composites hebdomadaires

2.1.1. Données d’entrée – AVHRR

Ces données sont reçues par Statistique Canada par un téléchargement FTP sous forme d’un ensemble de fichiers compressés qui contient les fichiers suivants:

Nom du fichier: CISYYwkWW.zip, où YY est l’année (deux derniers chiffres) et WW est le numéro de la semaine julienne.

Fichiers individuels:

• B01_retoa.img: données du canal 1, réflectance au sommet de l’atmosphère
  
• B02_retoa.img: données du canal 2, réflectance au sommet de l’atmosphère
  
• Ndvi_retoa.img: Données de l’Indice de végétation par différence normalisée (IVDN), à partir de données de réflectance au sommet de l’atmosphère
  
• Comp.log: métadonnées sur le produit de l’étape de création du composite

Ces images sont reçues en format binaire brut avec des données entières et positives.  Pendant la création du composite, les valeurs IVDN sont rééchantillonnées de l’intervalle [-1; 1] à [0; 20 000] en utilisation la formule suivante:

IVDN_rééchantillonné = (IVDN_original * 10 000) + 10 000

Le rééchantillonnage permet de sauvegarder les images en valeurs entières plutôt que réelles, dans le but d’utiliser moins d’espace disque et d’accélérer les traitements ultérieurs.

Pour les étapes suivantes, seules les données du canal IVDN sont utilisées.  Les fichiers b01 et b02 sont les canaux de données utilisées pour créer le rapport IVDN (canaux 1 et 2).

Le composite reçu à Statistique Canada utilise les paramètres de projection suivants:

• Type de projection: Conique conforme de Lambert
• Méridien central: 95° ouest
• Latitude de référence: 0°
• 1er parallèle standard: 49° nord
• 2ème parallèle standard: 77° ouest
• Abscisse fictive: 0
• Ordonnée fictive: 0
• Modèle de Terre: 1980 Geodetic reference system (GRS80)

Les images et cartes produites utilisent également ces paramètres de projection, donc aucune reprojection géographique n’est effectuée sur les images d’entrée.  La couverture des images d’entrée est la suivante (en coordonnées de projection Conique conforme de Lambert):

• Coin nord-ouest: -2 600 000 Est, 10 500 000 Nord
• Coin sud-est: 3 100 000 Est, 5 700 000 Nord
• Résolution spatiale (X et Y): 1 000 mètres
• Nombre de pixels: 5 700 colonnes, 4 800 lignes

L’image en entier est traitée pour les étapes suivantes.

 

Image brute IVDN de AVHRR pour la semaine julienne 30, 2009

 

2.1.2. Données d’entrée – MODIS

Ces données sont reçues par Statistique Canada par un téléchargement FTP sous forme d’un ensemble de fichiers compressés qui contient les fichiers suivants:

Nom du fichier : ncomYYYYDDDtoddd.zip, où YYYY est l’année, DDD et ddd sont les premiers et derniers jours juliens de la période du composite.

Fichiers:

• ncomYYYYDDDtoddd.tif : données image en format GeoTIFF
• ncomYYYYDDDtoddd.rrd : images sommaires de l’image GeoTIFF (pour accélérer la visualisation de l’image à petite échelle)
• ncomYYYYDDDtoddd.aux : fichier auxiliaire de l’image GeoTIFF
• ncomYYYYDDDtoddd.tif.xml : métadonnées de l’image GeoTIFF

Les valeurs IVDN sont entreposées en format réel, avec des valeurs de -1 à 1.

Les données composites sont reçues à Statistique Canada selon la projection et paramètres suivants :

• Type de projection : sinusoïdale
• Modèle de Terre : sphère, rayon de 6 371 007,181 mètres

La couverture et la résolution de l’image composite d’entrée sont les suivantes :

• Coin nord-ouest : -10 007 554,700 Est; 6 671 703,120 Nord
• Coin sud-est : -3 335 851,590 Est; 4 447 802,083 Nord
• Résolution spatiale (X et Y) : 231,656 mètres
• Nombre de pixels : 28 800 colonnes, 9 600 lignes

 

Image brute IVDN de MODIS, semaine julienne 34, 2009

 

2.2 Reprojection et découpage – images MODIS

La reprojection et le découpage géographique des images sont requis uniquement pour les composites MODIS.  La projection sinusoïdale des données d’entrée est utilisée pour l’entreposage des images MODIS au Land Processes Distributed Active Archive Center (LP-DAAC) aux États-Unis.  Cette projection n’est pas appropriée pour l’affichage des images pour le Canada.  Les données composites doivent donc être reprojetées.

Afin d’assurer une cohérence avec l’application NOAA-AVHRR, les images de MODIS sont reprojetées en utilisant la même projection géographique que pour les images AVHRR (paramètres de projection décrits à la section 2.1.1).  Ceci permet l’affichage de cartes et d’images qui sont comparables en les superposant ou en les visualisant côte-à-côte.

Pour réduire la taille des fichiers, les images sont découpées pour ne conserver que la portion agricole canadienne (au sud du 60ième parallèle).

Après la reprojection, les images sont réduites à la couverture suivante (en coordonnées de projection Conique conforme de Lambert)

• Coin nord-ouest: -2 350 000 Est, 8 200 000 Nord
• Coin sud-est: 3 020 040 Est, 5 755 100 Nord
• Résolution spatiale (X et Y): 230 mètres (originalement 250 mètres en moyenne durant l’acquisition, livrée à 231,656 mètres, rééchantillonnée à 230 mètres)
• Nombre de pixels: 23 348 colonnes, 10 630 lignes

Les images sont rééchantillonnées à des valeurs entières positives de 16 bits afin d’utiliser moins d’espace disque et d’accélérer les traitements ultérieurs.  Pour sauvegarder les valeurs réelles en valeurs entières, la formule suivante est utilisée pour chaque pixel de l’image:

IVDN_rééchantillonné = (IVDN_original * 10 000) + 10 000

En utilisant ce procédé, la taille individuelle des images composites est réduite de 947 à 473 mégaoctets, tout en maintenant la qualité et la précision des données.  Avant la reprojection et le découpage, les images originales avaient une taille de 1.1 gigaoctet par image composite.

Pour visualiser les graphiques et les tableaux dans l’application web, les valeurs de l’IVDN sont tout de même affichées en valeurs réelles entre -1 et 1.

 

Image IVDN de MODIS reprojetée et découpée, semaine julienne 34, 2009

 

2.3 Détection et suppression des nuages

Pour les images composites de AVHRR et MODIS, Statistique Canada effectue la détection des nuages et autres contaminants atmosphériques résiduels.  Pour cette étape, une application maison développée par la section Télédétection et analyse géospatiale (TAG), qui utilise Visual Studio .Net 2005 et le langage de programmation EASI associé au logiciel Geomatica de PCI, version 10.1.

Les valeurs d’indice de végétation suivent normalement des variations progressives, et montrent une augmentation en début de saison, pour atteindre un plateau au milieu de l’été, pour enfin décroître à la fin de la saison de croissance.  Chaque pixel (élément de l’image) de l’image AVHRR couvre un kilomètre carré.  Puisque la taille moyenne des champs au Canada est souvent inférieure à un kilomètre, chaque pixel décrit la moyenne de la vigueur de la végétation pour tous les champs couverts par ce pixel.  Par ailleurs, les données MODIS ont une résolution de 250 mètres, ce qui fait qu’un pixel de MODIS peut ne couvrir qu’un seul champ ou un type de culture.  La variation de l’IVDN sera normalement progressive, puisque même si un champ est coupé durant une semaine, les autres champs du pixel influenceront aussi la valeur résultante de l’IVDN, ce qui donnera une moyenne qui ne variera pas brusquement.  Dans le même ordre d’idées, un champ verdira sur plusieurs semaines, ce qui fait que la variation sera également progressive en début de saison.

Conséquemment, un pixel sera considéré contaminé si une baisse soudaine est immédiatement suivie d’une hausse soudaine la semaine suivante.

Pour ne pas avoir à attendre la semaine suivante pour effectuer des corrections, une détection préliminaire est effectuée en comparant les valeurs de la semaine actuelle avec la semaine précédente.  Le pixel sera corrigé en lui attribuant la valeur de la semaine précédente si la valeur de l’IVDN décroît de plus de 0.05 pour les semaines 15 à 28 (où les valeurs devraient normalement s’accroître ou demeurer stables), et plus de 0.20 pour les semaines 29 jusqu’à la fin de la saison.  Le seuil est plus élevé après avoir atteint le sommet des valeurs de l’IVDN puisqu’à cette époque il est normal d’observer une décroissance des valeurs car les cultures annuelles mûrissent et les champs sont récoltés.

Après la réception de l’image de la semaine suivante, la détection et la correction pour les nuages s’effectue de nouveau sur les valeurs originales.  Le pixel est identifié comme contaminé si la valeur de l’IVDN décroît de plus de 0.01 pour par la suite s’accroître de plus de 0.01.

Pour le moment, aucune correction n’est appliquée si la contamination atmosphérique est observée durant deux semaines consécutives ou plus, puisque le traitement nécessiterait un minimum de quatre semaines de données, ce qui serait difficile à opérer en temps quasi-réel.

Une imputation statistique est effectuée lorsqu’un pixel est identifié comme étant contaminé. La procédure d’imputation s’effectue de la façon suivante:

• Lorsque les données de la semaine suivante ne sont pas disponibles, la valeur des pixels est temporairement remplacée par la valeur de l’IVDN de la semaine précédente;
• Lorsque les données de la semaine suivante sont disponibles, la valeur contaminée est remplacée par la moyenne de l’IVDN des semaines précédentes et suivantes.

 

Image entière brute reprojetée de l’IVDN de MODIS, semaine julienne 34, 2009

 

Image entière reprojetée de l’IVDN avec nuages supprimés, semaine 34, 2009

 

Image brute reprojetée de l’IVDN de MODIS au-dessus des régions d’Ottawa et Montréal, semaine julienne 34, 2009

 

Image reprojetée de l’IVDN pour les régions d’Ottawa et Montréal avec nuages supprimés, semaine 34, 2009

 

2.4. Calcul des statistiques par région

Pour les cartes thématiques, des statistiques préliminaires sont calculées et entreposées dans une base de données relationnelle pour chaque nouvelle semaine reçue, et pour chaque niveau de géographie disponible

Les couches géographiques disponibles sur le PEEC sont:

• Les régions agricoles de recensement (RAR);
• Les Divisions de recensement (DR);
• Les Subdivisions de recensement unifiées (SRU) – municipalités;
• Les cantons (Prairies seulement);
• Les comtés (pour la portion des États-Unis seulement).

Seuls les pixels identifiés comme étant à vocation majoritairement agricole sont utilisés pour les calculs.  Ceci permet de présenter les variations de l’IVDN dans la condition des cultures et les pâturages seulement, en éliminant la contribution d’autres types de couverts sur l’IVDN qui peuvent influencer l’IVDN de manière différente (par exemple, les forêts, les plans d’eau ou les zones urbaines).

Une base de données des couvertures des terres pour l’ensemble de la zone agricole du Canada a été construite par Agriculture et Agroalimentaire Canada, en utilisant 2000 comme année de référence.  Cette base de données a été créée en utilisant des données satellites à résolution moyenne (Landsat).  Ce produit, ainsi que les métadonnées, sont disponibles au http://www.geobase.ca/geobase/fr/data/landcover/index.html

Trois différents filtres ou masques sont disponibles sur l’application du PEEC.  Le filtre agricole a été construit en sélectionnant les pixels de 1 kilomètre carré (application AVHRR) ou de 250 mètres de côté (application MODIS) qui sont couverts par un minimum de 50% de la somme des classes 110 (prairies naturelles), 120 (terres cultivées), 121 (cultures annuelles) et 122 (cultures fourragères et pâturages), tel que défini par la classification des terres mentionnée précédemment.

Le filtre des cultures a été bâti de la même façon mais en utilisant uniquement la somme des classes 121 et 122.  Le filtre des prairies ou pâturages naturels utilise la classe 110.  Pâturage dans ce cas évoque des pâturages ou des prairies non entretenus ou ensemencés.  Puisque ce dernier type de couvert est très rarement présent dans l’est du Canada (de l’Ontario à Terre-Neuve-et-Labrador) et dans l’est des États-Unis, seul le filtre « agriculture » a été construit pour ces régions.  Au Canada, les couvertures de cultures et de pâturages ne sont disponibles que pour les provinces de Colombie-Britannique, Alberta, Saskatchewan et Manitoba.

Pour la portion des États-Unis, les données de couverture des terres du « National Land Cover Database », disponibles au http://www.mrlc.gov, sont utilisées.  Cette base de données a été construite à l’aide de données satellites à résolution moyenne.  L’année de référence pour cette base de données est de 2001.  Les masques ont été créés de la même façon que pour la portion canadienne.  Le masque des cultures est construit en utilisant des pixels où la somme des classes 81 (pâturage ou foin) et 82 (cultures) couvre plus de 50% de la surface du pixel.  Le masque des prairies ou pâturages naturels est construit à l’aide de pixels couverts par plus de 50% par la classe 71 (prairies et herbacés). Le masque agricole a été construit par des pixels où la combinaison des trois classes mentionnées couvre plus de 50% du pixel.  À l’est des Grandes Plaines, seul le masque de l’agriculture est utilisé.

Pour les Prairies canadiennes et les Grandes Plaines américaines, trois moyennes de l’IVDN sont calculés par semaine pour chaque type de couvert terrestre: total de l’agriculture, cultures seulement, et prairies ou pâturages naturels seulement.  Pour le reste du territoire, les moyennes sont calculées seulement pour le filtre agricole.

Une fois les valeurs moyennes de l’IVDN sont calculées, elles sont exportées vers une base de données relationnelle.  L’application Web crée un lien en direct avec cette base de données, et ses valeurs sont extraites en temps réel pour créer en direct les cartes thématiques, les graphiques et les tableaux de données.

Exemple d’une carte thématique: moyenne de l’IVDN de AVHRR par municipalité (SDR) pour la semaine julienne 27, 2009 pour les Prairies canadiennes

 

Exemple de graphique: Données de l’année en cours de l’IVDN de AVHRR comparées à la normale Flagstaff, Alberta (SDR 4807031)

 

 

Une fois la semaine suivante disponible, de nouvelles moyennes de l’IVDN sont calculées pour la semaine de référence, puisqu’une détection plus précise des nuages est effectuée pour accroître la précision des données de l’IVDN, tel qu’expliqué dans la section 2.3.

2.5. Création de produits images

Le PEEC ne montre pas d’images composites brutes de l’IVDN sur l’application.  Les données brutes de l’IVDN n’ont qu’une utilisation très limitée, à moins que leurs valeurs ne soient comparées à d’autres valeurs.

Lorsqu’affichées sur l’application web, les images et les cartes sont groupées en cinq classes distinctes:

 

Classes pour les images et les cartes

 

Pour chaque produit particulier décrit dans les sous-sections suivantes, des seuils (limites de classes) ont été établis. Ces seuils sont établis selon comment une certaine valeur diffère d’une autre pour laquelle on effectue une comparaison. L’analyse est basée sur une distribution normale des différences de valeur. Le tableau suivant spécifie les seuils pour chaque produit.

 

Le PEEC fournit les comparaisons à partir des 4 images de référence suivantes:

2.5.1. Comparaison des valeurs actuelles de l’IVDN par rapport aux données historiques normales

La base de données de AVHRR comprend des données composites de 7 jours de l’IVDN de 1987 jusqu’à l’année actuelle.  La base de données MODIS a été bâtie à partir d’images de 2000 jusqu’à l’année actuelle.  Une image de la normale est créée pixel par pixel pour chaque semaine disponible dans l’application (15 à 41 pour AVHRR, 15 à 37 pour MODIS). 

À la fin d’une saison de croissance, les images normales sont mises à jour en ajoutant les données de l’année la plus récente, normales qui seront utilisées pour la saison de croissance suivante.  De nouvelles moyennes normales par région géographique sont également recalculées pour mettre à jour la base de données.

Lorsqu’un utilisateur produit comme requête une comparaison des valeurs actuelles de l’IVDN avec la normale, l’opération s’effectue par une simple soustraction, ce qui génère le Produit image 1:

Produit image 1 (comparaison avec la normale) = IVDN_semaineWW_AnnéeActuelle – IVDN_semaineWW_normale (où WW est la semaine julienne de l’image)

 

Exemple avec la semaine 34 de 2009(IVDN de AVHRR)

 

2.5.2. Comparaison avec l’année précédente

Le deuxième produit image compare les valeurs de l’IVDN d’une semaine spécifique avec la même semaine de l’année précédente.

Produit image 2 (comparaison avec l’année précédente) = IVDN_semaineWW_AnnéeActuelle – IVDN_semaineWW_AnnéePrécédente (où WW est la semaine julienne de l’image)

 

Exemple avec la semaine 34 de 2009 (IVDN de l’AVHRR)

 

2.5.3. Comparaison avec la semaine précédente

Le troisième produit image compare l’IVDN d’une semaine spécifique avec les valeurs de la semaine précédente (même année).

Produit image 3 (comparaisoné avec la semaine précédente) = IVDN_semaineWW – IVDN_semaineWW-1 (où WW est la semaine julienne de l’image)

 

Exemple avec la semaine 34, 2009 (IVDN de l’AVHRR)

 

2.5.4. Comparaison avec la valeur la plus élevée de la normale

Le quatrième produit image permet la comparaison des valeurs de l’IVDN d’une semaine spécifique avec la valeur normale la plus élevée de l’IVDN pour une région donnée.  Ces valeurs les plus élevées de l’IVDN sont normalement atteintes au milieu de l’été, au sommet de la saison de croissance.  Puisque le sommet de l’IVDN peut ne pas être atteint la même semaine chaque année, ce produit permet aux utilisateurs de comparer des valeurs de n’importe quelle semaine avec le sommet des valeurs normales historiques.

Lorsque les valeurs et images de la normale sont mises à jour, les valeurs maximales de la normale sont également mises à jour, pixel par pixel.  Une moyenne du maximum de l’IVDN par région est recalculée et entreposée dans la base de données une fois les nouvelles données normales recalculées.

Produit image 4 (comparaison à la valeur maximale de la normale) = IVDN_semaineWW – IVDN_ValeurNormaleMaximale (où WW est la semaine julienne de l’image)

 

Exemple avec la semaine 34, 2009 (IVDN de l’AVHRR)

 

2.5.5. Comparaison avec une semaine quelconque

En ce qui concerne les cartes thématiques du PEEC, les valeurs de l’IVDN d’une semaine et d’une année spécifiques peuvent être comparées avec n’importe quelle semaine de n’importe quelle année.  Les valeurs de l’IVDN de deux périodes spécifiées sont soustraites et classifiées.

 

Carte thématique, comparaison avec une semaine quelconque d’une année quelconque
Semaine 31, 2003, comparée à la semaine 31, 1988 (IVDN de l’AVHRR)

 

2.6. Mise à jour de l’application

Une fois le traitement des données complété, l’application Web est temporairement hors d’usage pendant quelques minutes.  Les opérations qui doivent avoir lieu pendant cette période d’entretien sont:

• La mise à jour de la base de données;
• L’ajout de nouvelles images
• La mise à jour d’un fichier de paramètres.  Ce fichier informe l’application de la disponibilité des données lorsque l’application démarre.  Par défaut, l’application montre toujours les données de l’IVDN les plus récentes, comparées à la normale

3. Temps requis pour la mise à jour de l’application

Le tableau suivant montre les étapes de traitement des données ainsi que le temps requis pour leur réalisation.

4. Références

(anglais seulement)
Davidson A., Howard A., Sun, K., Pregitzer M., Rollin, P., Aly Z. (2009)  A National Crop Monitoring System prototype (NCMS-P) using MODIS data: Near-Real-Time Agricultural Assessment from Space. Agriculture and Agri-food Canada, National Land and Water Information Service, 41 p.

(anglais seulement)
Latifovic, R., Trishchenko, A. P., Chen J., Park W.B., Khlopenkov, K. V., Fernandes, R., Pouliot, D.,  Ungureanu, C., Luo, Y., Wang, S., Davidson, A., Cihlar, J. (2005) Generating historical AVHRR 1 km baseline satellite data records over Canada suitable for climate change studies.  Canadian Journal of Remote Sensing, vol. 31, no 5, pp 324-346.