Modélisation thématique et modélisation thématique dynamique : Une revue technique

Par : Loic Muhirwa, Statistique Canada

Dans le sous-domaine de l'apprentissage automatique du traitement du langage naturel (TLN), un modèle thématique (topic modeling) est un type de modèle non supervisé servant à découvrir des sujets abstraits dans un corpus. La modélisation thématique peut être considérée comme une sorte de regroupement flou (soft clustering) de documents au sein d'un corpus. La modélisation thématique dynamique désigne l'introduction d'une dimension temporelle dans une analyse de modélisation thématique. L'aspect dynamique de la modélisation thématique est un domaine de recherche en pleine croissance et auquel de nombreuses applications ont recours, y compris l'analyse sémantique de séries chronologiques, la classification sans supervision de documents et la détection d'événements. Dans le cas de la détection d'événements, si la structure sémantique d'un corpus représente un phénomène du monde réel, un changement significatif dans cette structure sémantique peut être utilisé pour représenter et détecter des événements du monde réel. À cette fin, l'article présente les aspects techniques d'une nouvelle méthode bayésienne de modélisation thématique dynamique dans le contexte des problèmes de détection d'événements.

Dans le contexte d'une preuve de concept, un système de modélisation thématique dynamique a été conçu, mis en œuvre et déployé à l'aide de la Base canadienne de données des coroners et des médecins légistes (BCDCML), une nouvelle base de données élaborée à Statistique Canada en collaboration avec les 13 coroners en chef provinciaux et territoriaux, les médecins légistes en chef et l'Agence de la santé publique du Canada. La BCDCML contient des renseignements normalisés sur les circonstances des décès déclarés aux coroners et aux médecins légistes au Canada. En particulier, la BCDCML contient des données non structurées sous forme de variables en texte libre, appelées textes narratifs, qui fournissent des renseignements détaillés sur les circonstances entourant les décès déclarés. L'ensemble des textes narratifs forme un corpus (une collection de documents) adapté à l'exploration de texte, ce qui soulève la question suivante : les techniques d'apprentissage automatique peuvent-elles servir à découvrir des structures sémantiques utiles et nouvelles ? Et dans l'affirmative, peut-on analyser ces structures sémantiques dynamiquement (dans le temps) pour détecter les textes narratifs émergeants sur les décès?

Les premiers résultats sont prometteurs. L'étape suivante comporte deux volets, à savoir : premièrement, régler plus précisément le système et la construction de la détection d'événements et, deuxièmement, étant donné que ce système servira à aider les analystes à réaliser des études et des recherches sur la BCDCML, les renseignements qui en découleront devront être interprétables par l'être humain. Le présent article donne un aperçu technique de la méthodologie sur laquelle repose la modélisation thématique, explique la base de l'allocation de Dirichlet latente et introduit une dimension temporelle dans l'analyse de la modélisation thématique. Un futur article présentera l'application de ces techniques à la BCDCML.

Allocation de Dirichlet latente

L'allocation de Dirichlet latente (ou LDA pour Latent Dirichlet Allocation)^{Note de bas de page 1} est un exemple de modèle thématique couramment utilisé par la communauté de l'apprentissage automatique. En raison des performances des modèles de LDA, on en retrouve plusieurs implantations en production dans des langages populaires de script orientés données comme Python^{Note de bas de page 2}. L'allocation de Dirichlet latente a d'abord été introduite comme une généralisation de l'analyse sémantique latente probabiliste (PLSA pour Probabilistic Latent Semantic Analysis)^{Note de bas de page 3} présentant d'importantes améliorations, dont l'une était entièrement générative^{Note de bas de page 4}.

Le modèle

La LDA est considérée comme un modèle génératif, car la distribution conjointe (produit de la vraisemblance par la loi a priori) est explicitement définie, ce qui permet de générer des documents simplement en échantillonnant à partir de la distribution. Les hypothèses du modèle sont clairement démontrées par l’examen du processus générateur qui décrit la façon dont chaque mot d’un document donné est généré.

En termes formels, supposons que $T, V \in N$ sont respectivement le nombre de sujets et la taille de l’ensemble de notre vocabulaire. Le vocabulaire fait référence à l’ensemble de tous les termes utilisés pour produire les documents. De plus, supposons que $θ \in R^{T}$ et $ϕ \in R^{V}$ sont des vecteurs représentant des distributions discrètes sur les sujets et le vocabulaire respectivement. Dans une LDA, un document est représenté par une distribution de sujets distincte et un sujet est représenté par une distribution de mots distincte. Soit $w \in {\{0, 1\}}^{V}$ un vecteur one-hot représentant un mot particulier dans le vocabulaire et $z \in {\{0, 1\}}^{T}$ un vecteur one-hot représentant un sujet particulier.

Les notations $θ$ et $ϕ$ peuvent servir à décrire le processus génératif qui génère un mot dans un document en échantillonnant à partir d'une distribution de sujets et d’une distribution de mots. La LDA suppose que ces distributions sont tirées de distributions de Dirichlet, à savoir $θ ~ D i r (α)$ et $ϕ ~ D i r (β)$ , où $α$ et $β$ sont les paramètres de l’absence de densité. Ensuite, au moyen de ces distributions, on tire d’abord un sujet $z ~ M u l t i n o m i a l (θ)$ , puis à partir de ce sujet, on tire un mot $w ~ M u l t i n o m i a l (ϕ)$ . En d’autres termes, les mots d’un document sont échantillonnés à partir d’une distribution de mots régie par une distribution de sujets fixe représentant ce document. La Figure 1 démontre ce processus de génération en notation de plaque graphique, pour un corpus de taille $M$ avec des documents de taille fixe $N$ . Bien qu’on suppose généralement que la taille du document provienne d’un processus de Poisson indépendant, pour le moment, à des fins de simplification de la notation, on suppose sans perte de généralité que les documents sont de taille fixe.

Description de la figure 1 - Notation de plaque du processus génératif. Les cases sont des « plaques » représentant des répliques et les nœuds ombrés sont observés.

Illustration du processus génératif de LDA en notation de plaque. Le diagramme est composé d’un graphique acyclique dirigé, où les nœuds représentent des variables et les arêtes représentent des dépendances variables. Les nœuds externes du graphique dirigé sont les hyperparamètres du modèle et ces nœuds n’ont pas d’arêtes intérieures, ce qui signifie qu’ils ne dépendent d’aucun autre paramètre du modèle. À partir des hyperparamètres, les arêtes conduisent aux autres variables jusqu’à ce qu’elles atteignent un nœud final, représentant un mot. À une extrémité, le nœud d’hyperparamètres de sujet mène à un nœud de distribution de mot, qui mène finalement au nœud de mot. À partir d’une autre extrémité, l’hyperparamètre du document, mène à un nœud de distribution de sujet, qui mène à un nœud d’affectation de mot-sujet, puis au nœud de mot. Ce nœud de mot est ombré et il s'agit du seul nœud ombré. L’ombrage indique que le nœud en question représente une variable observée, ce qui signifie que tous les autres nœuds du graphique ne sont pas observés. Certains nœuds sont contenus dans une case rectangulaire comportant une variable dans son coin inférieur droit. Les cases représentent les répétitions, et la variable en bas à droite représente la taille de la répétition. Le nœud de distribution de mot est contenu dans une case avec un nombre variable de répétitions, $T$ . L’affectation mot-sujet et les nœuds de mot sont contenus dans une case avec un nombre variable de répétitions, $N$ . Cette dernière est ensuite contenue dans une case plus grande qui comprend le nœud de distribution de sujet avec un nombre variable de répétitions, $M$ . Puisque l’affectation mot-sujet et les nœuds de mot sont contenus dans deux cases, ces deux variables ont un nombre de répétitions égal au produit de la variable se trouvant dans le coin inférieur droit des deux cases, en l'occurrence $N$ fois $M$ .

Tableau 1 : Notation
Variable	Description
$D$	Un ensemble représentant tous les documents bruts, c'est-à-dire le corpus
$T$	Nombre de sujets
$V$	Nombre de mots dans le vocabulaire
$θ_{i}$	Distribution de sujets représentant le $i^{e}$ document; il s'agit d'un vecteur dense $R^{T}$
$N_{j}$	Nombre de mots dans le $j^{e}$ document
$θ_{t}$	Distribution de mots représentant le $t^{e}$ sujet; il s'agit d'un vecteur dense $R^{V}$
$Z_{i j}$	Affectation de sujet pour le $i^{e}$ mot dans le $j^{e}$ document; il s'agit d'un vecteur one-hot $R^{T}$
$w_{i j}$	Affectation du vocabulaire pour le $i^{e}$ mot dans le $j^{e}$ document; il s'agit d'un vecteur one-hot $R^{V}$
$β$	Paramètre de l'absence de densité de Dirichlet pour les sujets
$α$	Paramètre de l'absence de densité de Dirichlet pour les documents

Soit $Z$ un ensemble représentant l’ensemble de toutes les affectations de sujets, il s'agit d’un ensemble de taille $\sum_{j} | D | \cdot N_{j}$ et soit $θ$ un ensemble représentant l’ensemble de toutes les distributions de sujets (documents) et enfin, soit $Φ \in R^{V} \times R^{T}$ une matrice aléatoire représentant l’ensemble de toutes les distributions de mots (sujets), c.-à-d. $ϕ = [ϕ 1, . . ., ϕ T]$ . Il s’ensuit que si la $t^{e}$ entrée d’un sujet donné, par exemple $z_{i j}$ est 1, alors :

Équation 1 : $ϕ_{t} = Φ \cdot z_{i j}$

D'après la notation ci-dessus, la distribution conjointe peut être définie comme suit :

Équation 2 : $p (W, Z, Θ, Φ | α, β) = p (Φ | β) [\prod_{j = 1}^{| D |} p (θ_{j} | α) \prod_{i = 1}^{N_{j}} p (z_{i j} | θ_{j}) p (w_{i j} | Φ, z_{i j})]$

Étant donné que l’une des hypothèses du modèle est que les distributions de sujets sont conditionnellement indépendantes par rapprt à β, la forme suivante est équivalente :

Équation 3 : $p (W, Z, Θ, Φ | α, β) = \prod_{t = 1}^{T} p (ϕ_{t} | β) [\prod_{j = 1}^{| D |} p (θ_{j} | α) \prod_{i = 1}^{N_{j}} p (z_{i j} | θ_{j}) p (w_{i j} | Φ \cdot z_{i j})]$

Maintenant que le modèle est spécifié, le processus de génération peut sembler plus clair en pseudo-code. D’après la distribution conjointe, le processus génératif se déroule comme suit :

Étant donné : V, T, $| D |, α, β$
pour $t \in [1, . . ., T]$ effectuer
$ϕ t ~ D i r (β)$
fin
$Φ \leftarrow [ϕ 1, . . ., ϕ T]$
pour $j \in [1, . . ., | D |]$ effectuer
$θ j ~ D i r (α)$
pour $i \in [1, . . ., N j]$ effectuer
$z i j ~ M u t i n o m i a l (θ j)$
$w i j ~ M u t i n o m i a l (Φ \cdot z i j)$
fin
fin

Notons que T, le nombre de sujets, est fixe et que le fait d’être fixe est en fait une hypothèse et une exigence du modèle; cela implique également, dans le contexte bayésien, que T est un paramètre du modèle et non pas une variable latente. Cette différence est loin d’être négligeable, comme le montre la section sur l’inférence.

Il est important de distinguer l’allocation de Dirichlet latente d’un simple modèle de groupement Dirichlet-multinomial. Un modèle de groupement Dirichlet-multinomial comporterait un modèle à deux niveaux dans lequel on échantillonne un Dirichlet une fois pour un corpus, une variable de groupement multinomiale est sélectionnée une fois pour chaque document dans le corpus, et un ensemble de mots est sélectionné pour le document, conditionnel à la variable de groupement. Comme dans de nombreux modèles de groupement, un tel modèle restreint le document à être associé à un seul sujet. En revanche, la LDA comporte trois niveaux et, notamment, le nœud de sujet est échantillonné de façon répétée dans le document. Selon ce modèle, les documents peuvent être associés à plusieurs sujets^{Note de bas de page 1}.

Inférence

L’inférence avec la LDA équivaut à une ingénierie inverse du processus génératif décrit dans la section précédente. Quand le processus génératif passe d’un sujet à un mot, l’inférence a posteriori ira donc d’un mot à un sujet. Avec la LDA, nous supposons que $Θ, Φ$ et $Z$ sont des variables latentes plutôt que des paramètres de modèle. Cette différence a des conséquences drastiques sur la façon dont les quantités d’intérêt sont inférées, celles-ci étant les distributions $Θ$ et $Φ$ . En revanche, si $Θ$ et $Φ$ étaient modélisées comme des paramètres, on pourrait utiliser l’algorithme espérance-maximisation (EM) pour trouver l’estimation du maximum de vraisemblance (EMV). Après la convergence de l’algorithme EM, on récupère les paramètres appris pour atteindre l’objectif consistant à trouver les sujets abstraits dans le corpus. L'algorithme EM fournit des estimations ponctuelles du paramètre du modèle en marginalisant les variables latentes. Le problème est que les quantités d’intérêt sont marginalisées et que l’estimation ponctuelle ne serait pas fidèle à la méthode de l’inférence bayésienne. Pour une véritable inférence bayésienne, l’accès à la distribution a posteriori des variables latentes $Θ, Φ$ et $Z$ serait nécessaire. Ensuite, cette distribution a posteriori est examinée et quelques difficultés de calcul qui contribueront à motiver une approche d’inférence seront soulignées.

La distribution a posteriori est de la forme suivante :

Équation 4 : $p (Z, Θ, Φ | W, α, β) = \frac{p (W, Z, Θ, Φ | α, β)}{p (W | α, β)}$

Penchons-nous de plus près sur le dénominateur :

Équation 5 : $p (W | α, β) = \int_{Φ} p (Φ | β) \int_{Θ} p (Θ | α) \sum_{Z} p (Z | Θ) p (W | Z, Φ) d Θ d Φ$

L’équation (5) est connue sous le nom de preuve et agit comme une constante de normalisation. Pour calculer la preuve, il faut calculer une intégrale de grande dimension sur la probabilité conjointe. Comme le montre l’équation (5), le couplage de $Θ$ et $Φ$ les rend inséparables dans la sommation et, par conséquent, cette intégrale est au moins exponentielle dans $d i m (Θ) \times d i m (Φ)$ , ce qui la rend insoluble. L'insolvabilité de l’intégrale de la preuve est un problème courant de l’inférence bayésienne, qu’on appelle problème d’inférence^{Note de bas de page 1}. L’inférence et la mise en œuvre de la LDA diffèrent dans la façon dont elles résolvent ce problème.

Inférence variationnelle

Dans l'apprentissage automatique moderne, l'inférence (bayésienne) variationnelle (IV) sert le plus souvent à déduire la distribution conditionnelle sur les variables latentes compte tenu des observations et des paramètres. C'est aussi ce qu'on appelle la distribution a posteriori sur les variables latentes (équation (2)). À un niveau élevé, l'IV est simple : l'objectif est d'obtenir une approximation de la distribution a posteriori insoluble avec une distribution qui provient d'une famille de distributions tractables. Cette famille de distributions tractables est ce qu'on appelle les distributions variationnelles (à partir du calcul variationnel). Une fois que la famille de distributions est spécifiée, on obtient une approximation de la distribution a posteriori en trouvant la distribution variationnelle qui optimise une certaine mesure entre elle-même et la distribution a posteriori. Une des mesures servant couramment à mesurer la similarité entre deux distributions est la divergence de Kullback-Leibler $(K L)$ qui est définie comme suit :

Équation 6 : $K L (q | | p) = E_{z} [\log \frac{q (z)}{p (z | x)}] = \int_{z} q (z) \log \frac{q (z)}{p (z | x)}$

où $q (\cdot)$ et $p (\cdot)$ sont les distributions de probabilité sur le même support. Dans l’article original sur l’allocation de Dirichlet latente^{Note de bas de page 1}, les auteurs proposent une famille de distributions ayant la forme suivante :

Équation 7 : $q (W, Z, Θ, Φ | λ, π, γ) = \prod_{t = 1}^{T} Dir (ϕ_{t} | λ_{t}) [\prod_{j = 1}^{| D |} Dir (θ_{j} | γ_{j}) \prod_{i = 1}^{N_{j}} Multi (z_{i j} | π_{i j})]$

où $λ$ , $π$ et $γ$ sont des paramètres variationnels libres. Cette famille de distributions est obtenue par découplage de $Θ$ et $Φ$ (ce couplage est ce qui a mené à l’insolvabilité), ce qui rend les variables latentes conditionnellement indépendantes sur les paramètres variationnels. Ainsi, l’inférence approximative est réduite au problème d’optimisation déterministe suivant :

Équation 8 : $λ^{*}, π^{*}, γ^{*} = \underset{λ, π, γ}{argmin} K L (q | | p)$

où $p$ est la distribution a posteriori d’intérêt et dont l’approximation finale est obtenue par :

Équation 9 : $q (W, Z, Θ, Φ | λ^{*}, π^{*}, γ^{*})$

Dans le contexte du problème, le problème d’optimisation de l’équation (8) est mal posé puisqu’il nécessite $p (\cdot)$ et que l’approximation de $p (\cdot)$ est le problème d’inférence initial. Il est facile de démontrer ce qui suit :

Équation 10 : $E_{z} [\log \frac{p (z, x)}{q (z)}] = - K L (q | | p) + \log p (x)$

Équation 11 : $Soit L = E_{z} [\log \frac{p (z, x)}{q (z)}]$

$L$ est appelée ELBO (Evidence Lower Bound, borne inférieure de la preuve) et bien qu’elle dépende de la vraisemblance, elle n'a pas de p(·) et est donc tractable. Par conséquent, le problème d’optimisation de l’équation (8) équivaut au problème d’optimisation suivant :

Équation 12 : $λ^{*}, π^{*}, γ^{*} = \underset{λ, π, γ}{argmax} L$

Ainsi, l’inférence dans la LDA maximise l’ELBO sur une famille de distributions tractables pour donner une approximation de la distribution a posteriori. En général, on met en œuvre une méthode d’optimisation stochastique pour surmonter la complexité du calcul, en particulier la méthode de descente par coordonnée stochastique. De plus amples détails sur l’analyse de l’IV sont fournis dans^{Note de bas de page 1}, les sections 5.2, 5.3 et 5.4 de^{Note de bas de page 1} et la section 4 de^{Note de bas de page 4}.

Modélisation thématique dynamique

La modélisation thématique dynamique désigne l’introduction d’une dimension temporelle dans une analyse de modélisation thématique. En particulier, la modélisation thématique dynamique dans le cadre du présent projet fait référence à l’étude de l’évolution dans le temps de sujets donnés. Le projet vise à analyser des sujets fixes sur un intervalle de temps donné. Étant donné que les documents provenant de la BCDCML ont une estampille temporelle naturelle, à savoir la date du décès (DDD), ils constituent un moyen canonique de diviser l’ensemble de données complet en plusieurs corpus couvrant chacun un intervalle de temps. Une fois les données divisées, on peut appliquer la LDA à chaque corpus. Il est ensuite possible d’analyser l’évolution de chaque sujet dans le temps.

L’un des défis de cette méthode dynamique réside dans la mise en correspondance de sujets à partir de deux fenêtres de temps adjacentes. En raison de la nature stochastique du problème d’optimisation à l’étape de l’inférence, chaque fois qu’une instance de la LDA est exécutée, l’ordre des sujets abstraits qui en résultent est aléatoire. Plus précisément, si l'on a deux fenêtres de temps adjacentes indexées par $t$ et $t - 1$ et un sujet fixe indexé par $i$ , comment peut-on s’assurer que le $i^{e}$ sujet au temps $t$ donné correspond au $i^{e}$ sujet au temps $t - 1$ ? Pour répondre à cette question, il est possible de construire des lois a priori de sujets pour le temps $t$ en utilisant les paramètres de sujets appris lors du temps $t - 1$ . Pour mieux comprendre le mécanisme, le terme « a priori » renvoie aux paramètres des distributions a priori et non aux distributions elles-mêmes; de même, il désigne les quantités qui sont proportionnelles à l’emplacement (espérance) des distributions antérieures. Dans cette configuration, la loi a priori de sujet $β$ peut être représentée par une matrice de sorte que l’entrée $β_{i j}$ soit la loi a priori du $i^{e}$ terme étant donné le $j^{e}$ sujet. Notons que sans information a priori ou connaissance de domaine sur $Φ_{i j}$ , le paramètre de probabilité du $i^{e}$ terme étant donné le $j^{e}$ sujet, une loi a priori uniforme serait imposée en faisant de $β$ une constante et serait donc représentée minimalement par un scalaire. Chaque fois que $β$ est constant, la loi de Dirichlet qui en résulte est symétrique et on dit qu’elle a une loi a priori symétrique, qui est la constante. Supposons qu’au temps $t - 1$ nous avons appris la matrice des paramètres de sujet $Φ^{(t - 1)}$ , avant d’apprendre $Φ^{(t)}$ nous imposerons une loi a priori $β^{(t)}$ sous la forme suivante :

Équation 13 : $β^{(t)} = η Φ^{(t - 1)} + (1 - η) β^{(0)}$
$où β^{(0)} = [\begin{matrix} \frac{1}{V} & \dots & \frac{1}{V} \\ ⋮ & ⋱ & ⋮ \\ \frac{1}{V} & \dots & \frac{1}{V} \end{matrix}] et η \in [0, 1]$

La matrice $Φ^{(t - 1)}$ sert de loi a priori informative pour $Φ^{(t)}$ , ce qui implique essentiellement qu’on suppose que les distributions de sujets provenant de fenêtres de temps adjacentes sont semblables en un sens. $β^{(0)}$ sert de loi a priori uniforme non informative, cette matrice lisse essentiellement l’information pointue de $Φ^{(t - 1)}$ . Parce que le vocabulaire évolue également au fil du temps, ce qui signifie que certains mots sont ajoutés et d'autres supprimés du vocabulaire à mesure que le modèle voit de nouveaux corpus, il faut en tenir compte dans la loi a priori. Il est nécessaire de s’assurer que tout sujet non encore appris est susceptible d’inclure un nouveau mot même si, dans les fenêtres temporelles précédentes, ce même sujet avait une probabilité de 0 d’inclure ce mot. L’introduction de $β^{(0)}$ avec une valeur non nulle de η garantit que tout nouveau mot a une probabilité non nulle d’être repris par un sujet en évolution.

On dit qu’une distribution de Dirichlet avec une valeur non constante de $β$ a une loi a priori non symétrique. En général, la littérature recommande de ne pas utiliser de lois a priori non symétriques^{Note de bas de page 5} puisqu’il est habituellement déraisonnable de supposer qu’il y a suffisamment d’information a priori sur les distributions de mots dans des sujets inconnus. Notre cas est différent. Il est raisonnable de supposer que des corpus de temps adjacents ont en commun un certain niveau d’information sur la distribution de mots et, pour mieux justifier cette loi a priori, un chevauchement entre les corpus adjacents sera imposé. Supposons que $D^{(t - 1)}$ et $D^{(t)}$ sont des corpus respectivement au temps $t - 1$ et $t$ , essentiellement, la condition suivante sera imposée :

Équation 14 : $D^{(t - 1)} \cap D^{(t)} \neq \emptyset$

La proportion de chevauchement est contrôlée par un hyperparamètre défini au préalable. Soulignons que le chevauchement renforce l’hypothèse selon laquelle $β^{(t)}$ est une loi a priori raisonnable pour $Φ^{(t)}$ . Cependant, on pourrait toujours raisonnablement supposer que cette loi a priori est raisonnable, même si les corpus ne se chevauchaient pas, puisque $D^{(t - 1)}$ et $D^{(t)}$ seraient assez proches dans le temps et auraient alors en commun un certain niveau d’information pour ce qui est de la distribution de mots.

Références

Note de bas de page 1

Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent dirichlet allocation. Journal of machine learning research, 3(Jan), 993–1022.

Retour à la référence de la note de bas de page 1

Note de bas de page 2

Rehurek, R., & Sojka, P. (2011). Gensim: statistical semantics in python. Retrieved from genism. org.

Retour à la référence de la note de bas de page 2

Note de bas de page 3

Hofmann, T. (2013). Probabilistic latent semantic analysis. arXiv preprint arXiv:1301.6705. Honnibal, M., & Montani, I. (2017). spaCy 2: Natural language understanding with Bloom embeddings, convolutional neural networks and incremental parsing.(To appear)

Retour à la référence de la note de bas de page 3

Note de bas de page 4

Geigle, C. (2016). Inference methods for latent dirichlet allocation. Course notes (cs598cxz advanced topics in information retrieval), Department of Computer Science, University of Illinois at Urbana-Champaign.

Retour à la référence de la note de bas de page 4

Note de bas de page 5

Blei, D. M., Kucukelbir, A., & McAuliffe, J. D. (2017). Variational inference: A review for statisticians. Journal of the American Statistical Association, 112(518), 859–877.

Retour à la référence de la note de bas de page 5

Signaler un problème ou une erreur sur cette page

Date de modification :: 2021-12-01

Initiative de démocratisation des données

L'Initiative de démocratisation des données (IDD) est un partenariat entre les établissements d'enseignement postsecondaire et Statistique Canada qui vise à améliorer l'accès aux ressources de données. Ce programme axé sur l'utilisateur renforce les capacités statistiques et le leadership grâce à une formation à l'accès aux microdonnées et d’un soutien à une collection de données de recherche en expansion constante.

Ce service par adhésion offre aux étudiants et aux membres de la facuté l'accès à la Collection de fichiers de microdonnées à grande diffusion (FMGD) de Statistique Canada et aux livres des codes de fréquence « 0 » des fichiers maîtres. Un accès illimité à toutes les microdonnées et à la documentation est offert par l'entremise du service de Transfert électronique de fichiers (TEF) de Statistique Canada et d'une base de données en ligne à accès restreint par Protocole Internet (IP) dotée d'un outil de découverte convivial. Certains fichiers sont également disponibles gratuitement sur le site Web de Statistique Canada. Divers fournisseurs de données secondaires réorganisent les données sélectionnées de Statistique Canada dans leurs propres répertoires de données de recherche, dont Abacus, ODESI et CHASS.

L'adhésion est offerte aux institutions académiques canadiennes.

Renseignements et ressources

Données

Projets et ensembles de données

Communauté d'utilisateurs

Établissements participants et personnes-ressources

Gouvernance

Comités et documentation

Formation et activités

Séances de formation, guides de l'utilisateur, webinaires et activités

Frais

Coûts liés au programme

Processus de demande et lignes directrices

À propos de l'accès

Historique du programme

Foire aux questions

Coordonnées

Si vous avez des questions ou des commentaires

Programmes

Formation et événements - IDD

Calendrier des évènements

Le calendrier contient la liste des séances de formation régionales, des webinaires et des événements de l'Initiative de démocratisation des données (IDD) qui auront lieu ultérieurement.

Rencontres et formations

La prochaine rencontre des Membres du Comité consultatif externe aura lieu :

13 mai, 2024
7 octobre, 2024
2 décembre, 2024
10 février, 2025

La prochaine formation nationale de l'IDD aura lieu dans la semaine du 27 Mai, 2024.

Dites-nous ce que vous souhaitez pour la prochaine formation nationale. Transmettez vos idées à votre coordonnateur régional de la formation.

Consultez les Archives des événements pour obtenir des détails sur les événements de formation DLI passés.

Matériel de formation

Trousse de survie de l'IDD
Cette trousse sert de guide de référence aux personnes-ressources de l'IDD désignées par les établissements qui participent au programme à l'échelle du Canada.

Dépôt des documents de formation de l'IDD
Le dépôt des documents de formation contient des présentations tirées des séances de formation et des ateliers sur l'IDD. Il contient également d'autres présentations et ateliers connexes accessibles à l'échelle nationale et internationale.

Trousse de survie de l'IDD

Trousse de survie (PDF, 411.67 Ko)

Vue d'ensemble

À propos du programme

L'Initiative de démocratisation des données (IDD) est un partenariat entre les établissements d'enseignement postsecondaire et Statistique Canada qui vise à améliorer l'accès aux ressources en matière de données. L'IDD est un programme qui s'inscrit dans le continuum des services et des produits d'accès aux microdonnées de Statistique Canada. Au fil des ans, l'orientation du Programme de l'IDD a évolué pour passer de l'achat d'un accès aux principaux ensembles de données recueillies par Statistique Canada à la prestation de services de formation et de soutien continus nécessaires à la compréhension et à l'utilisation efficaces d'une collection de données sans cesse grandissante. Pour obtenir de plus amples renseignements, notamment sur les avantages de l'abonnement à l'IDD et sur l'histoire du programme, veuillez visiter le site Web de l'IDD.

Rôle de la personne-ressource de l'IDD

En tant que personne-ressource de l'IDD pour votre établissement d'enseignement (un rôle partagé par un réseau de personnes-ressources à l'échelle du Canada), vous avez un rôle essentiel dans la promotion de l'accès aux ressources en matière de données canadiennes.

En général, les personnes-ressources de l'IDD fournissent de l'aide pour trouver, consulter et analyser les données et les produits de Statistique Canada. Bien qu'elles ne soient pas toujours des expertes en logiciels statistiques et en analyse de données, les personnes-ressources peuvent aiguiller les utilisateurs vers d'autres personnes dans leur établissement d'enseignement ou dans la communauté de l'IDD (par l'intermédiaire du serveur de liste) qui peuvent aider à répondre à des questions d'ordre technique ou méthodologique.

Les personnes-ressources de l'IDD ont les responsabilités suivantes :

Soutien aux utilisateurs : Les personnes-ressources de l'IDD aident les membres du corps professoral, le personnel et les étudiants à utiliser les ressources de Statistique Canada.
Licences : Les personnes-ressources de l'IDD veillent à ce que les conditions d'utilisation des ententes de licence de l'IDD soient respectées dans leurs établissements.
Renouvellement d'abonnement : Les personnes-ressources de l'IDD s'assurent que les frais d'adhésion annuels sont payés.
Liaison : Les personnes-ressources de l'IDD communiquent avec les établissements membres par l'intermédiaire de leur réseau de contacts. Ces communications ont trait aux modifications dans les licences, aux mises à jour dans les services aux membres, et aux séances de sensibilisation et de perfectionnement professionnel.
Accès : Les personnes-ressources de l'IDD s'assurent que le programme obtient les domaines de propriété intellectuelle (PI) actuels de l'établissement afin de maintenir l'accès aux ressources en fonction de la PI.
Gouvernance : Les personnes-ressources de l'IDD peuvent être appelées à voter pour leur coordonnateur régional de la formation (CRF) si plus d'un candidat se présente pour un poste à combler.

Outre le recensement tous les cinq ans, Statistique Canada mène un large éventail d'enquêtes qui portent sur presque tous les aspects de la vie canadienne. Statistique Canada offre l'accès à ces données pour le soutien de la recherche, de l'industrie et de l'élaboration de politiques. Une compréhension de certains concepts de base relatifs aux données permettra de déterminer les produits offerts et les programmes par l'entremise desquels on peut y accéder.

Terminologie relative aux données

Données agrégées

Renseignements provenant directement de fichiers de microdonnées statistiques ou de fichiers statistiques agrégés. Contrairement aux fichiers de microdonnées statistiques, les statistiques agrégées ne comprennent pas d'information au niveau des unités individuelles d'observation. Autrement dit, elles sont le résultat d'un regroupement des données à un niveau agrégé ou macro (p. ex. personnes dans un groupe d'âge particulier, entreprises ou organisations dans une industrie particulière, ou ménages dans une région particulière).

Fichier de microdonnées

Un fichier structuré contenant des renseignements sur des personnes, des entreprises ou des organisations. Un fichier de microdonnées peut être le résultat d'un recensement de toutes les unités ou uniquement d'un échantillon d'unités. En outre, le fichier peut être le produit de la collecte directe à des fins statistiques ou un fichier administratif où les utilisations statistiques ne représentent pas l'objectif principal de la collecte, ou bien une combinaison des deux.

Il y a trois types de fichiers de microdonnées :

Fichiers-maîtres : Pour chaque enquête menée, on crée un fichier principal qui renferme toutes les réponses de chaque répondant, consignées sous la forme précisée dans le questionnaire. Les fichiers principaux ne sont accessibles que par l'entremise des centres de données de recherche (CDR) sur demande.
Fichiers synthétiques : Fidèle à son souci d'offrir de nouvelles possibilités d'accès, Statistique Canada investit dans la recherche de méthodes de création de données synthétiques. Ces données peuvent prendre diverses formes et présenter différentes caractéristiques de qualité, mais visent toujours à offrir une possibilité d'accès aux microdonnées sans autre risque de divulgation, d'où une diffusion grand public.
Fichiers de microdonnées à grande diffusion (FMGD) : Les FMGD sont des ensembles d'enregistrements qui contiennent des renseignements sur des personnes ou des ménages (microdonnées). Il s'agit de données non agrégées qui sont soigneusement modifiées puis examinées pour s'assurer qu'aucune personne ou entreprise n'est identifiée directement ou indirectement.

Documentation

Statistique Canada publie des documents qui accompagnent ses fichiers de microdonnées. Cette documentation est nécessaire pour utiliser et interpréter les fichiers de microdonnées, et peut notamment inclure des questionnaires d'enquête, des instructions aux intervieweurs, des livres de codes, des guides de l'utilisateur, des clichés d'enregistrements, des dictionnaires de données, des fichiers de fréquences et des tableaux de c.v.

Données administratives

Les données administratives sont des renseignements recueillis par les organisations des secteurs public et privé dans le cadre de leurs activités courantes, par exemple, les certificats de naissance et de décès, les dossiers fiscaux, les registres des mouvements des biens et des personnes aux frontières, et les données recueillies par les satellites. Comme la plupart des autres organismes de statistique, Statistique Canada utilise des données administratives en remplacement ou en plus des données d'enquête et à l'appui des opérations statistiques.

Ressources à consulter pour la terminologie relative aux données

Définitions, sources de données et méthodes de Statistique Canada : Ces renseignements servent à mieux faire comprendre les concepts de base servant à définir les données incluant les variables et les classifications, les méthodes statistiques et les enquêtes, et les principaux aspects de la qualité des données. Ce module fournit également un accès direct aux questionnaires.
Les statistiques : le pouvoir des données! Glossaire : Ces définitions visent à renseigner ceux qui ont des questions concernant les statistiques, mais qui n'ont pas besoin d'une définition hautement technique.

Continuum de l'accès aux microdonnées

L'accès aux microdonnées est offert par l'entremise d'une série de canaux de diffusion.

Le tableau suivant présente les canaux de diffusion offerts pour les données agrégées et les microdonnées.

	Site Web de Statistique Canada	Initiative de démocratisation des données	Ventes de produits et totalisations personnalisées	Système d'accès à distance en temps réel (ADTR)	Centres de données de recherche
Qui peut avoir accès aux données	Grand public	Étudiants, membres du corps professoral et personnel des établissements d'enseignement postsecondaire membres	Membres individuels d'organisations	Membres individuels d'organisations, étudiants de niveau postsecondaire, gouvernements membres	Chercheurs approuvés (membres individuels d'organisations, étudiants de niveau postsecondaire, gouvernements)
Conditions	Licence ouverte de Statistique Canada	La majorité des produits font partie de la Licence ouverte de Statistique Canada. L'accès aux produits ne faisant pas partie de la licence ouverte est réservé à des fins statistiques, d'enseignement et de recherche. Veuillez consulter le module Processus de demande et lignes directrices pour obtenir de plus amples renseignements.	Confirmation d'achat entre Statistique Canada et les membres individuels d'une organisation	Entente ADTR et licence ouverte de Statistique Canada	Statut de personne réputée être employée de Statistique Canada
Données disponibles	Produits de données normalisés et publications électroniques	Produits de données normalisés, fichiers de microdonnées à grande diffusion, produits de données sur les codes postaux, etc.	Tableaux tirés de fichiers confidentiels qui font l'objet d'un traitement spécial par Statistique Canada moyennant des frais.	Fichier de microdonnées « fictives » pour différents ensembles de données administratives et d'enquête sociale, qui fournissent des extrants sous forme de tableaux statistiques.	Fichiers de microdonnées et ensembles de données administratives confidentielles
Mode d'accès	Disponibles sur Internet	Service de transfert électronique de fichiers	Totalisation personnalisée remise au client	Service de transfert électronique de fichiers	Un centre de données de recherche sécurisé

Les enquêtes et programmes statistiques n'engendrent pas tous des produits de données. Bon nombre de divisions ne créent pas de FMGD parce qu'ils sont coûteux à produire et qu'ils doivent être approuvés par le Comité de la diffusion des microdonnées (contrôle de confidentialité des microdonnées à Statistique Canada). Certaines divisions créent uniquement des tableaux standards accessibles par l'entremise du site Web de Statistique Canada et imposent des frais d'extraction pour les demandes plus approfondies (p. ex. les totalisations personnalisées). Bien que les données puissent être librement accessibles, des frais de recouvrement des coûts s'appliqueront au temps accordé par l'analyste.

Gouvernance

Comité consultatif externe

L'Initiative de démocratisation des données est orientée par son Comité consultatif externe (CCE). Le CCE est composé de représentants désignés des établissements membres de l'IDD, de Statistique Canada et d'organisations externes. Il se réunit deux fois par année. Pour la liste à jour des membres du CCE de l'IDD, consultez la section Gouvernance du site Web de l'IDD.

Comité de développement professionnel

Le Comité de développement professionnel (CDP) de l'IDD, qui relève du CCE, est responsable du développement continu d'un programme d'études en services de données pour les membres du personnel postsecondaire qui soutiennent l'IDD à leurs établissements d'enseignement. Le CDP comporte huit CRF, un représentant collégial, un président et un représentant de la section de l'IDD. Pour la liste à jour des membres du CDP, consultez la section Gouvernance du site Web de l'IDD.

Coordonnateurs régionaux de la formation

Deux coordonnateurs régionaux de la formation pour chacune des quatre régions (Canada atlantique, Québec, Ontario et Ouest canadien) et un représentant collégial font partie du CDP-IDD et ont pour responsabilités

de cerner les besoins en matière de formation dans leur région;
de communiquer ces besoins au CDP dans le but d'établir le budget qui sera accordé à la formation et à la coordination des activités de formation à l'échelle nationale;
d'organiser les activités de formation locales;
d'élaborer le programme de formation de leur région.

Personne-ressource de l'IDD

Les établissements membres désignent leur personne-ressource de l'IDD et un remplaçant. La personne-ressource de l'IDD a la responsabilité de promouvoir et de faciliter l'accès aux ressources de Statistique Canada, et de s'assurer que la licence de l'IDD est respectée. Consultez la section Gestion de votre adhésion ci-dessous pour obtenir de plus amples renseignements sur la licence de l'IDD.

Les établissements membres ont l'obligation de désigner une personne-ressource, mais la sélection d'un remplacement est facultative. La personne-ressource de l'IDD et son remplaçant doivent se familiariser avec l'IDD et les ressources de Statistique Canada afin de pouvoir aider les utilisateurs ayant des questions reliées aux données. En outre, il est recommandé que la personne-ressource de l'IDD se familiarise avec les ressources offertes sur le campus, notamment l'utilisation d'un logiciel statistique afin d'aider les utilisateurs qui ont des questions liées aux données si elle n'a pas déjà acquis ces compétences.

Consultez la rubrique Communauté d'utilisateurs pour une liste des personnes-ressources à chaque établissement membre.

Modifier une personne-ressource de l'IDD

Si la personne-ressource de l'IDD change dans votre établissement, veuillez en aviser la section Accès libre-service. Les coordonnées de la personne-ressource de l'IDD doivent être mises à jour si la personne-ressource de l'IDD actuelle s'absente pour un congé prolongé (sabbatique, congé de maternité). Assurez-vous de préciser la date à laquelle le changement sera en vigueur, le nom de la nouvelle personne-ressource, le titre de son poste, son adresse postale, son adresse de courriel, son numéro de téléphone et son numéro de télécopieur.

Gestion de votre adhésion

Gestion de votre adhésion

Lorsqu'une personne-ressource de l'IDD est identifiée, elle obtient l'accès aux ressources de l'IDD, y compris au service de transfert électronique de fichiers (TEF) et à la liste d'envoi (dlilist).

Mot de passe du service de transfert électronique de fichiers

Le site TEF de l'IDD est un référentiel utilisé pour la diffusion de la collection de l'IDD. L'utilisation du TEF est limitée aux personnes-ressources et à leurs remplaçants désignés. Chaque utilisateur du TEF doit avoir son propre code d'utilisateur et son mot de passe. Lorsqu'une nouvelle personne-ressource est identifiée, la section de l'IDD envoie les renseignements du compte TEF par courriel. Pour demander une réinitialisation du mot de passe, veuillez communiquer avec la section Accès libre-service.

dlilist

Les personnes-ressources de l'IDD utilisent le serveur de liste de l'IDD pour obtenir des renseignements sur la collection et les licences d'utilisation des données de l'IDD, et fournir des commentaires sur les produits et services de Statistique Canada.

La dlilist est un serveur de liste disponible par abonnement, ce qui signifie que seuls les utilisateurs inscrits peuvent publier ou recevoir des messages. Les messages de la liste sont envoyés à tous les utilisateurs inscrits par courriel.

La page d'accueil du serveur de liste est accessible.

Si vous tentez de vous connecter hors campus, vous devrez utiliser un RPV.

Abonnement et désabonnement
- Pour vous abonner à la dlilist, envoyez un courriel à la section Accès libre-service.
- Pour envoyer un message à la dlilist, envoyez un courriel à dlilist@idd-dli.statcan.gc.ca.
- Pour vous désabonner de la liste, envoyez un courriel vide à DLILIST-signoff-request@idd-dli.statcan.gc.ca.
Avis de non-responsabilité

La dlilist est un serveur de liste auquel l'adhésion est facultative. En utilisant ce service, vous acceptez que votre adresse électronique et que vos communications soient accessibles par les autres utilisateurs de la dlilist. Toutes les communications seront consignées dans les archives de la liste d'envoi de Statistique Canada. Les opinions exprimées dans ces communications sont celles des utilisateurs de la dlilist et ne représentent pas celles de Statistique Canada.

Archives de la dlilist

Les messages de la dlilist sont consignés et conservés dans des archives protégées et consultables auxquelles les personnes-ressources de l'IDD peuvent accéder.

2014 à aujourd'hui : archives dlilist

Renouvellement d'abonnement

L'abonnement annuel à l'IDD est valide du 1er avril au 31 mars de l'année suivante.Les abonnements à l'IDD sont renouvelés chaque année entre avril et juin.

Il incombe aux personnes-ressources de l'IDD de s'assurer que les cotisations annuelles obligatoires sont payées. Certains établissements membres confient la tâche de payer la cotisation obligatoire à un service particulier de leur bibliothèque. D'autres font envoyer les factures à la personne-ressource de l'IDD qui coordonne le paiement à l'interne. Pour modifier la personne à laquelle la confirmation d'achat et la facture doivent être envoyées, veuillez communiquer avec la section Facturation.
Apprentissage

Apprentissage

Séances de formation

L'IDD tient annuellement une séance de formation dans chacune de ses quatre régions : Canada atlantique, Québec, Ontario et Ouest canadien. Ces séances de plusieurs jours sont ouvertes à quiconque offre des services pour l'IDD. Toutefois, la priorité est accordée aux personnes-ressources de l'IDD et à leurs remplaçants. L'IDD organise une séance de formation nationale tous les quatre ans environ (généralement en conjonction avec la tenue de la conférence de l'IASSIST au Canada). Toute la communauté de l'IDD peut se rencontrer à cette occasion.

Les coordonnateurs régionaux de la formation ont la responsabilité d'organiser la formation dans chacune de leurs régions avec le soutien de la section de l'IDD. Les séances portent sur différents sujets allant des compétences de base en matière de services de données à des séances avancées donnant suite aux formations précédentes. Ces séances de formation permettent aux personnes-ressources de l'IDD d'apprendre les unes des autres et auprès des spécialistes de Statistique Canada.

Subventions de voyage

Un soutien financier pour le transport vers le lieu de la formation est offert à chacune des personnes-ressources de l'IDD ou à leur représentant pour leur permettre de participer à une séance de formation par exercice financier. Toutes les demandes de voyage doivent être approuvées par la section de l'IDD avant que les réservations ne soient effectuées. Si une personne-ressource ou son remplaçant fait une communication lors d'une séance, des fonds supplémentaires peuvent être disponibles. Pour obtenir de plus amples renseignements, consultez la section Gouvernance du site Web de l'IDD.

Initiative de formation sur la littératie des données de Statistique Canada

L'initiative de formation sur la littératie des données fournit une foule de ressources destinées à ceux qui s'initient aux données ou à ceux qui ont une certaine expérience des données, mais qui pourraient avoir besoin d'une mise à jour ou qui veulent élargir leurs connaissances. L'objectif est de fournir aux apprenants les concepts et les compétences de base sur un éventail de sujets liés à la littératie des données, y compris Que sont les données? Introduction à la terminologie et aux concepts relatifs aux données et Types de données : Comprendre et explorer les données.

Bulletin de la Division de l'accès aux données (DAD)

Le Bulletin de DAD a pour but d'informer les abonnés et les utilisateurs sur les initiatives en cours dans la division. Il fournit des mises à jour sur les projets de l'IDD et les initiatives locales liées aux données et de modernisation, de même que toutes les mises à jour sur nos autres modes d'accès aux données, comme l'ADTR et les CDR.

Les commentaires, idées et propositions d'articles sur l'IDD pour les prochains numéros du bulletin sont les bienvenus. Veuillez les envoyer à la section Accès libre-service.

Dépôt des documents de formation

Le dépôt des documents de formation de l'IDD contient les ateliers tirés des séances de formation sur l'IDD ainsi que des conférences. La section de l'IDD a la responsabilité de téléverser les présentations et les documents au dépôt après chaque séance de formation. Ces documents sont accessibles à quiconque désire les consulter et les télécharger.

Pour obtenir de plus amples renseignements sur le dépôt des documents de formation, visitez la page Web du dépôt. Pour obtenir de plus amples renseignements sur l'historique du dépôt des documents de formation, veuillez consulter la présentation intitulée Creating a Repository of Training Materials : The Canadian Experience par Jane Fry de l'université Carleton (en anglais seulement).

Data Interest Group for Reference Services (en anglais)

Le contenu diffusé par le Data Interest Group for Reference Services (groupe d'intérêt sur les données à des fins de services de référence) (DIGRS) porte principalement sur les questions et les réponses publiées depuis 2004 jusqu'à aujourd'hui sur le serveur de liste de l'IDD. Le contenu est présenté de façon conviviale et on peut extraire l'information par mot-clé, par date ou par catégorie.

Citation des données

L'importance de citer les données

Les références bibliographiques sont importantes lorsqu'on utilise les données ou les idées d'une autre personne dans son propre texte. Elles attribuent le mérite aux auteurs desquels on emprunte le contenu et permettent aux lecteurs de trouver les sources utilisées. Des renseignements supplémentaires sont disponibles ici : Comment citer les produits de Statistique Canada.

Accès

En quoi consiste la collection de l'IDD?

La collection de l'IDD se compose principalement de produits standards de Statistique Canada, y compris les FMGD, les tableaux de données agrégées et les fichiers de limites. Les collections sous licence comprennent des échantillons de fichiers de la Base de données sur les congés des patients (BDCP) de l'Institut canadien d'information sur la santé (ICIS), des produits de données sur les codes postaux de Postes Canada, et la Base de données et Modèle de simulation des politiques sociales (BD/MSPS).

Site de transfert électronique de fichiers

À propos du site

Le site de TEF de l'IDD est l'entrepôt de données de la collection de l'IDD. Pour garantir la protection absolue des fichiers de données, le service de TEF exige que chaque utilisateur ait son propre code d'utilisateur et mot de passe.

Le service de TEF prend en charge un protocole de transfert de fichiers (FTP) standard pour l'envoi et la réception des fichiers. Les personnes-ressources de l'IDD auront besoin d'une application FTP comme WS_FTP ou FileZilla pour accéder au site de TEF.

Comprendre la structure des répertoires

La collection de TEF de l'IDD contient cinq sous-répertoires, qui sont présentés dans le tableau ci-dessous. Certaines personnes-ressources de l'IDD pourraient ne pas voir tous les répertoires si leur établissement n'a pas signé pour obtenir les licences de l'IDD appropriées (p. ex. fichier de conversion des codes postaux [FCCP] ou BD/MSPS).

. Readme-Key_Lisezmoi-cle.xls énumère tous les FMGD par date, acronyme et numéro d'enregistrement de l'enquête pour faciliter la consultation des fichiers de données.

. Other-products_autres-produits.xls énumère tous les fichiers de données agrégées par date, acronyme et numéro d'enregistrement de l'enquête pour faciliter la consultation des fichiers de données.

Nom du coffre	Contenu	Licence
MAD_PUMF_FMGD_DAM	Fichier de microdonnées et métadonnées d'enquête à grande diffusion, organisés selon le numéro d'enregistrement, l'acronyme et l'année de l'enquête	Entente de licence ouverte de Statistique Canada
MAD_DLI_IDD_DAM	Rapports annuels de l'IDD, matériel de formation de l'IDD, produits de données sur CDROM, fichiers de géographie, fichiers du Recensement de la population et du Recensement de l'agriculture, fichiers de données agrégées, et autres	Entente de licence ouverte de Statistique Canada
MAD-PCCF_FCCP_DAM	Fichier de conversion des codes postaux, Fichier des codes postaux par circonscriptions électorales fédérales et Fichier de conversion des codes postaux plus.	Section I – Accès au fichier de conversion des codes postauxMO (FCCP) : Licence FCCP
MAD_CIHI_ICIS_DAM	Base de données sur les congés des patients de l'Institut canadien d'information sur la santé	Section III – Accès aux fichiers d'analyse de la base de données sur les congés des patients (BDCP) – Licence de la BDCP
MAD_SPSDM_BDMSPS_DAM	Base de données et Modèle de simulation de politique sociale	Section II – Accès à la base de données et au modèle de simulation de politique sociale (BD/MSPS) : Licence BD/MSPS

MAD_PUMF_FMGD_DAM

Chaque année d'une enquête se retrouve habituellement dans un sous-répertoire distinct. Le deuxième niveau dans le dossier d'enquête est subdivisé en données (data) et documentation (doc). On trouve également à ce niveau le fichier « lisez-moi » (« readme ») correspondant à l'enquête. Le sous-dossier/data (données) contient un fichier de données compressé. Les données peuvent prendre la forme de microdonnées au format ASCII, SPSS, STATA ou SAS. Le sous-dossier/doc (documentation) comprend les métadonnées, c'est-à-dire l'information nécessaire à l'interprétation et à la compréhension des microdonnées.

Par exemple :

/MAD_PUMF_FMGD_DAM/Root/
/3250_APS_EAPA
/1991
/2001
/2001-Children
/2006
/age-06-14
/age-15+
/data
/doc
lisezeapa2006-age-15+.txt
readaps2006-age-15+.txt
/3251_PALS_EPLA

En ce qui concerne les dossiers de l'ESG, veuillez consulter la clé TEF intitulée Readme-Key_Lisezmoi-clé.xls. Nous avons bien noté les cycles de l'ESG (la dernière colonne à droite indique les cycles connexes).

MAD_DLI_IDD_DAM

Dossiers des recensements

Les dossiers des recensements sont organisés par année de recensement. La manière dont le dossier de l'année de recensement est organisé varie d'une année à l'autre. Généralement, pour le Recensement de la population, les dossiers pour une année de recensement sont organisés soit par type de données (p. ex. b2020, FMGD) soit par sujet (p. ex. main-d'œuvre, revenu). Pour le Recensement de l'agriculture, l'organisation des dossiers peut varier en fonction des types de données (p. ex. Excel), de la géographie (p. ex. petite zone, région agricole), ou des données et de la documentation. La façon la plus rapide de trouver un fichier de recensement consiste parfois à envoyer un courriel au serveur de liste pour demander où il se trouve.

Dossier de géographie

Le dossier de géographie est d'abord subdivisé par année de recensement. Le niveau secondaire désigne le type d'information souhaitée. Ainsi un utilisateur peut chercher des cartes de référence, des fichiers de limites, ou des produits particuliers. Le fichier lisez-moi est un outil essentiel pour naviguer dans le dossier.

Dossier des rapports

Le dossier des rapports contient des documents qui présentent un intérêt particulier pour les personnes-ressources de l'IDD, notamment le rapport semestriel du CCE, les bulletins de l'IDD, et les procès-verbaux des réunions du CCE et du CDP. De plus, les utilisateurs peuvent y trouver les images du nouvel identificateur graphique de l'IDD.

Dossier Other-Autres (tableaux de données, produits sur CD-ROM)

Le dossier Autres fournit une liste de produits de données supplémentaires organisés selon le numéro d'enregistrement ou de catalogue de l'enquête, et l'acronyme correspondant à l'enquête ou au produit. L'équipe de l'IDD a commencé à utiliser cette convention nominale pour conserver l'espace dans le serveur et harmoniser les deux langues officielles. De plus, les utilisateurs qui souhaitent obtenir des précisions sur les numéros d'enregistrement ou les acronymes sont invités à utiliser le classeur Excel enregistré dans le dossier (other-products_autres-produits.xls). Les fonctions du classeur sont essentielles pour mieux comprendre la nomenclature. Les produits CD-ROM qui se trouvent dans ce dossier sont en format compressé et peuvent être téléchargés. L'utilisateur aura parfois besoin de télécharger le contenu du CD-ROM, puis de décompresser les fichiers et de les graver sur un CD-ROM (cela sera indiqué dans le fichier lisez-moi). Bon nombre de produits ont des structures exclusives inhabituelles et doivent par conséquent être exécutés à partir d'un CD plutôt que téléchargés sur un disque dur.

MAD_CIHI_ICIS_DAM

Le coffre de l'ICIS comprend des fichiers d'échantillon de la Base de données sur les congés des patients (BDCP). Les données de 2009 à aujourd'hui sont actuellement accessibles dans des sous-dossiers clairement identifiés.

MAD_PCCF_FCCP_DAM

Le coffre du FCCP est initialement divisé selon l'année de recensement. Le second niveau de division indique le produit de données des codes postaux :

PCCF (dossier : pccf-fccp)
Fichier des codes postaux par circonscriptions électorales fédérales (dossier : pcfrf-fcpcef)
Fichier de conversion des codes postaux plus (dossier : pccf-fccp-plus)

Dans chaque sous-dossier, un fichier lisez-moi fournit une description du produit et un résumé des changements apportés au produit (p. ex. depuis juin 2013, le FCCP est offert uniquement en tant que progiciel standard pour le Canada [il n'est plus offert au niveau des provinces] et est mis à jour et diffusé sur une base annuelle [précédemment diffusé deux fois l'an]). Le fichier lisez-moi indique également le titre du produit (p. ex. FCCP pour août 2015), la date de diffusion (p. ex. 12 février 2016), la fréquence de diffusion et le répertoire.

MAD_SPSDM_BDMSPS_DAM

En 2016, la section de l'IDD a créé le coffre BD/MSPS. Les sous-dossiers sont identifiés par version, chacun contenant ses propres fichiers d'installation et instructions. Veuillez consulter les fichiers lisez-moi intégrés dans chacun des dossiers pour obtenir plus d'information.

Convention nominale

Les fichiers qui se trouvent sur le site de TEF suivent une convention nominale similaire. À leur réception en provenance de la division de l'auteur, on renomme les fichiers conformément à la convention nominale de l'IDD. Par conséquent, le nom d'un fichier produit par une division spécialisée peut différer de celui du fichier conservé sur le site TEF de l'IDD.

Les fichiers sont d'abord désignés par l'acronyme de l'enquête suivi par l'année ou le cycle de l'enquête et enfin par le type du document.

Documents et leurs extensions

Si un fichier est mis à jour ou remplacé par la division spécialisée, une extension supplémentaire est ajoutée pour spécifier le numéro de la version.

Guide de l'utilisateur de l'Enquête sur l'utilisation d'Internet à la maison de 2003 : euim2003gid.pdf
Questionnaire pour l'Enquête sur les dépenses des ménages de 2009 : edm2009que.pdf

Fichiers lisez-moi

Le fichier lisez-moi est un guide de référence rapide pour le site de TEF de l'IDD. Dans un dossier (enquête, recensement, géographie, etc.), le fichier lisez-moi fournit un aperçu du contenu de tout le dossier. Cela comprend non seulement les noms de fichiers, mais aussi les titres au long, ce qui permet aux utilisateurs d'identifier le fichier qu'ils recherchent. Pour les FMGD, le fichier lisez-moi indique aussi la taille et la longueur du fichier de données afin de pouvoir vérifier rapidement si le transfert complet a bien été effectué du site TEF à l'ordinateur de l'utilisateur.

Extraction de fichiers à partir du site TEF

En utilisant un logiciel FTP spécialisé, accédez au site TEF de l'IDD et ouvrez une session. Le nom de l'hôte, le code d'utilisateur et le mot de passe sont fournis par la section de l'IDD.

Lorsque vous aurez trouvé les fichiers que vous voulez télécharger, sélectionnez-les et transférez-les sur votre ordinateur. Assurez-vous de préciser le dossier de réception sur votre ordinateur avant de commencer le transfert.

Aussi, réglez le mode de transfert selon le type de fichier que vous transférez. Il est préférable de régler le mode de transfert à auto de façon à ce que le programme sélectionne automatiquement le mode de transfert approprié selon l'extension du fichier. En règle générale, tous les fichiers doivent être téléchargés en mode binaire sauf les fichiers portant les extensions suivantes : .txt, .sps, .sas et .dat.

Une fois que vous avez téléchargé les fichiers de données, il faut les décompresser (dézipper) si nécessaire. Si la documentation est compressée, elle devra être décompressée.

Si vous éprouvez des difficultés, veuillez communiquer avec la section Accès libre-service.

Demandes de données non trouvées dans la collection de l'IDD

Si vous identifiez un produit qui devrait selon vous faire partie de la collection de l'IDD, veuillez soumettre votre demande sur la dlilist.