Publications
Série de documents de recherche de l'Étude longitudinale et internationale sur les adultes
Utilisation des mesures directes des compétences du Programme pour l'évaluation internationale des compétences des adultes dans l'Étude longitudinale et internationale des adultes
Utilisation des mesures directes des compétences du Programme pour l'évaluation internationale des compétences des adultes dans l'Étude longitudinale et internationale des adultes
Consulter la version la plus récente.
Information archivée dans le Web
L’information dont il est indiqué qu’elle est archivée est fournie à des fins de référence, de recherche ou de tenue de documents. Elle n’est pas assujettie aux normes Web du gouvernement du Canada et elle n’a pas été modifiée ou mise à jour depuis son archivage. Pour obtenir cette information dans un autre format, veuillez communiquer avec nous.
- Introduction
- Partie I : Mesures directes des compétences du PEICA dans l'ELIA
- Partie II : Mesures directes des compétences dans l’ELIA en comparaison du PEICA
- Conclusion
- Références
- Annexe A : Exemple de code SAS utilisé pour obtenir les valeurs plausibles
- Notes
Introduction
Dans le présent article, nous expliquons l’utilisation des mesures directes des compétences du Programme pour l’évaluation internationale des compétences des adultes (PEICA) qui sont disponibles dans les données de l’Étude longitudinale et internationale des adultes (ELIA).
Les mesures directes des compétences du PEICA sont disponibles dans les données de l’ELIA parce que les activités de collecte des deux enquêtes étaient coordonnées. Les mesures directes des compétences du PEICA sont incluses dans un ensemble de dix valeurs plausibles (VP) pour chacun des trois domaines mesurés par le PEICA : la littératie, la numératie et la résolution de problèmes dans un environnement hautement technologique (RP-EHT).
La première partie de l’étude décrit et démontre l’utilisation des VP pour obtenir des estimations au niveau du groupe et des estimations de l’erreur type. La seconde partie de l’étude compare les estimations de l’ELIA à celles du PEICA pour évaluer les différences, puisque seulement un sous-ensemble des répondants au PEICA est inclus dans l’ELIA.
Partie I : Mesures directes des compétences du PEICA dans l'ELIA
Le test du PEICA visait à couvrir un grand volume de contenu en peu de temps. En conséquence, les répondants n’ont pas tous été invités à répondre à l’ensemble des questions du test à l’occasion de l’évaluation directe. « La conception du test du PEICA était fondée sur une variante de l’échantillonnage matriciel (au moyen de différents ensembles de questions, d’essais adaptatifs stratifiés et de différents modes d’évaluation) dans laquelle on a présenté à chaque répondant un sous-ensemble de questions extraits de la banque de questions complète. » [traduction] (Organisation de coopération et de développement économiques [OCDE], 2013b, p. 408)
Les réponses au sous-ensemble de questions de test sont combinées avec d’autres renseignements généraux (fournis par le répondant) et avec les paramètres du modèle pour produire un ensemble de dix valeurs plausibles (VP). On peut ensuite utiliser ces VP pour produire des estimations au niveau du groupe des valeurs de compétence en littératie, en numératie et en RP-EHT.
Wu et Adams (2002) décrivent les valeurs plausibles ainsi :
- Pour décrire le plus simplement possible les valeurs plausibles, disons que les valeurs plausibles sont une représentation de la plage des compétences qu’un étudiant peut raisonnablement maîtriser. (...). Plutôt que d’estimer directement la compétence θ d’un étudiant, (...), on estime une plage de valeurs potentielles pour une compétence θ d’un étudiant, avec une probabilité associée pour chacune des valeurs. Les valeurs plausibles sont des tirages aléatoires extraits de cette distribution (estimée) pour une compétence θ d’un étudiant. [traduction]
Il est possible d’utiliser un ensemble unique de valeurs plausibles pendant l’exploration des données; cependant, pour obtenir la meilleure estimation de la statistique et saisir correctement la variabilité au sein des valeurs de compétence, il faut utiliser les dix ensembles de valeurs plausibles en suivant les instructions trouvées dans la documentation de l’OCDE.
La documentation de l’OCDE (2013b, chapitre 18.3) recommande les étapes suivantes pour calculer une estimation T des valeurs de compétence θ en utilisant des VP, et pour calculer une estimation de la variance de T :
- Au moyen du premier vecteur de valeurs plausibles pour chaque répondant, évaluer T comme si les valeurs plausibles étaient les valeurs réelles de θ. Désigner le résultat par T1.
- De la même manière qu’à l’étape 1, évaluer la variance d’échantillonnage de T, ou Var(T1), par rapport aux premiers vecteurs de valeurs plausibles des répondants. Désigner le résultat par Var1.
- Exécuter les étapes 1 et 2 pour le reste des dix vecteurs de valeurs plausibles, ce qui donnera Tu et Varu pour u=2, . . .,10.
- La meilleure estimation de T qui peut être obtenue à partir des valeurs plausibles correspond à la moyenne des dix valeurs obtenues au moyen des différents ensembles de valeurs plausibles :
- L’estimation de la variance de T est la somme de deux composantes : l’estimation de Var(Tu) obtenue comme à l’étape 4, et la variance au niveau des Tu :
La première composante de Var(T.) rend compte de l’incertitude attribuable à l’échantillonnage de la population, et la seconde, de l’incertitude découlant du fait que les valeurs des compétences des répondants θ sont seulement indirectement observées... (p. 457)
Compétences en littératie dans l’ELIA
En suivant ces étapes recommandées dans la documentation de l’OCDE (2013b), on obtient la moyenne estimée des valeurs de compétence en littératie illustrée ci-dessous. On notera que la statistique calculée au moyen d’une seule valeur plausible est une bonne approximation de la meilleure estimation calculée au moyen des dix valeurs plausibles; cependant, la variance de l’estimation est sous-estimée avec une seule valeur plausible, puisque la variabilité correspondant à l’incertitude de la compétence des répondants n’est pas prise en compte.
Étapes 1 à 3 : Calculer la statistique pour chacun des dix ensembles de valeurs plausibles, puis calculer l’estimation de la variance pour chaque statistique au moyen de poids bootstrap. Le Tableau 1 démontre les résultats. L’Annexe A présente le code SAS utilisé pour obtenir les valeurs du tableau ci-dessous.
Ensemble de valeurs plausibles i | Ti | Variance de Ti |
---|---|---|
1 | 272,2 | 0,40 |
2 | 271,3 | 0,38 |
3 | 271,9 | 0,38 |
4 | 271,7 | 0,41 |
5 | 272,0 | 0,41 |
6 | 271,9 | 0,39 |
7 | 272,0 | 0,38 |
8 | 272,2 | 0,37 |
9 | 271,7 | 0,38 |
10 | 272,0 | 0,39 |
Source : Les calculs de l’auteur basés sur les données de l’Étude longitudinale et internationale des adultes. |
Étape 4 : Calculer la meilleure estimation :
Étape 5 : Calculer l’estimation de la variance de T. :
Compétences en numératie dans l’ELIA
Les compétences en numératie sont calculées selon une méthode similaire à celle employée pour les compétences en littératie. Les estimations de la valeur de compétence moyenne en numératie sont illustrées ci-dessous.
Étapes 1 à 3 : Calculer la statistique pour chacun des dix ensembles de valeurs plausibles. Le Tableau 2 démontre les résultats.
Ensemble de valeurs plausibles i | Ti | Variance de Ti |
---|---|---|
1 | 264,0 | 0,48 |
2 | 262,8 | 0,48 |
3 | 263,2 | 0,49 |
4 | 263,3 | 0,49 |
5 | 263,6 | 0,48 |
6 | 263,3 | 0,49 |
7 | 263,7 | 0,45 |
8 | 262,9 | 0,46 |
9 | 263,6 | 0,47 |
10 | 263,4 | 0,48 |
Source : Les calculs de l’auteur basés sur les données de l’Étude longitudinale et internationale des adultes. |
Étape 4 : Calculer la meilleure estimation :
Étape 5 : Calculer l’estimation de la variance de T. :
Compétences en RP-EHT dans l’ELIA
Le traitement des valeurs de compétence en RP-EHT nécessite des considérations supplémentaires, en comparaison du traitement des valeurs de compétence en littératie et en numératie, parce qu’un groupe de répondants n’a pas participé à l’évaluation de la RP-EHT. L’évaluation de la RP-EHT n’était pas exécutée si la personne ne possédait pas de compétences suffisantes en informatique, ou si la personne avait choisi de répondre à la version « papier et crayon » de l’évaluation, ou si la personne n’avait pas exécuté l’évaluation sur ordinateur pour des motifs de littératie. Par conséquent, il existe des valeurs manquantes pour les valeurs de compétence en RP-EHT qui ne peuvent pas être corrigées par imputation ni par pondération, puisque les caractéristiques des personnes associées sont différentes de celles des personnes qui ont réalisé l’évaluation.
Statistique Canada (2013, p. 19) recommande deux approches pour communiquer le volume des valeurs manquantes :
- Indiquer la proportion de la population avec une valeur de compétence lorsque l’on diffuse des statistiques calculées pour les valeurs de compétence en RP-EHT.
- Indiquer la proportion avec des valeurs manquantes lorsque l’on diffuse la distribution complète de la population par niveaux de compétence.
L’exemple ci-dessous illustre le calcul de la proportion de la population pour les différents niveaux de compétenceNote 1 de la RP-EHT.
Étapes 1 à 3 : Calculer la statistique pour chacun des dix ensembles de valeurs plausibles. Le Tableau 3 démontre les résultats.
Ensemble de valeurs plausibles i | Ti, sous le niveau 1 | Variance de Ti, sous le niveau 1 | Ti, niveau 1 | Variance de Ti, niveau 1 | Ti, niveau 2 | Variance de Ti, niveau 2 | Ti, niveau 3 | Variance de Ti, niveau 3 |
---|---|---|---|---|---|---|---|---|
1 | 0,157 | 0,000026 | 0,308 | 0,000043 | 0,288 | 0,000037 | 0,064 | 0,000012 |
2 | 0,155 | 0,000024 | 0,309 | 0,000041 | 0,283 | 0,000034 | 0,071 | 0,000013 |
3 | 0,162 | 0,000025 | 0,296 | 0,000036 | 0,289 | 0,000036 | 0,070 | 0,000012 |
4 | 0,159 | 0,000026 | 0,303 | 0,000041 | 0,289 | 0,000037 | 0,066 | 0,000012 |
5 | 0,156 | 0,000024 | 0,309 | 0,000043 | 0,279 | 0,000035 | 0,073 | 0,000013 |
6 | 0,155 | 0,000026 | 0,307 | 0,000044 | 0,287 | 0,000043 | 0,068 | 0,000012 |
7 | 0,157 | 0,000027 | 0,300 | 0,000039 | 0,295 | 0,000039 | 0,065 | 0,000012 |
8 | 0,158 | 0,000025 | 0,303 | 0,000040 | 0,284 | 0,000036 | 0,072 | 0,000012 |
9 | 0,159 | 0,000026 | 0,300 | 0,000040 | 0,295 | 0,000037 | 0,064 | 0,000010 |
10 | 0,163 | 0,000025 | 0,299 | 0,000042 | 0,285 | 0,000038 | 0,070 | 0,000012 |
RP-EHT : Résolution de problèmes dans un environnement hautement technologique Source : Les calculs de l’auteur basés sur les données de l’Étude longitudinale et internationale des adultes. |
Étape 4 : Calculer la meilleure estimation. Le Tableau 4 contient les résultats.
Le niveau de compétence en RP-EHT | La proportion de la population |
---|---|
T., sous le niveau 1 | 0,158 |
T., niveau 1 | 0,303 |
T., niveau 2 | 0,288 |
T., niveau 3 | 0,068 |
RP-EHT : Résolution de problèmes dans un environnement hautement technologique Source : Les calculs de l’auteur basés sur les données de l’Étude longitudinale et internationale des adultes. |
Étape 5 : Calculer l’estimation de la variance de T. . Le Tableau 4 démontre les résultats.
Le niveau de compétence en RP-EHT | Variance de T. | Écart type de T. |
---|---|---|
T., sous le niveau 1 | 0,000034 | 0,0058 |
T., niveau 1 | 0,000065 | 0,0081 |
T., niveau 2 | 0,000064 | 0,0080 |
T., niveau 3 | 0,000024 | 0,0049 |
RP-EHT : Résolution de problèmes dans un environnement hautement technologique Source : Les calculs de l’auteur basés sur les données de l’Étude longitudinale et internationale des adultes. |
Les valeurs de compétence en RP-EHT manquantes sont directement observées, contrairement aux valeurs de compétence qui sont indirectement observées. Par conséquent, les estimations liées à la population non compétente en RP-EHT peuvent être calculées seulement au moyen d’un ensemble unique de valeurs plausibles, plutôt que les dix ensembles, puisqu’il n’y a aucune incertitude relative au fait que la valeur de compétence en RP-EHT n’est pas disponible. La proportion sans valeur de compétence en RP-EHT est 0,183, et son erreur type est 0,0054.
Partie II : Mesures directes des compétences dans l’ELIA en comparaison du PEICA
L’ELIA comportait un sous-échantillon de répondants du PEICA. L’échantillon du PEICA couvrait toutes les provinces et tous les territoires au Canada; il comportait des échantillons supplémentaires pour les jeunes, les minorités de langue officielle, les immigrants, les Métis et les Autochtones dans certaines provinces sélectionnées. Le nombre final de répondants obtenu dans le PEICA s’élevait à 27 285.
Le sous-échantillon de répondants du PEICA sélectionnés pour l’ELIA a été déterminé au moyen d’un échantillonnage systématique de l’échantillon du PEICA, à l’exclusion des échantillons supplémentaires et des ménages échantillonnés dans les territoires. De plus, pour considérer un répondant du PEICA dans l’ELIA, un répondant du PEICA devait répondre au questionnaire jusqu’au point où une note d’évaluation pouvait lui être attribuée (on trouvera une explication plus détaillée dans la Boîte 1). Le nombre final de répondants du PEICA dans l’ELIA ayant obtenu une note d’évaluation du PEICA est 8 598. Les pays participant au PEICA ont été demandés de présenter un minimum de 5 000 cas; donc, le volume du sous-échantillon de l’ELIA est aussi large que l’échantillon entier du PEICA de plusieurs autres pays.
L’avantage du recours à l’ELIA plutôt qu’au PEICA réside dans la disponibilité de variables supplémentaires et de données administratives qui permettent d’analyser les notes de compétence. Cependant, la plus petite taille de l’échantillon de l’ELIA en comparaison des résultats du PEICA donne lieu à une variabilité plus élevée des estimations, et donc également à tests de signification statistique moins puissants. Les estimations de notes en littératie sont présentées ci-dessous pour donner une idée des estimations de l’ELIA en comparaison de celles du PEICA. On peut s’attendre à ce que les estimations de notes en numératie et en RP-EHT se comportent de façon similaire.
Le Tableau 6 illustre les estimations des notes de compétence moyennes en littératie par groupe d’âge calculées au moyen des données de l’ELIA, en comparaison des données du PEICA. L’erreur type est plus importante d’environ 20 % pour les estimations de l’ELIA en comparaison de celles du PEICA.Note 2 Néanmoins, les estimations moyennes de la littératie de l’ELIA sont fiables et correspondent bien aux classements relatifs observés pour les estimations du PEICA.
Groupe d’âge | Littératie | |||||
---|---|---|---|---|---|---|
ELIA | PEICA | |||||
Moyenne | Écart type | Coefficient de variation | Moyenne | Écart type | Coefficient de variation | |
% | % | |||||
16 à 24 ans | 273,1 | 1,9 | 0,7 | 275,9 | 1,3 | 0,5 |
25 à 34 ans | 284,6 | 1,7 | 0,6 | 285,2 | 1,3 | 0,4 |
35 à 44 ans | 278,5 | 1,7 | 0,6 | 279,7 | 1,4 | 0,5 |
45 à 54 ans | 265,2 | 1,7 | 0,6 | 268,0 | 1,3 | 0,5 |
55 à 65 ans | 259,5 | 1,5 | 0,6 | 260,4 | 1,1 | 0,4 |
Total, 16 à 65 ans | 271,9 | 0,7 | 0,3 | 273,6 | 0,6 | 0,2 |
ELIA : Étude longitudinale et internationale des adultes PEICA : Programme pour l’évaluation internationale des compétences des adultes Source : Les calculs de l’auteur basés sur les données de l’Étude longitudinale et internationale des adultes et les données du Programme pour l’évaluation internationale des compétences des adultes. |
Le Tableau 7 présente la distribution des résultats en littératie par niveau de compétence selon le groupe d’âge. Comme on pouvait s’y attendre en raison de la plus petite taille de l’échantillon de l’ELIA, en comparaison de l’échantillon du PEICA, les coefficients de variation des estimations dans l’ELIA sont plus élevés et, dans certains cas, peu fiables. Néanmoins, la proportion estimée des personnes pour la plupart des niveaux est fiable, et les classements relatifs entre les niveaux correspondent à ce que l’on observe dans les données du PEICA.
Groupe d’âge | Niveau de littératie | ELIA | PEICA | ||||
---|---|---|---|---|---|---|---|
Proportion | Écart type | Coefficient de variation | Proportion | Écart type | Coefficient de variation | ||
% | |||||||
16 à 24 ans | Sous niveau 1 | 3,1Note E: à utiliser avec prudence | 0,8 | 26,1 | 2,6Note E: à utiliser avec prudence | 0,5 | 19,0 |
Niveau 1 | 12,3 | 1,4 | 11,3 | 10,7 | 0,9 | 8,4 | |
Niveau 2 | 33,4 | 2,1 | 6,4 | 32,9 | 1,7 | 5,1 | |
Niveau 3 | 40,1 | 2,0 | 4,9 | 41,9 | 1,5 | 3,6 | |
Niveau 4 | 10,7 | 1,4 | 13,4 | 11,4 | 1,0 | 8,7 | |
Niveau 5 | F | F | 52,3 | F | F | 40,6 | |
25 à 34 ans | Sous niveau 1 | 2,3Note E: à utiliser avec prudence | 0,7 | 30,9 | 1,9Note E: à utiliser avec prudence | 0,4 | 20,5 |
Niveau 1 | 9,6 | 1,2 | 12,3 | 9,2 | 0,9 | 9,6 | |
Niveau 2 | 27,7 | 1,8 | 6,4 | 28,7 | 1,7 | 5,8 | |
Niveau 3 | 40,8 | 2,0 | 4,9 | 40,1 | 2,1 | 5,1 | |
Niveau 4 | 18,2 | 1,5 | 8,2 | 18,3 | 1,4 | 7,5 | |
Niveau 5 | F | F | 38,0 | 1,7Note E: à utiliser avec prudence | 0,5 | 27,1 | |
35 à 44 ans | Sous niveau 1 | 3,0Note E: à utiliser avec prudence | 0,6 | 20,4 | 3,3 | 0,5 | 15,8 |
Niveau 1 | 11,7 | 1,3 | 11,4 | 11,0 | 1,0 | 9,1 | |
Niveau 2 | 29,0 | 1,8 | 6,1 | 28,1 | 1,5 | 5,2 | |
Niveau 3 | 40,6 | 1,8 | 4,3 | 40,9 | 1,3 | 3,1 | |
Niveau 4 | 14,5 | 1,3 | 8,8 | 15,3 | 1,1 | 6,9 | |
Niveau 5 | F | F | 37,5 | 1,4Note E: à utiliser avec prudence | 0,4 | 28,9 | |
45 à 54 ans | Sous niveau 1 | 5,8 | 0,8 | 14,4 | 5,2 | 0,6 | 12,1 |
Niveau 1 | 15,5 | 1,4 | 9,1 | 14,6 | 0,9 | 6,1 | |
Niveau 2 | 33,7 | 1,9 | 5,5 | 33,0 | 1,3 | 4,0 | |
Niveau 3 | 33,1 | 1,8 | 5,5 | 34,5 | 1,4 | 3,9 | |
Niveau 4 | 11,1 | 0,9 | 8,3 | 11,8 | 0,9 | 7,5 | |
Niveau 5 | F | F | 42,6 | 0,8Note E: à utiliser avec prudence | 0,2 | 26,2 | |
55 à 65 ans | Sous niveau 1 | 5,3 | 0,6 | 12,2 | 5,7 | 0,6 | 9,8 |
Niveau 1 | 17,8 | 1,1 | 6,2 | 17,1 | 0,9 | 5,4 | |
Niveau 2 | 38,0 | 1,6 | 4,2 | 37,0 | 1,3 | 3,4 | |
Niveau 3 | 31,4 | 1,5 | 4,7 | 32,1 | 1,1 | 3,4 | |
Niveau 4 | 7,2 | 0,9 | 12,4 | 7,8 | 0,8 | 10,6 | |
Niveau 5 | F | F | 58,7 | F | F | 48,9 | |
Total, 16 à 65 ans | Sous niveau 1 | 4,0 | 0,3 | 8,1 | 3,8 | 0,2 | 6,3 |
Niveau 1 | 13,5 | 0,7 | 5,0 | 12,6 | 0,5 | 3,6 | |
Niveau 2 | 32,4 | 0,8 | 2,6 | 32,0 | 0,7 | 2,1 | |
Niveau 3 | 37,0 | 0,9 | 2,4 | 37,7 | 0,7 | 1,8 | |
Niveau 4 | 12,3 | 0,5 | 4,1 | 12,9 | 0,5 | 3,8 | |
Niveau 5 | 0,8Note E: à utiliser avec prudence | 0,2 | 18,5 | 1,0 | 0,1 | 14,8 | |
F trop peu fiable pour être publié E à utiliser avec prudence ELIA : Étude longitudinale et internationale des adultes PEICA : Programme pour l’évaluation internationale des compétences des adultes Source : Les calculs de l’auteur basés sur les données de l’Étude longitudinale et internationale des adultes et les données du Programme pour l’évaluation internationale des compétences des adultes. |
Le Tableau 8 présente les résultats d’un modèle de régression simple des résultats en littératie par groupes d’âge. Le résultat en littératie est la variable dépendante, tandis que les variables indépendantes sont les variables indicatrices pour les groupes d’âge (le groupe d’âge 16-24 étant le groupe de référence). La formule de régression suivante a été utilisée :
L’ordonnée à l’origine représente le résultat moyen pour le groupe d’âge 16-24 et comporte la même valeur que celle observée au Tableau 6. Les estimations des coefficients sont similaires pour les deux modèles. Les erreurs types associées aux estimations sont plus élevées pour les données de l’ELIA en comparaison de celles du PEICA; néanmoins, le modèle fondé sur l’ELIA et le modèle fondé sur le PEICA sont tous deux en mesure de cerner les différences statistiques entre les groupes d’âge.
ELIA | PEICA | |||||||||
---|---|---|---|---|---|---|---|---|---|---|
Estimation | Variance | Écart type | t | valeur p | Estimation | Variance | Écart type | t | valeur p | |
a: Ordonnée à l’origine | 273,1 | 3,7 | 1,9 | 142,2 | <,0001 | 275,9 | 1,6 | 1,3 | 216,5 | <,0001 |
b1: Âge(25 à 34 ans) | 11,5 | 6,7 | 2,6 | 4,4 | <,0001 | 9,4 | 3,3 | 1,8 | 5,1 | <,0001 |
b2: Âge(35 à 44 ans) | 5,4 | 7,0 | 2,7 | 2,0 | 0,0439 | 3,8 | 3,8 | 1,9 | 2,0 | 0,0514 |
b3: Âge(45 à 54 ans) | -8,0 | 7,2 | 2,7 | -3,0 | 0,0030 | -7,9 | 2,8 | 1,7 | -4,7 | <,0001 |
b4: Âge(55 à 65 ans) | -13,6 | 6,1 | 2,5 | -5,5 | <,0001 | -15,5 | 2,7 | 1,7 | -9,4 | <,0001 |
ELIA : Étude longitudinale et internationale des adultes PEICA : Programme pour l’évaluation internationale des compétences des adultes Source : Les calculs de l’auteur basés sur les données de l’Étude longitudinale et internationale des adultes et les données du Programme pour l’évaluation internationale des compétences des adultes. |
Boîte 1 : Traitement de la non-réponse en matière de littératie dans l’ELIA
La non-réponse en matière de littératie dans le sous-échantillon du PEICA sélectionné pour l’ELIA est traitée différemment que dans l’échantillon complet du PEICA. La documentation de l’OCDE (2013a, p. 74) explique la non-réponse en matière de littératie comme résultante du fait que certains adultes « n’ont pas réussi à remplir le questionnaire de base parce qu’ils ne savaient pas parler ou lire la langue de l’évaluation, avaient des difficultés à lire ou à écrire, ou souffraient de difficultés d’apprentissage ou de troubles mentaux ». [traduction]
Les enregistrements de non-réponse en matière de littératie ne comportent aucun score d’évaluation et contiennent seulement un minimum de renseignements généraux. De plus, les membres de ce groupe sont plus susceptibles de présenter de faibles niveaux de compétence. Par conséquent, le PEICA ne corrige pas les cas de non-réponse en matière de littératie en rajustant les poids, comme il le fait pour les autres types de non-réponse. Ces enregistrements sont plutôt conservés dans l’ensemble de données avec des poids non nuls et des valeurs manquantes pour les variables. Cette approche permet aux utilisateurs des données de mesurer la taille de la non-réponse en matière de littératie et de faire les ajustements qu’ils jugent appropriés.
Par contre, l’ELIA traite la non-réponse en matière de littératie comme les autres types de non-réponse, c’est-à-dire en rajustant les poids. Par conséquent, les non-répondants en matière de littératie dans le sous-échantillon du PEICA sélectionné pour l’ELIA comportent des poids PEICA nuls, puisque les poids associés aux autres répondants du PEICA sont ajustés pour prendre en compte la non-réponse.
Le traitement différent de la non-réponse en matière de littératie dans l’ELIA était fondé sur les éléments suivants :
- Seulement 0,9 % de la population pondérée du PEICA dans les dix provinces était des non-répondants en matière de littératie; ce faible chiffre limite ainsi les écarts résultant des différences de traitement de la non-réponse en matière de littératie.
- La majorité des non-répondants en matière de littératie étaient aussi des non-répondants aux questions de l’ELIA. En supposant que les utilisateurs des données utiliseront toujours les variables de l’ELIA en conjonction avec les scores d’évaluation (autrement, l’ensemble de données complet du PEICA constituerait une meilleure source de données), les valeurs manquantes dans les variables de l’ELIA limitent la capacité d’un utilisateur des données d’apporter les ajustements nécessaires aux cas de non-réponse en matière de littératie.
- La plupart des utilisateurs des données excluraient les enregistrements de non-réponse en matière de littératie de leur analyse s’ils étaient présents dans l’ensemble de données. En réalité, cette approche traite la non-réponse comme étant manquante entièrement au hasard. Le traitement de la non-réponse en matière de littératie au moyen d’un ajustement des poids donne lieu à des estimations comparativement moins biaisées, puisque la relation avec les variables de pondération et de calibration est prise en compte.
Les répercussions des différences de traitement de la non-réponse en matière de littératie sur les notes moyennes en littératie et en numératie sont illustrées dans la documentation de l’OCDE (2013a, p. 69). Elles indiquent que l’exclusion complète des non-répondants en matière de littératie produit une limite supérieure pour les notes de compétence estimées pour la littératie et la numératie, tandis qu’un score supposé de 85 points constitue une limite inférieure raisonnable. En utilisant ces deux approches, l’OCDE (2013a) estime que, pour le Canada, les deux traitements de la non-réponse en matière de littératie comportent une différence de 1,7 pour la note moyenne en littératie et de 1,6 pour la note moyenne en numératie.
Conclusion
L’article illustre l’utilisation des mesures directes de la littératie, de la numératie et de la RP-EHT dans l’ELIA et offre un aperçu de comparaison avec les estimations produites à partir de l’ensemble de données du PEICA. Nous formulons les conclusions suivantes :
- L’exploration des données peut être fondée sur un ensemble unique de valeurs plausibles (les estimations de la variance se faisant au moyen de poids bootstrap). Cette approche produira des estimations ponctuelles fiables, mais sous-estimera l’erreur type puisque la variabilité résultant de l’observation indirecte des notes de compétence n’est pas prise en compte.
- Les meilleures estimations et les estimations finales devraient être fondées sur les dix ensembles de valeurs plausibles, en respectant la procédure décrite dans la documentation de l’OCDE (2013b).
- L’analyse des notes de compétence au moyen des données de l’ELIA doit aussi utiliser les variables disponibles dans l’ELIA, mais non dans le PEICA; autrement, il faut plutôt utiliser l’ensemble de données du PEICA, puisque la plus grande taille de l’échantillon permet d’obtenir des estimations plus précises.
- Les estimations des notes de compétence de l’ELIA ne peuvent pas être comparées directement aux estimations publiées du PEICA en raison du traitement différent de la non-réponse en matière de littératie et des couvertures géographiques différentes. Néanmoins, il est possible d’obtenir des estimations fiables à partir des données de l’ELIA; de plus, les classements relatifs des estimations de compétence pour les sous-groupes et les conclusions qui en sont tirées devraient être similaires à celles dérivées de l’ensemble de données complet du PEICA.
Références
Organisation de coopération et de développement économiques. (2013a). Perspectives de l'OCDE sur les compétences 2013: Premiers résultats de l'Evaluation des compétences des adultes.
Organisation de coopération et de développement économiques. (2013b). Technical Report of the Survey of Adult Skills (PIAAC).
Statistique Canada. (2014). LISA, 2012 : Guide de démarrage rapide. Ottawa, ON : Statistique Canada.
Statistique Canada. (2013). Guide de l’utilisateur : Programme pour l’évaluation internationale des compétences des adultes, 2012. Ottawa, ON : Statistique Canada.
Wu, M.L., et Adams, R. J. (2002). Plausible Values: Why they are important. Article présenté à l’occasion du colloque du International Objective Measurement Workshop, Nouvelle-Orléans, LA.
Annexe A : Exemple de code SAS utilisé pour obtenir les valeurs plausibles
/***********************************************************************************************
Le code ci-dessous se sert du programme BOOTVAR v3.2 afin de créer des estimations de la moyenne des valeurs de compétence en littératie et de l’erreur type de l’estimation de chacune des dix valeurs plausibles.
***********************************************************************************************/
libname mylib "{directory}"; /* Cette partie permet d’indiquer le répertoire personnel.*/
/*Cette partie permet d’enregistrer les données de la première vague de l’ELIA.*/
%LET datafid = '{directory}\LISA_MASTER_2011.txt';
data mylib.lisa_w1;
%include '{directory}\LISA_MASTER_2011_i.SAS';
%include '{directory}\LISA_MASTER_2011_lbe.SAS';
if IRPW_FLG = 1; /* Cette partie permet de garder uniquement les répondants EIA.*/
keep PersonID IRPW PVLIT1-PVLIT10 dummy; /* Cette partie permet de garder uniquement les variables nécessaires.*/
dummy=1; /* Cette partie permet de créer les variables nominales pour le dénominateur du calcul du rapport.*/
run;
/* Cette partie permet d’obtenir les poids bootstrap des répondants au PEICA (IRPW).*/
%LET datafid = "{directory}\LISA_MASTER_2011_BOOTSTRAP_irpw_w1.txt";
data mylib.lisa_bsw;
%include "{directory}\LISA_MASTER_2011_BOOTSTRAP_irpw_w1_i.sas";
run;
/* Cette partie permet d’ajouter les poids finals au fichier de la pondération bootstrap puisqu’ils sont nécessaires pour le programme BOOTVAR.*/
data mylib.lisa_bsw2;
merge mylib.lisa_bsw (IN=a) mylib.lisa_w1(keep=personid irpw);
by personid;
if a;
run;
/************************************************************************************************
******************** DÉBUT DE GABARIT FOURNIT PAR LE LOGICIEL BOOTVAR *************************** ************************************************************************************************/
************************************************************************************
** VEUILLEZ INDIQUER LE NOM DES 2 RÉPERTOIRES SUIVANTS (répertoires seulement): **
************************************************************************************;
libname in1 "{directory}";
libname out "{directory}";
************************************************************************************
** VEUILLEZ INDIQUER LE NOM DES 2 RÉPERTOIRES SUIVANTS (répertoires seulement): **
************************************************************************************;
%let Mfile = in1.lisa_w1;
******************************************************************************
** VEUILLEZ INDIQUER LE NOM DU FICHIER CONTENANT LES POIDS BOOTSTRAP: ** *************************************************************************;
libname in2 "{directory}";
%let bsamp=in2.lisa_bsw2;
*************************************************************************************************
** VEUILLEZ SPÉCIFIER LA(LES) VARIABLE(S) DE VENTILATION, SI DÉSIRÉ (EX: PROVINCE, SEXE, ETC...):
** Écrire le nom de la(des) variable(s) de ventilation ci-dessous. **
** **
** - Si l'analyse est faite pour l'ensemble des données incluses dans le fichier créé à **
** l'étape 1, mettre un point (%let classes =. ) **
** - Si plus d'une variable, laisser un espace entre chacune (%let classes = var1 var2) **
** - NE PAS EFFACER OU METTRE EN COMMENTAIRE CETTE COMMANDE. **
************************************************************************************************;
%let classes = .;
******************************************************************************************
** VEUILLEZ INDIQUER L'INFORMATION SUIVANTE (SPÉCIFIQUE À L'ENQUETE QUE VOUS UTILISEZ): **
** Vous devez spécifier: **
** 1- La(les) variable(s) d'identification unique (séparées par un espace) **
** 2- La variable de poids final, incluse dans le fichier de poids bootstrap **
** 3- Le préfixe des variables de poids bootstrap **
** 4- Le paramètre du bootstrap moyen (égal à 1 pour le bootstrap régulier) **
** 5- Le nombre de poids bootstrap à utiliser (note: Pour les tests, il faut **
** que B >= 2. IL EST NÉCESSAIRE D'UTILISER TOUS LES POIDS BOOTSTRAP AU **
** MOMENT D'EFFECTUER LES ANALYSES FINALES.) **
** **
** - Se référer AnnexeC pour obtenir ces informations **
******************************************************************************************;
%let ident = personid;
%let fwgt = IRPW;
%let bsw = BSIRPW;
%let R = 1;
%let B = 1000;
*********************************************************************************
** VEUILLEZ SPÉCIFIER LE RÉPERTOIRE ET LE NOM DU FICHIER DU PROGRAMME DE MACRO **
** (LE PROGRAMME MACROF_V32.SAS SI L'USAGER N'A PAS FAIT DE MODIFICATIONS) **
*********************************************************************************;
%include "{directory}\SASBootvar_v32_20110704\MACROE_V32.SAS";
/*****************************************************************************/
/*** PARTIE 2 ***/
/*****************************************************************************/
/*** ***/
/*** Cette partie permet à l'utilisateur de spécifier les différentes ***/
/*** analyses désirées ***/
/*** ***/
/*****************************************************************************/
* POUR OBTENIR L'ESTIMATION DE LA VARIANCE D'UN RATIO, EXÉCUTER:
---------------------------------------------------------------;
%ratio(PVLIT1, dummy);
%ratio(PVLIT2, dummy);
%ratio(PVLIT3, dummy);
%ratio(PVLIT4, dummy);
%ratio(PVLIT5, dummy);
%ratio(PVLIT6, dummy);
%ratio(PVLIT7, dummy);
%ratio(PVLIT8, dummy);
%ratio(PVLIT9, dummy);
%ratio(PVLIT10, dummy);
%output; /* Affiche les résultats à l'écran. Ne pas modifier... */
/************************************************************************************************
******************** FIN DE GABARIT GABARIT FOURNIT PAR LE LOGICIEL BOOTVAR *********************
************************************************************************************************/
Notes
- Date de modification :