Un blog sur l'éducation dans les pays du Sud – A blog on education in the developing countries

31 janvier 2014

Prise en compte des facteurs sociodémographiques dans les analyses PISA

Filed under: Uncategorized — Étiquettes : , , , — aichasidi @ 18 h 35 min

Par Aïcha SIDI & Pierre VARLY

Introduction

Le programme PISA suscite de nombreux articles dans la presse, analyses secondaires et papiers scientifiques. Comme nous y encourage cet article, intéressons nous aux facteurs contextuels qui peuvent expliquer les résultats des différents pays. Au départ un projet conçu pour les pays de l’OCDE (économies développées), le programme PISA s’est étendu à des pays en développement à travers les programmes PISA+ et PISA for development.

Si le cadre d’analyse des politiques éducatives mesuré par PISA est bien défini et explique une partie des résultats des élèves, peut-il être répliqué dans les pays en développement ? A la suite du travail réalisé par la société Varlyproject sur la modélisation des différences de taux d’achèvement du primaire (et résultats à des tests), le cadre d’analyse PISA a été quelque peu complété par l’introduction d’indicateurs socio-économiques. Voir Outils de benchmarking pour la scolarisation primaire universelle

Les variables macro utilisées dans le programme PISA sont renseignées à travers une collecte de données sur le fonctionnement des systèmes éducatifs et à partir des questionnaires adressés aux chefs d’établissement et se focalisent sur la centralisation (processus de décision), l’autonomie et les types d’évaluation en particulier. Le but de l’OCDE est de faire ressortir les bonnes pratiques en termes de politiques éducatives. Le revenu par habitant, les taux de scolarisation et quelques autres indicateurs complètent ce cadre d’analyse qui est décrit ici.

Des  effets différents des variables mesurées par PISA selon les pays

Certains auteurs ont appliqué ce cadre d’analyse en distinguant des groupes de pays. L’étude d’Hanushek , Link, et Woessmann (2013) est basée sur des données en panel de 2000 à 2009 concerne 42 pays classés selon leur revenu. L’indice d’autonomie scolaire a été calculé en mesurant la capacité de décision des chefs d’établissement dans différents domaines. L’augmentation de l’autonomie des écoles, en particulier dans la décision concernant le contenu académique, a un impact négatif sur les acquis scolaires dans les pays à faible revenu. Mais, dans les pays à revenus élevés, une plus grande autonomie sur le contenu académique, personnel et budgétaire a un impact positif sur la réussite des élèves.

Hanushek et Ludger (2005) ont trouvé que le regroupement précoce par niveau (au primaire) augmente les inégalités dans l’éducation (au secondaire). Globalement les pays où les inégalités scolaires sont élevées peinent à améliorer les résultats des élèves. Ainsi, Jens Henrik Haahr & al (2005) recommandent de regrouper les élèves de niveaux moyens avec les élèves de niveau plus faible, afin de réduire les inégalités scolaires.

La variété des situations socioéconomiques

65 pays ont participé aux enquêtes PISA 2009-2012. Comme le clame, l’OCDE 80% de l’économie mondiale est couverte mais des continents entiers et des pays à large population ne participent que partiellement comme l’Inde (quelques Etats) et la Chine (Shangaï). Seules l’Ile Maurice et la Tunisie participent sur le continent africain et l’océan indien. Ainsi, en termes de population couverte l’enquête de l’OCDE ne donne qu’une vision restreinte des compétences des jeunes de 15 ans.

Carte des pays participant aux enquêtes PISA

pisa countries

Source : Auteurs et Daniel Dalet pour le fond de carte

Malgré ces limites, les pays participant sont très divers tant sur le plan géographique, culturel que sur le plan de l’organisation du système éducatif, avec un niveau économique relativement proche.

Lors des travaux similaires que nous avions réalisé sur l’enseignement primaire qui se focalisaient sur les pays à bas et moyen revenus (en gros tous les pays en gris sur la carte), nous avions pu mettre en évidence que les pays fortement centralisés et ayant fait partie du bloc soviétique avaient atteint la scolarisation universelle et avaient donc sur ce point de meilleures performances que les autres. Comparés à des pays aux économies développées et en prenant comme variable d’étude cette fois la qualité des acquis de l’enseignement secondaire, qu’en est-il ?

Justification du choix des variables et construction d’un jeu de données

Pour pouvoir caractériser la situation des différents pays, en partant de la littérature, mais également sur la base d’une réflexion propre, nous avons constitué une base d’indicateurs contextuels. Les données ont été calculées en moyenne sur cinq ans afin de caractériser la situation des enfants sur la tranche d’âge 11-15 ans, de la sortie de l’enseignement primaire à l’âge du test PISA. Pour certains indicateurs tels que le taux de fécondité et le taux de chômage nous avons choisi la tranche d’âge 15-19 ans (perspectives des jeunes).

Nous avons pris en compte les facteurs contextuels qui ont un impact non négligeable sur l’éducation selon SIDI (2012). Nous y avons ajouté le taux de fertilité des adolescents qui est le nombre de naissances pour mille jeunes filles âgées de 15 à 19 ans. Cet indicateur peut être un facteur d’abandon scolaire mais également le signe d’un manque d’accès aux services de planning familiaux et d’avortement, de mariage précoce et plus généralement est liée au statut de la femme. De nombreuses études ont montré un lien entre qualité de l’éducation et comportement des femmes en terme de naissances.

Le fait de parler la langue d’enseignement -et donc du test- à la maison est un des facteurs clés pouvant expliquer les différences de résultats. Si l’enquête PISA collecte cette information, cela ne concerne que les enfants à l’école. Cette information peut être obtenue par les recensements et enquêtes ménage sur l’ensemble de la population, mais il n’existe pas de statistiques internationales comparables. Nous avons donc opté pour un proxy, la diversité linguistique mesurée par la Société Internationale de Linguistique (Sil).

Les analyses ont été menées sur les données PISA 2009 et variables contextuelles 2005-2009 et sur les données PISA 2012 et variables 2008-2012. Les deux analyses ayant donné des résultats très proches seuls ceux de 2012 sont présentés. Toutes les variables ont un taux de réponse supérieur à 70%. Le taux de femmes enseignantes, la taille de classe, le taux de redoublement et la proportion de dépenses dans l’éducation ont un taux de réponse de moins de 80%. Les imputations des valeurs manquantes ont été faites par la moyenne en distinguant les pays OCDE des autres.

Les pays d’Europe Centrale et d’Asie Centrale membres de l’OCDE ont été ajoutés au groupe des pays dits industrialisés, les autres inclus dans une région appelée CIES. Pour le reste, la classification est essentiellement basée sur la position géographique.

Eléments de comparaison

En dehors de la situation du revenu par habitant, les pays industrialisés se singularisent par la relative forte proportion d’élèves dans l’enseignement technique et la part de la population ayant accès à Internet. Les pays Arabes par la faible part d’enseignement technique, la part élevée de l’enseignement privé et une plus forte croissance démographique. L’Asie par un ratio élèves par enseignant plus élevé, un plus haut niveau de dépenses dans l’éducation et une plus grande propension à grouper les élèves par niveau (ability grouping). Les pays d’Europe et d’Asie Centrale par une plus grande proportion de femmes enseignants (fortement corrélé avec le taux de scolarisation du primaire), de moindres taux de redoublement, une faible proportion d’enseignement privé, pas de croissance démographique, des taux de chômage des jeunes (15-19 ans) plus élevés et une faible décentralisation du processus de recrutement des enseignants. Enfin, l’Amérique Latine se caractérise par une faible diversité linguistique, des indicateurs de fécondité des femmes de 15-19 ans élevés et par une moindre publication des résultats d’évaluations.

Les liens vers les données brutes, définition des indicateurs et documents de référence pour les indicateurs PISA sont fournis dans le tableau ci-dessous.

Caractéristiques des régions* avec min et max en gras calculées sur la période 2008-2012 pour les pays participant à PISA et PISA +

Nom variable Variable/Region Arab states Asia Europe and Central Asia Industralised countries Latin America & Caribbean
Female Proportion of female teachers (%) 57.2 57.4 73 61 58.8
Ptr pupil teacher ratio 12.5 16.5 10.8 11.6 16
Repet repetition rate (%) 5.8 3.5 1.8 3.8 5.8
Gross Gross enrollment in secondary (%) 92.9 83.4 93.2 107.6 87.8
Techniq Techniq Technical and vocationnal program percentagein secondary education (%) 4.4 9 21.8 26.1 12.2
expend Expenditure in education as share of government expenditure (%) 15.3 18.1 13 12.8 17.7
sec_expend Share of secondary education expenditure 38.3 31.6 37.8 40.3 31.7
GDP GDP per capita 30,761 23,549 13,190 33,165 12,792
Internet %Internet users 52.1 45.8 49.5 77 40.3
private Share of private enrolment (%) 29.8 27.2 4.4 16.4 22.2
Pop Population size 28,258,654 200,030,906 17,725,618 35,185,114 34,803,700
popgroxth Annual population growth (%) 6.1 1.4 0 0.8 1.1
Language Language diversity 0.5 0.5 0.4 0.3 0.2
male_unemp male unemp (%) 15-19 years old 12.3 12.4 22.6 17.2 13.6
fertility Adolescent fertility (°/00) 18.5 20.8 23.1 12.8 64
Transparenc Transparency (%) 56.3 44.6 44 72.9 43.6
Ability_group Ability grouping (%) 21.4 42.6 36.5 32.4 28.5
publicly Achievement data are posted publicly (%) 32.6 46.1 52.8 40 29.8
Tests Tests or assessments of student achievement   (%) 88.8 93.5 82.5 74.9 78.8
Autor_track  Achievement data are tracked over time by an administrative authority (%) 85.7 80.5 77.6 68.1 82
Tea_select Selecting teachers for hire by regional or local education authority (%) 33.8 31.7 13.7 28.4 35.7
Textbook Choosing which textbooks are used by regional or local education authority (%) 23.4 8.7 4.4 9.4 12.1

* L’Afrique subsaharienne ne comptant que l’Ile Maurice n’est pas présentée.

L’examen des  corrélations entre différentes variables et le score PISA (en maths) montre que les deux variables les plus corrélées avec le score sont : l’accès à Internet (0,71) et le taux de fertilité des femmes 15-19 ans (-0,66) loin devant le revenu par habitant (0,50). Pour le reste et sans rentrer dans les détails, beaucoup de variables sont corrélées entre elles, ce qui suppose l’usage de techniques adaptées pour la modélisation. Ainsi, l’accès à Internet est fortement lié au revenu par habitant. On notera que les variables de politiques éducatives PISA sont relativement peu corrélées avec les variables socioéconomiques. De plus, la corrélation n’est pas synonyme de causalité. En outre, le revenu par habitant (comme d’autres variables) est à la fois le résultat et la cause de la qualité de l’éducation.

Représentation des variables

Pour pouvoir interpréter plus facilement les effets des différentes variables, celles-ci sont regroupées en facteurs, grâce à une analyse en composantes principales (ACP). L’ACP groupe les variables en deux axes : un axe horizontal reflétant le niveau de développement et la qualité de l’éducation et un second axe (vertical) lié  aux conditions démographiques, au niveau de dépenses en éducation et certains paramètres de politiques éducatives comme la part du privé. Ainsi les variables PISA se répartissent le long de cet axe vertical. Ce plan représente à 44.9% de l’inertie totale, les variables PISA étant considéré comme des variables supplémentaires.

Dix pays n’ont pas participés à PISA 2012. Pour les représenter dans le premier plan factoriel, nous avons donc juste tenu compte de leur coordonnées dans le premier plan factoriel sur toutes les autres variables, à l’exception du score PISA. Notons également que les différentes ACP réalisées (sans le score, sans le taux de fertilité, sans les variables PISA) ne modifient pas radicalement la position des variables et des pays. Sur le graphique  qui représente les variables, comme attendu, le taux de fécondité est opposé à la qualité de l’éducation appréhendée par le score PISA en maths.

Représentation des variables dans le premier plan principal

variable1

Représentation des pays

L’ACP permet aussi de représenter les pays dans le plan constitué par les variables. De manière très nette, les pays d’une même zone tendent à se regrouper.

pays

Par exemple, au sein de la région CIES, les pays d’Asie Centrale (en bas à gauche) se distinguent des pays d’Europe Centrale (en bas à droite). Pour l’analyse des données de cette région, nous renvoyons à cette publication de l’UNICEF. Le Vietnam de son part son héritage politique est proche des pays d’Asie Centrale, ce qui tient en partie au faible développement de l’enseignement privé.

Les pays d’Amérique Centrale et des Caraïbes se regroupent à gauche tandis que les pays industrialisés se retrouvent à droite. Les situations des pays Arabes et d’Asie sont très hétérogènes. Les pays d’Asie Centrale occupent une position opposée à celle des pays industrialisés, à savoir une plus faible qualité de l’éducation et niveau de développement et des variables démographiques et éducatives inverses. Dans ce cas, il faut s’interroger sur la pertinence de vouloir répliquer les politiques éducatives du Nord dans ces pays vu les différences importantes de contexte sociodémographique. A tout le moins, cela donne des indications sur certaines orientations politiques permettant d’obtenir de meilleurs résultats scolaires, quitte à prendre les pays industrialisés comme modèles.

Quantifier l’effet des variables contextuelles

Dans l’optique de distinguer l’effet des variables de politique éducative de celui des facteurs contextuels nous allons utiliser la régression PLS. Plutôt que de considérer l’effet individuel d’une variable sur le score PISA et d’en déduire une mesure de politique immédiate, nous préférons considérer que les variables sont la manifestation d’un comportement ou d’un trait latent qui ne peut pas être forcément défini explicitement à partir de l’indicateur. Par exemple, plutôt que de considérer que de donner plus de latitude aux régions ou aux écoles pour recruter des enseignants va mécaniquement augmenter le score PISA, nous considérons que le fait de donner plus d’autonomie est une variable manifeste de la capacité d’un Etat à décentraliser l’éducation, à mener à bien des réformes et à gouverner. Mais dans la plupart des études PISA, ce raisonnement en variables manifestes et comportements latents est relativement marginal et les résultats trop directement interprétés en termes de politiques éducatives.

Ainsi, lorsqu’on indique que le taux de fécondité est opposé à la qualité de l’éducation, on ne dit pas que réduire ce taux va augmenter le score. On l’interprète avantage en disant que cela reflète le statut de la femme et les opportunités/difficultés des jeunes filles qui peuvent avoir un lien avec la qualité de l’éducation. D’ailleurs, la proportion de femmes enseignantes est également un indicateur de statut de la femme très corrélé aux taux d’achèvement du primaire dans les pays en développement.

Ainsi, avant de tirer des conclusions parfois hâtives sur la conduite à tenir, modélisons les variables par bloc de facteurs. Les variables sont regroupés par bloc caractérisant un comportement ou un thème particulier. La terminologie propre à PISA (school ressources, school selection et PISA indicators) a été conservé telle quelle.

Variables ayant un effet sur le score PISA

La part de variance expliquée (R²) est de 0,79, avec le seul GDP le R² vaut 0,25. Notre modèle explique bien la variance des scores de math. Les variables significatives sont présentées dans le tableau ci-dessous.

Schéma d’analyse des données macro PISA (régression des moindres carrés partielles)

pls

Le graphique suivant indique la contribution à l’explication de la variance de chacun des blocs de variables.

result pls

Le revenu par habitant (GDP) est prépondérant. Globalement, les variables du cadre d’analyse PISA existant contribuent fortement à l’explication de la variance tandis que les variables démographiques et de développement contribuent peu. Lorsque l’on introduit les facteurs socio économiques, les variables du cadre d’analyse PISA restent significatives. La part de l’enseignement technique, de l’enseignement privé, le pourcentage de femmes enseignantes, le ratio élèves enseignant et le taux de redoublement le sont également. D’autres variables explicatives peuvent être envisagées comme la consommation de drogue et d’alcool chez les adolescents, mesurée dans plus de 40 pays européens, voir ici.

Conclusion

Plusieurs analyses secondaires menées par des économistes ont montré un certain danger à vouloir répliquer les mesures de politique induites par les résultats PISA dans les pays en développement. En effet, les effets des variables différentes selon les groupes de revenu. Si le programme PISA devait se développer dans les pays à bas revenus et en Afrique (comme TIMSS et PIRLS qui peinent à le faire), davantage d’attention devrait être apportée à la variété linguistique, à la situation de la femme mais également à la capacité des Etats à mener des réformes dans l’éducation avant d’interpréter les scores. La problématique de la décentralisation et de l’autonomie des établissements n’est pas la même en Finlande qu’au Cameroun où l’on parle 280 langues. Une meilleure prise en compte des contextes permettrait déjà de mieux faire accepter les résultats des enquêtes par les autorités politiques.

Les résultats de nos analyses ne remettent pas en cause les cadres d’analyse utilisés jusque là. Elles permettent d’établir de manière relativement nette des comportements homogènes au sein des régions. Ainsi, les pays d’Asie Centrale et d’Europe de l’Est (CIES) se sont penchés sur la question de la qualité de l’éducation au sein d’instances politiques régionales, sous l’impulsion de l’UNICEF.

Bien que le caractère scientifique des études PISA ne saurait être remis en cause, la stratégie de communication qui consiste principalement à produire des classements parfois brutaux, se doit d’être sensiblement revue si le programme veut s’étendre aux pays en développement. Si le leadership technique de l’OCDE, avec son armée d’experts et de statisticiens, a été très utile dans le développement de l’évaluation des acquis scolaires, sa capacité à coopérer avec les pays en développement semble limitée. Sur un plan politique, d’autres organisations se doivent de prendre le relais. Le récent rapport de suivi de l’UNESCO qui traite de la question des acquis des apprentissages reste encore trop focalisé sur un cadre d’analyse très classique insistant sur la formation des enseignants par exemple. Les questions de gestion de l’éducation et la possibilité que la faible qualité de l’éducation soit une politique délibérée de maintien des populations dans l’ignorance et la pauvreté doivent être mieux traitées.

Pour aller plus loin:

Nous vous suggérons la lecture de l’ouvrage suivant paru en 2013:  PISA, Power, and Policy the emergence of global educational governance, Edited by HEINZ-DIETER MEYER & AARON BENAVOT, Oxford Studies in Comparative education. Notamment le papierde Marlaine Lockheed. Causes and Consequences of International Assessments in Developing Countries

Publicités

23 novembre 2012

Outils de benchmarking pour la scolarisation primaire universelle


Par Aicha Sidi, Pierre Varly

Ce post est tiré du projet de fin d’études : Identification des facteurs macro et micro qui influencent la qualité de l’éducation (Structural Equation Modelling, Partial Least Square), réalisé par Aïcha Sidi pour l’obtention du diplôme d’ingénieur en statistiques de l’INSEA, Rabat. Le rapport complet est disponible RAPPORT DE STAGE-10 juin.

Introduction

En 2002, suite au Forum de Dakar sur l’Education pour Tous tenu en 2000, est créée l’initiative Fast Track rebaptisée Partenariat Mondial pour l’Education en 2009. Cette initiative multilatérale vise à mettre les pays sur la voie de la scolarisation universelle par l’élaboration de plans sectoriels, une meilleure coordination de l’aide au niveau international et local et de plus grands financements, pour résumer.

Le 21 novembre 2012, le Partenariat Mondial pour l’Education a publié un rapport de résultats qui présente les évolutions des pays pauvres participants au GPE et les autres (dits éligibles) et fait le bilan de dix années d’intervention. Le chapitre 4, rédigé par votre serviteur, montre des problèmes de qualité des apprentissages considérables et fait des propositions pour mieux prendre en considération les résultats des études sur les acquis dans les politiques éducatives. Le chapitre 3 se focalise sur les taux de scolarisation et d’achèvement et propose un historique des indicateurs ainsi que des prévisions basées sur des projections démographiques.

Parallèlement, un projet de fin d’études de l’école de statistiques de Rabat (INSEA), réalisé de février à juin 2012 par Aïcha Sidi, actuellement chargée d’études statistiques  à Varlyproject, s’est attelé à la modélisation des taux d’achèvement et des données sur les acquisitions scolaires et accessoirement à la mesure de l’impact du Partenariat Mondial pour l’Education sur les dits taux. L’objectif est d’également de faire ressortir les paramètres de politique éducative qui concourent à de plus grands résultats scolaires. Y a-t-il une sorte de modèle universel à suivre pour parvenir à scolariser tous les enfants ou des solutions idoines et strictement nationales doivent-elles êtres trouvées ?

Le cadre indicatif Fast Track, un outil incontournable

Dès 2003, le secrétariat Fast Track (rebaptisé GPE) a proposé un ensemble d’indicateurs de benchmarking pour parvenir à la scolarisation primaire universelle. Ces indicateurs ont été identifiés grâce à l’analyse des trajectoires des pays en développement qui ont su atteindre la scolarisation primaire universelle ces dernières années.

Dans le cas des pays en développement qui nous intéresse, ces analyses ont été conduites en 2003 dans le rapport : A chance for every child, rédigé par Barbara Bruns, Alain Mingat et Ramahatra Rakotomalala, pour le compte de la Banque Mondiale. Sur 55 pays de plus d’un millions d’habitants, huit sont identifiés comme ayant atteint la scolarisation primaire universelle (SPU) (plus de 90% des enfants achèvent le cycle primaire) dont quatre pays d’Europe de l’Est et quatre pays d’Asie Centrale (Albanie, Azerbaïdjan, Bolivie, Indonésie, Kyrgyzstan, Ouzbékistan, Vietnam et Zimbabwe). Or ces pays sont exclus des analyses comme l’indique une note de bas de page que nous jugeons utile de reproduire ici :

“Four of the eight countries in the sample that met the criterion were countries in Eastern Europe and Central Asia. Given the unique institutional legacy of these countries, it would bias the analysis of success factors if these countries retained this weight in the successful group.”

L’argument présenté sous un angle scientifique tient davantage à des raisons politiques (héritage institutionnel). On cherche à éviter à tout prix à présenter les pays ayant appartenu au bloc soviétique comme des modèles. Rappelons que ce rapport est financé par la Banque Mondiale. Ainsi, l’étude retient 10 pays ayant atteint un « succès relatif » soit un taux d’achèvement supérieur à 70%.

Le rapport identifie des indicateurs déterminants qui forgent le cadre indicatif, appelé initialement Benchmarks for Primary Education Efficiency and Quality:

  • Le ratio élève enseignant
  • Le salaire des enseignants
  • Le redoublement
  • Les dépenses d’éducation primaire

Mais aussi :

  • La part des dépenses courantes du primaire (hors salaires)
  • Le coût unitaire de constructions scolaires
  • % d’élèves dans le privé

Le cadre ainsi formé fait sens. Un pays qui aurait des effectifs pléthoriques dans des salles de classe, un redoublement élevé et de faibles dépenses d’éducation ne peut tout simplement pas parvenir à scolariser tous ses enfants. La relation entre redoublement et abandon symbolisée par le graphique suivant est très nette.

Taux de redoublement et d’abandon par pays

Sur un plan empirique, il est intéressant de tester ce cadre indicatif sur de nouvelles données, voir de chercher à l’étoffer. Les conditions posées par ce cadre sont-elles nécessaires et suffisantes pour instruire une politique éducative aboutissant aux résultats escomptés ?

Surtout, il faut réintroduire les pays pauvres ayant atteint la scolarisation primaire universelle, injustement supprimés des analyses, ce qui peut élargir les perspectives.

Le taux d’achèvement : une fin en soi ?

Les pays ayant permis à l’ensemble d’une classe d’âge d’atteindre la fin du cycle primaire n’ont pas pour autant réalisés les objectifs de l’Education pour Tous, qui stipule que l’éducation doit être de qualité. Si des objectifs chiffrés peuvent être facilement établis en matière de taux d’achèvement, la notion de qualité se prête mal à la mesure, à moins de la réduire à des concepts tels que la qualité des acquisitions scolaires et la capacité de l’éducation à générer des revenus et de la croissance (efficacité externe).

Les études sur les acquis scolaires se sont multipliées ces dernières années avec l’introduction de nouveaux outils de mesure des compétences fondamentales en lecture et en calcul qui ont créé une sorte d’émulation entre programmes internationaux de mesure. Les chiffres, qui concernent parfois des échantillons de faible taille il est vrai, font apparaître des écarts considérables entre niveaux scolaires des pays du Sud et du Nord. On estime ainsi, à partir des données des enquêtes internationales SACMEQ et TIMSS mises sur une même échelle, qu’un élève de 2ème année des pays du Nord a un niveau équivalent à un élève de 6ème année dans les pays du Sud. Voir GPE (2012) p.116

Plus concrètement, ces difficultés énormes se traduisent par une proportion très importante d’élèves non lecteurs (75%), incapables de lire à haute voix le moindre mot dans leur propre langue. Bien que l’étude des plans sectoriels et des rapports des revues conjointes rassemblant gouvernements et partenaires techniques et financiers montre que davantage de données sur la qualité de l’éducation sont produites et utilisées, les politiques restent parfois sourds et aveugles face à ces constats. A l’instar de leurs lecteurs muets.

Il n’est pas possible de parvenir à scolariser tous les élèves dans de telles conditions de médiocrité de l’enseignement. Les parents qui constatent que leurs enfants ne savent pas lire et n’apprennent rien peuvent décider de les retirer de l’école. La demande sociale est donc impactée par la faible qualité de l’éducation. Or, à moins de recourir à la scolarisation forcée, qui a pu être un levier dans certains pays, sans demande sociale la scolarisation primaire universelle ne peut être atteinte. Jusqu’à une date récente, le cadre indicatif Fast Track et son dérivé, le Results Framework du Partenariat Mondial pour l’Education ne contenait que très peu d’indicateurs sur la qualité, à l’exception du temps d’enseignement effectif.

Depuis, le Result Framework, sans cesse en révision,  contient des indicateurs tels que :

  • Le % d’élèves sachant lire en 2ème année
  • Le % d’élèves ayant acquis les compétences de base en fin de cycle
  • Le nombre de manuels scolaires par élève.

Mais il a fallu attendre quasiment 2009 pour que ces indicateurs soient inclus dans les dispositifs internationaux et 2012 pour que l’UNESCO publie des données sur les manuels scolaires en Afrique.

Ces résultats interpellent. Faut-il changer son fusil d’épaule, mettre un frein temporairement à l’explosion des effectifs scolaires, pour garantir un minimum de qualité des enseignements à tous avant de reprendre la scolarisation de masse à vocation universelle ? La question mérite d’être posée car on assiste à une fuite en avant de la politique du chiffre sur laquelle et les gouvernements et les organisations internationales peuvent communiquer. Malgré les prévisions relativement optimistes du GPE, les courbes des taux d’achèvement montrent des signes d’essoufflement dans certains pays (Togo, Cameroun, Côte d’Ivoire par exemple), qui peuvent être attribués à des mauvaises conditions d’enseignement et notamment les grèves à répétition.

Evolution prévue des taux d’achèvement par groupe de pays

Source : GPE 2012

Les prévisions montrent clairement que la scolarisation primaire universelle ne sera pas atteinte en 2015 ni même en 2020. Ces prévisions se basent sur des modèles démographiques que l’on ne cherche pas à remettre en cause mais à compléter par une autre méthode. L’idée n’est pas de prévoir les taux futurs mais d’identifier les pays pauvres qui parviennent à de bons taux, décrire les politiques qu’ils suivent et de fournir un modèle qui estime un taux d’achèvement possible à conditions données.

Un manque de données révélateur

Les pays ont reçu des incitations mais également des appuis techniques et financiers pour produire de meilleures données et depuis 2000 les informations s’améliorent largement que ce soit au niveau des chiffres des effectifs scolaires qu’au niveau des résultats scolaires des élèves. Cependant, les données ne sont pas toujours diffusées, par manque de transparence parfois, il faut le dire, ou tout simplement pas produites lorsque le pays traverse une crise (et que l’administration centrale n’est pas « maître » du territoire).

Les pays qui fournissent le moins de données sont souvent ceux qui cumulent les difficultés politiques et institutionnelles ou qui souffrent de problèmes de gouvernance. Ce lien est attesté par la corrélation entre indice de corruption (Transparency International) et taux de réponse aux enquêtes internationales. Les pays participant au Partenariat Mondial pour l’Education fournissent plus de données que les autres et participent davantage aux enquêtes internationales sur les acquis scolaires. Il s’agit là d’un premier effet positif du Partenariat.

Les trois pays qui fournissent le moins de données (Corée du Nord, Somalie et Zimbabwe) souffrent de problèmes de gouvernance très importants, qui suggère un lien de causalité entre fourniture des données et gouvernance. Bien que cela puisse paraitre évident, cette relation entre gouvernance et fourniture des données peut introduire des biais dans l’analyse, en excluant des pays ayant des caractéristiques particulières (biais de sélection). Mais ici contrairement au travail réalisé en 2003 lors de l’élaboration du cadre indicatif, il ne s’agit pas d’une exclusion a priori pour des motifs autres que scientifiques.

De plus, il a fallu procéder à certaines imputations de données manquantes pour combler certains trous et il n’a pas été possible de faire une analyse fine de l’évolution dans le temps des taux d’achèvement ni obtenir de données comparables sur les acquis sur un échantillon suffisant de pays.

Le champ des analyses

Le but de cette étude est de faire ressortir les variables qui ont un impact sur la qualité de formation du capital humain. Ce travail n’est pas une répétition des nombreuses études qui traitent de la relation éducation-croissance notamment les travaux de Hanushek&Kimko(2000), Lee&Barro (2001) et  Altinok (2010) mais aussi de Doudjidingao (2011) sur l’Afrique. En effet, ces travaux, qui ne parviennent pas à stabiliser un modèle et qui se contredisent parfois, mélangent pays en développement et pays développés, pris comme modèles. Cela semble une erreur de raisonnement que de vouloir comparer la Finlande avec le Cameroun, car en dehors des différences économiques, il existe des contraintes liées à la variété des situations socio linguistiques. On parle 280 langues au Cameroun, la croissance démographique est forte et bien supérieure à celle de la Finlande et les pays connaissent des situations très différentes, tant et si bien qu’on peut s’interroger sur la pertinence de la réplication des analyses et des politiques.

Nous nous sommes cantonnés donc à un échantillon de pays des tranches de revenus inférieurs et moyennes inférieurs (lower middle income) ainsi que certains pays de la tranche moyenne supérieure (upper middle income) qui soit, font partie des zones géographiques d’intérêt, soit semblaient avoir des systèmes éducatifs particuliers : Botswana, Maurice, Namibie, Afrique du Sud, Jordanie, Tunisie, Thaïlande, Gabon, Maldives, Equateur, Albanie, Azerbaïdjan, Cuba et Lettonie.

Autant le dire tout de suite, les modèles mis en œuvre sur les pays des tranches de revenus supérieurs, qui ne sont pas dans cette liste, ne semblent pas bien marcher, mais les modèles expliquent et prédisent bien les taux d’achèvement des pays de notre base.

Nous pouvons avoir un premier aperçu des performances de chaque pays dans l’éducation à travers cette carte qui montre les taux d’achèvement :

Carte des taux d’achèvement

Source : Edstats, accédé en juin 2012

Les pays de l’Afrique de l’ouest et d’Afrique Centrale, pour la plus part francophones, sont dans la plus basse catégorie du taux d’achèvement, c’est-à-dire moins de 71%. Les pays de l’Afrique anglophone sont mieux classés.

L’introduction de facteurs socioculturels agissant sur la qualité de l’éducation

Nous allons en plus des variables évoquées dans la littérature, tenir compte des réalités démographiques et culturelles, afin de voir leur impact dans la réalisation d’une bonne qualité de l’éducation.

Au niveau macro, en dehors du cadre indicatif mentionné plus haut, plusieurs facteurs ont déjà été identifiés par la littérature comme étant nécessaires à une bonne qualité d’éducation primaire. Il s’agit du produit Intérieur Brut (PIB) par habitant et le taux d’alphabétisation des adultes. Ces deux indicateurs participent largement à l’explication du taux d’achèvement car ils sont liés par des rapports de causalité. Un meilleur revenu par habitant permet de fournir une plus grande éducation et le taux d’alphabétisation découle des taux de scolarisation passés (auquel il faut ajouter les campagnes d’alphabétisation). Le taux d’alphabétisation constitue ainsi une sorte de point de départ ou de score initial.

En plus de cette liste de facteurs, nous avons jugé bon d’ajouter un indice de mesure de la diversité linguistique qui peut être un frein à la qualité de l’éducation. En effet, si les élèves d’une même classe ne partagent pas la même langue maternelle, il leur sera impossible de leur inculqué des notions dans la langue qu’ils comprennent le plus (leur langue maternelle). Il serait aussi difficile à l’Etat de permettre l’enseignement primaire dans les langues nationales quand elles sont nombreuses.

Nous pouvons aussi considérer le taux d’internautes comme proxy de l’accès à l’information ; plusieurs sites Internet facilitent non seulement l’épanouissement des jeunes mais aussi des apprentissages de diverses sortes. Nous pensons donc que cette variable peut avoir un effet positif sur la qualité de l’éducation. C’est aussi un indicateur d’investissement dans les nouvelles technologies et donc de développement.

L’indice de Transparancy International nous renseigne sur le degré de corruption de chaque pays ou de transparence. En effet, plus un pays est corrompu, plus les dépenses prévues par l’Etat pour l’éducation ne seront pas toutes investies réellement. Nous pensons donc ajuster la variable de ‘dépenses dans l’éducation’ par un indice de corruption sorte de proxy du taux de déperdition entre dépenses prévues et dépenses touchant véritablement les écoles.

Nous allons aussi tester si la taille de la population a un effet significatif sur la qualité de l’éducation. En effet, en dehors des Etats fédéraux (comme l’Inde ou le Nigéria), la taille de l’administration de l’éducation n’est pas véritablement proportionnelle à la taille du pays. On peut faire l’hypothèse que les pays les plus peuplés (à taille de l’administration centrale équivalente) sont plus difficilement gérables que les moins peuplés.

Il est aussi important d’ajouter à cela l’effet de la croissance démographique. C’est la moyenne du taux de croissance de la population de 2004 à 2009. Nous pensons que les pays à forte croissance démographique ont plus de mal a avoir une bonne qualité de l’éducation que les autres. Cette relation est avérée mécaniquement lorsque l’on considère le taux d’achèvement comme variable d’analyse. En effet, ce taux est calculé comme étant les nouveaux entrants en fin de cycle primaire divisé par la population en âge d’achever le cycle.

Il faut également noté que plusieurs pays ont souscrit au Partenariat Mondial d’aide à l’Education ; nous allons donc introduire une variable qui mesure la durée en année de participation à ce Partenariat. Enfin, nous avons calculé pour chaque pays un taux de réponse ou un score de qualité de l’information, entendu comme un indicateur de gouvernance.

Last but not least, le pourcentage de femmes enseignantes est aussi introduit dans les analyses, sur la base du graphique réalisée en mars 2012 sur ce blog. Voir ici

Pour la plupart les indicateurs sont calculés en moyenne par pays sur la période 2004-2009. Notre étude se fera en utilisant la méthode « partial least square » qui est adaptée au contexte de l’éducation. Elle permet en effet de contourner l’existence de colinéarités, présent dans les variables de l’éducation, en les agrégeant par des variables latentes.

Sérier et regrouper les facteurs

Une analyse en composantes principales permet de regrouper les facteurs selon deux axes qui semblent s’organiser selon un premier axe de variables liées à une meilleure qualité de l’éducation et à un plus grand niveau de développement en général et un second axe davantage liée aux dépenses d’éducation et aux questions de gouvernance.

Représentation des variables dans le premier plan de l’analyse en composantes principales

Source : auteurs

En plus des variables identifiées dans la littérature comme indiquant une bonne qualité de l’éducation, à savoir le taux d’alphabétisation des parents (literacy), le taux de femmes enseignantes (female) et le revenu par habitant (loggdp), nous remarquons que le taux d’internautes (internet) est également lié à la qualité de l’éducation tandis que la corruption (corrupt) et le taux de croissance démographique de la population (popgrowth) sont des indicateurs associés à une mauvaise qualité de l’éducation. On voit également que les variables GPE et dépenses d’éducation sont proches, ce qui suggère que les pays GPE dépensent effectivement plus pour l’éducation. Second point positif pour le Partenariat Mondial pour l’Education. De même, la variable language est proche de la variable dépense, ce qui semble conforter notre hypothèse qu’une grande diversité linguistique nécessite plus de dépenses éducatives.

Enfin, deux variables du cadre indicatif à savoir le ratio élève enseignant (ptr) et le taux redoublement (repet) sont très excentrés et associés à une moindre qualité de l’éducation.

Positionnement des pays en bons et mauvais élèves

L’analyse en composantes principales permet de projeter les pays dans le plan constitué par nos variables. De manière assez nette les pays se regroupent en fonction de leurs aires géographiques (suggérant des problèmes communs et spécifique à certaines régions) mais surtout en termes de système d’organisation politique, qui sont symbolisés par des codes couleurs.

Position des pays dans le plan factoriel

Source : Auteurs

Aussi, la représentation des pays dans le premier plan nous montre une distinction de la qualité de l’éducation selon les pays de l’Afrique anglophone (Anglo), les pays arabes (arab), les pays de l’Asie (asia), l’Afrique francophone et lusophone (Franc_lus), les îles (isle), les pays latins (Latin) et les pays de l’ex bloc soviétique (soviet).

Ce sont d’ailleurs ces derniers pays, dont certains étaient absents des analyses menées en 2003, qui se distinguent en haut à droite par une meilleure qualité de l’éducation, tant sur le plan des taux de scolarisation que des dépenses.

Nous voyons également que les pays de l’Afrique francophone et lusophone dépensent relativement dans l’éducation mais n’ont pas de bons taux d’achèvement. Certains peuvent y voir un leg colonial notamment en termes de pratiques de redoublement. Il y a donc de forts effets des types d’organisation politique quelque peu mêlés à des groupes géographiques. Sans faire l’apologie des systèmes d’organisation de type collectiviste qui ont engendré de nombreuses dérives dans le monde (et même en Afrique avec les tribunaux populaires révolutionnaires de Sankara par exemple) et qui ont pu vouloir scolariser pour promouvoir de force certaines valeurs aux plus jeunes, faut-il pour autant occulter totalement leurs réussites sur le plan éducatif ? On pense notamment à Cuba qui dépasse largement les autres pays d’Amérique Latine dans les enquêtes internationales sur les acquis et jouit d’un taux d’alphabétisation très élevé.

Identification des facteurs de performance

Comme l’adoption de tels systèmes politiques fort peu démocratiques n’apparaît ni souhaitable ni réaliste, rabattons nous sur le détail des paramètres influençant de manière significative les résultats.

Moindre carrés ordinaires

Le modèle de régression du taux d’achèvement par les moindres carrés ordinaires ne donne que trois variables significatives :

  • Le taux d’alphabétisation des adultes a un effet positif sur la qualité de l’éducation
  • le taux de répétition et la taille de classe qui ont un effet négatif sur la qualité de l’éducation.

Le cadre indicatif Fast Track est donc encore de nos jours pertinent et il semble qu’il faille toujours insister sur la réduction du redoublement (à 10%) et la limitation de la taille des classes à des proportions raisonnables (40 élève au maximum).

Lorsqu’on refait le modèle sans le taux d’alphabétisation, le taux de femmes enseignantes devient significatif avec les mêmes résultats.

Partial least square :

Cette méthode permet d’agréger les variables colinéaires en une variable latente afin d’avoir des variables explicatives indépendantes avant d’appliquer la régression des moindres carrés ordinaires.

L’effet des variables latentes est résumé dans le graphique suivant. La couleur bleu désigne un effet positif, tandis que la couleur rouge désigne un effet négatif. Si les économistes parlent de trappe de pauvreté, en estimant que certains pays partent d’un niveau de développement économique tellement bas qu’ils ne pourront pas décoller, la contribution importante du taux d’alphabétisation aux différences de taux d’achèvement suggère que certains pays peuvent également être piégés dans une « trappe à ignorance ». Cependant sur une note plus positive, cette variable appelée ci-dessous « alphabétisation » inclut également la proportion de femmes enseignantes qui a un fort effet significatif sur les taux de scolarisation. Il semble donc qu’un levier important de politique éducative, à savoir l’accès des femmes à la fonction d’enseignant, ait été un peu négligé dans les approches purement économiques qui ont prévalu jusqu’à présent.

Effet des variables latentes dans le modèle PLS

Source : auteurs

Certains systèmes scolaires favorisent le redoublement et de grandes tailles de classes, nous voyons ici que cela à un effet négatif significatif sur les résultats. Le graphique ci-dessus montre toute la pertinence du cadre indicatif Fast Track tel qu’il a été formulé en 2003 à travers la contribution de la catégorie de facteurs appelée Système scolaire.

En plus des variables observées dans la littérature, nous remarquons qu’un fort taux d’internaute a un lien avec le taux d’achèvement, de même que le Partenariat Mondial pour l’Education a également un impact positif sur les résultats des élèves. D’autre part, une grande population ou un fort taux de croissance est un énorme frein à la scolarisation des enfants. La diversité linguistique a également un impact négatif sur le taux d’achèvement.

Ce constat devrait plus encourager les gouvernements à promouvoir l’éducation dans les langues nationales mais également à mettre en œuvre des politiques de maîtrise de la démographie. L’atteinte de la scolarisation primaire universelle dans de nombreux pays d’Asie Centrale, ex Républiques de l’Union soviétique, est à mettre en relation avec la faible natalité et une population vieillissante dans ces pays. De même le Vietnam a sans doute atteint la scolarisation primaire universelle grâce à sa politique de limitation des naissances inspirée de la Chine.

Nous avons également réalisé un tableau de prédictions qui montre la fiabilité de nos modèles et peut également être très utile aux pays participants au Partenariat Mondial pour l’Education pour établir un objectif de taux d’achèvement qui tienne compte des paramètres sociodémographiques qui leurs sont propres. Dans ce modèle, nous avons pris en compte les situations de fragilité des Etats.

Le modèle macroéconomique semble donc bien s’accorder aux valeurs observées. Dans 63 pays sur 90, le taux d’achèvement prédit ne s’écarte que de dix points du taux observé, dans 36 pays cet écart n’est que de 5 points. Les pays performants sont ceux qui, à qui conditions sociéconomiques données, obtiennent un meilleur taux d’achèvement que celui prédit par notre modèle.

Toutefois, une l’étude macroéconomique seule ne permet pas d’expliquer entièrement le niveau d’éducation et les résultats restent avant tout interprétables en termes de corrélations et non de causes à effet.

Néanmoins, cette étude permet de formuler un certain de nombre de recommandations:

  1. Organiser des voyages d’étude à la Havane plutôt qu’à Helsinki
  2. Insister sur la réduction des tailles de classe et une meilleure répartition des enseignants (pas plus de 40 élèves par classe)
  3. Limiter le redoublement au strict minimum (10%)
  4. Recruter des femmes enseignantes par de mesures incitatives
  5. Développer l’usage des nouvelles technologies dans l’éducation et dans la population
  6. Chiffrer le coût lié à la diversité linguistique
  7. Mettre en place de véritables politiques de maîtrise de la démographie
  8. Mieux encadrer le développement des écoles privées
  9. Promouvoir la transparence et la rédition de compte dans le secteur de l’éducation
  10. Envisager sérieusement de mettre un frein temporaire à l’explosion des effectifs scolaires afin de garantir une éducation de qualité pour tous
  11. Utiliser le tableau ci-dessous pour identifier les pays performants réalisant de bonnes performances étant donné leur contexte

Pour toutes questions, veuillez contacter Aïcha Sidi : asidi@varlyproject.com

Références :

Altinok Nadir (2010), ‘DoSchool Resources Increase School Quality?’, Working Paper IREDU.

Doudjidingao Antoine (2011), ‘Education et croissance en Afrique’, Etudes Africaines, L’Harmattan.

Emmanuel Jacobowicz (2012), ‘Les modèles d’équations structurelles à variables latentes’, Cours de Statistique Multivariée Approfondie, Addinsoft/Xlstat

Eric A. Hanushek & Ludger Woessmann (2010) ‘The economics of international differences in educational achievement’, Working Paper 15949, National Bureau of Economis Research, Cambridge

Bruns B., Mingat A. et Rakotomalala R. (2003),A chance for every child , Banque Mondiale.

Disclaimer :

Ce post est tiré du projet de fin d’études d’Aicha Sidi pour le diplôme d’ingénieur statistiques de l’INSEA Rabat dont la version complète est disponible RAPPORT DE STAGE-10 juin. Il n’engage que les auteurs.©Varlyproject

Annexe : Prédictions du taux d’achèvement données par le modèle MCO

 

–> Accès aux données: data

Créez un site Web ou un blog gratuitement sur WordPress.com.