Un blog sur l'éducation dans les pays du Sud – A blog on education in the developing countries

30 septembre 2018

Le ministère de l’éducation arrête la participation de la Tunisie au programme Pisa 2018

Filed under: Uncategorized — Étiquettes : , — education_south @ 22 h 20 min

Chedia Belaïd Mhirsi

Inspectrice générale honoraire de l’éducation

Consultante Chercheure

Septembre 2018

On avait déjà organisé l’essai de terrain en 2017 et, au cours de l’année scolaire 2017-2018, le ministère a mis fin au processus de préparation de la session 2018. En plus il n’a pas du tout communiqué sur cette fâcheuse décision. About – PISA?

http://www.oecd.org/pisa/aboutpisa/pisa-2018-participants.htm

 Le ministère peut-il prendre une décision si lourde pour le pays, en catimini, sans aviser personne et sans se justifier ? Peut-on imaginer un seul instant que l’équipe nationale de football renonce aux compétitions internationales ou à la coupe du monde ? C’est ce qu’on a fait dans un domaine autrement plus important, l’éducation!

 Une décision injustifiée

Certes il y a des pays qui suspendent leur participation pour une session mais cela rentre dans une stratégie de réforme inspirée entre autres par les résultats et les données du programme Pisa.  L’idée c’est de reprendre la participation pour mesurer l’impact des changements entrepris.  Généralement cette stratégie est annoncée et connue des parties prenantes. Or en Tunisie ce n’est pas le cas. D’ailleurs notre pays a arrêté sa participation à TIMSS depuis 2013 en procédant de la même manière, sans qu’il y ait une stratégie derrière cette prise de décision. Même le coût de ces enquêtes ne peut être invoqué, celui-ci ne dépassant guère les 150 000 euros par an, une somme dérisoire par rapport au budget du ministère et surtout par rapport à la masse de données recueillies. Pisa, c’est 100 enquêtes en une!

Pisa est une enquête internationale organisée par l’OCDE depuis l’an 2000. N’oublions pas que le classement Pisa constitue aussi un indicateur pour les institutions internationales comme la Banque mondiale ou le FMI… Composée de tests et de questionnaires, cette enquête mesure tous les trois ans les performances des systèmes éducatifs au moyen d’un échantillon représentatif d’élèves de 15/16 ans, à la fin de la scolarité obligatoire, pour évaluer leur capacité à utiliser leurs savoirs en mathématiques et sciences ainsi que leurs compétences de lecture, trois domaines considérés comme fondamentaux, pour faire face aux défis de la vie actuelle et future. La Tunisie y a participé régulièrement de 2003 jusqu’à 2015.

La Tunisie, pays précurseur, a développé au cours des sessions une expertise en matière d’enquêtes internationales au niveau de la mise en oeuvre et de la logistique par le biais  du Centre National d’innovation pédagogique et de recherche en éducation (CNIPRE).  On a opté pour la dissolution de ce centre  de recherches en 2016. On a organisé ainsi la déperdition de ses ressources humaines qui assuraient bravement et en dépit des pesanteurs administratives la lourde charge de l’implémentation de cette enquête à travers un échantillon regroupant plus de 5000 élèves disséminés à travers tout le pays.  À partir de 2015, les élèves étaient appelés à répondre par internet, s’agissant de supports numériques. Ce défi technologique a été relevé en dépit de tous les obstacles et les incohérences de notre système éducatif.

Le détricotage qui a été opéré dénote une méconnaissance des enjeux de PISA et l’absence de projet d’avenir pour l’éducation.

Le détricotage qui a été opéré dénote l’ignorance des enjeux d’une telle enquête et l’absence de projet d’avenir pour l’éducation. Par ailleurs, on relève que des pays voisins s’attachent à y participer et n’ont eu de cesse de s’y préparer : le Maroc y participe pour la première fois en 2018, l’Algérie y a participé en 2015 et se prépare pour la session 2021. Ainsi on va dans le sens contraire de l’histoire puisque aujourd’hui de plus en plus de pays participent aux évaluations internationales en particulier le programme Pisa, profitant à chaque session d’un dispositif d’évaluation sans cesse amélioré.  Il en est de même des moyens mis en œuvre pour identifier les spécificités des systèmes éducatifs les plus performants et les plus à même de préparer l’avenir.

Si le classement de la Tunisie est loin d’être satisfaisant c’est que les dysfonctionnements et les incohérences du système n’ont jamais été corrigés. Mais sans les données Pisa cela ne peut être que pire. Le diagnostic est sévère et déplaisant mais il montre le chemin. Nous sommes sur une fausse piste quand nos programmmes accordent a première place à la production écrite plutôt qu’à la lecture et au traitement de l’information dans nos apprentissages ( en arabe et en français). La preuve en est que l’analphabétisme a progressé. Pisa montre ainsi que nous identifions mal les apprentissages fondamentaux qui conditionnent la réussite scolaire.  Pisa montre également les niveaux de compétences à développer alors que dans nos écoles on vise essentiellement des compétences limitées de mémorisation et d’application, ce qui compromet la possibilité pour les élèves de faire évoluer leurs savoirs et compétences en tant que futurs citoyens. Faute d’un enseignement pertinent et efficace un élève tunisien a six ans de retard par rapport à celui de Singapour.Pisa 2015 nous apprend aussi que notre école est de moins en moins équitable et que  dans les zones géographiques défavorisées, les élèves ont une année de retard par rapport aux autres, elle nous apprend aussi que les enseignants sont parmi ceux qui travaillent le moins en commun et aussi qu’ils font très peu appel aux nouvelles technologies. Beaucoup d’autres données éclairantes sont recueillies par PISA, elles constituent des précieuses aides à la décision surtout si le pays participant procède à l’analyse de cette mine de données.

Bref, en renonçant à nous comparer aux autres pays, nous nous mettons hors du temps. A une époque où la science et la technologie sont en train de changer toutes les activités humaines, nous préparons nos élèves pour un monde qui n’existera plus.

Publicités

31 janvier 2014

Prise en compte des facteurs sociodémographiques dans les analyses PISA

Filed under: Uncategorized — Étiquettes : , , , — aichasidi @ 18 h 35 min

Par Aïcha SIDI & Pierre VARLY

Introduction

Le programme PISA suscite de nombreux articles dans la presse, analyses secondaires et papiers scientifiques. Comme nous y encourage cet article, intéressons nous aux facteurs contextuels qui peuvent expliquer les résultats des différents pays. Au départ un projet conçu pour les pays de l’OCDE (économies développées), le programme PISA s’est étendu à des pays en développement à travers les programmes PISA+ et PISA for development.

Si le cadre d’analyse des politiques éducatives mesuré par PISA est bien défini et explique une partie des résultats des élèves, peut-il être répliqué dans les pays en développement ? A la suite du travail réalisé par la société Varlyproject sur la modélisation des différences de taux d’achèvement du primaire (et résultats à des tests), le cadre d’analyse PISA a été quelque peu complété par l’introduction d’indicateurs socio-économiques. Voir Outils de benchmarking pour la scolarisation primaire universelle

Les variables macro utilisées dans le programme PISA sont renseignées à travers une collecte de données sur le fonctionnement des systèmes éducatifs et à partir des questionnaires adressés aux chefs d’établissement et se focalisent sur la centralisation (processus de décision), l’autonomie et les types d’évaluation en particulier. Le but de l’OCDE est de faire ressortir les bonnes pratiques en termes de politiques éducatives. Le revenu par habitant, les taux de scolarisation et quelques autres indicateurs complètent ce cadre d’analyse qui est décrit ici.

Des  effets différents des variables mesurées par PISA selon les pays

Certains auteurs ont appliqué ce cadre d’analyse en distinguant des groupes de pays. L’étude d’Hanushek , Link, et Woessmann (2013) est basée sur des données en panel de 2000 à 2009 concerne 42 pays classés selon leur revenu. L’indice d’autonomie scolaire a été calculé en mesurant la capacité de décision des chefs d’établissement dans différents domaines. L’augmentation de l’autonomie des écoles, en particulier dans la décision concernant le contenu académique, a un impact négatif sur les acquis scolaires dans les pays à faible revenu. Mais, dans les pays à revenus élevés, une plus grande autonomie sur le contenu académique, personnel et budgétaire a un impact positif sur la réussite des élèves.

Hanushek et Ludger (2005) ont trouvé que le regroupement précoce par niveau (au primaire) augmente les inégalités dans l’éducation (au secondaire). Globalement les pays où les inégalités scolaires sont élevées peinent à améliorer les résultats des élèves. Ainsi, Jens Henrik Haahr & al (2005) recommandent de regrouper les élèves de niveaux moyens avec les élèves de niveau plus faible, afin de réduire les inégalités scolaires.

La variété des situations socioéconomiques

65 pays ont participé aux enquêtes PISA 2009-2012. Comme le clame, l’OCDE 80% de l’économie mondiale est couverte mais des continents entiers et des pays à large population ne participent que partiellement comme l’Inde (quelques Etats) et la Chine (Shangaï). Seules l’Ile Maurice et la Tunisie participent sur le continent africain et l’océan indien. Ainsi, en termes de population couverte l’enquête de l’OCDE ne donne qu’une vision restreinte des compétences des jeunes de 15 ans.

Carte des pays participant aux enquêtes PISA

pisa countries

Source : Auteurs et Daniel Dalet pour le fond de carte

Malgré ces limites, les pays participant sont très divers tant sur le plan géographique, culturel que sur le plan de l’organisation du système éducatif, avec un niveau économique relativement proche.

Lors des travaux similaires que nous avions réalisé sur l’enseignement primaire qui se focalisaient sur les pays à bas et moyen revenus (en gros tous les pays en gris sur la carte), nous avions pu mettre en évidence que les pays fortement centralisés et ayant fait partie du bloc soviétique avaient atteint la scolarisation universelle et avaient donc sur ce point de meilleures performances que les autres. Comparés à des pays aux économies développées et en prenant comme variable d’étude cette fois la qualité des acquis de l’enseignement secondaire, qu’en est-il ?

Justification du choix des variables et construction d’un jeu de données

Pour pouvoir caractériser la situation des différents pays, en partant de la littérature, mais également sur la base d’une réflexion propre, nous avons constitué une base d’indicateurs contextuels. Les données ont été calculées en moyenne sur cinq ans afin de caractériser la situation des enfants sur la tranche d’âge 11-15 ans, de la sortie de l’enseignement primaire à l’âge du test PISA. Pour certains indicateurs tels que le taux de fécondité et le taux de chômage nous avons choisi la tranche d’âge 15-19 ans (perspectives des jeunes).

Nous avons pris en compte les facteurs contextuels qui ont un impact non négligeable sur l’éducation selon SIDI (2012). Nous y avons ajouté le taux de fertilité des adolescents qui est le nombre de naissances pour mille jeunes filles âgées de 15 à 19 ans. Cet indicateur peut être un facteur d’abandon scolaire mais également le signe d’un manque d’accès aux services de planning familiaux et d’avortement, de mariage précoce et plus généralement est liée au statut de la femme. De nombreuses études ont montré un lien entre qualité de l’éducation et comportement des femmes en terme de naissances.

Le fait de parler la langue d’enseignement -et donc du test- à la maison est un des facteurs clés pouvant expliquer les différences de résultats. Si l’enquête PISA collecte cette information, cela ne concerne que les enfants à l’école. Cette information peut être obtenue par les recensements et enquêtes ménage sur l’ensemble de la population, mais il n’existe pas de statistiques internationales comparables. Nous avons donc opté pour un proxy, la diversité linguistique mesurée par la Société Internationale de Linguistique (Sil).

Les analyses ont été menées sur les données PISA 2009 et variables contextuelles 2005-2009 et sur les données PISA 2012 et variables 2008-2012. Les deux analyses ayant donné des résultats très proches seuls ceux de 2012 sont présentés. Toutes les variables ont un taux de réponse supérieur à 70%. Le taux de femmes enseignantes, la taille de classe, le taux de redoublement et la proportion de dépenses dans l’éducation ont un taux de réponse de moins de 80%. Les imputations des valeurs manquantes ont été faites par la moyenne en distinguant les pays OCDE des autres.

Les pays d’Europe Centrale et d’Asie Centrale membres de l’OCDE ont été ajoutés au groupe des pays dits industrialisés, les autres inclus dans une région appelée CIES. Pour le reste, la classification est essentiellement basée sur la position géographique.

Eléments de comparaison

En dehors de la situation du revenu par habitant, les pays industrialisés se singularisent par la relative forte proportion d’élèves dans l’enseignement technique et la part de la population ayant accès à Internet. Les pays Arabes par la faible part d’enseignement technique, la part élevée de l’enseignement privé et une plus forte croissance démographique. L’Asie par un ratio élèves par enseignant plus élevé, un plus haut niveau de dépenses dans l’éducation et une plus grande propension à grouper les élèves par niveau (ability grouping). Les pays d’Europe et d’Asie Centrale par une plus grande proportion de femmes enseignants (fortement corrélé avec le taux de scolarisation du primaire), de moindres taux de redoublement, une faible proportion d’enseignement privé, pas de croissance démographique, des taux de chômage des jeunes (15-19 ans) plus élevés et une faible décentralisation du processus de recrutement des enseignants. Enfin, l’Amérique Latine se caractérise par une faible diversité linguistique, des indicateurs de fécondité des femmes de 15-19 ans élevés et par une moindre publication des résultats d’évaluations.

Les liens vers les données brutes, définition des indicateurs et documents de référence pour les indicateurs PISA sont fournis dans le tableau ci-dessous.

Caractéristiques des régions* avec min et max en gras calculées sur la période 2008-2012 pour les pays participant à PISA et PISA +

Nom variable Variable/Region Arab states Asia Europe and Central Asia Industralised countries Latin America & Caribbean
Female Proportion of female teachers (%) 57.2 57.4 73 61 58.8
Ptr pupil teacher ratio 12.5 16.5 10.8 11.6 16
Repet repetition rate (%) 5.8 3.5 1.8 3.8 5.8
Gross Gross enrollment in secondary (%) 92.9 83.4 93.2 107.6 87.8
Techniq Techniq Technical and vocationnal program percentagein secondary education (%) 4.4 9 21.8 26.1 12.2
expend Expenditure in education as share of government expenditure (%) 15.3 18.1 13 12.8 17.7
sec_expend Share of secondary education expenditure 38.3 31.6 37.8 40.3 31.7
GDP GDP per capita 30,761 23,549 13,190 33,165 12,792
Internet %Internet users 52.1 45.8 49.5 77 40.3
private Share of private enrolment (%) 29.8 27.2 4.4 16.4 22.2
Pop Population size 28,258,654 200,030,906 17,725,618 35,185,114 34,803,700
popgroxth Annual population growth (%) 6.1 1.4 0 0.8 1.1
Language Language diversity 0.5 0.5 0.4 0.3 0.2
male_unemp male unemp (%) 15-19 years old 12.3 12.4 22.6 17.2 13.6
fertility Adolescent fertility (°/00) 18.5 20.8 23.1 12.8 64
Transparenc Transparency (%) 56.3 44.6 44 72.9 43.6
Ability_group Ability grouping (%) 21.4 42.6 36.5 32.4 28.5
publicly Achievement data are posted publicly (%) 32.6 46.1 52.8 40 29.8
Tests Tests or assessments of student achievement   (%) 88.8 93.5 82.5 74.9 78.8
Autor_track  Achievement data are tracked over time by an administrative authority (%) 85.7 80.5 77.6 68.1 82
Tea_select Selecting teachers for hire by regional or local education authority (%) 33.8 31.7 13.7 28.4 35.7
Textbook Choosing which textbooks are used by regional or local education authority (%) 23.4 8.7 4.4 9.4 12.1

* L’Afrique subsaharienne ne comptant que l’Ile Maurice n’est pas présentée.

L’examen des  corrélations entre différentes variables et le score PISA (en maths) montre que les deux variables les plus corrélées avec le score sont : l’accès à Internet (0,71) et le taux de fertilité des femmes 15-19 ans (-0,66) loin devant le revenu par habitant (0,50). Pour le reste et sans rentrer dans les détails, beaucoup de variables sont corrélées entre elles, ce qui suppose l’usage de techniques adaptées pour la modélisation. Ainsi, l’accès à Internet est fortement lié au revenu par habitant. On notera que les variables de politiques éducatives PISA sont relativement peu corrélées avec les variables socioéconomiques. De plus, la corrélation n’est pas synonyme de causalité. En outre, le revenu par habitant (comme d’autres variables) est à la fois le résultat et la cause de la qualité de l’éducation.

Représentation des variables

Pour pouvoir interpréter plus facilement les effets des différentes variables, celles-ci sont regroupées en facteurs, grâce à une analyse en composantes principales (ACP). L’ACP groupe les variables en deux axes : un axe horizontal reflétant le niveau de développement et la qualité de l’éducation et un second axe (vertical) lié  aux conditions démographiques, au niveau de dépenses en éducation et certains paramètres de politiques éducatives comme la part du privé. Ainsi les variables PISA se répartissent le long de cet axe vertical. Ce plan représente à 44.9% de l’inertie totale, les variables PISA étant considéré comme des variables supplémentaires.

Dix pays n’ont pas participés à PISA 2012. Pour les représenter dans le premier plan factoriel, nous avons donc juste tenu compte de leur coordonnées dans le premier plan factoriel sur toutes les autres variables, à l’exception du score PISA. Notons également que les différentes ACP réalisées (sans le score, sans le taux de fertilité, sans les variables PISA) ne modifient pas radicalement la position des variables et des pays. Sur le graphique  qui représente les variables, comme attendu, le taux de fécondité est opposé à la qualité de l’éducation appréhendée par le score PISA en maths.

Représentation des variables dans le premier plan principal

variable1

Représentation des pays

L’ACP permet aussi de représenter les pays dans le plan constitué par les variables. De manière très nette, les pays d’une même zone tendent à se regrouper.

pays

Par exemple, au sein de la région CIES, les pays d’Asie Centrale (en bas à gauche) se distinguent des pays d’Europe Centrale (en bas à droite). Pour l’analyse des données de cette région, nous renvoyons à cette publication de l’UNICEF. Le Vietnam de son part son héritage politique est proche des pays d’Asie Centrale, ce qui tient en partie au faible développement de l’enseignement privé.

Les pays d’Amérique Centrale et des Caraïbes se regroupent à gauche tandis que les pays industrialisés se retrouvent à droite. Les situations des pays Arabes et d’Asie sont très hétérogènes. Les pays d’Asie Centrale occupent une position opposée à celle des pays industrialisés, à savoir une plus faible qualité de l’éducation et niveau de développement et des variables démographiques et éducatives inverses. Dans ce cas, il faut s’interroger sur la pertinence de vouloir répliquer les politiques éducatives du Nord dans ces pays vu les différences importantes de contexte sociodémographique. A tout le moins, cela donne des indications sur certaines orientations politiques permettant d’obtenir de meilleurs résultats scolaires, quitte à prendre les pays industrialisés comme modèles.

Quantifier l’effet des variables contextuelles

Dans l’optique de distinguer l’effet des variables de politique éducative de celui des facteurs contextuels nous allons utiliser la régression PLS. Plutôt que de considérer l’effet individuel d’une variable sur le score PISA et d’en déduire une mesure de politique immédiate, nous préférons considérer que les variables sont la manifestation d’un comportement ou d’un trait latent qui ne peut pas être forcément défini explicitement à partir de l’indicateur. Par exemple, plutôt que de considérer que de donner plus de latitude aux régions ou aux écoles pour recruter des enseignants va mécaniquement augmenter le score PISA, nous considérons que le fait de donner plus d’autonomie est une variable manifeste de la capacité d’un Etat à décentraliser l’éducation, à mener à bien des réformes et à gouverner. Mais dans la plupart des études PISA, ce raisonnement en variables manifestes et comportements latents est relativement marginal et les résultats trop directement interprétés en termes de politiques éducatives.

Ainsi, lorsqu’on indique que le taux de fécondité est opposé à la qualité de l’éducation, on ne dit pas que réduire ce taux va augmenter le score. On l’interprète avantage en disant que cela reflète le statut de la femme et les opportunités/difficultés des jeunes filles qui peuvent avoir un lien avec la qualité de l’éducation. D’ailleurs, la proportion de femmes enseignantes est également un indicateur de statut de la femme très corrélé aux taux d’achèvement du primaire dans les pays en développement.

Ainsi, avant de tirer des conclusions parfois hâtives sur la conduite à tenir, modélisons les variables par bloc de facteurs. Les variables sont regroupés par bloc caractérisant un comportement ou un thème particulier. La terminologie propre à PISA (school ressources, school selection et PISA indicators) a été conservé telle quelle.

Variables ayant un effet sur le score PISA

La part de variance expliquée (R²) est de 0,79, avec le seul GDP le R² vaut 0,25. Notre modèle explique bien la variance des scores de math. Les variables significatives sont présentées dans le tableau ci-dessous.

Schéma d’analyse des données macro PISA (régression des moindres carrés partielles)

pls

Le graphique suivant indique la contribution à l’explication de la variance de chacun des blocs de variables.

result pls

Le revenu par habitant (GDP) est prépondérant. Globalement, les variables du cadre d’analyse PISA existant contribuent fortement à l’explication de la variance tandis que les variables démographiques et de développement contribuent peu. Lorsque l’on introduit les facteurs socio économiques, les variables du cadre d’analyse PISA restent significatives. La part de l’enseignement technique, de l’enseignement privé, le pourcentage de femmes enseignantes, le ratio élèves enseignant et le taux de redoublement le sont également. D’autres variables explicatives peuvent être envisagées comme la consommation de drogue et d’alcool chez les adolescents, mesurée dans plus de 40 pays européens, voir ici.

Conclusion

Plusieurs analyses secondaires menées par des économistes ont montré un certain danger à vouloir répliquer les mesures de politique induites par les résultats PISA dans les pays en développement. En effet, les effets des variables différentes selon les groupes de revenu. Si le programme PISA devait se développer dans les pays à bas revenus et en Afrique (comme TIMSS et PIRLS qui peinent à le faire), davantage d’attention devrait être apportée à la variété linguistique, à la situation de la femme mais également à la capacité des Etats à mener des réformes dans l’éducation avant d’interpréter les scores. La problématique de la décentralisation et de l’autonomie des établissements n’est pas la même en Finlande qu’au Cameroun où l’on parle 280 langues. Une meilleure prise en compte des contextes permettrait déjà de mieux faire accepter les résultats des enquêtes par les autorités politiques.

Les résultats de nos analyses ne remettent pas en cause les cadres d’analyse utilisés jusque là. Elles permettent d’établir de manière relativement nette des comportements homogènes au sein des régions. Ainsi, les pays d’Asie Centrale et d’Europe de l’Est (CIES) se sont penchés sur la question de la qualité de l’éducation au sein d’instances politiques régionales, sous l’impulsion de l’UNICEF.

Bien que le caractère scientifique des études PISA ne saurait être remis en cause, la stratégie de communication qui consiste principalement à produire des classements parfois brutaux, se doit d’être sensiblement revue si le programme veut s’étendre aux pays en développement. Si le leadership technique de l’OCDE, avec son armée d’experts et de statisticiens, a été très utile dans le développement de l’évaluation des acquis scolaires, sa capacité à coopérer avec les pays en développement semble limitée. Sur un plan politique, d’autres organisations se doivent de prendre le relais. Le récent rapport de suivi de l’UNESCO qui traite de la question des acquis des apprentissages reste encore trop focalisé sur un cadre d’analyse très classique insistant sur la formation des enseignants par exemple. Les questions de gestion de l’éducation et la possibilité que la faible qualité de l’éducation soit une politique délibérée de maintien des populations dans l’ignorance et la pauvreté doivent être mieux traitées.

Pour aller plus loin:

Nous vous suggérons la lecture de l’ouvrage suivant paru en 2013:  PISA, Power, and Policy the emergence of global educational governance, Edited by HEINZ-DIETER MEYER & AARON BENAVOT, Oxford Studies in Comparative education. Notamment le papierde Marlaine Lockheed. Causes and Consequences of International Assessments in Developing Countries

15 février 2012

Map of countries participating in international students assessment

Filed under: Comparaisons internationales, Uncategorized — Étiquettes : , , , , , , , — education_south @ 16 h 30 min

A map of countries participating in international students assessments has been updated by your servant and Frank Van Cappelle at :

http://www.statsilk.com/maps/world-stats-open-data?l=overview%20of%20all%20crossnational%20studies

Asia is getting more covered.

Propulsé par WordPress.com.