Un blog sur l'éducation dans les pays du Sud – A blog on education in the developing countries

17 janvier 2016

Has the “data revolution” thrown learning outcomes off the bus?

Filed under: Uncategorized — Étiquettes : , , , , , — education_south @ 13 h 24 min

Helen Abadzi

abadzi-conf-2015

Imagine that you live in a poor area, you get sick and go to a hospital.  But the hospital is only interested in measuring your vital signs.   They enter your anonymized data in the computer, do statistical analyses, write policy papers, and give seminars on your disease.  But treatment?  The hospital offers bandaids and painkillers. To cure your illness you must find someone outside the hospital.  And it’s up to you to find that person!  Would you get better? And would the country’s morbidity rates improve?

In the health sector this scenario would be bizarre, but in the education sector it is business as usual. A recent mission to a low-income African country served as a reminder.

A donor had financed EGRA (Early Grade Reading Assessment). As it often happens, the results showed that many students could hardly decode or make sense of text. Despite abundant donor assistance, textbooks had not been issued for at least a decade. Poorer students had simply never practiced enough to automatize reading! But it was impossible to discuss this necessary learning process for long. Officials quickly moved away from specifics and into systemic problems of teacher motivation, school management, and community involvement. They were obviously echoing policies about systems improvement promoted by donors, such as the World Bank.

Countries obviously need education systems that work. But the donors’ focus on abstract variables has created perverse incentives. The story is complex, but an outline is below.

For education, donor agencies hire staff with degrees that rarely include coursework on learning. Predictably they formulate “theories of change” that reflect their training and interests. The World Bank’s 2020 learning strategy theorized that school quality improves through autonomy, accountability, and assessment (AAA): School managers must become empowered and autonomously figure out how best to teach their students. The financiers will measure results and hold implementers accountable.

Measuring learning outcomes is very sensible, but it is also expensive, complex, and time-consuming. Psychometricians must be hired. Detailed workshops are needed to train staff on measurement concepts, procedures, results, and implications. Results ought to provide feedback for systemic improvement, but findings are rarely specific. After spending US$1 million and thousands of staff hours, governments may find out that they perform slightly better than their neighbors but that 59% of rural students fill out multiple tests at chance level while teachers in private schools with university diplomas are linked to higher scores.

So what has been the value added of international assessments? Detailed reviews exist. (See for example Liberman & Clarke, 2012 and Lockheed et al., 2015). Roughly, wealthier countries apparently can use the test feedback to improve, but poorer ones usually do not.

Furthermore, assessments in poorer countries may subtract value. Testing receives top billing and may occupy the most competent ministry staff. There are only 8 hours in a normal working day, and assessment-related tasks may distract from other functions. Then inability to take specific actions from test results may signal that learning problems are untreatable. And savvy officials understand that they can attribute bad outcomes to socioeconomic factors.

In recent conferences I attended, ministry officials talked extensively about measurement and accountability. And all participants heartily agreed that learning is all that counts. But no one uttered a word about how to make students actually learn in order to perform in these tests.

Donor agencies want to see improvements in the abysmal test results but stumble on their own limitations.

“I went myself to country X to explain performance data,” said to me a World Bank director recently. “So, what will the Ministry officials do about this?” She shrugged her shoulders. “I don’t know; the World Bank cannot be involved in teaching methodology.”

cagccgfa

Classroom in Malawi, source unknown

Some critics see a conspiracy. Perhaps the “data revolution” was one more takeover coup by the elites. They convinced entire countries to give their time and knowledge for the enrichment of the rich. With these data, local elites attend workshops, make presentations, and get prominence or consultancies. International staff and consultants get publications, workshops, and exciting mission travel. They demonstrate leadership and productivity and get promotions, nice salaries, and wonderful retirement benefits. Plus, everyone gets the warm feeling of helping the poor.

Evidence favoring this “conspiracy theory” is the mysterious disappearance of accountability from the AAA strategy implementation. In principle, test results should be opportunities to show the efforts made, funds expended, reasons for failure. The heads of managers presiding over failures should roll. Donor staff giving bad advice or agreeing to failing actions should be fired. But nothing of the sort takes place! In various meetings, shocking performance data are presented with a straight face, and the speakers get applause. Then the data are used to justify the next loan, the next grant, the next “results based” financing.

So, intentionally or otherwise, the donor community is communicating to governments that test administration equals accountability.   We give you money and test results. You figure out how to teach the poor and improve results. If you measure and fail, you are off the hook. We have all performed the accountability function. And we keep writing advocacy blogs and articles about the importance of learning. If the poor want to know why their children remain illiterate, we will point them to the website that hosts the text.

All this activity whirlwind for the sake of learning keeps staff so busy, they have no time to look outside their business-class airplane seats. The last 25 years that witnessed the ascendance of international assessments have also witnessed an explosion of research on the brain and learning. If customized and applied, the findings can revolutionize learning quality in all countries. But applications remain unknown among donor agencies and are practically never discussed with governments.

So how to create incentives for actual provision of efficient learning to the students? Please give suggestions.

References :

Liberman, J., & M. Clarke (2012). Review of World Bank Support for Student Assessment Activities in Client Countries, 1998-2009. Washington, DC: The World Bank. https://openknowledge.worldbank.org/handle/10986/17476

Lockheed, M. et al. (2015). The Experience of Middle-Income Countries Participating in PISA 2000-2015. OECD/World Bank. http://www.oecd.org/publications/the-experience-of-middle-income-countries-participating-in-pisa-2000-2015-9789264246195-en.htm

Helen Abadzi is a Greek cognitive psychologist and polyglot with a background in psychometrics. She retired after 27 years as an evaluation and education specialist at the World Bank. Her publications on science-based learning solutions for the poor are found here.

29 janvier 2015

L’enseignement de la lecture en arabe au Maroc

Filed under: Uncategorized — Étiquettes : , , , , , , , , — education_south @ 19 h 59 min

Par Youssef El HAJI, chargé d’études statistiques à Varlyproject.

L’importance de l’apprentissage précoce de la lecture n’est plus à démontrer. Les capacités de lecture de l’enfant conditionnent sa réussite scolaire, voir même professionnelle ultérieure. De nombreux travaux de recherche récents se sont penchés sur les méthodes d’enseignement de la lecture en fonction de chaque langue. Au cours de l’année 2014, la société Varlyproject a eu l’occasion de réaliser des études sur la lecture en arabe au Maroc avec la société américaine RTI International et l’Université marocaine Al-Akhawayn pour le compte de l’USAID et du MENFP. Ce billet est l’occasion de faire un point sur les questions de lecture en arabe au Maroc.

La problématique de la lecture dans les pays arabes Le succès en lecture représente le premier levier qui assure la réussite scolaire. Au niveau international, l’enquête « PIRLS 2011» qui a visé un groupe de pays comprenant entre autres des pays Arabes, fournit des éléments d’information essentiels. Les pays arabes ont des scores de lecture relativement faibles. A titre d’exemple, le Maroc obtient le score le plus faible parmi les pays arabes (310 contre une moyenne internationale fixée à 500) et ce score baisse dans le temps. Le Qatar, malgré un revenu par habitant parmi les plus élevés au monde, n’obtient qu’un score de 425, tout en notant une progression importante des élèves dans le temps. Il y a donc dans le monde arabe des difficultés dans l’enseignement de la lecture.  Premièrement, la langue d’enseignement est l’arabe classique qui est différente dans la majorité des cas de l’arabe dialectal parlé par l’élève chez lui. L’arabe classique a ses propres particularités (suffixes, préfixes et contexte du mot dans la phrase, vocabulaire riche et varié) qui la distingue des autres langues. Par conséquent, les élèves ont tendance à réagir plus lentement à la lecture des textes arabes comparativement à l’anglais.

Les difficultés d’apprentissage de la lecture propres à la langue arabe D’une manière générale, la lecture dans la langue arabe présente des difficultés sur le plan lexical et grammatical. Il s’agit d’un exercice complexe à plusieurs niveaux. Ces questions ont fait l’objet d’un atelier international en décembre 2013 à Rabat. Les travaux de Helen Boyle et Samah Al Ajjawi pointent cinq défis majeurs pour l’apprentissage de la lecture en arabe : la dysglossie, la vocalisation, la conscience phonémique, la morphologie (racine des mots) et le contexte de la phrase. Helen Abadzi est une psychologue et professeur à l’université de Texas, arabophone et qui consacre ses recherches aux questions de lecture dans les pays en développement. Selon cette experte, plus concrètement, l’identification des lettres arabes dans un mot n’est pas toujours évidente. Une erreur d’interprétation d’un point au niveau d’une lettre risque de changer le sens du mot. Illustration de l’impact du point dans le sens des mots figure2 Au départ, l’élève essaye de déchiffrer les lettres, puis il doit prévoir les voyelles courtes. Enfin, il doit déterminer le sens. Sur le plan pédagogique, les manuels scolaires arabes négligent parfois les voyelles qui s’écrivent en langue arabe avec des signes au dessus ou en dessous des lettres et qu’on appelle des Tashkil. Lorsque l’enfant lit des textes non scolaires (presse, livres), la langue arabe utilisée n’indique plus les voyelles.

Cela impacte la prononciation et ralentit la compréhension du mot. Ainsi, l’absence de voyelles constitue  un défi supplémentaire qui va retarder le décodage de la lettre (comme l’illustre l’image extraite d’un manuel ci-dessous où les voyelles sont absentes). Un autre problème se pose au niveau de la police des caractères et du style calligraphique utilisés dans les manuels qui complique la liaison entre les lettres. La forme des lettres est difficile à lire pour ceux qui manquent l’experience car la calligraphie de la langue arabe est riche et variée.  Dans l’exemple qui suit, les parties des lettres ne se lèvent pas beaucoup, les lettres sont trop petites.  Illustration de l’absence des voyelles dans un manuel scolaire figure3

Les formes tres compliquées sont ambigües, mais généralement la non-linéarité du mot (certaines lettres sont au dessus les une des autres) présente des formes qui ne sont pas toujours identifiables par les enfants et qui ne sont pas enseignées.

Illustration de la non-linéarité du mot dans la langue arabe

figure4

Les méthodes efficaces d’enseignement qui permettent de surmonter ces difficultés

La recherche neurocognitive a permis d’identifier des problèmes de lecture de manière précise et clinique. En effet, « la psychologie cognitive » et la neuroscience ont essayé de mesurer les variables fondamentaux ayant un impact sur le niveau linguistique et débouchent sur des propositions opérationnelles. Afin de faciliter l’enseignement de la lecture, Helen Abadzi est intervenue lors du « Sommet mondial de l’innovation dans l’éducation à Qatar » (WISE) à travers un ensemble de méthodes élaborées. Selon elle, premièrement, le vocabulaire et la grammaire de l’arabe standard doivent être enseignés dès la première année par le biais de leçons simplifiées et directes. Durant la séance, l’écriture des lettres doit être assez grande en gardant un espace entre les caractères. Au niveau du manuel scolaire du primaire, les voyelles devront être présentes dans tous les textes afin de faciliter la lecture et la compréhension du mot. Il faut aussi consacrer du temps pour enseigner efficacement l’orthographe afin d’identifier rapidement les mots par la suite. Pour l’apprentissage de la grammaire, il est valable d’apprendre des conjugaisons sans beaucoup de terminologie et aussi apprendre à les utiliser dans un texte. L’élève doit aussi avoir la possibilité de réagir pendant le cours afin que l’enseignant puisse déterminer son niveau linguistique et adapter son enseignement en conséquence. Selon H. Boyle, la pratique quotidienne de la lecture, l’exposition précoce à l’arabe standard et la lecture encadrée par la mère (ou dans le préscolaire) permettent d’obtenir des résultats. Ensuite, on peut encourager l’élève à lire individuellement les textes à haute voix. La pratique quotidienne va lui permettre de lire couramment et sans effort. La conscience phonémique (la relation mots-sons ou graphèmes-phonèmes) doit s’acquérir dès la première année du primaire à travers son apprentissage explicite et séquencé en fonction de la difficulté des lettres-sons. C’est une compétence essentielle nécessaire à l’acquisition du décodage qui a tendance à être quelque peu négligée à en croire les évaluations menées au Maroc et en Jordanie. Les différentes réformes pédagogiques menées de part le monde ont eu tendance à négliger ces aspects de la lecture. De plus, les problèmes de temps scolaire et le traitement des questions de  lecture comme partie intégrante de l’enseignement de la langue arabe (sans forcément être un sujet d’enseignement en soi) grèvent les résultats des élèves.

Qu’en est-il au Maroc ?

Quelle est la situation de l’enseignement de la lecture au Maroc ? En quoi ces recherches peuvent être utiles ? Au Maroc, afin d’appuyer le MENFP (Ministère de l’Education et de la Formation Professionnelle) pour l’élaboration de sa stratégie de réforme, l’USAID/Maroc (United States Agency for International Development) a financé trois études sur la lecture. Celles-ci ont été gérées par RTI (Research Triangle Institute International), le bureau d’études VARLYPROJECT et l’Université Al Akhawayn. Les études ont été réalisées en un temps record (trois mois) avec un traitement rigoureux des thèmes suivants : analyse du curriculum et de des manuels scolaires, analyse de la formation initiale des enseignants et des perceptions et pratiques des enseignants en classe (dans les régions de Rabat et Marrakech). Les élèves ayant des difficultés en lecture à la limite de la 3ème année auront des difficultés certaines pour se rattraper. D’où l’intérêt de faire un diagnostic très pointu dès les premières années du primaire afin d’intervenir au niveau des manuels qui représentent le premier support pédagogique de l’élève et le support didactique préféré des enseignants.

Les méthodes d’enseignement de la lecture au niveau des programmes scolaires et manuels Les élèves ont besoin d’être assistés pour devenir des lecteurs actifs et efficaces. Ils ont besoin d’instructions claires et précises afin d’orienter leurs compétences de compréhension. La lecture ne s’apprend pas seule, il est important de le rappeler. Etant donné le peu de livres disponibles dans certains foyers, le manuel scolaire est le principal matériel de lecture auquel l’élève est exposé. L’analyse a relevé le besoin d’améliorer la qualité pédagogique (notamment la nature du vocabulaire utilisé) ainsi que la présentation des manuels scolaires marocains (notamment le choix des illustrations, la qualité d’impression, la diversité des couleurs et la densité de mots par page). Sur le plan du contenu, la conscience phonémique, l’identification des lettres er la lecture des syllabes ne sont pas abordées de manière suffisante avant d’aborder des tâches plus complexes telles que la lecture de phrases et la compréhension. Les unités minimales de la grammaire sont une partie intégrante du vocabulaire et doivent être enseignées dans leurs contextes sémantiques et fonctionnels afin que l‘élève développe ses capacités de lecture.

Les méthodes d’enseignement de la lecture au niveau de la formation des enseignants Les professeurs en formation sont issus de filières universitaires diversifiées qui n’ont pas toujours une relation directe avec les disciplines enseignées. La formation qualifiante au niveau des centres de formation (CRMEF) est relativement courte (1 an). A ce stade, il faut se poser la question de l’efficacité du programme officiel de  formation initiale des professeurs du primaire (cours théoriques et pratiques). En effet, le programme de formation doit tenir compte des nouvelles connaissances concernant la façon dont les élèves apprennent à lire l’arabe. Dans le contexte marocain, l’apprentissage direct et explicite de la lecture n’est pas suffisamment sujet d’enseignement théorique dans les cours de formation initiale. Par contre la lecture devient un sujet important dans les étapes pratiques quand il s’agit de donner des leçons sur la lecture. Il faut souligner qu’il y a un manque de cadre méthodologique global basé sur les meilleures méthodes d’enseignement. De plus l’intersection entre le coté théorique et pratique est à améliorer. Les études recommandent davantage de formation collaborative et de co-formation.

Les pratiques en classe 

Il faut aussi cerner les perceptions des enseignants afin de suivre leur développement professionnel, perceptions qui varient selon la filière d’étude originale et qui évoluent avec l’ancienneté. Certains enseignants n’ont pas un sentiment d’auto-efficacité par rapport à leur métier en général, ce qui affecte négativement l’enseignement de la lecture aux élèves. Les études montrent également le peu de travail individuel ou en groupes avec les élèves (quelque soit la taille de classe) et le manque de mesures de remédiation. Les enseignants sont peu formés en matière de gestion des classes multigrades et les formations continues ont peu touché spécifiquement la lecture. Les enseignants sont contraints de s’adapter à l’environnement sociolinguistique et aux matériels d’enseignement qui s’avèrent trop difficiles en particulier pour les élèves qui n’ont pas suivi le préscolaire.

Les évolutions à apporter aux pratiques actuelles dans le contexte marocain Afin d’assurer un enseignement de lecture adéquat en arabe, un ensemble de recommandations ont été formulées par des responsables éducatifs, des enseignants, inspecteurs et représentants de la société civile lors d’ateliers régionaux qui ont eu lieu les 29 et 31 octobre 2014. En ce qui concerne le manuel scolaire, il doit être attractif et adapté à la tranche d’âge des élèves et doit prendre en compte les disparités individuelles. Ce dernier doit être complété par des supports multimédias audiovisuels et numériques pour faciliter l’apprentissage de la lecture. Afin d’améliorer efficacement le niveau des élèves, le choix du manuel doit se faire librement par les enseignants sans intervention de toute autre partie. Enfin, la production du manuel scolaire nécessite la collaboration de l’expert en didactique, du pédagogue, de l’artiste, du psychologue et du sociologue au-delà de toute dimension commerciale. Il serait aussi intéressant de créer par la suite des laboratoires régionaux destinés à la mise en œuvre du curriculum et des programmes scolaires en tenant compte des particularités régionales. Au niveau de la formation de base de l’enseignant, il faut chercher à développer chez lui la capacité de sélectionner les moyens didactiques adaptés. Ce dernier doit prendre en considération la manière dont l’apprenant reçoit et traite l’information. Il doit aussi adopter des activités de lecture basées sur l’acquisition du savoir à l’instar des jeux de lecture et des chansons. Il serait aussi judicieux d’étaler la durée de la formation de base sur deux ans vu qu’une seule année. Enfin, pour les perceptions des professeurs et leurs pratiques en classe, il faut penser à changer les perceptions des enseignants à l’égard du métier et de l’école. Celles-ci ayant un impact sur leur engagement peuvent contribuer à un meilleur apprentissage de la lecture aux élèves. Il est aussi intéressant d’assurer un enseignement préscolaire en procédant à l’institutionnalisation systématique de cette phase considérée constructive et efficace par de nombreux travaux de recherche. Il faut aussi ajouter que l’approche mixte adoptée actuellement n’est pas la seule consacrée à l’enseignement de la lecture qui puisse être efficacement mise en oeuvre. Un autre point important est la pluralité linguistique qu’il faut intégrer dans les contraintes que l’enseignant doit affronter.

La culture de la lecture  Afin de traiter les thèmes du manuel scolaire et la culture de la lecture, l’ONG Le Réseau de la lecture au Maroc a organisé le 27 septembre 2014 une conférence à l’Académie d’éducation nationale de Casablanca. Plusieurs interventions ont fait part de critiques et de solutions complémentaires émanant principalement de la société civile. 2014-09-27 15.58.42 Selon les participants à cette journée : Pour développer le désir de la lecture, il est important d’intégrer la bibliothèque dans l’école primaire qui doit être en mesure de répondre aux intérêts des élèves. Cette dernière doit être accessible sur le plan interne et externe. L’école primaire a un rôle fondamental dans l’enseignement de la lecture. Celle-ci doit assumer cette responsabilité en offrant aux élèves le climat favorable pour développer cette activité. Au niveau du manuel scolaire, ce support pédagogique doit contenir au maximum des textes écrits par des auteurs marocains spécialisés. Les textes intégrés doivent être obligatoirement clairs, précis et toucher directement la culture. Il est important d’introduire les thèmes qui attirent l’attention de l’élève dès son jeune âge pour l’adapter à la culture de la lecture.

Pour aller plus loin : L’ensemble des rapports sur la lecture en arabe, français et anglais ainsi que différents documents sont disponibles ici. Les présentations d’un atelier international sur la lecture à Rabat (décembre 2013) sont disponibles ici. Les vidéos des interventions d’Helen Abadzi à WISE : http://www.wise-qatar.org/program/2014-wise-summit-program/session/debate-cognitive-science https://www.youtube.com/watch?v=4g8zZMfWNIY

Disclaimer : Ce billet n’engage pas la responsabilité des personnes et organisation citées. Photo : Youssef EL HAJI

19 septembre 2013

Utilisation des modèles à classes latentes dans l’évaluation des acquis scolaires


Abdallah ABARDA & Pierre VARLY

Le présent document constitue une synthèse de notre travail dans le cadre du projet de fin d’études réalisé au sein de la société Varlyproject et encadré par Messieurs Pierre VARLY et Mohammed El-haj TIRARI (INSEA). L’objectif était d’analyser les compétences des élèves au Cameroun et au Ghana, de faire ressortir une classification selon leurs apprentissages et caractéristiques socio-économiques et d’en déduire quelques mesures à prendre par les autorités afin d’améliorer la qualité et la performance des élèves. Le projet sert aussi à introduire des techniques d’analyse des données, l’Analyse des classes latentes (ACL) qui peuvent être appliquées dans divers domaines qui sont peut utilisées en évaluation des acquis scolaires. Accédez au rapport complet  : Rapport_FINAL2013

Contexte

L’utilisation de l’ACL entre dans le cadre de l’amélioration des outils statistiques dans le domaine éducatif. La mise en œuvre d’évaluations des acquis à large échelle est particulièrement coûteuse (déplacement d’administrateurs de tests sur le terrain, impression des tests, traitement et analyse des données). La phase d’analyse des données relevant des enquêtes d’évaluation des acquis scolaires nécessite des méthodes performantes aboutissant à des résultats fiables et interprétables en termes pédagogiques. La plupart des évaluations des acquis repose sur le calcul d’un score moyen qui n’apporte que peu d’informations sur les compétences des élèves. Il est possible de construire des échelles de compétences (voir l’exemple du SACMEQ) mais qui reposent souvent sur des techniques très complexes d’analyse des réponses aux items. Nous allons donc tester l’ACL comme méthode alternative.

Dans les deux cas, au Cameroun et au Ghana, le problème est d’identifier les élèves en grande difficulté ou susceptibles de ne pas savoir lire. Dans le cas du Ghana, on ne dispose que des résultats à un test écrit et qui n’est composé que de QCM (Questions à Choix Multiples). Des méthodes statistiques ont permis d’estimer la proportion d’élèves non lecteurs ou plutôt susceptibles de ne pas savoir lire. Dans le cas du Cameroun, nous avons à la fois les réponses à un test écrit (dit papier-crayon) mais aussi des observations individuelles des capacités de lecture des élèves. La réalisation de ces tests a été effectuée au Cameroun avec l’appui de la société.

L’idée est donc d’estimer à travers l’utilisation des modèles à classe latente, quelle est la proportion d’élèves non lecteurs au Cameroun et de comparer la classification opérée par l’analyse des tests écrits aux observations des capacités de lecture à l’oral, afin d’affiner des modèles qui puissent ensuite être appliqués au Ghana.

Plusieurs évaluations sont en cours au Ghana : des évaluations EGRA en 2ème année en anglais et dans 11 langues nationales et des tests écrits en 3ème et 6ème année. Ce PFE a permis donc d’alimenter la réflexion en cours sur la construction et l’exploitation des tests du Ghana. S’agissant du Cameroun, on cherche à déterminer des modèles qui puissent être mis en œuvre ultérieurement pour suivre la proportion d’élèves non lecteurs, que ce soit au niveau du pays, des régions ou des écoles. Enfin, comme le test Cameroun contient des items d’une évaluation internationale (PASEC), les modèles sont potentiellement applicables dans 21 pays ayant mené des évaluations depuis 1991 (Afrique subsaharienne, Liban et Asie du Sud-est).Les méthodes ACL peuvent avoir un champ d’application plus large que l’évaluation des acquis scolaires. Comme le suggère l’UNESCO dans le cadre du projet LAMP sur la mesure de l’alphabétisation, elles peuvent permettre d’identifier les ménages susceptibles d’être alphabétisés. Au Maroc, nous pensons que les méthodes ACL peuvent être utilisées pour déterminer les ménages susceptibles de connaître des problèmes de scolarisation des enfants et pouvant être l’objet de mesures d’appui social comme le programme Tayssir.

Base théorique de l’analyse des classes latentes

L’analyse des classes latentes repose sur des méthodes probabilistes que vous pouvez consulter en détail dans le rapport complet (Rapport_FINAL2013) , mais en voici les grands principes.

La probabilité d’observer un vecteur particulier de réponses est une fonction de la probabilité d’observer chacune des classes latentes et la probabilité conditionnelle qu’un individu choisit la modalité rj de la variable J sachant qu’il appartient à la classe C (sous l’hypothèse d’indépendance conditionnelle). Pour chaque individu, on peut calculer la probabilité conjointe de choisir une réponse Y et d’appartenir à la classe c. Cette relation nous permet d’obtenir les  vecteurs de probabilités d’appartenance à une classe. Le problème statistique se ramène donc à estimer certains paramètres et ensuite tester l’ajustement du modèle (Lanza et al.). L’algorithme EM est une procédure itérative qui est utilisé pour estimer les deux paramètres nécessaires pour la classification latente et qui se base sur la méthode du maximum de vraisemblance.

L’idée fondamentale de l’estimation par maximum de vraisemblance est de quantifier l’adéquation entre une distribution de probabilités et un échantillon : plus grande est la vraisemblance de l’échantillon, meilleure est l’adéquation. D’après AGERSTI (1990), pour chercher le modèle le plus adéquat, on peut utiliser la statistique du rapport de vraisemblance. Une fois les paramètres sont estimés, on compare les fréquences observées des différents vecteurs possibles – dans la table de contingence – des variables observées avec leurs espérances. On compare la statistique G² avec un Khi-deux. Le modèle à classes latentes est acceptable si G² est inférieure au seuil définit par les quantiles de la statistique Khi-deux. En revanche, la comparaison entre G² à un  Khi-deux ne pourra pas être considérée si la quantité. N/W est faible (inférieure à 5), KOEHLER (1986) (cité par Lanza et al.) avec N étant la taille de l’échantillon et W le nombre de paramètres donnés par la table de contingence soit 2 puissance p où p est le nombre d’items.

Choix du modèle

Pour le choix du nombre de classes, et à titre de démonstration, nous présentons seulement un seul modèle appliqué aux données du Cameroun. Nous avons utilisé  les neuf premiers items du test de la langue, qui sont dans le domaine de la lecture. Chaque item mesure une compétence particulière. Parmi les items sélectionnés, six sont de premier niveau taxonomique (connaissance et compréhension) alors que trois sont de deuxième niveau (application), dont deux sont des items PASEC. On a constitué finalement un ensemble de neufs variables et 2 553 observations.

Critères de choix du modèleTableau 1

Les valeurs de la statistique G² et du critère AIC sont les plus faibles pour un modèle à six classes latentes, alors que le critère BIC atteint son minimum pour un modèle à quatre classes. Puisque le rapport N/W est égal à environ 5, on pourra dire que la statistique G² suit une loi Khi-deux à ddl degré de liberté. Pour les trois premiers modèles (modèles à 2, 3, 4 classes latentes), la p-value est inférieur à 5%, donc on ne pourra pas choisir ces modèles. Il reste alors les modèles à 5, 6 et 7 classes et on peut choisir un modèle à cinq classes latentes.

Les élèves appartenant à la classe 1 ont un score moyen égal à 0,74 (% de bonnes réponses). C’est le plus grand score parmi les cinq classes. Cette classe peut représenter les élèves ayant une bonne base en lecture. Le score de 0,14 est inférieur au score d’un élève qui répondrait au hasard. C’est celui de la classe 2 qui a le plus petit score parmi les classes issues de l’ACL. Cette classe semble être qualifiée comme étant la classe des élèves ayant de grandes difficultés en lecture (cf. figure 2).

Dispersion des scores de lecture en fonction des classes latentes

Figure1

 Il est important de remarquer aussi la bonne dispersion des scores des classes, c’est-à-dire les écarts entres les performances des meilleurs élèves en lecture (Les élèves appartenant à la classe 1) et les élèves les moins performants (Les élèves appartenant à la classe 2) et les autres classes, sauf les classe 4 et 5 où les scores sont proches.

Les scores calculés à partir des probabilités conditionnelles en utilisant les modèles à classes latentes avec seulement neufs items sont très proches des classes calculées à partir des 39 items de test de langue. On voit ici que sur la base du seul score moyen, généralement utilisé pour constituer des groupes d’élèves, on n’est pas en mesure de distinguer les classes 4 et 5. L’ACL apporte donc une information plus précise que le simple score moyen. On note que l’ACL ne classe pas les élèves sur la base de nombres (ou quantités) d’items corrects mais selon des profils d’élèves et leurs comportement vis-à-vis des questions du test.

L’ACL va nous permettre d’expliquer les différences entre les classes 4 et 5 qui ne sont pas décelables si l’on intéresse seulement au score moyen.

Interprétation des classes 

En se basant sur les résultats obtenus dans le tableau des probabilités conditionnelles, on peut interpréter les classes latentes comme suit :

Classe 1 : Lecteurs confirmés

Cette classe représente 23% de la totalité des élèves de CM5 ayant passé le test. Elle se caractérise par des grandes probabilités de répondre correctement à tous les items. Les élèves de cette classe ont des capacités de lire et de comprendre, de tirer des relations entre plusieurs mots ou d’interpréter le sens d’une partie du texte. Ils peuvent aussi déduire plusieurs informations à partir d’un texte.

Classe 2 : Non Lecteurs

La classe 2 est qualifiée de  « Non Lecteurs » puisque les probabilités d’échec sont très grandes pour tous les items. Elle se caractérise par l’échec à tous les items. Cette classe présente 43% de notre échantillon et on note une surreprésentation de garçons 52% contre 48% pour les filles. On remarque que les élèves qui appartiennent à cette classe ont probablement beaucoup de difficulté à lire et à comprendre et donc à répondre aux items les plus faciles du test.  Ce groupe d’élèves peut être considéré comme étant en grande difficulté de lecture et pour lesquels la situation est particulièrement préoccupante. Ces élèves ne sont pas capables de lire des textes  simples, de reconnaître des informations ou de comprendre la signification d’un extrait d’un texte, alors  leurs compétences en lecture ne suffisent pas, ceci réduit donc leurs chances de réussite et augmente la probabilité d’abandon et d’échec scolaire.

Graphique 2Classe 3 : Lecteurs partiels

Le groupe d’élèves appartenant à cette classe représente 14% de notre échantillon. Leur niveau en lecture est moyen, à cause des difficultés qui sont peut être liées soit à une extrême lenteur d’exécution des tâches, soit au fait qu’ils n’ont acquis qu’une partie des apprentissages fondamentaux. En effet, ces élèves ont des grandes probabilités de répondre seulement aux quatre premières questions. On parle parfois dans la littérature de lecteurs émergents. Il s’agit du prélèvement et du repérage d’une information explicite sachant que la question reprend littéralement les termes employés dans le texte. Ils ne sont pas aptes à construire une information ou à trouver la réponse  si la question comporte une difficulté particulière. Peut-être que ces élèves commettent de nombreux contresens, notamment dans la compréhension globale d’un texte. Ce sont là des élèves pour lesquels existent des problèmes de lecture très spécifiques et qui demandent une attention toute particulière.

Classe 4 : Lecteurs créatifs

La classe 4 représente seulement 5% de l’effectif des élèves qui ont suivis le test. Elle se caractérise par la capacité à construire une information à partir d’un texte (Répondre par rédaction) et la non aptitude à répondre aux questions QCM (Questions faciles du test).  Ce groupe d’élèves peut être considéré comme étant en difficulté partielle de lecture et pour lesquels la situation est « moins préoccupante ». Ces élèves ne sont pas à l’aise avec les QCM mais réussissent bien aux items faisant appel aux aptitudes créatives.

Classe 5 : Lecteurs ayant besoin d’aide

Cette classe présente une proportion de 16%, elle correspond aux élèves qui sont capables de repérer une information simple, mais qui exécutent peut être les tâches de recherche d’information dans un texte de façon peu précise. Ces élèves ont moins de chances de réussir les premiers items par rapport aux élèves de la classe 3.

Classes issues de l’analyse des données socio-économiques au Cameroun

La classification des élèves au Cameroun selon les variables socioéconomique relève cinq classes homogènes :

Classe 1 : Elèves issus des ménages pauvres mais alphabétisés.

Les élèves issues des ménages pauvres mais alphabétisés représentent 22% de l’effectif des élèves. Cette classe a été qualifiée ‘d’Elèves issus des ménages pauvres mais alphabétisés’ parce qu’elle incarne les élèves dont les parents pauvres en termes de nombre de bien possédés, des élèves qui n’ont pas bénéficiée du préscolaire (Maternelle), qui ont une mère alphabétisée, possèdent des manuels scolaires en classe et parlent la langue du test  à la maison.

Classe 2 : Elèves issus de familles vulnérables et alphabétisées

Ce groupe est composé de 204 élèves (8% de l’échantillon), il se caractérise par la pauvreté de la famille de l’élève, donc l’incapacité de mettre à la disposition des élèves les manuels scolaires, la fréquentation d’une école publique, en revanche, la mère sait lire et l’élève lit, avec une langue d’enseignement (français ou anglais) qui n’est pas beaucoup utilisée à la maison.

Classe 3 : Elèves issus de familles vulnérables et analphabètes

Cette classe représente 20% de la population des élèves enquêtés (soit 510 élèves), elle se caractérise par des grandes probabilités d’appartenir à la catégorie très pauvres, d’étudier dans des écoles publiques et de ne pas fréquenter le préscolaire. Elle se caractérise aussi par l’utilisation d’un langue à la maison autre que celle du programme scolaire. Ce groupe d’élève représente la classe extrême qui a besoin d’aide.Figure_4

Classe 4 : Elèves issus des ménages moyens et alphabétisés

La majorité des élèves de l’échantillon se trouvent au sein de cette classe (30%), elle est nommée ‘Elèves issues des ménages moyens’. L’examen de ces  élèves issus des ménages pauvres révèlent à peu près le même profil que celui retrouvé dans la classe 1, avec des probabilités assez moyennes d’appartenir à la catégorie pauvre. La spécificité de cette classe par rapport  à la deuxième classe, est qu’elle contient des élèves qui ne parlent pas la même langue que celle du test à la maison.

Classe 5 : Elèves issus de familles riches et alphabétisées

Cette classe est qualifiée ‘Elèves issus de familles riches et alphabétisées’ car elle se caractérise par des ménages riches (qui possèdent tous les biens nécessaires), dont les élèves ont pu assister à des cours préscolaires, qui possèdent des livres et des manuels scolaires, dont les mères sont alphabétisées, lisent à la maison,  inscrits dans des écoles privés et parlent à la maison la même langue que celle de l’école. Ce groupe représente 20% des élèves sélectionnées pour le test, c’est un groupe extrême opposé à celui de la classe 3.

On trouve parmi les élèves appartenant à la classe des pauvres mais dont les familles sont alphabétisées 37% des non lecteurs contre 63% des lecteurs. On remarque aussi que pour la classe des élèves issues de familles riches et alphabétisés 22,5% des élèves seulement appartiennent à la catégorie des non lecteurs. Le pourcentage des non lecteurs dans la classe des élèves issues de familles très pauvres et analphabètes est égal à 58,3% contre 41,7% des bons lecteurs (cf. Figure 4).

Analyse des transitions latentes pour les données PASEC du Cameroun

L’analyse des transitions latentes permet de mesurer les changements d’états dans le temps (de non lecteur à lecteur par exemple). Un état est caractérisé par l’appartenance à une classe. Les probabilités conditionnelles ont la même interprétation que dans le cas de l’ACL. Bien que l’on doive avoir normalement des probabilités propres à chaque état (Time 1 and time 2), on a impose que ces probabilités soient égales pour faciliter l’interprétation des classes (equal across in the two times), les trois classes latentes s’interprète de la manière suivante :

Classe 1 : Lecteurs

Cette classe représente 31% des élèves au début de l’année scolaire, et 51% à la fin de l’année. Elle se caractérise par des grandes probabilités de réussir toutes les items de la lecture, ce sont les items les plus faciles du test selon l’indice de difficulté.

Classe 2 : Lecteurs partiels

Ce groupe est de 51% au début et 34% à la fin de l’année scolaire, Les élèves appartenant à cette classe parviennent à répondre seulement aux deux premiers items de la lecture.

Classe 3 : Non lecteurs

Cette classe est nommée « non lecteurs », parce qu’elle incarne les élèves qui non pas pu répondre à aucun items parmi les items. Cette classe représente 17% au test initial et 16% au test final.

Il existe un changement des prévalences des classes latentes entre le début et la fin de l’année scolaire. En effet, on a noté une augmentation de la proportion des élèves lecteurs de 31% au test initial à 50% au test final, une diminution de la proportion des lecteurs partiels de 51% à 34%. En revanche on remarque une stagnation de la proportion des élèves non lecteurs (17% au début et 16% à la fin de l’année).

La conclusion qu’on peut tirer de cette première analyse, c’est que les élèves ayant un niveau moyen en lecteur ont -peut-être- la possibilité de transiter vers la classe des lecteurs alors que les non lecteurs au début de l’année restent à la même situation à la fin de l’année scolaire. Cela rejoint les conclusions faites par ailleurs, à savoir que la lecture n’est plus enseignée dans les classes en 5ème année et les élèves non lecteurs ne peuvent donc pas progresser (cf. figure 5).
Figure_5

Les élèves qui appartiennent à la classe des lecteurs au début d’année scolaire ont une grande chance de ne pas changer de statut à la fin d’année avec une probabilité de 0,72, les probabilités de transiter vers la classe des lecteurs partiels et vers la classe des non lecteurs sont faibles (0,18 et 0,11 respectivement).

La probabilité de passer d’un statut de non lecteurs vers un statut des lecteurs est de 0,45, et vers un statut des lecteurs partiels est de 0,28, la possibilité de ne pas changer de classes est égal à 0,28. Il y a presque ½ de chance que les élèves appartenant à la classe des lecteurs partiels ne changent pas de classes, alors que la probabilité de transiter vers une classe des lecteurs est de 0,38.

L’analyse des résultats des transitions latentes montre que peu d’élèves ont régressé d’un niveau élevé (Lecteurs) vers un niveau lecteurs partiels. On déduit aussi que l’augmentation des élèves lecteurs est due principalement à la transition des élèves non lecteurs puis lecteurs partiels, même si l’enseignement de la lecture n’est pas un objectif du programme à ce niveau.

Synthèse et bilan : valeur ajoutée de l’ACL

L’application de l’ACL pour la classification des élèves en niveau scolaire au Cameroun fonctionne bien. Elle nous a permis de regrouper les élèves selon leurs niveaux de compétences et d’estimer presque parfaitement la proportion d’élèves non lecteurs 49,3% en confrontant nos prévisions sur les résultats des tests individuels à l’oral.

Pour tous les modèles testés, l’ACL donne souvent un nombre impair de classes, ce qui remet en cause la règle de compétences acquises et non acquises.

Notons aussi que les classes de langues et de mathématiques construites par l’ACL correspondent aux échelles de compétences faites à priori. L’ACL est donc utilisable pour créer a posteriori des échelles de compétences lorsque celles-ci n’ont pas été formalisées au moment de la création des tests (cas du PASEC notamment). Au Ghana, la classification ne fonctionne pas bien avec le même nombre d’items qu’au Cameroun. Cela peut être dû à la nature du test (QCM) et au nombre d’observations, on en déduit que (dans notre cas) pour avoir un bon modèle à classes latentes, il faut choisir un nombre maximum d’items respectant la contrainte de N/W.

La classification des élèves du Cameroun montre qu’il existe deux dimensions importantes qui peuvent agir sur l’apprentissage des acquis : la pauvreté et l’analphabétisme des parents. Parmi les cinq classes relevées par l’ACL, quatre classes d’élèves se caractérisent par la pauvreté et la vulnérabilité, ce qui correspond à 80 % des élèves de notre échantillon. Seulement deux classes d’élèves ont des parents alphabétisés.  Ceci peut être nouveau par rapport aux études déjà réalisées. En effet, l’ACL nous a permis de faire ressortir cinq profils d’élèves : élèves issus des ménages pauvres mais alphabétisés, élèves issus de familles vulnérables et alphabétisées, élèves issus de familles vulnérables et analphabètes, élèves issus des ménages moyens et alphabétisés et enfin les élèves issus de familles riches et alphabétisées. Ainsi, un des objectifs principaux de ce projet de fin d’études est de voir si l’ACL permet de prédire la proportion des bons lecteurs à partir des tests écrits sans avoir recours à des tests oraux, l’ACL a permis de bien classifier environ 75% des élèves, alors que 25% des élèves sont mal classés, ce qui peut être expliqué, soit par les erreurs de mesure lors du test à l’oral, soit par la nature des items choisis.

Enfin l’analyse des classes latentes sur les données PASEC collectées au Cameroun  en 2006 montre que les élèves non lecteurs en début de 5ème année ont peu de chance de progresser en cours de l’année, ce qui montre que la lecture est peu enseignée à ce niveau. Ce résultat rejoint les observations réalisées lors de l’évaluation nationale en 2011 où d’importants problèmes de lecture ont été observés chez les élèves et dans la méthodologie d’enseignement (cf. Tableau 2).

RECOMMANDATIONS 

A partir des résultats obtenus et d’une réflexion propre intégrant les derniers chantiers de la société Varlyproject, nous pouvons formuler un certain nombre de  recommandations comme suit :

  • La détermination des élèves en difficulté en lecture peut être effectuée avec un nombre réduit d’items appartenant au domaine de la lecture et sélectionnés de façon à respecter les hypothèses de base de l’ACL, notamment l’indépendance locale.
  • Les résultats de l’ACL vont permettre aux décideurs d’identifier les élèves ayant des besoins précis et développer des approches  pédagogiques en fonction de leurs profils afin d’améliorer les compétences et les acquis visés pour un niveau donné.
  • En plus de la qualité de classification, l’ACL permet de spécifier les types des difficultés rencontrées par l’élève, ce qui facilite la détection de la nature des problèmes et la faculté d’y remédier en fonction de la classe d’appartenance de l’élève.
  • La réalisation d’un test simple avec moins d’items au début et à la fin d’année et l’utilisation de l’analyse des transitions latentes (ATL) va permettre l’évaluation du progrès des élèves. Ainsi, on va donner la possibilité aux décideurs de quantifier les objectifs d’un programme au cours d’une année scolaire pour chaque niveau, de cibler la catégorie des élèves en grandes difficultés et de voir si les objectifs visés au début ont été atteints.
  • Les causes des difficultés d’apprentissages sont multiples (Retard mental, démotivation, milieu sociale et économique, façon d’apprentissage,  …), ces causes peuvent être non mesurables, la manière d’y remédier nécessite la détermination et la caractérisation des élèves en question, par exemple on peut classer ces élèves selon leurs appartenances à un milieu : favorable à l’éducation, peu favorable ou défavorable. L’outil utilisé dans ce projet de fin d’études permet de résoudre cette problématique grâce à un questionnaire simple avec des questions bien ciblées qui vont être destinées aux élèves ou à leurs parents au début de chaque rentrée scolaire.
  • Application à la construction d’un test de calcul mental.
  • Applicable pour les études sur les ménages, par exemple : la détermination des ménages alphabétisés.
  • Application aux ciblages du programme TAYSSIR et à l’identification des élèves en difficultés.
  • Application à l’identification des enfants à besoins spécifiques (Handicap).

Développement de l’ACL :

Au Maroc, le programme Tayssir est actuellement ciblé au niveau des communes INDH et les subventions sont octroyées à tous les ménages d’une commune. Dans le cadre de la réflexion en cours sur une plus grande efficience, nous pouvons suggérer l’utilisation des classes latentes pour déterminer les caractéristiques des ménages susceptibles de prédire des problèmes de scolarisation d’un enfant ou plus dans le ménage. Sur la base de la littérature internationale et propre au Maroc, nous suggérons d’utiliser l’ACL sur les indicateurs suivants (possession de certains biens et accès à des équipements : eau courante, électricité, toilettes, frigo, voiture, type d’habitats, niveau d’instruction de la mère, famille monoparentale, nombre d’enfants dans le ménage, présence d’un enfant à besoins spécifiques) et d’exploiter les résultats des enquêtes ménage pour définir sur une base empirique des critères de ciblage de l’appui social au Maroc.

La société est également employée par l’UNICEF pour conduire une étude sur les enfants non scolarisés à Djibouti dans le cadre d’une initiative OOSCI intégrant des pays africains mais aussi du Moyen Orient et de l’Afrique du Nord (dont le Maroc). L’étude va s’appuyer sur différentes enquêtes ménages et se focaliser également sur la question du handicap. Nous pensons que l’ACL, peut être appliquée au test de mesure du handicap dit Screening Instrument de l’OMS afin de classer les enfants en besoins spécifiques en handicap léger et lourds ou qui cumulent les difficultés.

On estime actuellement à un milliard le nombre de personnes souffrant d’Handicaps dans le monde et à 33% la proportion d’enfants non scolarisés dans une situation de handicap. Nous pensons que l’ACL peut être utilisée pour créer sur une base empirique des échelles de handicap qui puisse être appliquée dans différents situations.

Abdallah Abarda, Pierre Varly

Pour aller plus loin :

A cette fin nous présentons quelques articles qui détaillent l’utilisation de l’ACL associée aux Screening Instruments :

Jenkins discute de la mise au point d’outils universels de détection des problèmes en lecture

Dix présente des méthodes d’identification des enfants ayant des problèmes de santé mentale

Kreuter & al discute de l’intérêt des méthodes ACL pour tester la fiabilité des réponses à un sondage

Seong-A discute de l’intérêt des méthodes ACL pour déterminer le retard de dévelopement.

Geary & al propose un outil de prédiction des aptitudes en mathématiques basés sur la maîtrise des ensembles de nombre

Ce dernier article s’insère dans la réflexion sur la construction simple et rapide d’un test de mathématiques qui puisse être utilisé dans différents contextes (Early Grade Mathematics Achievement, EGMA). Nous pensons là encore que l’ACL possède un fort potentiel.

Ce document ne comporte pas le détail du projet, n’hésitez pas à consulter le rapport complet avec une base bibliographique.

Si vous avez des questions, des remarques, des suggestions etc. vous pouvez nous contacter ou poser des questions dans les commentaires.

23 novembre 2011

Analyse des déterminants de la performance scolaire dans le cycle primaire au Burkina Faso


Pouirkèta Rita NIKIEMA de nationalité burkinabé, étudiante en Sciences Economiques et de Gestion, titulaire du DEA/Master-NPTCI à l’Université Ouaga II (Burkina Faso), option : Economie des Ressources Humaines.

nous présente la synthèse de son mémoire de DEA, soutenu en juillet 2011.

Effectis scolarisés versus qualité de l’enseignement

Depuis 1990, les pays d’Afrique subsaharienne se sont lancés dans la course de la scolarisation primaire universelle ou Education Pour Tous (EPT) d’ici 2015. Au Burkina Faso, le taux d’achèvement du cycle primaire est passé successivement de 27,4% en 2000 à 41,7% en 2008 pour atteindre 52,1% en 2010. Les effectifs scolarisés ont presque doublé en dix ans, ce qui est un exploit, mais qui fait naître des interrogations sur la qualité de l’enseignement dispensé. La réalisation de l’EPT vise aussi à ce que les enfants acquièrent et dans les délais les compétences dont ils auront besoin afin de saisir leur chance dans la vie active.

Malgré des avancées positives, le système éducatif burkinabé est confronté à des problèmes d’efficacité, le taux de redoublement est élevé et vaut 25,3% dans le dernier cycle du primaire en 2009. En outre, les  abandons sont assez fréquents, le taux d’abandon était de 7,4% en 2009. De surcroît, les évaluations internationales (en langue et en calcul) comme le PASEC, témoignent d’un faible niveau des apprentissages des élèves en CP2 et CM1.

Entre les deux enquêtes PASEC de 1996 et 2007, les scores obtenus en français sont passés de 46,6 sur 100 à 37,4 pour les élèves du CM1, et de 58,2 à 43,1 pour le CP2. Le rapport PASEC nous dit : « Si les élèves ruraux et pauvres ont de moins bons scores que les autres, alors plus on scolarise ces élèves, plus on doit s’attendre à ce que le niveau moyen baisse. » et note qu’en CP2 : « la baisse est très importante en milieu rural, notamment en mathématiques. Par contre en milieu urbain, le niveau se maintient en français tandis que le niveau en  mathématiques baisse fortement. », mais aussi que « certaines écoles rurales scolarisant des pauvres réussissent très bien, ce qui est encourageant ».

La question qui se pose alors est de savoir à quoi le faible niveau de performance est-il imputable : aux élèves eux-mêmes, aux enseignants, ou aux conditions d’enseignement?

Problématique de l’étude

Après une revue très complète des différentes théories sociologiques ou économiques sur la performance scolaire, il est prudent de dire que toutes les variables susceptibles d’influencer la performance scolaire n’ont pas été prises en compte. Par exemple, les variables liées au leadership du directeur d’école, l’implication de la communauté éducative (relations parents d’élèves-enseignants, parents d’élèves-directeur, enseignant-directeur) ou les échanges d’expérience entre enseignants qui ne sont appréhendées que par questionnaires. De même, la conception ou estime de soi n’a pas été prise en compte comme facteur individuel, ni les compétences académiques des enseignants, ou encore les méthodes pédagogiques utilisées par les enseignants, qui supposent une observation directe.

L’étude s’est proposé d’analyser la performance scolaire de l’enseignement primaire au Burkina Faso en  caractérisant le marché de l’éducation et en déterminant les facteurs explicatifs des acquisitions scolaires. L’étude a permis de développer deux principales hypothèses :

  • L’offre et la demande d’éducation déterminent un marché oligopolistique
  • Les caractéristiques socio-économiques des élèves, les caractéristiques de l’enseignant et de l’école influencent la performance des élèves.

Résultats de l’étude

L’offre d’éducation est appréhendée par les infrastructures (écoles, équipements), les enseignants et le personnel administratif. L’offre est assurée par le public (Etat) et le privé (allant du secteur purement privé aux groupes religieux en passant par les ONG). Une concurrence se joue souvent entres offreurs du privé. Lire à ce propos un article sur les écoles privées catholiques au Burkina Faso.

Le gouvernement burkinabé cherche d’ailleurs à diversifier son offre à travers les écoles satellites ou écoles bilingues (voir cette vidéo d’Arte).

Quant à la demande, elle est l’expression des besoins des ménages ou de la collectivité sous des contraintes : le revenu, les facteurs socioculturels et démographiques. Les offreurs étant limités (avec concurrence) et les demandeurs multiples, il ressort aisément qu’en tant que bien, l’éducation s’échange sur un marché oligopolistique. Ensuite, à travers une estimation économétrique,  il est mis en évidence que  les caractéristiques socio-économiques des élèves, les caractéristiques de l’enseignant et les facteurs de qualité de l’enseignement influencent la performance scolaire.

Pour la détermination de ces facteurs de la performance des élèves, l’enquête PASEC Burkina Faso de 2006 a fourni les données sur les élèves, les enseignants et les écoles. La performance de l’élève est appréhendée par quatre niveaux : mauvaise performance (niveau 0), performance à améliorer (niveau 1), performance satisfaisante (niveau 2) et bonne performance (niveau 3), qui caractérisent une variable à expliquer par un modèle multinomial, le probit ordonné.

Les résultats du probit ordonné, modèle encore peu utilisé en éducation, montrent que des variables caractérisant le milieu socio-économiques des élèves, en passant par les caractéristiques de l’enseignant, expliquent bien le niveau de performance des élèves. En effet, les variables prédisent correctement dans plus de 65% des cas, la probabilité d’une mauvaise performance et le modèle identifie davantage les facteurs d’échec que de succès. Pour les caractéristiques des élèves, l’usage du français à domicile, la possession de manuel, le fait d’être à moins de 15 minutes de l’école contribuent à une bonne performance scolaire, tandis que le fait d’être fille, avoir redoublé, exercer des activités extra scolaires et habiter à plus d’une heure de son école favorisent une mauvaise performance. Le système éducatif du Burkina Faso a donc bien du mal à contrebalancer les effets du contexte avec les types d’écoles ou de scolarisation existants.

Concernant les caractéristiques de l’enseignant, les maîtres ayant un diplôme professionnel, qui vivent près de l’école ou qui sont des femmes assurent une bonne performance scolaire aux élèves. Par contre, l’ancienneté de l’enseignant, le fait qu’il vive loin de l’école, les absences de l’enseignant sont des facteurs favorisant une mauvaise  performance. En dehors du caractère public de l’école, la localisation, qu’elle soit en ville ou au village, l’effectif de la classe, l’équipement de base influencent positivement la performance. Le rapport PASEC note : « les élèves ne bénéficient pas des mêmes chances de réussite selon qu’ils fréquentent des écoles de statuts différents, ou selon que l’école se trouve en milieu urbain ou  rural ».

Recommandations et perspectives

Au terme de l’étude et au regard des résultats, des recommandations ont été proposées en vue d’améliorer la performance scolaire des élèves. D’abord, les autorités pourraient veiller à ce que chaque enseignant ait le premier diplôme professionnel avant d’enseigner, ce qui passe par la formation initiale permettant à l’enseignant d’acquérir une pédagogie nécessaire pour l’apprentissage des élèves. Les résultats de l’étude montrent que les enseignants n’ayant aucun diplôme professionnel favorisent une mauvaise  performance scolaire. Il se présente souvent des situations où certains enseignants sont recrutés et envoyés directement en salle de classe. Ce manque de qualification pédagogique se reflète sur les résultats.

En outre, les autorités doivent mettre en œuvre des mesures pour réellement diminuer le redoublement. Des études ont montré que la particularité de l’éducation en Afrique francophone est le maintien de taux de redoublement élevés qui agissent négativement sur sa performance scolaire. De plus, le redoublement augmente le temps d’achèvement du primaire et le coût de l’éducation, ce qui constitue un  frein à l’objectif de la scolarisation universelle.

En outre, les résultats ayant montré que  les classes des écoles publiques sont moins performantes que celles privées, on pourrait prendre des mesures d’amélioration de la gestion des écoles publiques, notamment sur le temps scolaire.

Par ailleurs, les résultats démontrent que posséder les livres pour l’apprentissage à la maison favorise une bonne performance des élèves. Cependant, l’étude révèle que plus de 70% des élèves n’ont aucun livre en leur possession pour l’apprentissage. Les autorités devraient rendre effective dans toutes les écoles la distribution gratuite des livres aux élèves en occurrence aux plus défavorisés leur permettant d’accroitre leur performance et mieux équiper les classes en matériels didactiques.  Enfin, les autorités doivent prendre des mesures d’amélioration des conditions d’apprentissage des filles à l’école. Les résultats montrent une mauvaise performance des filles par rapport aux garçons, ce qui loin d’être systématique en Afrique francophone. Le sexe ne doit pas être un facteur de différence de performance et la parité genre est un objectif à part entière de l’EPT.

Limites et perspectives de l’étude

La disponibilité des données n’a pas permit à la présente étude (comme l’indique le titre) de déterminer les facteurs scolaires de tout le système éducatif au Burkina Faso. Dans ce sens, le PASEC est  encouragé à étendre les enquêtes jusqu’au niveau supérieur ce qui permettra de faire l’analyse sur tout le système éducatif et d’apprécier son efficacité d’ensemble.

16 octobre 2010

Evaluation in OLPC: what for? What has been done, what could be done?

Filed under: One Laptop Per Child — Étiquettes : , , , , , , , , , , — education_south @ 11 h 47 min


Evaluation in OLPC: What for ? what has been done, what could be done?

Acces the PDF here : Evaluation in OLPC

Acces the Powerpoint Presentation here : Evaluations in OLPC

These documents can be accessed from the Olpc Fundation research page, where you can find usefull papers. You can find an older paper in french : L’évaluation des déploiements OLPC, quelles méthodes, quels résultats ? Evaluation_OLPC_Varly_FR

Abstract

First OLPC deployments took place in early 2007, but evaluation plans were merely embedded at the first stage of the projects. If there is growing evaluation of 1:1 projects in education, few can produce reliable estimates of the ICT effects on pupils’ achievement. The OLPC deployments contexts are far more complex from an IT and educational perspective than in the Western countries, where most of the 1:1 projects have been evaluated. The expected outcomes of the OLPC deployments range from the digital device reduction, better self-esteem and motivation, to higher attendance and learning outcomes. Actual OLPC deployment evaluations are not addressing all these issues and just a few focuses on achievement measured by test score. Most reported outcomes are better motivation and attitudes and reduction of the repetition rates.

After wondering if systematic OLPC deployments’ evaluation is really required, this paper makes proposal to include evaluation plans and longitudinal studies in the OLPC deployments. Evaluation tools should be simple, inexpensive and manageable by OLPC volunteers on the field in order to measure the impacts and share experiences of what works and what’ don’t. More focus should be put in measuring reading literacy in the early grades, which seems to be the big issue in the developing countries.  Need for a change in education systems, potential private funding (Giving Pledge), widespread impact evaluation documentation, less curricula-driven tests and measure, simple test tools, leave more room for OLPC interventions and evaluation. It is an opportunity to learn that OLPC community should catch right away.

OLPC Evaluation: what for?

First OLPC deployments took place in early 2007. On the different forums, news’ group or wiki projects, web sites and blogs much attention is given to the technical IT aspects of OLPC project, to the detriment of the pedagogical and implementation parts. A consistent browsing of online resources on OLPC leads to such a statement (Varly 2010). If there are many experiences and knowledge sharing on how to run a XO Laptop, there is few on how to best run a XO laptop project[1]. Evaluation could a play a role in providing useful feedback on what works and what don’t in the different local deployments, or if certain Sugar activities work better than others for instance. Following a review of OLPC evaluations (Nugroho 2009), completed by more recent OLPC evaluation reports, a recent paper from the OLPC Foundation Learning Group clearly advocates for embedding evaluation process into the early stages of the deployment design, (Zehra 2010.)

A recent extensive OLPC evaluations review and categorization (Varly 2010) completes the OLPC ongoing work and makes proposals for an evaluation framework drawing on non-OLPC ICTE work and taking account for developing countries’ context. Simple and cheap tools can be used to monitor the effects of the OLPC projects, before thinking of more complex design, such as impact evaluation. This type of evaluation, inspired by health trial protocols and set by a MIT hosted Poverty Reduction Lab, is largely used to monitor education interventions, and somehow became a condition for funding large scales projects, including OLPC deployment under BIE or World Bank management.

In august 2009, on the World Bank blog on ICTE, Michael Trucano said :

“Most of the evaluations to date have been of very small pilots, and given the short duration of these projects, it is difficult — if not dangerous —  to try to extrapolate too much from the findings from such reports.  This is especially true given the ‘hothouse flower’ nature of most high profile ICT in education pilots in their initial stages, where enthusiasm and statements about expected future changes in behavior and perceptions substitute for a lack of rigorously gathered, useful hard data.”

For small OLPC deployments, replicating actual impact evaluation or quasi experimental methods may simply exceed the overall deployment costs if there are externally managed. However, there are solutions to draft evaluation tools that could be managed by OLPC volunteers and other members of the “good will coalition”. Considering efficiency issues, that are one possible use of evaluation, one parameter is the outcome and the other the cost. If little has been done yet to measure outcomes (at least from the learning side), there is now a broader knowledge of the XO unit cost, including implementation.

Efficiency vs. moral considerations in OLPC galaxy

In Nepal, the XO deployment overall unit cost[2] is estimated at 77$ per year compared to a 61$ current spending per primary pupil according to (Unesco 2010) and excluding investments such as school building etc…. In Uruguay, unit cost is estimated at 75$, including implementation. Comparatively, it’s still a costly investment as one XO Laptop can represent one month teacher salary in many countries. On the other side, traditional teaching and formal education methods have reached their limits and if more pupils got enrolled worldwide the past few years[3] many are off track in terms of basic skills. In Nepal, 79% of grade 2 learners are not able to read any word (see Graph 3). Out of the 61$ spent by the government, how much does really hit the Nepalese schools? Are OLPC deployments cost-effective[4] complementary of alternative ways of learning and fostering local development?

In secondary education, school fees, textbooks and uniforms are unaffordable for many households but increase of primary completion rates sustain a growing social demand, especially in Africa. Traditional forms of schooling that induce building colleges in rural areas and recruitment of qualified teachers are simply unaffordable for the government budget for secondary education and development aid financing focus on primary or tertiary education (UNESCO 2010). As a result, in Africa, 45.8% of lower secondary education spending comes from households (Pole de Dakar 2010) and comparing households unit spending per pupil and XO-HS unit cost is worthy. Alternative development scenarios including less public spending in lower secondary but public investment geared towards electricity supply in rural areas and XO-HS buying by families might be explored in terms of economic sustainability. Once again, even if this drastic scenario was economically sustainable, the issue of XO-HS impact on secondary pupils learning outcomes comes out.

If efficiency has been largely promoted in education systems, it is just one aspect of evaluation. Unlike the “assessment of learning approach”, who deals with efficiency (How much do we pay? what do we get?), the “assessment for learning” approach use evaluation tools to compare effects of different OLPC projects and identify deployment best practices. This paper does not make a choice between the two approaches.

Addressing the issue of efficiency will be necessary if OLPC wants to reach all kids and achieve its goal but at this stage, the OLPC community is still learning how to best run a Laptop project in different local environments, including post conflict situations. OLPC evaluation can foster deployment teams’ competencies in education measurement, monitoring and evaluation and develop further knowledge sharing on how to implement XOs in the school environment and not just on how to run XOs.

From a moral point of view, providing laptops to kids might just be a sufficient action and enough reward. Psychological effects (as pupils’ self-esteem) of giving one Laptop must not be underestimated although that cannot be the only intended outcome (Hourcade 2009). After all, OLPC is not “a laptop or an educational project” but a moral commitment to provide each child a laptop. Providing quality education to all kids remain the responsibilities of the government who signed the Education for All declaration (Dakar 2000) and promoted free access to education as a human right, guaranteed by constitution law. From a moral point of view, OLPC largely socially valued has one of the best mankind idea, does not necessarily need to be evaluated in terms of education or socio-economic achievement. If not necessary, it might be useful to use evaluation as a tool to improve the projects in all its dimensions and considering what has been said before of experimentation and evaluation being a condition for funding such a large scale project.

There is growing attention to ICTE as real leverage learning tools or, on the other side, as a way to make political commitments to education development quite visible. Some Western heavily indebted countries, such as Portugal, bought Classmate Laptop computers to all the school kids on the state budget (Magellan project). Once again, the morality of the original intention comes out. Addressing the efficiency issue of such a huge investment in an economic crisis period can also be strictly need from a moral or tax payer point of view as well.

Review of TICE evaluations outside the OLPC World

World Bank runs a dedicated blog on ICTE and already produced a comprehensive guideline for monitoring and evaluation (Wagner 2005). This publication includes extensive literature review but is slightly outdated given the rapid introduction of ICT in education and massive investment and research in education and IT technologies.

While many recent evaluations have still methodological flaws (Surh 2010), it is worth nothing that some papers are clearly anti-OLPC oriented even though there are not dealing with an OLPC deployment. However, recent work can be a good source of inspiration (Bethel 2009, Suhr 2010) to develop fair and sustainable evaluation tools applicable to OLPC deployment contexts.

A review of a sample of ICTE evaluations making explicit or implicit references to OLPC (Wainer 2008, Barrera-Osorio 2009) or focusing on 1:1 computing (Suhr 2010), including varieties of methods, different countries and contexts, reveal common patterns. Measurement is focused directly on students learning outcomes, without fully addressing the issue on how teaching methods were changed, and little if any info was given on the type of pedagogical platform embedded with the computers (Varly 2010). Except for (Suhr 2010), pupils’ activities have not been measured in detail. It is rather an evaluation of the computer effects than of the computers’ project effect, that should include teachers training and pedagogical tools. If ICT education projects are effective when combining inputs (Wagner 2005), these inputs are not well documented in these three papers and we don’t really know what is being evaluated.

In the OLPC framework, this last point is crucial as XOs are often delivered with a comprehensive set of pedagogical activities (Sugar), inspired by socio-constructivism. Hence measuring XO effects is measuring Laptop effects, Sugars or socio-constructivism pedagogy effects? It is useful to check upon what has been done recently in matter of 1:1 projects evaluation before looking at the OLPC deployments context and how modern evaluation techniques could be embedded further into OLPC projects.

A meta-analysis of One to One projects outside the OLPC World

Bethel undertook a comprehensive review of One to One projects. Out of hundred of papers, Bethel identified 144 articles with quantitative data, of which 44 including achievement data and 22 with quantitative data from which effect sizes could be extracted. The graph below shows the most commonly reported gains.

               Graph 1: Quantitative synthesis of attitude data

Data show frequently reported improvement of motivations and attitudes, better teacher/student interaction but effects on achievement and attendance are far from being systematic. The most complex and rigorous evaluation design of One to One effects (Suhr 2010), but not included in the Bethel meta-analysis, identified skills improvement in writing strategies & literacy responses and analysis. Pupils’ achievements are tight to the activities performed with the computer. Effects on achievement (measured by test scores) can be expected from the second year of implementation (Suhr 2010). In Magog (Canada), laptop introduction increased literacy and numeracy skills reduced the drop-out rates and increased attendance but these results were achieved after 3 or 4 years of program implementation (ETSB 2010).

.

..

.

.

.Source: Bethel (2009)

OLPC projects evaluation methods and results should follow similar patterns but the deployment contexts are different and thus the expected outcomes. Papers reviewed by Bethel focused on developing countries and mostly on USA, whereas OLPC targets developing countries.

OLPC deployment contexts from an IT perspective

When looking at contextual data of the countries having deployed more than 3000 XO as indicated in the OLPC wiki in March 2010, the higher ratio of computers per 100 inhabitant was for Uruguay (13.6) and the lowest for Haiti and Cambodia 0.2 (all measured in the year 2005 and prior to XO deployments, Varly 2010). Although there are strong disparities in the USA, the average access to home computer is 76% for 3-17 years old in 2003 (Barton 2007). In the 45 TIMSS participating countries, the average access to a computer was 60% for eight graders, in 2003.

Therefore, OLPC deployments clearly reduce the digital device and most of kids use XO as their first computer. With a minimum time of XO use by kids, technology use and literacy outcomes should be more frequently reported in the OLPC countries than in Western countries. There are clearly different starting points in terms of IT access and marginal returns cannot be strictly compared in the two contexts. As OLPC has been promoted as “an educational project and not a laptop project” we will not focus on technology access and use considerations but rather on how XO can change the education and social environment and pupils’ aptitudes. It is also too recent a project to assess economic benefits (Nugroho 2009).

OLPC deployments context from an educational perspective

When looking at education indicators of the major deployment countries and other micro-deployments, we can observe that most of them have not reached universal access to primary education. In 2007, Ethiopia, Ghana, Haiti and Mongolia have gross participation rates under 100% (Varly 2010). Reports from (Unesco 2010) and work focusing on learning conditions for the poor (Abdazi 2006), or more recent data from reading assessment (Gove 2010) points specific developing world problems in education access, participation and quality:

  • High repetition and drop-out rates
  • Poor literacy environment (no books home, parents illiterate…)
  • Inefficient teaching methods (in reading specially)
  • Bad classrooms equipment (few textbooks, large class size, …)
  • Very little effective learning time (low attendance, insufficient time on task, …)
  • Low social demand from parents (children work on the fields, …)
  • Language of instruction not spoken home (half of the out of school children population)
  • Very low learning outcomes (measured by test scores)
  • High gender, rural/urban and ethnic disparities

All these matters are not addressed in the non-OLPC One to One projects as there are not the big issues in the “developed” world. Reading and learning skills are the heart of education systems, in the North and South but the problem size is considerable in developing countries.

 Reading and learning are still the big issues

Learning outcomes in the developing world are very low. SACMEQ tests partially based on PIRLS items showed a four year gap between learning outcome levels in the Western countries and southern Africa. In Mali, 68% of 4th grader are not able to read aloud “My school is beautiful” in French or in their own native language. In Haiti, almost 50% of grade 3 kids are not able to read any word in French or Creole. The graph below using recent EGRA oral fluency data in the early grades, and including countries where the language of instruction is spoken home, show the long way to go towards literacy.

.

However, improvements are possible: in Gambia the proportion of pupils not able to read a word has been reduced from 47 to 27 percent between 2007 and 2009. Contextual factors such as low exposure to literacy materials outside schools and relatively inefficient teaching methods in the classroom are pointed out. OLPC deployment can be an avenue for better opportunities to learn both from a quantitative (increased learning content) and qualitative point of view (better pedagogical materials, modern teaching methods). Child centered pedagogical approach, group work and more contextualized school materials are also broadly promoted by international agencies in developing countries. This is an environment conducive for OLPC deployments but these warning data are an indication that Sugar activities should focus on basic literacy and numeracy skills for early grades, manageable by pupils and teachers…

If XO deployment could have an impact on learning outcomes, its measurement poses complex problems, specific to developing countries and IT related. Measuring learning outcomes via standardized testing is quite costly and required in-depth expertise. There is a large gap between US and national expertise in terms of monitoring and evaluation of ICT projects and in education metrics in general. Cultural bias in defining what “quality education” is not to be underestimated (Nugroho 2009). Exam pass rates are usually employed as a proxy indicator for quality but these data have a lot of flaws and can get influenced by political authorities when monitoring impact of a subsequent educational reform. The same remark applies to repetition rates. However, complexity of the measuring task cannot be an excuse for not trying to develop “assessment for learning” OLPC tools, as a first step.

Measuring impacts of OLPC deployment on school participation, attendance, repetition and drop-out can be done more easily and international definition of education indicators are now widely used at national level, such as the primary completion rate. It is now time to review what has been done to evaluate OLPC impacts, in terms of methods used and outcomes reported.

Evaluation of OLPC deployments: what has been done? What are the effects?

When the deployment is sponsored by a development agency, impact evaluation methods are embedded at the early stage of the program design, as for any other kind of educational intervention. Otherwise, given the relatively recent timeline of deployment and probably depending on deployment team competencies, focus is on formative evaluation: What has been done? How the project was perceived by the teachers and community? What are the pupils doing with the XOs? are the most common questions.

There is only one paper published in a scientific review that deals with an OLPC deployment evaluation (Hourcade 2009) and where evaluation techniques are rather traditional (focus group) and do not include quantitative or hard data on test scores. If some deployments include impact evaluation design, a few fit criteria set by Bethel to measure One to One effects most rigorously. This is not specific to OLPC but common to One to One evaluation. OLPC evaluation methods are as “bad” or as “good” as any other One to One project assessment.

However, little information is given on tests used to measure learning outcomes, and there is too much emphasis on the attitudes of motivations of pupils in the reporting. Clearly, the majority of the OLPC deployment generated better pupils’ self esteem, attendance and involvement in the classroom, but the reports does not tell us how that contributed to better learning outcomes. There are not enough observations and published papers to make rigorous comparisons with the One to One reported outcomes shown in graph1 and no measure of size effects is produced (Varly 2010). The available OLPC evaluation reports available in September 2010 are still too few and poorly documented to produce reliable outcomes.

A recent Peru report including proper impact evaluation design (treatment and control groups) fit the common pattern of measured outcomes (Santiago 2010). In particular, little impact is ever found considering learning achievement but better pupils’ attitudes and motivation are reported. An in-depth review of Intel Classmate website did not reveal any impact evaluation giving a marketing probe of the effects on pupils test scores (Varly 2010). The constant between all One to One projects is that a minimum technology appropriation time is needed before any significant effect on achievement can be identified. Moreover, the leverage effects on learning achievement seem bind to the type of activities performed by pupils with the XO, which have not been describe in details, except for (Hourcade 2009). Preliminary findings from Haiti deployment evaluation show an increase in pupils’ writing skills, as it was their favorite XO activity.

The type of pupils‘ activities are not always properly measured but the installation of a school server could help save a back up of pupils’ log file, as it has been tried in Nosy Komba. This is a central point that was not systematically addressed: “In order to understand the connection between the input (computer use) and the output (learning in school subjects), it is essential to have the learning measurement directly correspond to subject area in which the technology was used” (Wagner 2005), p.12.

Several reports are expected at the end of 2010, and some designs are especially interesting. Shakira’s Fundacion Pies Descalzos work would allow comparing the value added of Sugar platform versus Microsoft tools. Rwanda will compare XO and teacher mate effects. Haiti will use regional tests to assess the OLPC effects. World Bank evaluation impact is pending in Sri Lanka and use different types of tests. Regional SERCE tests would be valuable resources to compare effects of XO deployments across America Latina. Other regional tests are available for Africa (PASEC[5], SACMEQ) to allow comparisons of effects at regional level. Uruguay reported lower repetition rates, and better attendance (Universidad de la Republica 2010). However, it is the only case of saturation (One child=One XO) and the Ceibal plan is highly political. (Hourcade 2009) suggested that the coming of journalists and politicians in the little town of Villa Cardal could have induced large positive psychological effects (self-esteem), eventually more than the use of XOs.

Other evaluations reported similar trends but longitudinal study design have not been systematically embedded at the early stage of the projects (Zehra 2010, Varly 2010).  At this stage of development, the focus on the OLPC community is on how to run XOs, battery and touch pad issues as well as getting teachers involved and XO accepted by education authorities. Information on what works and what don’t and solutions to resolve common problems could be more formally reported. A framework to address more complex educational issues arising in the next OLPC development steps should be set up. OLPC France blog is a good example of this kind of initiative, sharing problems and solutions and is used below as a case study.

A framework for sharing deployment problems and solutions: case study of Nosy Komba

Operating under an initiative from OLPC France and G du Coeur Association, Nosy Komba volunteers were able to list properly problems and solutions encountered, making somehow an informal formative assessment. This draft table shows that most of the problems are not specific to OLPC. We can say there are “X” problems, not XO problems.

IT and developing world problems and solutions are well documented although a little bit underestimated by international development agencies. Corruption puts much weight on XO deployment and is clearly understated although some efforts are made by Transparency International to address or at least document this issue.

There is no perfect guidebook on how to run an IT project in a developing country, but OLPC deployment guideline should more developed using feedback and experience sharing and address issues that are really specific to OLPC, leaving other issues to specialized agencies documentation.

Despite a very short training but detailed evaluation documentation provided (Varly 2010), in Nosy Komba much time was spent installing a school server and little time for teachers’ training or to initiate a quick longitudinal data collection, showed in annex. This seems quite typical of an XO deployment: much emphasis on the IT aspects but too few on how to make the pupils really learn better with the XOs or try to collect some data.

.

A quick introduction to OLPC longitudinal evaluation

Detailed evaluation plan proposals are made for both formative assessment and impact evaluation or quasi experimental design in (Varly 2010). These proposals are inspired by (Suhr 2010) and (Leeming 2010) and further adapted to common OLPC deployments context. Let’s start with simple things, like measuring XO effects on school participation, retention and attendance. The idea is to collect baseline data and follow up at least three years. As a matter of fact, One to One project outcomes can be expected 2 or 3 years after the implementation. Three kinds of data can be collected:

  • Contextual data: National education context (keys indicators), Deployment context (local indicators), tools deployed (nb. XOs, teacher training, electricity access per week)
  • Baseline data: Number of students enrolled, repetition rates, attendance rates, dropout rates (targeted schools and local area schools), the year before implementation, the year of implementation
  • Cohort study: Follow up on Year+1, Year+2, Year+3…

Collecting this data can only be done with local authorities. It is a good way to foster the relationship with education institutions and a powerful way to communicate on the expected outcomes of the XO deployment and to reaffirm that it is not an IT but an education project.

Impact evaluations: take it or leave it to international organizations?

So far, only large international organizations such as World Bank and US research centers are capable of implementing and analyzing rapidly impact evaluation data. The situation is quasi monopolistic and information and messages delivered on specific ITCE institutional blog or papers are not really supportive to OLPC initiative (Barrera-Osorio 2009). If consistent World Bank documentation exists on how to monitor and evaluate ICT projects in education, little real indigenous work has been done in the developing world and within the OLPC community.

Really independently led impact evaluation would allow more transparency with regards to OLPC outcomes. Alternatively, internal common tools could be also designed for volunteers to produce their own data and compare experiences. Indeed, impact evaluation has a cost (negotiation with authorities, instrument printing, training of test administrators, data entry and analysis, reporting) but the more is done, the less is spent. (Varly 2010) makes proposal of formative framework and impact evaluation design specifically adapted to OLPC and possibly manageable for volunteers, with a few training. The impact evaluation design includes IT or XO component items, as piloted by (Hourcade 2009) for instance.

This would permit evaluate if kids had really hands on XO and what are they capable of doing with the machine, while testing more academic achievement with most used regional or international test[6] (such as SERCE, PASEC, PIRLS…), that could be declined in paper and electronic version. In Sri Lanka, World Bank sponsored assessment used specific tests: The baseline student survey included grade-specific learning assessments based on Piaget’s theory of cognitive development as well as on the mathematics syllabus and assessments administered in government primary schools”.

Control group schools would be also included in the design but not taking the IT or XO tests obviously. Plan would include pre and post test as in any impact evaluation design, and tests should be administered at least one year after the deployment, as suggested by (Suhr 2010). The Sri Lanka evaluation design is a good source of inspiration and the paragraph below explains very well the basics of impact evaluation:

“Students in schools having at least one (school) computer showed higher learning outcomes than students in schools having no computer, although this could be the result of other factors associated with a computer facility in the school. Only a before-and-after comparison of student learning outcomes across control and ‘treated’ schools (“difference in difference” estimator) will indicate the causal impact of computers on student learning and other outcomes.”

However, counterproductive effects are now well reported on using systematic evaluation based on test scores:

o   standardizing evaluation methods can standardize the deployment method as well (the best practice are replicated without taking account for the different context)

o   Teachers teach for the test

o   Results exploited in non adequate way by politicians 

A context conducive for OLPC deployment and evaluation

If enrolment rates have improved since 2000 EFA initiative, considering the quality issue, it is a quasi failure of many education systems. Since an independent review of World Bank assistance in education, there is actually a real focus on learning outcomes in the donors’ community along with new insight from neurosciences (Abadzi 2006) and on literacy in the developing world. The move is to target early grades (Gove 2010) to develop sustainable basic cognitive abilities using more child centered pedagogical approach. In this context, TICE are really considered as a possible solution but little documented impact of reputed costly OLPC solutions might hinder further development and funding. Need for a change in education systems, potential private funding (Giving Pledge), widespread impact evaluation documentation, less curricula-driven tests and measure, simple test tools, leave more room for OLPC interventions and evaluation. It is an opportunity to learn that OLPC community should catch right away.

References:

Abadzi (2006), Efficient learning for the poor: insights from the frontier of cognitive neuroscience, World Bank, Washington.

Barrera-OsorioF. and Linden L. L. (2009), The Use and Misuse of Computers in Education Impact Evaluation Series No. 29, Policy Research Working Paper 4836, World Bank, Washington.

Barton P.E., Coley J.C (2007), The family: America’s Smallest School, Policy Information Report, Educational Testing Service.

Education Townships School Board (2010), 1:1-Leading change in public education, Paper presented at 2010 Conference on 1:1 computing in education in Vienna, February 2010, ETSB.

Fundacion Pies Descalzos (?), El impacto de estrategias 1 a 1 en el desempeño académico de estudiantes, La experiencia de Fundación Pies Descalzos, Powerpoint presentation.

Hourcade J. (2009), Early OLPC Experiences in a Rural Uruguayan School, Mobile Technology for Children: Designing for Interaction and Learning, CH11.

Gove A. & Cvelich P. (2010), Early Reading: Igniting Education for All. A report by the Early Grade Learning Community of Practice. Research Triangle Park, NC: Research Triangle Institute.

Leeming D. & al (2010), Some feedback on challenges and impact of OLPC.http://www.olpcnews.com/files/OLPC_Oceania_Impacts_and_Feedback.pdf

Nugroho D. and Michele Lonsdale M. (2009), « Evaluation of OLPC Programs Globally a Literature Review », http://wiki.ordinateurs portables.org/images/f/fb/Literature_Review_040309.pdf

Pole de Dakar (2010), Combien dépensent les familles africaines pour l’éducation ?, in La lettre d’information du Pôle, N°15, Janvier 2010.

Santiago A. & al (2010), Evaluacion experimental del Programma “Una Laptop per Nino” en Peru, BID Education, Aportes N° 5, Julio 2010.

Suhr. K.A.& al (2010). Laptop and Fourth-Grade Literacy: Assisting the Jump over the Fourth-Grade Slump. Journal of Technology, Learning, and Assessment, 9(5).

UNESCO (2010), EFA monitoring report 2010. Universidad de la Republica (2010), Proyecto Flor de Ceibo, Informe de la actuado, Montevideo, Abril 2010.

Varly P. (2010), L’évaluations des déploiements OLPC: quelles méthodes ?, Document de travail. https://varlyproject.files.wordpress.com/2010/08/evaluation_olpc_varly.pdf

Wagner D. A. & al (2005), Monitoring and Evaluation of ICT in Education Projects: A Handbook for Developing Countries. Washington, DC: infoDev /World Bank. http://www.infodev.org/en/Publication.9.html

Wainer J. & al (2008), Too much computer and Internet use is bad for your grades, especially if you are young and poor: Results from the 2001 Brazilian SAEB, Computers & Education 51, p. 1417–1429.

Zehra H. (2010), Review of external OLPC Monitoring & Evaluation Reports, August 2010, OLPC Foundation Learning Group.


[1] In this post, Mark Warschauer criticizes the OLPC approach. “olpc-how-not-to-run-a-laptop-program”
[2] Here are useful tools to calculate 1:1 project costs.
[3] Especially in Africa, see here.
[4] It is a recurrent topic in the OLPC News forum, as in this post.
[5] A negotiation is ongoing with CONFEMEN to use PASEC tests.
[6] Such tests are based on a common set of competencies defined by experts after rigorous curriculum analysis validated by the different countries. They are made to reflect what are the expected achievements at a given age or grade, whatever the teaching methods are.
Annex : Proportion of non readers EGRA meta data
Pierre VARLY, Independent Consultant

Disclaimer : This paper only reflects the author’s view, Pierre Varly and none of the individuals or organizations mentioned.

26 août 2010

L’évaluation des déploiements OLPC : quelles méthodes ?

Filed under: One Laptop Per Child — Étiquettes : , , — education_south @ 16 h 04 min

Ce papier résulte d’une demande faite par OLPC France lors d’un séminaire réalisé par l’Atelier BNP Paribas, le 3 février 2010. Une revue des évaluations OLPC est faite ainsi qu’une proposition de méthode commune.

La version intégrale est disponible ici :Evaluation_OLPC_Varly_FR

Une première version a été transmise à OLPC et a pu bénéficier des commentaires de Bastien Guerry, Lionel Laské, Jonathan Ragot, membres d’OLPC France, de Norberto Bottani et Edward Bethel. Nous les en remercions ainsi que l’ensemble de la communauté mondiale OLPC, qui publie un nombre incalculable de ressources en ligne.

Ce papier a été réalisé sur une base volontaire dans l’esprit du projet OLPC. Il se veut une petite pierre à l’édifice du projet One Laptop Per Child et se concentre sur les questions d’évaluation.

En l’état, les évaluations des déploiements OLPC en termes de résultats d’apprentissages sont encore peu nombreuses. Plus généralement, très peu de travaux se penchent spécifiquement sur l’évaluation des projets en mode One to One (Un ordinateur-Un enfant). Les recherches font souvent l’impasse sur les solutions technologiques déployées.

Les contextes de déploiement doivent être pris en compte afin de proposer des méthodes d’évaluation adaptées aux pays du Sud, cible du projet OLPC. En effet, les problématiques des pays en développement sont plus larges que dans les pays dits développés (abandons, redoublement, faible temps d’apprentissage, …).

La revue des différentes évaluations OLPC montre un fort effet sur la motivation et les attitudes des élèves, que l’on retrouve également dans la plupart des projets TICE. Le déploiement des XO semble être un levier de réduction de l’absentéisme. Peu de mesures des résultats d’apprentissage ont été mises en oeuvre, et on ne peut pas répondre à la question de savoir si les XO améliorent véritablement la qualité des acquis.

Le papier propose donc une méthode d’évaluation d’impact qui pourrait être mise en œuvre à Nosy Komba, île de Madagascar où les XOs ont été déployés avec l’aide de l’association OLPC France et l’ONG « G du Cœur ». Cette méthode pourrait être également utilisée dans le cadre d’autres déploiements.

Une note opérationnelle a été également remise aux volontaires d’OLPC France afin de pouvoir réaliser facilement une évaluation.

Voir également le post précédent.

Rejoignez VARLYPROJECT sur Facebook

Pierre Varly

Ce papier résulte d’une demande faite par OLPC France lors d’un séminaire réalisé par l’Atelier BNP Paribas, le 3 février 2010. Une première version a été transmise à OLPC et a pu bénéficier des commentaires de Bastien Guerry, Lionel Laské, Jonathan Ragot, membres d’OLPC France, de Norberto Bottani et Edward Bethel. Nous les en remercions ainsi que l’ensemble de la communauté mondiale OLPC, qui publie un nombre incalculable de ressources en ligne.

Ce papier a été réalisé sur une base volontaire dans l’esprit du projet OLPC. Il se veut une petite pierre à l’édifice du projet One Laptop Per Child et se concentre sur les questions d’évaluation.

Plus précisément, on fera une lecture critique de l’évaluation des projets de déploiement OLPC afin de proposer une démarche qui pourrait être mise à l’essai à Nosy Komba et servir de base pour de futurs déploiements dans les pays du Sud.

En l’état, les évaluations des déploiements OLPC en termes de résultats d’apprentissages sont encore peu nombreuses. Plus généralement, très peu de travaux se penchent spécifiquement sur l’évaluation des projets en mode One to One (Un ordinateur-Un enfant). Les recherches font souvent l’impasse sur les solutions technologiques déployées.

Les contextes de déploiement doivent être pris en compte afin de proposer des méthodes d’évaluation adaptées aux pays du Sud, cible du projet OLPC. En effet, les problématiques des pays en développement sont plus larges que dans les pays dits développés (abandons, redoublement, faible temps d’apprentissage, …).

La revue des différentes évaluations OLPC montre un fort effet sur la motivation et les attitudes des élèves, que l’on retrouve également dans la plupart des projets TICE. Le déploiement des XO semble être un levier de réduction de l’absentéisme. Peu de mesures des résultats d’apprentissage ont été mises en oeuvre, et on ne peut pas répondre à la question de savoir si les XO améliorent véritablement la qualité des acquis.

Le papier propose donc une méthode d’évaluation d’impact qui pourrait être mise en œuvre à Nosy Komba, île de Madagascar où les XOs ont été déployés avec l’aide de l’association OLPC France et l’ONG « G du Cœur ». Cette méthode pourrait être également utilisée dans le cadre d’autres déploiements.

Une note opérationnelle a été également remise aux volontaires d’OLPC France afin de pouvoir réaliser facilement une évaluation.

16 avril 2010

L’apprentissage de la lecture au Mali

Filed under: Post par pays — Étiquettes : , , , , — education_south @ 16 h 21 min

Ce post résulte d’une mission de consultation menée au Mali du 29 mars au 3 avril 2010 et n’engage pas les organisations citées mais seulement l’auteur.

Le 1er avril 2010 une présentation des résultats de l’étude EGRA sur la lecture s’est déroulée à Bamako en présence de nombreux représentants de la société civile. L’atelier avait pour objectifs de mobiliser le corps social (enseignants, parents d’élèves, communautés, …) en faveur de la lecture en provoquant une prise de conscience à partir de résultats d’évaluation.

Pour faire court, écoutez ce reportage diffusé sur une radio malienne:  JP DU 1 AVL 10 13H

Après cinquante ans d’indépendance, le constat sur le niveau des élèves dans les premières années d’enseignement est amer. Plus de 80% des élèves ne sont pas capables de lire un mot correctement en 2ème année que ce soit en français ou dans les langues nationales.

.

68% des élèves de 4ème année ne sont pas capables de lire à haute voix la phrase « Mon école est jolie ».

Même après six années d’études, beaucoup d’élèves ne savent pas lire. Le tableau ci-dessous présente clairement l’évolution des capacités de lecture en français au cours du cycle, entre filles et garçons et selon le type d’écoles. Les écoles « curriculum » sont des écoles utilisant les langues nationales jusqu’en 3ème année avant de basculer vers le français. Les écoles classiques n’enseignent qu’en français. L’indicateur est le nombre de mots lus par minute à partir d’un texte simple, une petite histoire.

A partir d’un seuil établi à 45 mots par minute par les spécialistes des neurosciences puis validé empiriquement par des études menées dans divers pays, les élèves sont plus à même de passer du stade d’une lecture autonome et peuvent davantage « lire pour apprendre ». Si les capacités de lecture des élèves augmentent au cours du cycle, même en sixième année, on est loin du seuil à partir duquel la lecture devient plus automatique.  La chance ou la probabilité pour qu’un adulte soit alphabétisé durablement après six années d’études n’est que de 54% au Mali, selon les enquêtes réalisées auprès des adultes. Cela se traduit par un fort taux d’analphabétisme dans la population (77% de la population des plus de 15 ans), un des plus élevés au monde. Voir la fiche pays du Pôle de Dakar sur le Mali. Néanmoins, les écoles privées et certaines école publiques obtiennent de bons résultats et il est donc possible d’apprendre à lire au Mali !

Les résultats en français des écoles curriculum utilisant les langues nationales au départ ne sont pas vraiment différents de celles où l’enseignement n’est qu’en français. Un intérêt des études EGRA au Mali réside dans la passation des tests de lecture dans quatre langues nationales (le Bamanankan, Bomu, Fulfuldé et Songhoï). Les résultats dans les langues nationales des élèves de deuxième année sont aussi bas que ceux du français, avec deux mots lus par minute en moyenne. Ce pays francophone a depuis de nombreuses années introduit les langues  nationales dans l’enseignement. La « pédagogie convergente » a été en particulier utilisée. Les langues nationales ne sont pas la panacée et il faut chercher les raisons d’un tel gaspillage.

Parmi les hypothèses généralement avancées, la question du niveau des enseignants revient souvent. Le Mali a fait largement appel aux enseignants contractuels et communautaires qui représentent 70% des enseignants. Recrutés au niveau BEPC ou BAC, les enseignants contractuels n’ont qu’une formation de quelques semaines. Or, les réformes pédagogiques sont allées bons train au Mali et le décalage entre la théorie et la pratique sur le terrain est criant. L’enseignement en classe est largement basé sur la répétition et la transcription de textes écrits au tableau. L’association entre lettres et sons n’est pas bien enseignée dès le départ.

Au niveau des manuels scolaires, comme dans les autres pays, les élèves des classes de fin de cycle sont mieux dotés que ceux de 2ème année par exemple, qui ne sont qu’un quart a avoir des manuels, selon leurs propres déclarations. Si on ajoute à cela des effectifs pléthoriques, les conditions d’un bon apprentissage de la lecture dès les premières années ne sont pas réunies. Le temps d’enseignement peut être également invoqué comme facteur limitant les acquisitions des élèves. De plus, des représentations fortes parmi les enseignants grèvent les moyens d’actions en faveur de la qualité. Bon nombre d’enseignants fixe mentalement à l’âge de 8 ans le moment à partir duquel les enfants peuvent véritablement apprendre à lire.

Le modèle classique de scolarisation montre ses limites et les pouvoirs publics n’arrivent pas à redresser la situation. Faut-il rester les bras croisés face à cette situation ?

Lors de l’atelier, des discussions ont permis de débroussailler le terrain pour améliorer la situation. L’implication des communautés apparaît un élément clé et les stratégies proposées par les participants (en majorité des ONG) dépassent le strict cadre des murs de  l’école. Pour les participants, un encadrement (tutorat) par les pairs plus âgés peut contribuer à relever le niveau et à revaloriser le rôle des tuteurs ou en faire des modèles sociaux.

Les extraits ci-dessous en gras sont les messages produits par les participants de l’atelier.

« Cher parent, trouve un tuteur, soit juste, aide les enfants afin qu’ils lisent mieux. Nos enfants ne savent pas lire, ne compromettons pas leur avenir, impliquons nous. »

« La lecture est le plier de la connaissance, or nos enfants ne savent pas lire. Aidons- les à surmonter cette difficulté par le tutorat car la connaissance est la base de tout développement. »

Mais consacrer plus de temps à l’enseignement n’est pas toujours bien accepté par les parents pour lesquels les enfants travaillent parfois. C’est une barrière à surmonter. La mise en place de mesures de remédiation ciblant les élèves les plus faibles a été aussi citée comme un moyen.

Selon ce schéma, les parents viennent épauler voir se substituer à un système public défaillant. Ainsi, pour parvenir à mettre en œuvre de telles actions, il faut aboutir à un consensus entre enseignants, parents et communautés. Les questions de communication apparaissent incontournables. La décentralisation des responsabilités au niveau des communes et la mise en place des Comités de gestion (CGS) apparaît un terrain favorable à davantage de dialogue sur l’éducation au niveau local. Dans la pratique, les CGS ne sont pas tous fonctionnels et même si la loi d’orientation leur donne des prérogatives, sur le terrain, les parents ne sont pas bien outillés pour se mêler des questions de pédagogie par exemple.

« Les enfants sont l’avenir de nos familles et nos communautés pour cela, nous ne devons compter ni le temps, ni les moyens pour aider les directeurs et les maîtres à avoir un bon rendement. Le niveau des enfants en lecture étant très bas, nous ne devons pas nous permettre d’échouer car l’avenir de nos enfants et du pays en dépend. »

Le but de cet atelier sur la communication et de la mobilisation sociale est précisément de replacer l’apprentissage de la lecture au centre de l’école primaire, en faire un cheval de bataille. Le parti pris est que si les parents sont en mesure de voir si leurs élèves savent lire (à partir de la cadence de diction), ils pourront demander des comptes aux directeurs, enseignants, et interpeller la communauté éducative. Les stratégies purement gouvernementales ont montré des limites. Il faut produire des messages simples et clairs, qui vont droit au but et touchent les communautés, via les radios locales par exemple.

« Chers enseignants, la réussite de vos élèves c’est la votre. Améliorer la qualité des apprentissages des élèves en lecture par l’identification des élèves en difficultés de lecture et l’organisation des cours de rattrapage une fois par semaine par le maitre en impliquant les parents d’élèves. »

L’article wikipédia sur l’éducation au Mali est de bonne qualité, voir ici.

Crédit photos : rapports EGRA Mali, wikipédia pour la première photo.

13 avril 2010

Une revue des évaluations OLPC

Filed under: One Laptop Per Child — Étiquettes : , , , — education_south @ 15 h 48 min

L’évaluation des déploiements OLPC

Post aussi disponible sur le blog OLPC France.

Une première version d’une note sur l’évaluation des déploiements OLPC a été réalisée pour OLPC France. Ce papier sera mis en ligne prochainement. Deux sources principales ont servi de points de départ :

Edward Bethel a réalisé une méta-analyse de l’impact des projets One to One qu’il a aimablement mise en ligne, voir sa présentation. Voici les principaux résultats :

Fréquence des gains reportés sur 22 études d’impact projets One to One –-HORS OLPCNote : Ne contient pas d’évaluation d’un déploiement XO. Source : http://ecbethel.com/Edward_C_Bethel/research_files/E_Bethel_121presentation_CSSE_2009.pdf

==> Les projets étudiés par Bethel concernent principalement l’Amérique du Nord. Dans les pays du Sud, les contextes des déploiements et donc les résultats peuvent être différents.Les premières études sur OLPC montrent une réduction de l’absentéisme, une baisse du redoublement (en Uruguay) mais les résultats scolaires des élèves n’ont pas été systématiquement mesurés.

La note complète le travail d’ACER (Australian Council for Education Research, à ne pas confondre !) par une revue systématique des évaluations OLPC disponibles en ligne. Voir la revue par ACER.

Plusieurs travaux d’évaluation sont en cours mobilisant notamment les techniques d’évaluation d’impact, comme en Colombie. Les premiers résultats sont attendus fin 2010. La question des compétences à mesurer (classiques tels que lire, écrire, compter) ou plus complexes n’est pas tranchée. Les consortiums internationaux d’experts se sont déjà positionnés sur la question de l’évaluation des compétences dites du XXIème siècle. http://www2.ed.gov/news/pressreleases/2010/04/04062010c.html

Les montants engagés sont de 350 millions de dollars !

La note et la proposition de méthodologie est adaptée aux problématiques des pays du Sud (abandon scolaire, langues d’enseignement vs langue parlée, redoublement, absentéisme, compétences de base…). Ce travail prend le parti d’une mesure des résultats scolaires en suivant au plus près le curriculum « officiel » afin de comparer les résultats des écoles de Nosy Komba (Madagascar) avec ou sans XOs. En effet, les volontaires OLPC et l’équipe d’enseignants de l’île se sont fixés comme objectif : « une amélioration de 50% des résultats scolaires des enfants ».Voir ici le rapport de déploiement.


Vous pouvez soutenir la dotation d’ordinateurs à Nosy Komba. Cliquer ici.

L’idée serait de mettre en œuvre un protocole simple d’évaluation à Nosy Komba à partir d’outils existants tels que ceux du PASEC. Cela pourrait aider les enseignants et les élèves à mieux s’approprier ces technologies et aussi à mesurer plus systématiquement les progrès imputables au XO’s. Pour commencer, une analyse détaillée des journaux des élèves donnerait de précieuses indications sur les activités les plus fréquentes, comme une mesure du curricula implanté via le XO.

En quoi les XOs contribuent à l’acquisition des compétences de base, tout en s’écartant des curricula traditionnels basés sur des méthodes et savoirs très formels ?

Crédit photo : Quentin Peries Jolie, OLPC France, déploiement à Nosy Komba.

5 février 2010

Compte rendu de l’atelier BNP Paribas sur One Laptop per Child

Filed under: One Laptop Per Child — Étiquettes : , , , , , — education_south @ 17 h 42 min

Le mercredi 3 février s’est tenu à Paris un atelier sur le projet OLPC organisé par l’atelier, filiale de BNP Paribas. Cet établissement financier a investi le champ de la réflexion sur l’utilisation des TIC dans l’éducation et contribue financièrement au projet OLPC. BNP Paribas publie également un recueil d’expériences sur les TIC en éducation, voir ici.

Les présentations et le compte rendu des organisateurs seront mis en ligne prochainement.

L’atelier rassemblait des hommes politiques, des chercheurs de haut niveaux, des représentants du Ministère de l’Education nationale, des enseignants et praticiens de l’éducation, éditeurs de contenus numériques ainsi que des représentants de la société civile et des consultants. La preuve en sorte que OLPC n’est pas qu’un projet de geeks ou de gentils idéalistes numériques ! Quelques  journalistes étaient présents, voir ici le post du Figaro.

La matinée a permis de réaliser un tour d’horizon du projet et du contexte des évolutions des systèmes éducatifs dans le monde. L’introduction a permis de prendre connaissance des initiatives prises pour équiper les écoles d’ordinateurs en France et de résumer l’historique du projet « Informatique pour Tous ». Jean-Michel Fourgous, député et maire et auteur du rapport sur la promotion des technologies de l’information et la communication dans l’enseignement scolaire nous a ainsi fait part de son expérience et a soulevé  les problèmes de réticences des enseignants. Plus d’informations sur la mission Fourgous de promotion des TICE, voir ici.

Les résultats d’un sondage IFOP sur les nouvelles technologies dans l’éducation ont été également présentés, voir ici.

La table ronde a réuni Pierre Léna, astrophysicien et co-créateur de la Main à la Pâte visant l’enseignement des sciences, François  Taddei, biologiste qui vient de réaliser un rapport prospectif sur l’éducation pour l’OCDE et Daniel Andler, professeur à l’université de Paris-Sorbonne, philosophe des sciences et de la théorie de la connaissance. Cette séance était un véritable foisonnement d’idées qui feront l’objet d’un prochain post. Le potentiel des nouvelles technologies en lien avec le développement des sciences cognitives a été clairement exposé et débattu. On retiendra la célèbre histoire d’enfants indiens s’étant organisés en communauté d’apprentissage autour d’un ordinateur, sans encadrement préalable, voir l’expérience Hole in the Wall du Prof. Sugata Mitra

OLPC France et Sugar Labs ont présenté les développements techniques d’OLPC et des interfaces Sugar mais surtout les expériences de déploiement du projet en Haïti et à Madagascar. Rappelons que ces gens travaillent sur une base bénévole.

Plusieurs commentaires de l’assistance rejoignent le message principal du post précédent, à savoir le problème de l’utilité marginale du produit, de l’évaluation d’impact et de la stratégie de communication, notamment vis-à-vis des institutions. On regrettera d’ailleurs l’absence de partenaires bi ou multilatéraux de l’éducation (tels que l’AFD ou l’UNESCO) à cette réunion.

Un des ateliers de l’après midi a donc été consacré spécifiquement à ces questions, tandis que les autres sessions se sont focalisées sur les contenus des activités pédagogiques à travers trois thèmes : Nutrition, Microfinance et Ebooks.

Les débats lors de cette session ont été intenses. Il a été au départ difficile de s’écarter des considérations techniques propres au Laptop (interopérabilité des systèmes, possibilités de mise à jour des contenus, format des contenus, etc..). On notera la référence récurrente à l’initiative Aprelia de mise en ligne de supports numériques éducatifs. Des solutions techniques alliant Laptop et tableau blanc interactif pourraient être également envisagées. Une fois ce tour d’horizon des possibilités et limites techniques du XO et de l’interface Sugar, les arguments en faveur d’une réflexion plus avancée sur les questions économiques, politiques et sur la communication ont porté leurs fruits et ont permis d’élargir le champ des discussions.

On retiendra le compte rendu d’expérience du déploiement des Laptop au Cameroun, qui s’est assis sur une véritable stratégie de livraison d’un paquet éducatif associant formation et sensibilisation des enseignants, suivi évaluation du projet etc… Cette Succes Story pourrait être un des éléments clés d’une stratégie plus globale de communication du projet à destination des décideurs politiques des pays du Sud et des bailleurs de fond. La mise en place d’un réseau d’ambassadeurs de bonne volonté, munis de Laptop, pourrait également être une piste. Jessica Coper a été désignée volontaire pour s’occuper des aspects com.

OLPC France a entamé une réflexion sur l’état des lieux de l’évaluation du projet à laquelle j’ai été associé. Une concept note d’une dizaine de pages devra être produite d’ici trois mois, selon l’annonce faite en plénière par OLPC. Les contributions à la réflexion sur les aspects d’évaluation et de communication du projet via ce blog sont donc les bienvenues. A vos commentaires !

A l’instar du développement logiciel et matériel, le mode du Wiki pourrait être utilisé pour construire avec OLPC France une meilleure stratégie marketing, facteur essentiel du succès de ce projet. En effet, l’atelier nous a permis de constater de visu l’existence de Netbooks d’Intel et d’Asus, de conception très proche de celle du XO… Les multinationales ont crée des sortes de termitières ayant de multiples points d’entrée dans les systèmes éducatifs. Fourmis wiki, à vos claviers !

Pour soutenir OLPC, cliquer sur la bannière à droite.

19 janvier 2010

Nouveau : Blog sur l’éducation dans les pays du Sud

Filed under: Education et plus encore — Étiquettes : , , , — education_south @ 20 h 56 min

Bienvenue !

Voici un blog consacré aux questions d’éducation dans les pays en développement.Les débats sur le développement restent encore trop confinés dans les cercles d’experts. Ainsi, fiches de lecture, synthèses, actualités sur les politiques publiques et l’aide au développement seront diffusés et commentés sur ce blog… de la maternelle à l’université, de Pékin à Bujumbura.

Sur Internet, les idées les plus courtes sont souvent les meilleures. Ici les posts sont un peu longs et on espère documentés à partir de ressources disponibles en ligne principalement. Le blog se veut grand public.

Les commentaires peuvent servir à compléter les informations, donner de nouvelles pistes et prolonger la discussion. Pas d’insultes, de noms, de messages personnels ou de propos racistes sur ce blog !

Un post par semaine est prévu, d’abord en français puis en anglais. J’accepte volontiers des propositions de post, avec un droit d’édition.

Un site est aussi disponible à l’adresse http://www.varlyproject.com/

Créez un site Web ou un blog gratuitement sur WordPress.com.