Μία άλλη ανάγνωση των αποτελεσμάτων του διαγωνισμού PISA…

Average national reading scores, actual and re-weighted using top-scoring country average social class group distribution, for U.S. and six comparison countries, PISA 2009 (Πηγή: Economic Policy Institute)

Για όσους έχουν μία σχετική εμπειρία από κοινωνιολογικές – εκπαιδευτικές μελέτες/έρευνες, ξέρουν πως το μεγάλο “κόλπο” πάντα είναι η επιλογή του δείγματος και κατ’ επέκταση η μεθοδολογία που χρησιμοποιείται. Τα χαρακτηριστικά του δείγματος και κατ’ επέκταση η συγκριτική στατιστική που χρησιμοποιείται, μπορεί να αλλάξει τελείως τα θεμελιώδη ακόμα και τα δευτερεύοντα συμπεράσματα. Για αυτό και στις περισσότερες μελέτες/εργασίες οι ερευνητές αναφέρουν τα όρια της έρευνάς τους και συχνά καταγράφουν αυτά που δεν μπορούν να αποκωδικοποιήσει το δείγμα τους.

Έτσι Αμερικάνοι ερευνητές από το Ινστιτούτο Οικονομικής Πολιτικής (Economic Policy Institute) αποφάσισαν να δουν ξανά τα αποτελέσματα του PISA για τη χρονιά 2009 και έκαναν μία συνολική αποτίμηση των αποτελεσμάτων της έρευνας για τις ΗΠΑ. Αυτή η επεξεργασία των αποτελεσμάτων, όπως φαίνεται έχει θορυβήσει τόσο τους διοργανωτές του PISA όσο και ενός άλλου αυτού του TIMSS. Μάλιστα οι διοργανωτές του TIMSS καθυστερούν να κοινοποιήσουν τα αντίστοιχα στατιστικά αποτελέσματά τους και να δημοσιοποιήσουν τις βάσεις δεδομένων με όλα τα στοιχεία, προφανώς επειδή θέλουν να είναι περισσότερο προσεκτικοί και βέβαια επειδή οι Αμερικάνοι ερευνητές έχουν ξεκαθαρίσει εκ των προτέρων πως θα ξαναδούν οι ίδιοι τα αποτελέσματα.

Το σημαντικό σε αυτή την επαναξιολόγηση των αποτελεσμάτων του PISA δεν είναι τόσο για να φανεί προς τα έξω μία καλύτερα εικόνα της δευτεροβάθμιας εκπαίδευσης στις ΗΠΑ (η στατιστική συμπερασματολογία των Αμερικανών, γενικά βελτιώνει όλους τους δείκτες για τους μαθητές των ΗΠΑ ή ερμηνεύει καταλλήλως τη στασιμότητα σε ορισμένες μετρήσεις). Οι ίδιοι επισημαίνουν πως επειδή τα αποτελέσματα του PISA χρησιμοποιούνται από τις κυβερνήσεις και τους πολιτικούς για τη χάραξη στρατηγικών εκπαιδευτικής πολιτικής, θα πρέπει να γίνεται μία καλύτερη αποτίμησή τους λαμβάνοντας υπόψη τα ειδικά χαρακτηριστικά του δείγματος. Άρα το καμπανάκι κυρίως απευθύνεται σε όλους αυτούς που καθορίζουν τις εκπαιδευτικές πολιτικές στηριζόμενοι σε στατιστικά αποτελέσματα, χωρίς οι ίδιοι να έχουν μπει ποτέ στον κόπο να κάνουν τη δική τους αποτίμηση…

Για να δούμε που στηρίζονται κυρίως οι Αμερικάνοι για να εξηγήσουν το γεγονός ότι εξάγουν πολύ διαφορετικά συμπεράσματα, καθώς στο μυαλό μου πηγαίνει το ενδεχόμενο κάποια από αυτά να αφορούν και τη συμμετοχή του δικού μας δείγματος στον διαγωνισμό PISA:

• Η ανισότητα των κοινωνικών τάξεων είναι πολύ μεγαλύτερη στις ΗΠΑ από ότι σε οποιαδήποτε άλλη χώρα. Γενικά σε κάθε χώρα οι μαθητές των χαμηλότερων κοινωνικών τάξεων εμφανίζουν χαμηλότερες επιδόσεις από τους μαθητές των ανώτερων κοινωνικών τάξεων και το μεγαλύτερο μέρους του αμερικάνικου δείγματος προέρχεται από αυτές τις τάξεις, επισημαίνοντας το δειγματοληπτικό σφάλμα του PISA. Μάλιστα η παρατήρηση αυτή ενισχύεται από το γεγονός πως η συγκριτική στατιστική αμερικανών μαθητών με μαθητές άλλων ισοδύναμων χωρών (Γαλλία, Γερμανία, Ηνωμένο Βασίλειο) και αντίστοιχης κοινωνικής τάξης, βελτιώνει κατά πολύ τις επιδόσεις των αμερικανών μαθητών, με αποτέλεσμα η μέση βαθμολογία για τα μαθηματικά να είναι καλύτερη γεγονός που θα μπορούσε να βελτιώσει και την συνολική ταξινόμηση των ΗΠΑ. Παρομοίως η σύγκριση αμερικανών μαθητών χαμηλότερου κοινωνικού επιπέδου με αντίστοιχους μαθητές ομόλογων χωρών, διαπιστώνει ότι  μέσος όρος των ΗΠΑ τόσο στην ανάγνωση όσο και στα μαθηματικά είναι υψηλότερος από ό,τι δείχνουν οι επίσημες εκθέσεις (στην περίπτωση των μαθηματικών, σημαντικά υψηλότερος). Αυτή η εκ νέου εκτίμηση θα βελτιώσει επίσης τη θέση των ΗΠΑ στη διεθνή κατάταξη όλων των χωρών του ΟΟΣΑ, φέρνοντας τις ΗΠΑ τέταρτη στη σειρά στην ανάγνωση και 10η στα μαθηματικά. Για να αντιληφθούμε τις μεγάλες αποκλίσεις από τις λανθασμένες δειγματοληψίες, με τα τωρινά δεδομένα η PISA κατατάσσει τις ΗΠΑ στη 14η θέση για την ανάγνωση και στην 25η για τα μαθηματικά. Μάλιστα οι αποκλίσεις με χώρες που κατά παράδοση έχουν υψηλότερη βαθμολογία στο διαγωνισμό PISA (Καναδάς, Φινλανδία, Κορέα) περιορίζονται όταν ληφθούν υπόψη οι ιδιαιτερότητες και τα χαρακτηριστικά του δείγματος.
• Επειδή με την πάροδο του χρόνου μεταβάλλονται όχι μόνο η εκπαιδευτική αποτελεσματικότητα αλλά και η σύνθεση των κοινωνιών, οι συγκρίσεις των τάσεων των σκορ από διαφόρους διαγωνισμούς των ομάδων των κοινωνικών τάξεων με την πάροδο του χρόνου περιέχουν περισσότερες χρήσιμες πληροφορίες για τη χάραξη πολιτικής σε σχέση με τις συγκρίσεις του συνολικού μέσου όρου των αποτελεσμάτων ενός διαγωνισμού για μία χρονιά ή ακόμη και από αλλαγές στην συνολική μέση βαθμολογία του διαγωνισμού με την πάροδο του χρόνου. Όπως καταδεικνύει η επαναξιολόγηση των βαθμολογιών του PISA, η απόδοση των αμερικανών μαθητών από τις χαμηλότερες κοινωνικές τάξεις έχει βελτιωθεί με την πάροδο του χρόνου, ενώ η απόδοση ανάλογων μαθητών τόσο στις χώρες με υψηλότερες βαθμολογίες  όσο και αυτές που είναι παρόμοιες με τις ΗΠΑ, έχει μειωθεί. Επιπλέον, με την πάροδο του χρόνου, σε ομάδες των μέσης και προνομιούχας κοινωνικής τάξης των ΗΠΑ η επίδοση ναι μεν δεν έχει βελτιωθεί, αλλά τα συγκρίσιμα στοιχεία με τις χώρες υψηλής βαθμολόγησης και σε αυτές με παρόμοια βιομηχανία με αυτές των ΗΠΑ δείχνουν μείωση της απόδοσής τους.

Από όσο γνωρίζω, στην Ελλάδα δεν έχει πραγματοποιηθεί καμία τέτοια συγκριτική μελέτη ούτε ποτέ έχει αναλύσει κάποιος τα χαρακτηριστικά του δείγματος των Ελλήνων μαθητών που συμμετέχουν στο διαγωνισμό του PISA. Δεν ξέρω αν μία τέτοια επανεκτίμηση του δείγματος θα μπορούσε να βελτιώσει την κατάταξη της χώρας μας, σίγουρα όμως θα αποτελούσε μία παρότρυνση προς αυτούς που επικαλούνται συχνά – πυκνά τον διαγωνισμό PISA να είναι περισσότεροι προσεκτικοί και καλύτερα ενημερωμένοι.

Αν λάβουμε υπόψη τη δυναμική της κοινωνίας και την εκτίμηση πως τα χαμηλότερα κοινωνικά στρώματα έχουν αδυναμίες, ίσως θα πρέπει να αναμένουμε στον επόμενο διαγωνισμό PISA να παρατηρηθεί μία γενικότερη μείωση των επιδόσεων, μέσα στα πλαίσια των οικονομικών δυσχερειών που ταλανίζουν τις περισσότερες Ευρωπαϊκές χώρες, πολύ δε την Ελλάδα.

Οπότε, ας ελπίζουμε κάποιος Έλληνας ερευνητής να δει ξανά τα αποτελέσματα μέσα στους δαιδάλους της δειγματοληψίας και να μας προσφέρει μία ασφαλέστερη εικόνα των αποτελεσμάτων, ώστε να αξιολοποιηθούν αποτελεσματικότερα από όλες τις ενδιαφερόμενες πλευρές.

Δείτε την συνολική έρευνα των αμερικανών καθώς και την ανταλλαγή επιστολών μεταξύ PISA – Αμερικανών ερευνητών.