Per leggere i risultati OCSE PISA

Quando vent’anni fa l’OCSE promosse il progetto PISA lo fece sulla base di un decennio di lavoro e studio per la costruzione di indicatori statistici sui sistemi di istruzione nel  progetto INES^[1], che intendeva integrare alcune variabili strutturali nei modelli econometrici costruiti per prevedere il futuro dello sviluppo capitalistico mondiale. Si diceva che le variabili di output del sistema formativo non  potessero essere solo il numero dei laureati o dei diplomati, ma occorreva sapere soprattutto quale fosse il peso e il valore di quei titoli di studio rispetto alla dinamicità dell’economia di ciascun Paese. L’OCSE, quale agenzia intergovernativa che associava un ampio numero di Paesi prevalentemente occidentali filoamericani, risentiva di due aspetti in parte contraddittori, 1) il crollo del muro di Berlino e del sistema comunista sovietico con  la vittoria della socialdemocrazia liberale; 2) il rallentamento della crescita delle economie delle nazioni più ricche a causa del raggiungimento di limiti invalicabili imposti dall’ambiente naturale. Lo sviluppo non poteva identificarsi con più merci, più strade, più cibo ma doveva trasformarsi in qualità della vita singola e associata; occorreva investire in capitale umano come chiave per un nuovo e più sostenibile sviluppo.

Visione politica globale

Questa ipotesi di fondo va tenuta a mente quando si leggono i risultati dei test PISA: la chiave interpretativa non è pedagogica o didattica, ma dovrebbe essere socioeconomica. Ovviamente in vent’anni di lavoro di ricerca integrato a livello globale l’apparato messo a punto dall’OCSE è talmente ricco di strumentazione concettuale e tecnica da costituire anche un fondamentale punto di riferimento che ha indirizzato i metodi di ricerca, gli oggetti della valutazione, cioè gli obiettivi stessi dei sistemi formativi, la concezione collettiva dell’organizzazione interna della scuola nel suo complesso.

La scelta di limitare a tre ambiti di literacy (lingua madre, matematica, approccio scientifico) e a un’età specifica dei giovani da testare (quindicenni), motivata dalla necessità di rilevare situazioni confrontabili, attesta il fatto che l’OCSE non voleva studiare come tali i sistemi formativi o misurare l’efficacia delle riforme o delle metodologie didattiche, ma capire se e come il profilo di una popolazione di giovani potesse essere predittivo dello sviluppo di una società, sviluppo che prudentemente era  circoscritto all’ambito economico.

Ebbene, l’ipotesi di fondo secondo cui la ricchezza di competenze nella popolazione potesse essere un fattore di sviluppo e crescita, alla prima somministrazione nel 2000, trovò una prima sorprendente disconferma: Paesi sviluppati e ricchi con costosi sistemi scolastici pubblici non si trovavano ai primi posti della graduatoria ma erano superati da regioni del mondo ‘periferiche’ che si affacciavano però prepotentemente sulla scena mondiale. La Germania visse quei risultati come un shock politico e si diede da fare con riflessioni e dibattiti;  l’Italia con risultati ancora più modesti nascose i dati e non pubblicò il rapporto (non per colpa dell’allora Invalsi ma del Ministero che ebbe da eccepire e segretò per mesi il rapporto italiano finché il ministro Moratti non si rese conto che qualcosa le era taciuto da parte della sua burocrazia). Effettivamente ciò che i test rilevavano era qualcosa di più complesso e ricco della semplice enumerazione dei contenuti appresi nei programmi scolastici, come le indagini IEA facevano da tempo: era l’essere attrezzati ad affrontare e risolvere problemi di comprensione, di interpretazione, di analisi, di valutazione critica nel mondo reale, in problemi e contesti  che erano alla base dello sviluppo di una società moderna avanzata. Ma la validazione dell’ipotesi iniziale e degli strumenti di indagine non poteva che avvenire nel tempo e dopo 20 anni qualche considerazione complessiva forse si può fare.

Causa o effetto

Causa o effetto? non sappiamo dire, ma ciò che è certo è che la crescita del PIL mondiale qualcosa ci dice su quelle considerazioni di 20 anni fa: la crescita ha fatto emergere un mondo nuovo e diverso in cui primeggiano proprio quelle aree del globo che nel test PISA avevano raggiunto nel tempo risultati migliori. L’eccellenza di alcune province cinesi, confermata nella somministrazione 2018, la cui popolazione supera forse quella di mezza Europa, ci dice che c’è una relazione tra la crescita del PIL e il livello delle competenze dei ragazzi 15enni cinesi, ragazzi che non sono gli attori protagonisti del miracolo economico cinese ma forse ne sono i figli e quindi l’effetto. In ogni caso un legame tra i risultati nel test PISA e il dinamismo economico di quelle province c’è e costituisce un monito per quei Paesi che potrebbero sottovalutare il significato complessivo degli indicatori PISA.

Qualcuno potrebbe sostenere che il PIL e la sua crescita non sia un buon indicatore del livello di qualità di una società, tuttavia esso ancora costituisce la base per molte scelte, piccole e grandi, della politica e anche i singoli cittadini stanno provando concretamente cosa vuol dire anche per loro perdere punti di PIL per molti anni.

Questa lunga premessa per ribadire che sarebbe fuorviante leggere i dati PISA in funzione tutta e solo valutativa dell’istituzione scuola e della sua efficienza; occorre interpretarli guardando all’intera società, alle sue dinamiche e regressioni avendo consapevolezza che si tratta di un intreccio di processi correlati ma per i quali non si dispone di schemi interpretativi certi delle relazioni causali: quanto influisce la percezione del futuro sulle famiglie che mandano i figli a scuola? Come si riverbera tale percezione sulle attese dei giovanissimi? Come cambia l’apprendimento se si pensa che il lavoro qualificato e ben retribuito non ci sarà? Come si preparano e come preparano i propri figli le famiglie per  contrastare il rigore di prospettive future dure e inquietanti?

Literacy

L’OCSE nel tempo ha arricchito il suo approccio inserendo anche gli adulti nelle rilevazioni delle competenze di base, in particolare in quelle legate alla lingua madre e alla comprensione dei testi, alle competenze digitali, e restituisce alla comunità politica una ricchissima messe di informazioni e di ipotesi non riducibili a facili slogan.

Il significato di literacy definita nel framework della ricerca non va tradotto come alfabetizzazione minima ma come quell’insieme di strumenti, attrezzi di cui un cittadino deve essere dotato per affrontare e dominare un ambito problematico specifico con una padronanza adeguata. L’indicatore costruito dall’OCSE,  ossia il possesso della lingua madre e il suo uso appropriato per agire in autonomia nella vita,  è qualcosa di molto più vasto e complesso della semplice comprensione di testi. Tuttavia è su questo ‘dettaglio’, su questo aspetto particolare che poggiano molte generalizzazioni che investono l’universo della formazione e dell’istruzione primaria secondaria e terziaria. Ovviamente le facili generalizzazioni acquisiscono una forza maggiore se poggiano su pregiudizi radicati e diffusi, su luoghi comuni che aspettano solo conferme empiriche. È un pessimo servizio quello che in questi giorni l’intero giornalismo divulgativo sta rendendo a una ricerca empirica ben condotta e supportata dalle migliori menti che di questi fenomeni si occupano in modo specialistico. Ma ciò non sorprende poiché ormai quasi tutti i campi della ricerca scientifica sono praterie sconfinate per avventurieri incompetenti ed arroganti per affermare e diffondere paure, luoghi comuni e fake news.

Naturalmente se literacy è tradotto come alfabetizzazione, chi si trova nei livelli bassi della scala è un analfabeta per cui lì finalmente tutti i denigratori della scuola pubblica e del riformismo degli ultimi 50 anni si stracciano le vesti sostenendo che il 30% dei quindicenni è analfabeta. Le cose non stanno così. Ciò che accerta il test PISA è che esiste una fascia bassa della scala, che in Italia è più affollata che in altri Paesi e che si concentra in determinati territori e in certi tipi di scuole, che però sa fare cose che il test PISA non riesce ad accertare con le sue domande. È anche per questo che il test nel tempo si è arricchito di nuovi quesiti più  facili, capaci di rilevare e descrivere anche le performances dei livelli più bassi.

Effetti sulle prassi valutative

Fondamentale è leggere accuratamente la descrizione che PISA dà delle prestazioni dei vari livelli in cui la scala è suddivisa. Sarebbe cruciale che gli addetti ai lavori, cioè i docenti, introiettassero criticamente quelle descrizioni delle scale PISA (lettura, matematica e scienze) e le assumessero come riferimenti concettuali quando, nella prassi di tutti i giorni, osservano e valutano i propri studenti nell’ambito delle competenze linguistiche, matematiche e scientifiche. Ciò è possibile senza necessariamente conoscere i singoli item del test, di cui peraltro sono disponibili esempi equivalenti nella letteratura diffusa dallo stesso INVALSI. Questo è un contributo positivo della ‘cultura PISA’ alla prassi educativa dei docenti che troppo spesso hanno difficoltà a declinare operativamente i diversi livelli in cui classificano normalmente i propri studenti.

Nella cultura valutativa dei docenti dovrebbe entrare anche una conoscenza più approfondita sulla metodologia di ricerca propria di PISA. L’OCSE calcola  con i suoi test tre scale numeriche sotto forma di punteggi che, opportunamente trasformati e tarati, avevano all’inizio media 500 e scarto quadratico medio 100. Con procedure statistiche, che non è qui possibile illustrare, si costruiscono  nel tempo test diversi ma equivalenti che hanno la stessa metrica, che cioè misurano la stessa cosa in modo stabile. Questo è un requisito necessario se si vuole rilevare l’evoluzione nel tempo di prestazioni di popolazioni diverse e ottenere punteggi confrontabili. Ciò spiega anche perché i test sono segretati per non dover rinnovare completamente i test ogni tre anni.

La necessità di disporre di uno strumento  di ‘misura’ stabile obbliga quindi a costruire un test unidimensionale che rileva un costrutto singolo relativamente semplice, che si declina in condotte tra loro fortemente correlate e disposte gerarchicamente. Ciò significa che nella fase di costruzione del test – che in ogni ciclo triennale deve essere aggiornato ed integrato – si parte da un numero molto elevato di item che via via sono scartati non perché malfatti ma perché non correlano abbastanza con gli altri se rilevano aspetti della prestazione studiata diversi dal costrutto principale.  È l’esatto contrario di quanto avviene quando si vuole costruire un test che deve rilevare  una pluralità di aspetti di una preparazione complessa, come avviene se volessi costruire un test finale relativo a un vasto programma annuale e che perciò distribuisse gli item sui vari argomenti di cui il programma è composto. Si ottengono così  il più delle volte punteggi imprecisi, affetti cioè da un errore di misura troppo grande per giudicare equamente un singolo allievo, e un risultato scarsamente leggibile in termini di competenze riconoscibili.

Prima dell’avvento delle indagini OCSE PISA test composti  da quesiti ‘eterogenei’ venivano analizzati fattorialmente e appositi algoritmi di calcolo erano in grado di estrarre ex post aspetti differenziati, scale distinte e quindi profili del rispondente costituiti da più punteggi. Perché questa digressione un po’ tecnica? Per sottolineare che PISA pur rilevando tre ‘dettagli’ certamente più poveri di quanto sappiamo essere il complesso delle prestazioni possibili di un individuo, riesce ad avere uno strumento di rilevazione con  un metrica stabile nel tempo e indipendente  dal rispondente. Questo prescinde ovviamente da un concetto di sufficienza, non stabilisce a priori il livello ‘legale’ di accettabilità e sufficienza, ma offre a chiunque la possibilità di effettuare confronti nel tempo e nello spazio. Il giudizio valutativo verrà dopo, sulla base dei criteri stabiliti da chi valuta.

Paradossalmente l’esistenza di una fascia bassa non rilevabile dal test è un limite del test il quale si mostra inadatto a misurare tutta la gamma di prestazioni su quella scala unidimensionale che abbiamo convenzionalmente chiamato ‘competenza della lettura’. Una metrica unica stabile vuol dire che potremmo validamente confrontare i livelli della prestazione nel test in adulti, per esempio tra i giornalisti o tra i professori  universitari che discutono su questi risultati e scoprire che il loro livello di ‘comprensione della lettura’ si colloca all’interno del range osservato nei quindicenni oppure che tutti hanno ottenuto il massimo punteggio; e allora la scala rilevabile dal test dovrebbe essere estesa verso l’alto per essere in grado di discriminare anche quella popolazione. Ma la scoperta più probabile sarebbe, allora, che anche gli adulti si distribuiscono su quella scala, sperabilmente verso l’alto, ma entro la gamma verificata dal test. Grave sarebbe scoprire che la media di una categoria di esperti adulti sia inferiore a quella dei licei del nord… Ma questi scherzi non si potranno mai fare!

Continuando questa riflessione sulle caratteristiche degli strumenti, tutte le volte che si fanno confronti tra punteggi occorre ricordare che la scala è standardizzata in modo che la media sia 500 e la deviazione standard 100 punti. Giornalisticamente può sembrare impressionante una differenza di 10 punti, ma lo sarebbe davvero solo se il punteggio PISA avesse la dispersione dei voti della maturità o dei voti universitari in 30simi.

I nostri risultati

Ciò che più colpisce nei risultati è la sostanziale stabilità della situazione italiana:  il Paese è sotto la media generale, in buona compagnia con il sud del mondo e con la parte meno trainante dello sviluppo europeo; presenta al suo interno forti differenze territoriali stabili che riflettono la stratificazione economico sociale del Paese e la sua struttura produttiva non omogenea; si evidenziano gli effetti della canalizzazione selettiva dopo la scuola media unica tra ordini scolastici selezionati al loro ingresso da esiti già acquisiti.

Il rischio è che dopo questi risultati molto prevedibili, dopo una immediata fase di allarmismo apocalittico, prevalga la rassegnazione di chi pensa che reggere la scuola sia una fatica di Sisifo. Credo invece che debba rimanere vivo un interesse finalizzato a capire meglio l’intero Rapporto,  che intorno a questi asciutti punteggi su tre competenze raccoglie una quantità di altre variabili strutturali utili a capire un sistema apparentemente  inerte e immodificabile.

In realtà una lettura più positiva è possibile: quella di chi pensa che poteva andare peggio. In Italia le condizioni al contorno in questi 20 anni non sono migliorate: la società è impoverita e le differenze sono diventate più marcate e meno accettabili; il declino demografico è un sintomo di una regressione che tocca le famiglie dei giovani e dei ragazzi; l’immigrazione di gruppi etnici che rimangono separati e che la società non vorrebbe integrare rende il lavoro dei docenti, soprattutto nelle fase dell’obbligo, più difficile. Sotto sotto una parte forse maggioritaria della società continua a pensare che una scuola di massa non sia la risposta e che sarebbe meglio selezionare e curare di più i migliori. Più di vent’anni fa la riforma Berlinguer andò a sbattere contro il muro dei difensori del latino, del greco e del liceo gentiliano, trovò l’ostacolo di quelle corporazioni accademiche che non potevano accettare l’accorciamento del percorso di studi, e l’effetto fu quello di allungare il brodo oltre misura. L’allarmismo apocalittico dipinge la scuola con toni foschi e ultimativi: i quindicenni sono analfabeti, gli adulti sono analfabeti di ritorno.

La prima lettura del rapporto PISA ci illustra un mondo che non è fermo, generazioni nuove si presentano con una voglia di comprendere e di comunicare dove anche la società cresce e si sviluppa. Gli stranieri quindicenni integrati nelle nostre scuole somigliano a quelli di razza italica autoctoni, nonostante l’italiano non sia la loro lingua madre;  anche una notevole percentuale di questi ragazzi, che ci ostiniamo a considerare stranieri, arriva ai livelli più alti della competenza. Questo è un buon indizio che la scuola italiana, per la sua parte, resiste strenuamente a una deriva declinante della società.

^[1] Il progetto INES (Indicators of Education Systems) attivato dall’OCSE dal 1992 ha diffuso un insieme di indicatori internazionali dell’istruzione. Per la prima volta fu possibile comparare alcune variabili strutturali sulla scuola nei vari Paesi OCSE rilevate con criteri comuni. Dal 1998 pubblica annualmente un rapporto dal titolo Education at Glance.

 

Raimondo Bolletta