La valutazione delle scuole: una voce di “agenda” o un impegno?

“Non si può non valutare” è affermazione quasi ovvia; speculare a quella che “tutti siamo sempre valutati”. Ci valutano i nostri padri, i nostri figli, i nostri amanti… Più spesso nessuno di costoro utilizza “criteri oggettivi”. Ma molto spesso ci azzeccano.

Troppi i miei interventi sul tema, con il rischio di venire a uggia (per esempio: “Della faticosa-costruzione del sistema di valutazione: VALES e altro”). Ma la provocazione di quanto contenuto nella “Legge di stabilità” (!?) che prevede (dal 2014) di riformare il “finanziamento ordinario” delle scuole premiando le “migliori” è francamente irresistibile. Provoca qualche pentimento in chi, come me, si è sempre schierato per sviluppare la valutazione e congiuntamente rischia di avvalorare le resistenze più regressive di chi ne nega “a priori” la necessità.

Difficile, in poche righe, riassumere la complessità e problematicità del tema. Ci provo attraverso alcune affermazioni lasciando al lettore il compito di connetterle e svilupparne le implicazioni.

“Non si può non valutare” è affermazione quasi ovvia; speculare a quella che “tutti siamo sempre valutati”. Ci valutano i nostri padri, i nostri figli, i nostri amanti… Più spesso nessuno di costoro utilizza “criteri oggettivi”. Ma molto spesso ci azzeccano. (… se supponessi che un’amante potenziale utilizza “protocolli oggettivi” la mia reazione sarebbe, con tutto rispetto, quella di Santa Maria Goretti “piuttosto la morte”). Perciò ci si può nascondere dietro giaculatorie o scongiuri, ma la realtà è che la valutazione presiede al più comune agire umano (altra cosa sono gli strumenti e i protocolli che si utilizzano e la loro “accettabilità” sociale).

La valutazione è sempre esito di due processi collegati: la misurazione e la elaborazione del giudizio. Un itinerario che inizia con l’esame dei “dati” (i “fatti”); li raccoglie e interpreta facendoli diventare “informazioni”; assembla queste ultime in termini significativi trasformandole in “sintomi”; infine, su questa base, elabora “diagnosi”. Si tratta del tipico “percorso inferenziale” che anima la stessa indagine scientifica. La valutazione, lungo tale itinerario, ha sempre una dimensione di “ricerca”.

Naturalmente in relazione agli oggetti di valutazione (organizzazioni, persone, performances…) il rapporto tra “misurazione” ed “elaborazione del giudizio” individua specifici mix combinatori, situandosi in modo pertinente nel percorso che collega i due termini.

Ma deve essere chiaro che “la misurazione” non sostituisce “l’elaborazione del giudizio”, per quanto accurata o “oggettiva” possa essere. Anche quando si ponga grande cura (e spesso complessità) nell’elaborare strumenti e scale di misura, per essere significativi essi devono sempre riferirsi a un “quadro di valori” riconosciuti che dia senso (il giudizio) alle scale stesse.

Semmai occorre essere avvertiti del fatto che la tentazione di ricondurre la valutazione alla mera “misurazione” ha spesso il significato di allontanare la “pena” e la fatica che occorre nella elaborazione del giudizio e nella “assegnazione di valore”. Uno (spesso complicato) insieme di strumenti standardizzati sembra “automatizzare” l’esito valutativo e fornire a esso una aura oggettiva, e così “tranquillizza” il valutatore (più raramente il valutato).

Come dico sempre: meglio strumenti semplici e pensieri complessi (i primi potranno sempre essere migliorati); perché il contrario (strumenti complessi e pensieri rudimentali) è foriero di fallimenti e non si presta ad alcun miglioramento.

Naturalmente la combinazione dei due ingredienti è assolutamente specifica e diversa se si tratta della attività valutativa che accompagna la vita quotidiana (in genere non necessita di “protocolli espliciti”, vedi battutaccia da “Cielo sulla palude”) o se sia riferita a organizzazioni più o meno complesse che rappresentano, rispetto alla prima, ambiti “artefattuali” e collettivi, che invocano “misurazione”, “standard”, necessità di “comparazione estesa”, dunque “protocolli espliciti e condivisi”. La costruzione (impegno di ricerca…) di un protocollo valutativo, (strumenti di misura, procedure di costruzione del giudizio, “valutatori” che applichino i primi e elaborino il secondo) pertinente ai diversi oggetti di valutazione (organizzazione, persone nell’organizzazione, prodotti e esiti) ha sempre un costo. La sua costruzione ed implementazione va dunque decisa in relazione alla misura del bilanciamento tra il miglioramento del “rendimento” (risparmio di risorse e/o miglioramento dei prodotti) prodotto dalla valutazione e il costo della implementazione di un protocollo assennato.

Il cuoco di un comune ristorante procede direttamente a valutare il prodotto della sua attività (assaggia l’arrosto, corregge il condimento…). Ma non ha una diretta convenienza a costruire un “protocollo valutativo” standard e tanto meno di ricorrere ad assessor esterni. Se lo fa (affidandosi agli esperti della guida del Gambero Rosso o a quella Michelin p.es.) mira ad un salto di qualità “economico” della sua impresa (una diversa composizione di costi e benefici… e probabilmente un’altra categoria di “prezzi”).

E’ invece indubbio, fuor di metafora, che la produzione su grande scala di servizi pubblici renda “necessaria” la valutazione. Per diversi ordini di ragioni.

In primo luogo per la dimensione economica dei costi e la quantità delle risorse pubbliche mobilitate che sono a carico della collettività (la fiscalità generale). Produttività ed efficacia sono in tale caso congiuntamente parametri economici e imperativi etici (la cittadinanza).

In secondo luogo perché spesso i contenuti di servizi pubblici alla cittadinanza, erogati in chiave universalistica (si pensi alla sanità), sono fortemente influenzati dalla innovazione tecnico-scientifica (si pensi alle tecnologie di analisi e diagnosi mediche e a quelle di cura). E parimenti alle variazioni relative alle caratteristiche della popolazione cui sono rivolti (si pensi alla composizione per classi di età). Dunque occorre (almeno) valutare le alternative di composizione dei servizi.

In terzo luogo tali servizi in particolare quelli che tendenzialmente coprono l’universo delle generazioni di riferimento (come nel caso della scuola) sono prodotti da apparati di grandissime dimensioni, sia per risorse impegnate sia per numero di protagonisti. Devono dunque assicurare almeno uno standard “uguale” di prestazioni (diritti di cittadinanza) in condizioni operative assai diversificate. La valutazione è una “condizione di garanzia” per la cittadinanza, che non può essere semplicemente “surrogata” dal mero e formale attributo di “pubblico” assegnata al servizio. E ciò è particolarmente vero per il nostro Paese e per i modelli organizzativi ed operativi che storicamente caratterizzano l’organizzazione dei servizi entro i parametri della Pubblica Amministrazione che sono spesso lontani da sensibilità economiche (efficacia, efficienza e produttività. Ne accennavo in un precedente intervento “L’autonomia scolastica: una transizione incompiuta”).

Se sono vere tutte queste affermazioni che vorrei fossero considerate “premesse” del ragionamento, quale è la “priorità” che si pone alla valutazione? Io non ho dubbi: si tratta di sottoporre a valutazione le politiche pubbliche corrispondenti alla erogazione dei servizi.

Mi scuso per alcune semplificazioni “di scuola”: la valutazione delle politiche pubbliche si esercita attraverso una “matrice” che comprende (almeno) cinque livelli.

Valutazione dei bisogni ai quali una politica pubblica deve rispondere
Valutazione della “teoria” (interpretazione, priorità, individuazione degli strumenti) che è sottesa al programma di politica pubblica
Valutazione del processo e della implementazione del programma
Valutazione dell’impatto e degli effetti
Valutazione di efficienza nella esecuzione del programma

Questo repertorio valutativo ha una caratteristica fondamentale: i dati raccolti su ciascun livello (con metodologie varie e che hanno una loro “autonomia” tecnico scientifica) danno informazioni pienamente interpretabili solo riferendosi al livello gerarchicamente superiore. E su tale passaggio gerarchico la strumentazione tecnica trova i limiti della sua validità e applicabilità “oggettiva” e reclama al contrario l’impegno interpretativo.

La valutazione dell’efficienza, per esempio, diviene pienamente significativa solo se si riconduca alla valutazione di effetti e impatti, altrimenti i dati sono “muti” o hanno semplice significato “istantaneo” a valore predittivo nullo, pur nella loro consistenza e autonomia. La valutazione di impatto e degli effetti non ha orientamenti se non si risale al programma ed alla sua teoria. In assenza di esplorazione sulle condizioni di implementazione dei programmi le sole misure di effetto/impatto non danno conto del fatto che ciò che può parere “oggettivo” come il nesso risorse-risultati è spesso invece inquinato e contraddetto da processi opportunistici (e a volte li alimenta).

In assenza di una effettiva “propensione all’investimento” (dal lato della domanda) l’offerta differenziale di risorse produce, nella scuola come in altri campi, “cattedrali nel deserto”.

Potrei proseguire nella esemplificazione, ma la lascio volentieri al lettore. Proviamo a farci tali domande nel caso specifico delle affermazioni di “politica pubblica” contenute nella legge di stabilità e ricordate in apertura: dal 2014 nel finanziamento pubblico per il funzionamento delle scuole si darà di più alle scuole migliori.

A quale “bisogno” intende rispondere tale politica? Potremmo, per puro esercizio, contemplare due ipotesi (ma il decisore politico dovrebbe esplicitarle, per fondare un protocollo valutativo). La prima individua tale bisogno nel miglioramento delle performances di risultato (responsabilità delle singole scuole). La seconda individua tale bisogno nella necessità di migliorare le procedure di finanziamento pubblico (responsabilità del decisore politico e amministrativo). Non si tratta di “bisogni” contraddittori, ma neppure equivalenti.

Secondo passo rispetto alla scala a cinque gradini proposta: quale teoria muove la strategia pubblica? Una prima risposta potrebbe essere: la distribuzione di risorse “premiali” costituisce un incentivo a migliorare le performances. Una seconda risposta potrebbe essere: avendo individuato degli standard di prestazione che corrispondono a garanzie di effettiva erogazione di servizi “uguali” corrispondenti a diritti di cittadinanza, il finanziatore pubblico deve ottimizzare il rapporto tra prestazioni reali ottenute e quantità di risorse erogate.

A prescindere da opinioni specifiche in merito, si tratta evidentemente di teorie non equivalenti anche se non contraddittorie. Ciò che le può unificare è una condizione operativa a monte: il servizio reale è erogato attraverso una pluralità di “produttori” autonomi. Dunque il finanziatore pubblico sarebbe tenuto sia ad incentivare le migliori performances , sia a ottimizzare i costi di prestazioni standard (realizzando un risparmio relativo di spesa pubblica).

Chiedo ai lettori (e al decisore politico e amministrativo) se siamo di fronte a condizioni che diano validità alla formulazione di tali “teorie” della politica pubblica proposta, prima ancora di considerare l’accordo o il disaccordo (politico) con essa… In verità stiamo parlando di finanziamento ordinario, e non di premialità, e la differenza è fondamentale.

E ciò, a prescindere da valutazioni specifiche sulla effettiva capacità di istituti premiali (e quali?) di incentivare la performances. (Personalmente sono persuaso dei grandi rischi connessi ad una concezione meccanicistica e riduttiva del rapporto miglioramento-incentivi economici; invito ad analizzare i guasti che tale “determinismo” ha prodotto nel mondo dell’impresa e della finanza: la prevalenza dell’immediato interesse dei manager e l’accorciamento dell’orizzonte, non solo temporale, della produttività e delle convenienze collettive).

Ma, nella scuola, siamo anche in completa assenza di un repertorio assennato di standard di risultato (cui dovrebbe corrispondere il plafond del finanziamento ordinario) da proporre alla pluralità dei produttori autonomi. Anzi da oltre dieci anni si stanno corrodendo le condizioni di operatività autonoma delle scuole e non vi è traccia di definizione di Livelli Essenziali di Prestazione. (Pure previsti come competenza esclusiva dello Stato in Costituzione).

Sotto il profilo squisitamente “tecnico” potremmo indicare tre possibilità “teoriche”: 1) il finanziatore pubblico è “committente” di un “prodotto” con caratteri standard definiti, ad una pluralità di produttori autonomi e indipendenti; 2) Il finanziatore pubblico si rivolge ad una “comunità” di produttori autonomi legati da un sistema di governance del servizio pubblico (lo Stato è provider); 3) il finanziatore pubblico è il “produttore” ( e dunque non solo regolatore, ma decisore in dettaglio) del servizio, vincolando strettamente l’autonomia dei produttori.

Possiamo personalmente (e politicamente) scegliere tra questi modelli, ma è evidente che ciascuno di essi promuove protocolli e strategie valutative assai differenti. Ma, e qui è il vero problema, in ogni caso a partire dal fatto che il focus della valutazione è costituito dalla valutazione della strategia pubblica (le tre ipotesi promuoveranno protocolli diversi) e deve offrire protocolli soddisfacenti per ciascuno dei gradini della matrice indicata, che sono tra loro correlati in termini di reciproca significazione.

Il limite della nostra esperienza odierna è che (nel silenzio o nella confusione di quale sia la scelta strategica) stiamo esplorando solamente i due ultimi gradini della scala.. Un limite culturale e scientifico che si fa particolarmente insopportabile quanto più si unisca a giaculatorie sul merito o sull’eccellenza. Tale limite compromette alla radice ogni confronto sulla diagnostica.

Non che lo impedisca, ma lo lascia in preda a contraddizioni irrisolvibili. Tutte le ipotesi interpretative sono abilitate ad alimentare polemiche e scontri, e a mantenere vuoto lo spazio tra impostazioni tecniche dei protocolli valutativi e determinazione di senso delle politiche pubbliche che dovrebbero giustificarli ed alimentarli. (Il dibattito pubblico sulla valutazione nella scuola è esemplare di ciò).

E gli effetti di tale vuoto cominciano ad essere evidenti non solo nella scuola. Dopo un ventennio di predicazioni sulla moltiplicazione dei nodi decisionali, sul policentrismo istituzionale (vedi anche l’autonomia scolastica), sulla necessità di governance (di governo misto), stiamo vivendo una fase che sembra rilanciare non quest’ultima, ma la necessità, più antica, di government.

E’ una istanza alimentata dalla pochezza della politica-politicata, dunque la sua apparente “saggezza” (chi mai in astratto negherebbe la necessità di riconoscere il merito?) è alimentata da una sconfitta.

Non posso fare a meno di chiedermi, a fronte di tali contraddizioni, dove stia e a chi sia dedicata la “sapienza” dei tecnici” e la loro (supposta) indipendenza scientifica. Quello che emerge infatti è una ipotesi di valutazione che procede da un “valutatore” centrale che si sottrae allo stesso protocollo che propone, e la cui sola esplorazione estesa (la valutazione della politica pubblica) darebbe invece senso compiuto all’intero sistema valutativo.

Viene invece presentata come innovativa la scelta di esprimere la valutazione “solo” al livello degli ultimi gradini due gradini della scala: la valutazione di impatto e la valutazione di efficacia ed efficienza. Si ignora la necessità “scientifica” di “risalire” la matrice valutativa fino alla fonte delle politiche pubbliche e delle loro strategie.

Una opinione che ha trovato il conforto di analoga e certo più autorevole presa di posizione di Sabino Cassese sulla medesima parte della Legge di stabilità estesa alla valutazione universitaria.

Ma, a parte la correttezza “politica”, c’è anche qui la contraddizione tecnica: non si riesce neppure a valutare assennatamente l’ultimo gradino della scala di valutazione (l’efficacia e l’efficienza delle prestazioni) se non si dispone di una declaratoria di standard che il pubblico deve assicurare ai cittadini, e se quest’ultimo viene sostituito da una semplice declaratoria di “prestazioni formali” dovute, secondo il puro principio di legittimità amministrativa.

Vorrei, per concludere, esplicitare ulteriormente lo spunto polemico: il bersaglio non sono tanto i “politici” (posso comprendere che la loro “sapienza” non si misuri direttamente con il contenuto tecnico-scientifico dei protocolli valutativi); quanto la burocrazia ministeriale, che “media” da sempre la realizzazione delle “strategie”. Per quante “agende” si possano ragionevolmente compilare quella mediazione operativa è in grado di mandare fuori bersaglio, e addirittura capovolgerne gli obiettivi di fondo, ogni scelta politica. Chi ha materialmente scritto quel passo della Legge di Stabilità è consapevole di avere fornito ennesimo spunto a chi si oppone pregiudizialmente alla valutazione di sistema? Il sospetto che ne sia un occulto alleato è molto fondato: prima o poi la questione di “valutare il valutatore” va pure messa in conto. E allora… (si dia uno sguardo ai protocolli valutativi dei dirigenti ministeriali: sarebbe istruttivo…)

Ma c’è un terzo bersaglio, ed è costituito dai “tecnici”. I dati, le informazioni e le diagnosi per risalire dalle esperienze sperimentali di valutazione a livello delle scuole, alle indicazioni di “politica pubblica” sono disponibili. Cito solo la storia pluriennale dei progetti europei (PON) e il più recente progetto VSQ, per tacere delle tantissime esperienze autonome delle scuole. Dunque si possono e devono usare per falsificare alcune scelte politiche e “teorie strategiche” che le hanno ispirate, a partire dalla semplificata e meccanicistica interpretazione del rapporto tra risorse economiche, incentivi finanziari, miglioramento e qualità dei risultati, che invece viene riproposta nella Legge di Stabilità.

Continuo a ritenere che in questo consista il ruolo fondamentale della ricerca.

Ogni tanto ho la tentazione di dirmi “ho deciso di smettere…”. Poi penso per esempio all’amico Tiriticco e al suo instancabile impegno e… mi rollo un’altra sigaretta…

Franco De Anna