Negli ultimi articoli abbiamo seguito alcune fasi decisive nella costruzione di un assessment efficace.

Abbiamo visto che la qualità del processo nasce dalla progettazione, cioè dalla capacità di partire da una domanda organizzativa chiara e trasformarla in obiettivi di osservazione coerenti. (leggi qui l’articolo)

Abbiamo poi approfondito il ruolo della fiducia e della comunicazione, perché nessun assessment può generare evidenze realmente affidabili se le persone coinvolte non comprendono il senso del percorso e non si fidano del processo (leggi qui l’articolo).

A questo punto si entra in una fase spesso meno visibile agli occhi dei partecipanti e dei committenti, ma centrale per la qualità dell’intero impianto valutativo: la calibration.

Al termine delle prove, delle simulazioni, delle interviste e degli altri strumenti di assessment, l’organizzazione dispone infatti di una quantità significativa di informazioni. Ci sono punteggi, note degli assessor, comportamenti osservati, episodi significativi, ricorrenze, elementi di coerenza e, non di rado, evidenze apparentemente contraddittorie.

Ma raccogliere dati non significa ancora aver prodotto una valutazione.

Un assessment non diventa affidabile semplicemente perché un comportamento è stato osservato. Diventa più solido quando quell’osservazione viene ricondotta a criteri condivisi, confrontata con altre evidenze, discussa e interpretata all’interno del profilo complessivo della persona.

È precisamente in questo passaggio che si colloca il valore della calibration.

Non come adempimento amministrativo al termine delle prove. Non come riunione nella quale si calcolano medie o si uniformano velocemente i punteggi. E neppure come luogo nel quale gli assessor devono necessariamente arrivare tutti alla stessa opinione.

La calibration è, prima di tutto, uno spazio metodologico di confronto.

È il momento nel quale le osservazioni individuali vengono sottoposte a verifica, le differenze vengono esplorate e le evidenze vengono progressivamente trasformate in un giudizio valutativo più solido, argomentabile e tracciabile.

Dal dato al significato

Uno degli equivoci più frequenti nei processi di assessment consiste nel pensare che la valutazione coincida con il punteggio.

Una prova viene osservata, una capacità riceve un livello, un indicatore viene collocato su una scala e il rischio, a quel punto, è considerare quel numero come se rappresentasse già una conclusione.

Ma il punteggio, da solo, non basta.

Ci dice quanto, ma non necessariamente come.

Può indicare un determinato livello di efficacia, ma non racconta automaticamente quali comportamenti lo abbiano generato, in quali circostanze siano emersi, con quale continuità e con quali eventuali differenze rispetto alle altre situazioni osservate.

Occorre quindi distinguere almeno quattro passaggi: dato, evidenza, interpretazione e giudizio.

Il dato rappresenta ciò che viene registrato. L’evidenza nasce quando ciò che è stato osservato viene ricondotto a uno specifico comportamento significativo rispetto alla capacità oggetto di valutazione. 

L’interpretazione mette quell’evidenza in relazione con altre informazioni raccolte. Il giudizio, infine, costituisce la sintesi valutativa che emerge dall’insieme delle evidenze disponibili.

Saltare uno di questi passaggi significa aumentare il rischio di trasformare troppo rapidamente un’osservazione in una conclusione.

Due partecipanti possono ottenere lo stesso punteggio e averlo raggiunto attraverso modalità comportamentali profondamente differenti. Allo stesso modo, due assessor possono attribuire livelli diversi alla medesima prestazione non necessariamente perché uno dei due abbia sbagliato, ma perché hanno colto aspetti differenti o attribuito un peso diverso alle evidenze osservate.

La calibration serve proprio a evitare che il dato rimanga isolato.

Attraverso il confronto, il punteggio viene riletto alla luce dei comportamenti che lo sostengono. 

Non ci si limita a discutere quanto una persona sia risultata efficace, ma si approfondisce come abbia raggiunto quel risultato, quali risorse abbia utilizzato, quali limiti siano emersi e quanto le evidenze risultino coerenti con quanto osservato nelle altre prove.

È in questo senso che la calibration rappresenta il passaggio dalla raccolta delle informazioni alla costruzione del giudizio.

Una sola osservazione non basta

Ogni osservazione porta inevitabilmente con sé un punto di vista.

Anche quando gli assessor sono esperti, gli strumenti sono ben progettati e le griglie sono definite con precisione, la valutazione conserva una componente interpretativa.

Questo non rappresenta un difetto da eliminare ma una dimensione da governare con metodo.

Un assessor può cogliere con maggiore sensibilità la qualità delle dinamiche relazionali, un altro può porre maggiore attenzione alla struttura del ragionamento, un altro ancora può rilevare con particolare precisione la capacità di decidere sotto pressione, la gestione del tempo o la qualità della sintesi.

La soluzione non consiste nel chiedere agli assessor di osservare tutti esattamente nello stesso modo ma nel creare le condizioni affinché ciò che hanno osservato possa essere confrontato.

È qui che la calibration assume una funzione fondamentale: trasforma la pluralità degli sguardi da possibile fonte di incoerenza a risorsa metodologica.

Non elimina la soggettività dell’osservatore, ma la rende esplicita, discutibile e verificabile rispetto a criteri comuni.

Si potrebbe parlare, in questo senso, di una forma di intersoggettività valutativa: il giudizio diventa più robusto non perché improvvisamente diventi completamente oggettivo, ma perché differenti punti di vista vengono sottoposti a un processo strutturato di confronto basato sulle evidenze.

Quando questo confronto manca, il rischio è che la valutazione finale rifletta eccessivamente la sensibilità del singolo assessor.

Quando, invece,  viene condotto con rigore, le differenze tra osservatori diventano una risorsa: consentono di vedere meglio, interrogare le ambiguità, riconoscere possibili bias e costruire una sintesi più affidabile.

La divergenza non è un errore: è un’informazione

È proprio quando gli assessor non sono d’accordo che la calibration mostra maggiormente il proprio valore.

Due assessor che attribuiscono punteggi diversi non rappresentano necessariamente un problema di affidabilità.

Il problema nasce quando non siamo in grado di spiegare perché quei punteggi sono diversi.

La divergenza, infatti, può contenere informazioni preziose.

Una persona può mostrare una forte capacità analitica in un business case individuale e faticare a utilizzare la stessa capacità all’interno di una discussione di gruppo. 

Può risultare molto efficace quando dispone del tempo necessario per strutturare la risposta e meno solida quando deve decidere rapidamente. Può esprimere una buona capacità di influenzamento con interlocutori collaborativi e incontrare maggiori difficoltà quando deve gestire resistenze.

Che cosa significa?

La risposta non può essere trovata semplicemente facendo la media dei punteggi.

Occorre domandarsi che cosa cambia tra le diverse situazioni.

Il contesto? La pressione? La componente relazionale? Il grado di ambiguità? La necessità di integrare punti di vista differenti? Il tipo di interlocutore?

La divergenza diventa così una domanda da esplorare, non un problema da cancellare.

Ed è proprio questo uno dei rischi di una calibration condotta troppo rapidamente: cercare immediatamente il punto di incontro invece di comprendere il significato della differenza.

La media appiattisce le divergenze mentre il confronto le rende intelligibili.

Calibration non significa consenso

Questo porta a un’altra distinzione fondamentale.

Una buona calibration non si misura dalla rapidità con cui gli assessor raggiungono un accordo.

E neppure dal fatto che, alla fine della riunione, tutti esprimano esattamente lo stesso giudizio.

Calibration e consenso non sono sinonimi.

Il consenso può essere il risultato di una buona calibration, ma può anche essere prodotto da conformismo, fretta o influenza gerarchica.

Un assessor meno esperto può adeguarsi al collega senior. Un componente del gruppo particolarmente assertivo può orientare involontariamente il confronto. Il bisogno di rispettare i tempi può indurre il team a scegliere rapidamente un valore intermedio pur di chiudere la discussione.

Formalmente, il gruppo ha raggiunto un accordo.

Metodologicamente, non ha necessariamente svolto una calibration.

Il vero obiettivo non è fare in modo che tutti pensino la stessa cosa.

È arrivare a una sintesi che possa essere argomentata attraverso le evidenze.

Una buona calibration non chiede quindi agli assessor di rinunciare al proprio punto di vista. Chiede loro di renderlo esplicito, confrontarlo con quello degli altri e, quando necessario, modificarlo alla luce di evidenze più solide.

È la qualità dell’argomentazione, non l’unanimità, a rendere credibile il giudizio finale.

Le griglie: un linguaggio comune per discutere

In questo processo le griglie di valutazione svolgono una funzione essenziale.

Spesso vengono considerate semplici strumenti per registrare punteggi. In realtà il loro valore è molto più ampio: aiutano gli assessor a mantenere il ragionamento ancorato a comportamenti osservabili, indicatori condivisi e criteri espliciti.

Non basta affermare che una persona “ha mostrato leadership”, “ha comunicato bene” o “non è stata sufficientemente incisiva”.

Occorre ricondurre queste impressioni a comportamenti.

Che cosa ha fatto?

Quali informazioni ha utilizzato?

Come ha coinvolto gli interlocutori?

Come ha reagito di fronte a un’obiezione?

Quali decisioni ha assunto?

Con quali conseguenze?

Una griglia ben progettata crea quindi un linguaggio comune e rende possibile la tracciabilità del ragionamento valutativo.

Ma non dobbiamo attribuirle un potere che non possiede.

Gli standard comuni non sostituiscono il confronto: lo rendono possibile.

Due assessor possono utilizzare correttamente la stessa griglia e continuare a interpretare in modo differente ciò che hanno osservato. È proprio la discussione su queste differenze che consente di verificare se i criteri siano stati applicati in modo coerente.

Una valutazione, soprattutto quando contribuisce a decisioni di selezione, successione o mobilità, non deve quindi essere soltanto metodologicamente corretta.

Deve anche essere spiegabile.

Quando la calibration diventa superficiale

Gli effetti di una calibration debole non rimangono confinati alla riunione degli assessor.

Si propagano lungo l’intera catena del processo.

Valutazioni poco fondate generano profili meno affidabili. Profili fragili producono report meno convincenti. Report difficilmente argomentabili rendono più complesso il feedback. E un feedback poco credibile riduce la probabilità che il partecipante riconosca valore nell’esperienza.

Alla fine della catena, anche la qualità delle decisioni organizzative può risentirne.

Tra gli errori più frequenti troviamo la riduzione della calibration a una media matematica, la fretta di chiudere il confronto, l’evitamento delle divergenze, la prevalenza delle impressioni sulle evidenze e il peso eccessivo attribuito alla posizione dell’assessor più autorevole.

A questi si aggiungono bias cognitivi più sottili: l’effetto alone, che porta a estendere l’impressione prodotta da una singola prestazione all’intero profilo; la ricerca selettiva di informazioni coerenti con un giudizio già formulato; la tendenza ad attribuire un peso eccessivo all’ultima prova osservata; la difficoltà a modificare una prima impressione anche quando emergono evidenze differenti.

In tutti questi casi la calibration perde la propria funzione e diventa una formalità.

Ma un assessment non ha bisogno di formalità.

Ha bisogno di giudizi fondati.

Il supervisore non possiede la risposta: presidia il metodo

Nei percorsi più complessi, la presenza di un assessor senior o di un supervisore può rappresentare un importante fattore di qualità.

A condizione, però, che il suo ruolo venga interpretato correttamente.

Il supervisore non è colui che possiede la “valutazione giusta”.

Se la calibration consiste semplicemente nell’attendere il parere della persona più esperta e adeguarsi a esso, il gruppo avrà forse ottenuto uniformità, ma avrà perso una parte importante del valore del confronto.

Il ruolo del supervisore è un altro.

Deve essere garante del processo di ragionamento.

Deve mantenere la discussione ancorata agli standard, assicurarsi che tutte le evidenze significative vengano considerate, aiutare gli assessor a distinguere osservazioni e interpretazioni, rendere visibili eventuali criteri impliciti e impedire che gerarchie informali o dinamiche di influenza prendano il posto dell’argomentazione.

La domanda alla quale riporta continuamente il gruppo è semplice:

quali comportamenti abbiamo osservato e che cosa ci permettono realmente di affermare rispetto alla capacità che stiamo valutando?

È questa domanda che protegge la calibration dal rischio di trasformarsi in una discussione tra opinioni.

La calibration produce anche assessor migliori

Esiste poi un valore della calibration che supera il singolo assessment.

Confrontarsi sistematicamente sulle evidenze, discutere le divergenze, rendere espliciti i propri criteri e riconoscere i possibili bias rappresenta una straordinaria occasione di apprendimento professionale.

L’assessor scopre come osservano gli altri.

Verifica la consistenza dei propri criteri.

Impara a distinguere maggiormente ciò che ha visto da ciò che ha interpretato.

Affina il proprio linguaggio valutativo.

E progressivamente costruisce con il team una maggiore coerenza metodologica.

Per questo la calibration non produce soltanto valutazioni migliori.

Produce anche assessor migliori.

Ed è un risultato particolarmente importante nei progetti di assessment continuativi, nei quali la qualità del sistema dipende anche dalla capacità del gruppo di valutazione di apprendere dall’esperienza e consolidare nel tempo un linguaggio condiviso.

Una responsabilità metodologica ed etica

La calibration implica, infine, una responsabilità che non è soltanto tecnica.

Quando un’organizzazione valuta una persona non sta semplicemente raccogliendo dati.

Sta producendo informazioni che possono influenzare decisioni di selezione, sviluppo, carriera, mobilità o successione.

Per questo il giudizio finale deve essere fondato, tracciabile, spiegabile e coerente con le evidenze raccolte.

Non significa ricercare una valutazione perfetta, ogni processo valutativo conserva inevitabilmente una quota di complessità e interpretazione.

Significa costruire una valutazione responsabile.

Una valutazione nella quale sia possibile ricostruire il percorso che dalle osservazioni ha condotto alle conclusioni e nella quale le persone siano protette, per quanto metodologicamente possibile, dall’arbitrarietà delle impressioni individuali.

La calibration serve anche a proteggere il partecipante da giudizi impressionistici e protegge l’organizzazione da decisioni scarsamente fondate.

Per questo non può essere trattata come una fase accessoria ma come uno dei momenti nei quali l’assessment dimostra concretamente la propria serietà metodologica.

Quando osservare non basta

Osservare è indispensabile, senza osservazione non esistono evidenze comportamentali e, senza evidenze, l’assessment rischia di tornare nel territorio delle impressioni.

Ma osservare non basta.

Occorre confrontare, verificare, contestualizzare, interpretare e argomentare.

La qualità di un assessment non dipende quindi soltanto da ciò che gli assessor riescono a vedere durante le prove, ma anche dalla qualità del confronto attraverso cui quelle osservazioni vengono messe in relazione e trasformate in una sintesi.

È questo il significato più profondo della calibration.

Una buona calibration non chiede agli assessor di vedere le stesse cose. 

Chiede loro di rendere confrontabile ciò che hanno visto, di argomentare le differenze e di costruire un giudizio che nessuno debba semplicemente accettare, ma che tutti siano in grado di spiegare.

Perché nell’assessment osservare è indispensabile ma è la qualità del confronto sulle osservazioni che trasforma ciò che abbiamo visto in una valutazione sulla quale possiamo responsabilmente decidere.

Per approfondire metodologie, strumenti e applicazioni operative dell’Assessment, il Master in Assessment e sviluppo organizzativo di IdeaManagement offre un percorso specialistico dedicato a HR, consulenti e manager che vogliono acquisire competenze avanzate nella progettazione e nella gestione dei processi di assessment. (Puoi scaricare il programma qui)

Per le organizzazioni che invece hanno bisogno di progettare un percorso concreto, ma non dispongono internamente del tempo o delle risorse necessarie per costruirlo in autonomia, IdeaManagement affianca HR e management nella definizione dell’intero impianto metodologico: dalla domanda iniziale agli obiettivi di osservazione, dalla scelta degli strumenti alla restituzione dei risultati. (richiedi una consulenza per il tuo progetto di assessment)