Negli ultimi articoli abbiamo seguito il percorso dell’assessment fino alle sue fasi conclusive, entrando nel merito della calibration, del report e delle diverse restituzioni rivolte a manager, HR e partecipanti.

Arrivati a questo punto, potrebbe sembrare che la qualità dell’intero processo dipenda soprattutto dalla solidità degli strumenti utilizzati e dalla competenza di chi conduce le prove. In realtà, anche un assessment progettato con attenzione può presentare fragilità che rischiano di compromettere la qualità delle valutazioni e, soprattutto, delle decisioni che ne derivano.

Un errore può nascere durante la progettazione, quando la domanda iniziale resta poco definita, oppure nella scelta delle capacità da osservare e nel modo in cui vengono raccolte le evidenze. Può emergere durante il confronto tra assessor, nella costruzione del report o nel momento della restituzione, quando una valutazione che sembrava solida incontra domande alle quali diventa difficile rispondere con sufficiente precisione.

Proprio per questo l’errore nell’assessment raramente appartiene a un solo momento del processo.

Una fragilità introdotta all’inizio può accompagnare tutto il percorso e diventare visibile soltanto molto più avanti, quando correggerla è ormai più complesso.

Il problema è che se l’assessment presenta degli errori, questi possono attraversare l’intero processo senza essere riconosciuti, fino a influenzare decisioni che riguardano le persone.

Comprendere dove nascono, come si propagano e quali condizioni permettono di intercettarli è quindi una componente essenziale della qualità metodologica.

Non tutti gli errori dell’assessment sono della stessa natura

Quando parliamo di errori nell’assessment, tendiamo spesso a pensare alle distorsioni che possono influenzare il giudizio degli assessor, questa è certamente una dimensione importante, ma non è l’unica.

Un assessment può produrre risultati poco affidabili anche quando gli assessor hanno osservato correttamente i comportamenti, oppure può generare decisioni inappropriate pur avendo prodotto valutazioni metodologicamente solide.

Per comprendere meglio queste differenze è utile distinguere tre tipologie di errore, che possono manifestarsi in momenti diversi e richiedono modalità differenti di prevenzione e correzione.

Gli errori metodologici riguardano il modo in cui l’assessment viene progettato e realizzato. Possono compromettere le condizioni attraverso cui vengono prodotte le evidenze e, di conseguenza, la possibilità di ottenere informazioni pertinenti e confrontabili.

Utilizzare uno strumento poco coerente con la capacità da valutare, definire criteri osservativi troppo generici oppure somministrare le prove in condizioni non omogenee sono esempi di errori metodologici. In questi casi il problema può essere presente prima ancora che inizi il lavoro di interpretazione.

Gli errori valutativi riguardano invece il passaggio dalle evidenze osservate al giudizio sulla capacità. Un assessor può raccogliere informazioni corrette, ma interpretarle in modo distorto. Può attribuire una valutazione positiva perché il partecipante ha prodotto un’impressione generale favorevole, oppure lasciarsi influenzare da un comportamento particolarmente evidente, trascurando altri elementi meno appariscenti ma ugualmente significativi.

In questi casi non è necessariamente la qualità dell’osservazione a essere compromessa, quanto il ragionamento che conduce alla valutazione.

Gli errori di utilizzo, infine, riguardano il modo in cui i risultati vengono interpretati e impiegati dall’organizzazione. Un assessment progettato per individuare opportunità di sviluppo, per esempio, non dovrebbe essere trasformato automaticamente nell’unico criterio per decidere una promozione. Le informazioni raccolte possono essere utili anche per altre riflessioni, ma occorre verificarne la pertinenza rispetto alla nuova finalità e integrarle con ulteriori elementi.

È una distinzione fondamentale: un risultato può essere metodologicamente corretto e diventare inappropriato nel momento in cui viene utilizzato per rispondere a una domanda diversa da quella per cui è stato prodotto.

Le tre tipologie possono essere sintetizzate in questo modo.

Queste categorie non rappresentano compartimenti separati.

Un errore metodologico può favorire un errore valutativo, che a sua volta può tradursi in una decisione organizzativa inappropriata.

Pensiamo a una capacità definita in modo troppo generico. Gli assessor potrebbero raccogliere comportamenti molto diversi tra loro, interpretarli secondo criteri personali e arrivare a una valutazione apparentemente condivisa. Se quel risultato venisse poi utilizzato per decidere l’idoneità a un ruolo, una fragilità iniziale finirebbe per influenzare una decisione importante.

L’affidabilità dell’assessment dipende quindi dalla qualità dell’intera catena che collega la domanda organizzativa alle evidenze, le evidenze alle valutazioni e le valutazioni alle decisioni.

Alcuni errori cominciano prima ancora dell’assessment

Una delle fragilità più difficili da correggere nasce nella fase di progettazione, perché tutto ciò che viene definito in quel momento orienta le attività successive.

Quando la finalità del percorso rimane poco chiara, anche strumenti validi e assessor preparati rischiano di lavorare su una domanda organizzativa troppo vaga per produrre informazioni realmente utili.

Un assessment orientato alla selezione pone domande diverse rispetto a un percorso di sviluppo, così come una valutazione destinata a sostenere una successione richiede criteri differenti da quelli necessari per comprendere una popolazione professionale.

Se queste finalità si sovrappongono o vengono definite in modo generico, il processo può risultare tecnicamente corretto e, allo stesso tempo, poco coerente con la decisione che l’organizzazione dovrà prendere.

Una criticità simile emerge quando vengono inserite troppe capacità o quando quelle selezionate sono formulate in modo troppo ampio per essere tradotte in comportamenti osservabili.

Più il perimetro si estende, più cresce il rischio di raccogliere una grande quantità di informazioni senza riuscire a distinguere quali siano davvero rilevanti per l’obiettivo iniziale.

Anche la scelta degli strumenti richiede coerenza con ciò che si vuole comprendere.

Un tool può essere valido, interessante e ben costruito, pur risultando poco adatto alla capacità che si intende osservare o al tipo di decisione che il percorso deve sostenere.

La qualità dell’assessment comincia quindi dalla precisione con cui l’organizzazione riesce a formulare la domanda alla quale vuole ottenere una risposta.

Quando la comunicazione compromette la qualità delle evidenze

Un’altra fonte di errore, spesso sottovalutata, riguarda la comunicazione del percorso ai partecipanti.

Le persone dovrebbero comprendere perché viene realizzato l’assessment, quali finalità persegue, come saranno utilizzati i risultati e a chi verranno restituiti.

Quando queste informazioni sono incomplete o ambigue, possono nascere aspettative differenti da quelle dell’organizzazione.

Un partecipante convinto di affrontare una prova decisiva per la propria carriera potrebbe cercare soprattutto di presentare un’immagine desiderabile di sé. Un altro, che non comprende la finalità del percorso, potrebbe affrontarlo con diffidenza o con un coinvolgimento limitato.

Naturalmente, ogni situazione valutativa può influenzare il comportamento delle persone. L’obiettivo non è eliminare questa componente, ma evitare che una comunicazione inadeguata introduca ulteriori elementi di distorsione.

La fiducia costruita prima dell’assessment contribuisce anche alla qualità delle condizioni nelle quali vengono espressi i comportamenti.

La comunicazione non è soltanto un’attività che accompagna l’assessment. È una delle condizioni che possono influenzare la qualità delle evidenze raccolte.

Quando il contesto modifica ciò che osserviamo

Una prova ben progettata può produrre evidenze fragili quando viene somministrata in condizioni poco controllate.

Differenze nei tempi, istruzioni poco chiare, ambienti inadatti o modalità di conduzione poco omogenee possono modificare il comportamento dei partecipanti e rendere più difficile confrontare ciò che è stato osservato.

Il contesto assume un peso particolare perché l’assessment lavora sui comportamenti agiti.

Quando cambiano in modo significativo le condizioni nelle quali quei comportamenti vengono sollecitati, cambia anche una parte del contesto attraverso cui il dato viene prodotto, con il rischio di attribuire alla persona differenze che dipendono invece dalla situazione.

Anche la gestione della prova richiede equilibrio. Un assessor che interviene troppo può facilitare involontariamente la prestazione, mentre una conduzione poco attenta può lasciare irrisolti dubbi sulle consegne e introdurre variabili che hanno poco a che vedere con la capacità che si vuole valutare.

Il problema tende poi a emergere nelle fasi successive, quando osservazioni costruite in condizioni differenti vengono trattate come se fossero pienamente comparabili.

Vedere un comportamento non significa averlo già valutato

Uno dei passaggi più delicati arriva quando l’osservazione comincia a trasformarsi in interpretazione.

Immaginiamo una persona che, durante una prova di gruppo, interviene molto spesso e occupa una parte significativa della conversazione. Ciò che abbiamo visto è un comportamento. La capacità alla quale collegarlo richiede un passaggio ulteriore.

Quella frequenza di intervento potrebbe essere collegata a una buona capacità di influenzamento, oppure segnalare una difficoltà nell’ascolto. La risposta dipende dai comportamenti previsti dalla mappa delle capacità che stiamo osservando e dalla qualità delle evidenze raccolte durante l’intera prova, non dall’impressione generale che il partecipante produce.

È proprio in questo passaggio che possono intervenire alcuni dei bias più conosciuti.

L’effetto alone porta a estendere una valutazione positiva, riferita a una caratteristica particolarmente evidente, anche ad altre capacità per le quali non disponiamo di evidenze altrettanto solide.

Una persona molto brillante nella comunicazione, per esempio, può generare un’impressione favorevole che finisce per influenzare anche la valutazione della capacità decisionale o del problem solving.

Il bias di conferma può invece indurre l’assessor a cercare soprattutto comportamenti coerenti con un’impressione già costruita, prestando minore attenzione alle evidenze che potrebbero contraddirla.

L’ancoraggio alla prima impressione può rendere particolarmente influenti i comportamenti osservati all’inizio di una prova, anche quando quelli successivi suggeriscono una lettura differente.

Conoscere questi meccanismi è importante, ma non significa esserne automaticamente immuni.

La qualità dell’assessment dipende dalla disciplina con cui l’assessor mantiene separati ciò che ha osservato, ciò che interpreta e il giudizio che formula.

La competenza dell’assessor consiste infatti nel non permettere che le impressioni sostituiscano le evidenze.

Una singola prova può raccontare solo una parte della storia

Una persona può esprimere una capacità con efficacia in una situazione e incontrare maggiori difficoltà in un’altra, senza che questa differenza renda automaticamente inattendibile una delle due osservazioni.

Proprio la variazione tra contesti può fornire informazioni utili su quanto una capacità sia consolidata e sulle condizioni che ne facilitano l’espressione.

Una buona capacità di negoziazione, per esempio, potrebbe emergere chiaramente quando il partecipante affronta un interlocutore individuale e diventare meno evidente all’interno di una situazione di gruppo caratterizzata da maggiore pressione sociale.

In casi come questo, la differenza tra le prove può raccontare qualcosa che una singola osservazione non avrebbe permesso di cogliere. L’affidabilità dell’assessment cresce attraverso il confronto tra evidenze raccolte in situazioni differenti e, quando previsto dal metodo, attraverso più osservatori.

La convergenza rafforza una valutazione, mentre la divergenza richiede di comprendere quali elementi del contesto possano aver influenzato il comportamento.

Attribuire un peso eccessivo a una sola prova rischia invece di trasformare un episodio in una rappresentazione stabile della persona.

Una metodologia rigorosa serve anche a proteggere il processo da questo tipo di semplificazione.

La calibration può correggere gli errori oppure amplificarli

La calibration rappresenta uno dei momenti in cui eventuali distorsioni individuali possono essere intercettate, perché obbliga gli assessor a mettere a confronto le evidenze raccolte e a rendere esplicite le ragioni che sostengono le proprie valutazioni.

Questa funzione perde però molta della sua efficacia quando il confronto viene ridotto a una semplice media dei punteggi.

Due assessor possono attribuire valutazioni differenti alla stessa capacità perché hanno osservato comportamenti diversi o perché hanno interpretato in modo differente la medesima situazione.

La qualità della calibration dipende dalla possibilità di entrare nel merito di quella distanza, ricostruendo le evidenze che sostengono ciascuna lettura e verificandone la coerenza nelle prove.

Proprio la divergenza può diventare un elemento prezioso, perché costringe gli assessor a spiegare meglio il proprio ragionamento e a tornare sui comportamenti osservati.

Quando il confronto viene chiuso rapidamente per risparmiare tempo, oppure quando la valutazione della persona più esperta orienta implicitamente quella degli altri, la calibration può smettere di svolgere la propria funzione di controllo.

In situazioni di questo tipo un bias individuale può essere accolto dal gruppo senza essere realmente discusso e trasformarsi in una valutazione condivisa.

Il consenso, da solo, non garantisce la qualità del giudizio: conta il percorso attraverso cui quel consenso è stato costruito.

La tracciabilità: poter ricostruire come nasce una valutazione

Uno degli elementi che permettono di riconoscere e correggere gli errori è la possibilità di ricostruire il ragionamento che ha condotto al risultato.

Ogni valutazione dovrebbe poter essere collegata ai comportamenti osservati, alle evidenze registrate e ai criteri utilizzati per interpretarle.

Il percorso può essere rappresentato attraverso cinque passaggi:

Comportamento osservato → Evidenza registrata → Interpretazione → Valutazione → 

Decisione

Ciascun passaggio richiede attenzione.

Se il comportamento viene registrato in modo incompleto o impreciso, il problema nasce nella raccolta dell’evidenza. Se un comportamento viene collegato a una capacità che non rappresenta adeguatamente, la distorsione riguarda l’interpretazione. Se il giudizio attribuisce un peso eccessivo a un singolo episodio, il problema riguarda la valutazione.

Se infine un risultato viene utilizzato per una decisione diversa da quella per cui il percorso è stato progettato, la criticità riguarda l’utilizzo.

La tracciabilità permette di tornare su questi passaggi, comprendere dove può essersi introdotta una distorsione e verificare se la conclusione rimane sostenibile.

Non significa pretendere che ogni comportamento conduca automaticamente a un punteggio o che il ragionamento valutativo possa essere ridotto a una sequenza meccanica, ma, piuttosto, rendere espliciti e verificabili i collegamenti che sostengono il giudizio professionale.

La tracciabilità non solo difende una valutazione ma la rende verificabile e, quando necessario, correggibile.

Anche il linguaggio può introdurre un errore

Una volta conclusa la valutazione, il modo in cui le evidenze vengono scritte incide profondamente su ciò che verrà compreso da chi leggerà il report di assessment.

Descrivere un comportamento osservato e attribuire una caratteristica alla persona sono operazioni molto diverse, anche quando sembrano riferirsi alla stessa capacità.

Scrivere “durante una prova una persona ha faticato a mantenere la propria posizione di fronte alle obiezioni” permette di ricostruire ciò che è accaduto.

Definirla semplicemente “poco assertiva” allarga invece il significato della valutazione e rischia di trasformare un comportamento situato in una caratteristica percepita come stabile.

Questa attenzione diventa ancora più importante quando il report viene letto da persone che non hanno assistito alle prove.

Il linguaggio diventa il collegamento principale tra ciò che gli assessor hanno osservato e ciò che l’organizzazione comprenderà, con una responsabilità molto alta sulla qualità della rappresentazione finale.

Formulazioni generiche o assolute possono quindi alterare anche un processo condotto correttamente.

Un linguaggio preciso mantiene il report vicino alle evidenze e permette a chi lo utilizza di comprendere meglio da dove nasce la valutazione.

Il feedback è il luogo in cui molti errori diventano visibili

Il colloquio di feedback porta spesso in superficie fragilità accumulate durante le fasi precedenti, perché costringe chi conduce la restituzione a spiegare il percorso che ha portato a una determinata valutazione.

Una domanda molto semplice del partecipante può rendere immediatamente evidente quanto le evidenze siano realmente solide e ricostruibili.

Quando una persona chiede “quali comportamenti hanno portato a questa valutazione?”, un assessor che ha lavorato prevalentemente attraverso impressioni generali può trovarsi in difficoltà.

Allo stesso modo, un manager che non riconosce il collaboratore nel profilo può far emergere la necessità di riesaminare alcune evidenze o approfondire le differenze tra il contesto lavorativo e quello dell’assessment.

Un HR che fatica a collegare i risultati alla finalità iniziale può invece ritrovare l’origine del problema nella progettazione.

Naturalmente, una discrepanza tra la percezione del partecipante o del manager e il risultato non dimostra automaticamente che la valutazione sia sbagliata.

Può dipendere dalle condizioni nelle quali una capacità viene espressa, dalla diversa conoscenza della persona o da informazioni che non erano disponibili durante l’assessment. Ma proprio per questo merita di essere esplorata.

Il feedback diventa anche una prova di tenuta dell’intero processo. Quando le evidenze sono solide, possono essere spiegate, discusse e contestualizzate. Quando invece manca una traccia sufficientemente chiara del ragionamento valutativo, aumenta la tentazione di difendere il risultato affidandosi all’autorità del metodo.

Ed è proprio in questi momenti che la fiducia nell’assessment può iniziare a indebolirsi.

L’errore più pericoloso è quello che rimane invisibile

Gli errori più evidenti possono essere riconosciuti e corretti, mentre quelli che il processo riesce a nascondere sono spesso più difficili da intercettare. Un report può risultare ben scritto anche quando deriva da osservazioni fragili, così come una calibration può concludersi con un giudizio condiviso pur essendo stata influenzata dal conformismo.

Anche un feedback apparentemente fluido può nascondere una debolezza, soprattutto quando nessuno mette realmente alla prova le evidenze sulle quali il profilo è stato costruito.

L’assenza di contestazioni o di momenti critici non rappresenta, da sola, una garanzia sulla qualità del percorso.

Per questo i controlli non dovrebbero essere attivati soltanto quando emerge un problema.

La verifica della coerenza tra capacità e strumenti, la qualità delle registrazioni osservative, il confronto tra evidenze differenti e la possibilità di ricostruire il giudizio dovrebbero essere condizioni ordinarie del metodo.

Un assessment affidabile non è quello nel quale nessuno solleva dubbi, è quello nel quale esistono le condizioni per affrontarli.

Quando l’errore riguarda l’utilizzo dei risultati

Esiste un’ultima forma di errore che merita particolare attenzione, perché può verificarsi anche dopo un assessment metodologicamente corretto. Riguarda le decisioni che l’organizzazione assume sulla base dei risultati.

Un assessment progettato per lo sviluppo può evidenziare capacità consolidate, aree di miglioramento e possibili direzioni di crescita. Queste informazioni possono contribuire anche a una riflessione sul futuro professionale della persona, ma non diventano automaticamente una valutazione completa della sua idoneità a un ruolo differente.

Allo stesso modo, un’indicazione di potenziale non rappresenta una garanzia di performance futura, così come una capacità risultata meno solida non equivale a un giudizio definitivo di inadeguatezza.

Il rischio nasce quando il risultato viene separato dalla finalità originaria e trattato come un’informazione assoluta.

L’HR e il management hanno quindi una responsabilità importante: comprendere che cosa l’assessment permette effettivamente di affermare, quali limiti presenta e quali altre informazioni devono essere considerate prima di assumere una decisione.

L’errore di utilizzo è particolarmente insidioso perché può trasformare un’informazione corretta in una conclusione sbagliata.

Gli errori raccontano qualcosa anche dell’organizzazione

Le fragilità che emergono durante un assessment possono offrire informazioni interessanti anche sul modo in cui l’organizzazione gestisce i processi di valutazione delle persone.

Una domanda iniziale poco definita può segnalare una difficoltà nel chiarire le priorità di people strategy, mentre una comunicazione ambigua può mostrare quanto sia ancora fragile la trasparenza nei processi che riguardano le persone.

Una calibration condotta troppo rapidamente può raccontare la difficoltà di sostenere un confronto professionale tra letture differenti.

Un report ricco di etichette, allo stesso modo, può indicare quanto sia ancora radicata una rappresentazione delle capacità come caratteristiche permanenti della persona, invece che come dimensioni osservabili attraverso i comportamenti.

Ma riconoscere un errore non significa ancora aver imparato da esso.

Perché si produca apprendimento occorre comprendere le cause della criticità, individuare ciò che deve essere corretto e introdurre miglioramenti nei processi successivi.

Se durante un feedback emerge che una valutazione non è sostenuta da evidenze sufficientemente precise, per esempio, non basta chiedere all’assessor di prestare maggiore attenzione.

È necessario interrogarsi sulla qualità delle griglie di osservazione, sulla preparazione degli assessor, sui tempi disponibili per registrare i comportamenti e sul modo in cui è stata condotta la calibration.

Il problema individuale può così diventare un’occasione di miglioramento metodologico.

Esiste però una responsabilità ulteriore.

Quando un errore può incidere su una decisione che riguarda una persona, l’apprendimento per il futuro non è sufficiente.

Occorre anche verificare se la valutazione attuale debba essere riesaminata, integrata o corretta e se eventuali decisioni già assunte richiedano una nuova considerazione.

Un errore riconosciuto diventa realmente utile quando produce due effetti: corregge, per quanto possibile, ciò che è accaduto e riduce la probabilità che la stessa criticità si ripresenti.

È in questo passaggio che l’assessment può generare apprendimento organizzativo anche attraverso le proprie fragilità.

Un assessment affidabile non è un assessment senza errori

Pensare a un processo completamente immune da distorsioni sarebbe poco realistico.

L’assessment coinvolge persone che osservano altre persone all’interno di situazioni costruite per raccogliere informazioni che dovranno essere successivamente interpretate.

La qualità dipende dalla capacità di creare condizioni che permettano di riconoscere le fragilità, limitarne l’impatto e intervenire quando emergono.

Una progettazione accurata mantiene chiara la finalità del percorso. L’osservazione ancorata ai comportamenti riduce il peso delle impressioni generali. Il confronto tra evidenze e il lavoro di calibration consentono di verificare la consistenza delle valutazioni.

La tracciabilità rende possibile ricostruire il giudizio e comprendere dove possa essersi introdotta una distorsione. Infine, l’utilizzo responsabile dei risultati protegge il passaggio dalla valutazione alla decisione.

La maturità di un processo di assessment si riconosce soprattutto nella capacità di mettere in discussione le proprie conclusioni quando le evidenze lo richiedono.

Un assessment affidabile non è quello che pretende di non sbagliare, ma quello che dispone di un metodo per riconoscere, verificare e correggere i propri errori.

Proprio da qui nasce una questione particolarmente attuale. Se alcune distorsioni dipendono dai limiti dell’osservazione e dell’interpretazione umana, quale contributo può offrire l’intelligenza artificiale alla qualità dell’assessment?

L’intelligenza artificiale può supportare la raccolta e l’analisi delle evidenze, favorire la coerenza di alcune elaborazioni e aiutare gli assessor a individuare ricorrenze difficili da riconoscere manualmente.

Rimane però aperta una domanda ancora più importante: 

fino a che punto una tecnologia può contribuire a ridurre i bias umani senza introdurre nuove forme di distorsione, che rischiamo di considerare oggettive proprio perché prodotte da un sistema automatico?

Sarà questo il tema del prossimo articolo.

Per approfondire metodologie, strumenti e fasi operative dell’assessment, il Master in Assessment e Sviluppo Organizzativo di IdeaManagement offre un percorso specialistico dedicato a HR, consulenti e manager che vogliono acquisire competenze avanzate nella progettazione e nella gestione dei processi di assessment.

Per le organizzazioni che vogliono costruire percorsi di assessment affidabili e coerenti con le proprie esigenze di people strategy, IdeaManagement affianca HR e management dalla progettazione alla lettura dei risultati, con particolare attenzione alla qualità metodologica dell’intero processo. scrivici qui