AI, dati e decisioni

Il criterio

Chi decide deve poter risalire al dato. Non «il modello è spiegabile» in astratto, ma concretamente: questo numero viene da queste righe, trasformate così, con questa versione del modello, in questa data. Se quella catena non si può ricostruire, il sistema non è pronto, per bravo che sia.

Il lavoro, che è ordinario di proposito

Provenienza dei dati dichiarata, trasformazioni scritte, controlli che sanno fallire: un controllo che non può dare esito negativo non è un controllo, e registrazione di cosa il sistema ha risposto e quando.

Sulla parte AI la domanda non è quale modello, è quale decisione. Un sistema che suggerisce e uno che decide richiedono garanzie diverse, e la differenza va scritta prima di scegliere gli strumenti.

Come si controlla

Un sistema decisionale si controlla facendogli rifare il conto: chi legge un numero deve poter risalire alla query, ai dati e alla versione del modello che lo hanno prodotto, e ottenere lo stesso risultato domani. Quello che consegniamo porta con sé quella tracciabilità, non un allegato che la promette.