La diffusione dell’intelligenza artificiale (AI) nei sistemi di manutenzione predittiva (predictive maintenace, PdM) sta trasformando radicalmente la gestione delle infrastrutture, soprattutto nel settore dei trasporti. La manutenzione predittiva rappresenta un approccio innovativo che sfrutta l’AI per individuare in anticipo potenziali criticità nei processi e nei sistemi, riducendo il rischio di guasti e ottimizzando l’impiego delle risorse. Tuttavia, l’impiego di modelli complessi, spesso assimilabili a “scatole nere” o black box pone interrogativi in termini di trasparenza e spiegabilità.

L’incapacità dei modelli di spiegare in modo chiaro le proprie decisioni può compromettere la fiducia degli operatori, ostacolando l’adozione delle strategie predittive. In questo contesto, l’Explainable AI (XAI) si afferma come leva fondamentale per garantire il controllo umano significativo (cd. meaningful human control), convalidare l’affidabilità delle previsioni e promuovere una governance efficace e responsabile dell’AI.

L’articolo approfondisce il nesso tra PdM e trasparenza algoritmica, evidenziando le potenzialità e i limiti degli approcci XAI, con particolare attenzione al quadro normativo europeo e alle implicazioni per le pubbliche amministrazioni.

Manutenzione predittiva: definizione e importanza nei trasporti

Con il rapido avanzamento delle tecnologie, il monitoraggio continuo dei dati provenienti da sensori – quali pressione, temperatura, corrente, vibrazioni e altre variabili elettriche, meccaniche e chimiche – ha acquisito un’importanza sempre più centrale. L’avvento dei Big Data e dell’AI consente oggi di sviluppare soluzioni avanzate in grado di prevenire guasti e stimare la vita utile residua (cd. Remaining Useful Life, RUL) degli apparati.

Tali tecniche permettono di attuare interventi manutentivi con tempestività e precisione, contribuendo significativamente all’ottimizzazione dei processi aziendali. Del resto, l’obiettivo principale dello sviluppo tecnologico è l’incremento della produttività in ambiti chiave come la produzione, la qualità e soprattutto la manutenzione.

Fattori critici quali i periodi di inattività dovuti a guasti o la presenza di prodotti difettosi possono compromettere in modo rilevante l’efficienza complessiva di un’impresa. In tale contesto, una strategia manutentiva predefinita e attuata nel momento più opportuno rappresenta un elemento determinante per l’incremento dell’efficienza operativa. Le strategie di manutenzione, indicate in letteratura anche come maintenance policies, comprendono le attività di sostituzione, rinnovamento e riparazione dei componenti, necessarie a garantire la continuità dello stato di salute dei beni e a preservarne la funzionalità durante l’intero ciclo di vita. Diversi autori hanno proposto classificazioni articolate delle strategie di manutenzione, ma nella letteratura specialistica si riconoscono comunemente quattro categorie principali, mostrata in Figura 1: manutenzione correttiva, manutenzione preventiva, manutenzione predittiva e manutenzione prescrittiva (Ersöz et al. 2022).

Figura 1 – Tipologie di manutenzione nella letteratura.

La norma EN 13306 classifica, invece, la manutenzione in tre macrocategorie, come mostrato in Figura 2: preventiva, correttiva e migliorativa. La manutenzione preventiva viene eseguita prima del guasto per ridurne la probabilità e si suddivide a sua volta in manutenzione predeterminata, eseguita a intervalli prestabiliti senza una valutazione preliminare dello stato dell’asset e manutenzione su condizione, che invece richiede una valutazione dello stato fisico del componente prima di decidere se intervenire.

La PdM, come mostrato in Figura 3, è definita come un particolare tipo di manutenzione preventiva su condizione, eseguita sulla base di una previsione ottenuta dall’analisi di dati storici e dalla valutazione dei parametri che influenzano il deterioramento del componente. Infine, la manutenzione correttiva viene effettuata dopo un guasto e può essere eseguita immediatamente o differita, a seconda della criticità del problema e della disponibilità delle risorse.

Figura 2 – Tipologie di manutenzione secondo la norma EN 13306.

Figura 3 – La PdM nella classificazione secondo la norma EN 13306.

La PdM si configura pertanto come un processo mediante il quale le attività manutentive vengono pianificate ed eseguite ricorrendo a metodologie previsionali per anticipare l’insorgenza di guasti. La PdM si avvale delle tecniche di data science per stimare il momento in cui un’apparecchiatura potrebbe guastarsi. Sulla base dei dati disponibili, viene identificato il punto di guasto atteso, consentendo così di programmare un intervento prima che esso si verifichi. L’obiettivo ultimo è garantire la sostenibilità operativa del sistema, pianificando le attività manutentive nel momento più opportuno, prima che la vita utile dell’apparato giunga a termine (Ersöz et al. 2022).

Benefici della manutenzione predittiva nei trasporti

Nel settore dei trasporti, la PdM sta dimostrando di poter aumentare l’affidabilità e la sicurezza del servizio, riducendo al contempo i costi dovuti a guasti imprevisti e fermi non pianificati (Veloso et al. 2022). Inoltre, considerando che il budget dedicato alla manutenzione nel settore dei trasporti è storicamente inferiore alle necessità (Wing, Mohammed, e Abdullah 2016), è importante sottolineare come l’impiego di tale strategia possa ridurre i costi di manutenzione dal 25% al 30% e i tempi di fermo dal 35% al 45% (Poór, Basl, e Zenisek 2019).

Nel settore del trasporto pubblico il verificarsi di guasti nei veicoli, durante il normale esercizio, rappresenta una fonte significativa di criticità, soprattutto quando tali eventi comportano l’interruzione del servizio. Gli impatti negativi si riflettono non solo sull’azienda esercente, in termini di inefficienze operative e costi aggiuntivi, ma anche sull’utenza, la cui fiducia nel sistema di trasporto viene compromessa. In tale contesto, l’identificazione precoce dei guasti rappresenta un elemento di elevato valore strategico, in quanto consente di prevenire la cancellazione delle corse e l’immediato ritiro dal servizio del veicolo interessato.

Nella metro urbana di Porto, in Portogallo, nel solo anno 2017, sono state annullate oltre 170 corse per cause riconducibili a guasti di questo tipo (Veloso et al. 2022). La PdM mira proprio a ridurre drasticamente tali eventi: attraverso l’impiego di tecniche di analisi predittiva e di rilevamento delle anomalie basate sull’AI, le aziende di trasporto possono monitorare in tempo reale lo stato di efficienza e di integrità dei propri veicoli e delle infrastrutture. Tali strumenti consentono l’identificazione precoce di potenziali criticità, favorendo interventi manutentivi proattivi che riducono i tempi di inattività e prolungano la vita utile degli asset del sistema di trasporto. Ne consegue una riduzione complessiva dei costi operativi, nonché un miglioramento significativo dei livelli di sicurezza e di affidabilità dei servizi di trasporto pubblico (Lukic Vujadinovic et al. 2024).

Le sfide dell’explainable ai nella manutenzione predittiva dei trasporti

Tuttavia, l’adozione pervasiva di soluzioni di PdM basate su AI solleva sfide in termini di trasparenza algoritmica. Molti modelli di machine learning e soprattutto di deep learning usati per la PdM operano come “scatole nere” (cd. black box), offrendo eccellenti capacità predittive ma pochissima comprensibilità del loro funzionamento interno. Questa opacità crea problemi di fiducia e accountability: i responsabili della manutenzione e della sicurezza devono poter comprendere perché il modello prevede un certo guasto, sia per fidarsi delle raccomandazioni sia per diagnosticare correttamente le cause sottostanti. Inoltre, in ambito europeo, la normativa emergente sul tema richiede un elevato livello di trasparenza nei sistemi AI, specialmente quando impiegati in settori critici come i trasporti. La necessità di disporre di modelli affidabili, equi, robusti e ad alte prestazioni per applicazioni nel mondo reale ha portato alla rinnovata attenzione verso il campo della XAI – disciplina incentrata sulla comprensione e sull’interpretazione del comportamento dei sistemi di AI. Questo ambito, che per anni aveva suscitato scarso interesse nella comunità scientifica a favore del solo potere predittivo degli algoritmi, ha conosciuto una forte ripresa in tempi recenti (Linardatos, Papastefanopoulos, e Kotsiantis 2021).  

Il presente lavoro analizza l’intersezione tra manutenzione predittiva e XAI, evidenziando come modelli spiegabili e tecniche di spiegazione post-hoc possano favorire un’adozione affidabile e conforme alla normativa di soluzioni basate su AI nei trasporti.

Approccio metodologico per l’analisi della manutenzione predittiva e explainable AI

Per sviluppare quest’analisi, è stata condotta una revisione approfondita della letteratura scientifica recente, concentrandosi su fonti peer-reviewed internazionali. Sono state esaminate pubblicazioni accademiche, utilizzando parole chiave quali predictive maintenance, transportation, explainable AI, XAI, black-box models, AI Act, GDPR. Pertanto, sono stati selezionati contributi pertinenti, privilegiando da un lato studi tecnico-applicativi europei sulla PdM nei trasporti – per garantire rilevanza geografica e normativa – e dall’altro contributi internazionali sulla XAI e la sua base teorico-matematica. Particolare enfasi è stata posta su lavori pubblicati dal 2018 in poi, in linea con l’evoluzione rapida sia delle tecniche di manutenzione predittiva che delle metodologie XAI. I risultati della review sono stati organizzati secondo le seguenti sezioni tematiche: (i) panorama e stato dell’arte della manutenzione predittiva nei trasporti, (ii) tecniche di XAI, (iii) discussione integrativa sui benefici e le sfide emergenti, includendo considerazioni sulle normative europee e implicazioni per la governance pubblica. Tale approccio metodologico consente di collegare le evidenze tecniche alle esigenze di trasparenza e di estrarre linee guida per una strategia di implementazione di AI spiegabile nel contesto dei trasporti.

Evoluzione e applicazioni della manutenzione predittiva nei trasporti

La manutenzione predittiva si distingue dagli approcci tradizionali di manutenzione. Storicamente si è passati dalla manutenzione correttiva – intervenire dopo il guasto – a quella preventiva – interventi programmati a intervalli fissi – e, più recentemente, a quella condizionale – basata sul monitoraggio di condizioni con soglie predefinite. La manutenzione predittiva, invece, pianifica gli interventi in base a previsioni di guasto ottenute da modelli data-driven (Cheng et al. 2020).

I sistemi PdM raccolgono dati dai sensori dell’asset – macchinario, veicolo, infrastruttura –, come vibrazioni, temperature, pressioni, impulsi elettrici, e applicano algoritmi per predire il tempo residuo prima di un guasto o per rilevare anomalie che precedono un malfunzionamento. L’obiettivo è evitare fermi imprevisti, ottimizzare la RUL dei componenti e ridurre i costi, eseguendo la riparazione solo quando necessario ma prima che sia troppo tardi (Ersöz et al. 2022).

Applicazioni della PdM nei sistemi di trasporto

Nel settore ferroviario, la PdM viene utilizzata per monitorare sia i sottosistemi infrastrutturali – armamento, telecomunicazioni, trazione elettrica e segnalamento – sia il materiale rotabile. L’utilizzo di treni diagnostici o sensori drive-by installati su convogli in esercizio permette il rilevamento continuo di irregolarità geometriche e dell’usura delle rotaie, alimentando modelli predittivi finalizzati alla pianificazione mirata degli interventi. Parallelamente, l’impiego di sensori accelerometrici e modelli di AI consente il monitoraggio strutturale dei ponti ferroviari, attraverso l’analisi delle vibrazioni indotte dal transito dei convogli (Malekjafarian et al. 2023). Un caso concreto riguarda l’unità di produzione d’aria (air production unit, APU) installata sul tetto dei convogli metropolitani che alimenta una serie di sottosistemi con funzioni differenti. Tra questi, la sospensione riveste un ruolo cruciale, in quanto è responsabile del mantenimento dell’altezza del veicolo a un livello costante, indipendentemente dal numero di passeggeri a bordo.

L’APU è un componente soggetto a un’elevata sollecitazione lungo l’intero arco della giornata operativa. L’assenza di ridondanza rende il suo malfunzionamento particolarmente critico: in caso di guasto, è necessario procedere all’immediato ritiro del convoglio dal servizio. Tali guasti risultano generalmente non rilevabili attraverso i criteri tradizionali di manutenzione basata sulle condizioni, che si fondano su soglie predefinite (cd. predefined thresholds). I sistemi di manutenzione predittiva analizzano i segnali provenienti dall’APU, acquisiti tramite sensori, al fine di individuare pattern anomali indicativi di un potenziale malfunzionamento. Ciò consente di programmare la sostituzione del componente in modo proattivo, prima che si verifichi il guasto effettivo.

Un esempio di dataset in questo ambito è il MetroPT, sviluppato nell’ambito di un progetto di PdM condotto presso il servizio di trasporto pubblico metropolitano urbano della città di Porto, in Portogallo. I dati sono stati raccolti nel corso del 2022 con l’obiettivo di supportare lo sviluppo di metodi di machine learning per il rilevamento online delle anomalie e la previsione dei guasti. Il dataset comprende segnali analogici provenienti da sensori – pressione, temperatura, consumo di corrente –, segnali digitali – segnali di controllo e segnali discreti – e informazioni GPS – latitudine, longitudine e velocità –, offrendo così un quadro informativo completo e idoneo alla progettazione e validazione di nuovi modelli predittivi. Il dataset MetroPT presenta caratteristiche di notevole interesse, configurandosi come un benchmark di riferimento per lo sviluppo e la valutazione comparativa di algoritmi di manutenzione predittiva. Si tratta infatti di un dataset real-world, in cui la ground truth delle anomalie è nota grazie alla documentazione tecnica e ai report di manutenzione dell’azienda esercente (Veloso et al. 2022). In ambito stradale, modelli basati su algoritmi di AI consentono l’identificazione automatica di difetti superficiali dell’asfalto, come buche e crepe, tramite immagini acquisite da dispositivi mobili o veicoli in movimento (Shang et al. 2024) (Tedeschi e Benedetto 2017).

L’impiego di reti neurali artificiali permette di prevedere la frequenza incidentale in corrispondenza delle sezioni più critiche dell’infrastruttura stradale, identificando i punti vulnerabili della rete e consentendo di prioritizzare i relativi interventi (Katsarov e Penkov 2023). Anche nel settore aeronautico, la PdM, abilitata dall’impiego dell’AI, sta rivoluzionando le modalità di gestione degli aeromobili. Attraverso l’analisi dei dati acquisiti da una molteplicità di sensori, gli algoritmi di AI sono in grado di anticipare il verificarsi di potenziali guasti, permettendo l’attivazione di interventi manutentivi in modo tempestivo ed efficiente. Questo approccio proattivo consente di ridurre significativamente i tempi di fermo non pianificati, migliorare i livelli di sicurezza operativa e contenere i costi di manutenzione. L’implementazione dell’AI nella PdM si avvale, anche in questo caso, di tecnologie avanzate quali il machine learning, l’analisi dei big data e l’Internet of Things, che concorrono al monitoraggio continuo e all’elaborazione in tempo reale dello stato di salute dei componenti.

Tali soluzioni, integrando capacità di previsione e diagnostica, contribuiscono a una gestione più affidabile, sostenibile e data-driven della manutenzione in ambito aeronautico (Patibandla 2024). Un dataset ampiamente utilizzato nella ricerca sulla PdM è il dataset NASA Turbofan Jet Engine Dataset, noto anche come NASA C-MAPSS. Sebbene tale dataset sia stato reso disponibile ormai da diversi anni, esso continua a rappresentare una risorsa di riferimento nella letteratura recente. Ad oggi, sono stati pubblicati centinaia di studi basati su questo dataset, nei quali vengono proposti e confrontati nuovi algoritmi di previsione della RUL dei motori a reazione (Ersöz et al. 2022). Tale popolarità evidenzia l’importanza del dominio aeronautico nella PdM e funge da terreno di prova per lo sviluppo di avanzati modelli predittivi.

Le applicazioni illustrate rappresentano soltanto alcuni esempi rappresentativi. L’impiego dell’AI nel campo della gestione della manutenzione ha conosciuto una diffusione crescente negli ultimi anni, con una varietà di casi d’uso sempre più ampia.

Tecniche e algoritmi di machine learning per la manutenzione predittiva nei trasporti

I metodi adottati per l’implementazione della PdM nel settore dei trasporti comprendono un ampio spettro di approcci, che spaziano dalle tecniche statistiche tradizionali, ai modelli stocastici, fino alle soluzioni più recenti basate su AI avanzata (Ersöz et al. 2022). I sistemi di PdM data-driven si basano esclusivamente sui dati, senza una conoscenza preventiva delle condizioni di degrado. Le loro prestazioni dipendono strettamente dall’analisi dei segnali e delle informazioni raccolte (Davari et al. 2021). Nel caso di sistemi complessi, i metodi diagnostici data-driven rappresentano un’alternativa promettente per il rilevamento e l’isolamento dei guasti e delle anomalie (Khorasgani et al. 2018).

Gli algoritmi e gli strumenti di machine learning e deep learning risultano particolarmente rilevanti per i sistemi di PdM, soprattutto in virtù della crescente disponibilità di grandi volumi di dati, in particolare non etichettati. In funzione della disponibilità e della natura delle etichette associate ai dati, i metodi di apprendimento automatico possono essere distinti in tre categorie principali:

(i) supervised learning, in cui si utilizza un dataset di addestramento etichettato per apprendere una mappatura tra i valori delle variabili predittive e una variabile target specifica;

(ii) semi-supervised learning, in cui l’obiettivo è apprendere da dataset nei quali la variabile target è nota solo per un sottoinsieme limitato di esempi (Chapelle, Scholkopf, e Zien 2009);

(iii) unsupervised learning, in cui l’algoritmo apprende esclusivamente da dataset privi di variabile target, con l’obiettivo di individuare strutture latenti o pattern nei dati. Negli ultimi anni si è registrata un’intensa attività di ricerca nel campo della PdM, e i lavori che impiegano metodi di machine learning e deep learning per applicazioni industriali costituiscono ormai la maggioranza dei contributi scientifici pubblicati in materia.

A seconda dell’obiettivo applicativo (cd. goal) e del tipo di metodo di apprendimento (cd. learning method), i metodi di machine learning e deep learning impiegati per la PdM possono essere classificati in due macrocategorie principali:

(a) modelli di regressione per il calcolo della RUL;

(b) modelli di classificazione per la failure prediction e l’anomaly detection.

Indipendentemente dall’obiettivo o dal tipo di compito di apprendimento (cd. learning task), le tecniche maggiormente utilizzate si basano su differenti architetture di reti neurali, evidenziando l’elevata versatilità e applicabilità di tali modelli a svariate fonti di dati, in funzione del tipo di sensori e delle apparecchiature monitorate (Davari et al. 2021).

Una survey del 2021 in ambito ferroviario ha rilevato che l’algoritmo più comunemente utilizzato nelle stime della PdM è rappresentato dalle reti Long Short-Term Memory (LSTM). La diffusione di tale architettura è principalmente riconducibile alla natura intrinseca del problema: le reti LSTM risultano particolarmente efficaci nell’individuazione di dipendenze a lungo termine e nell’analisi di serie temporali, caratteristiche che le rendono particolarmente adatte al contesto. Oltre alle LSTM, le reti neurali artificiali (Artificial Neural Networks, ANN) sono anch’esse impiegate per l’analisi di serie temporali, in modo analogo alle LSTM, sebbene siano generalmente utilizzate per effettuare confronti con i risultati di altri modelli. Approcci di machine learning “classico” come Support Vector Machines (SVM), Random Forest (RF) e K-Means sono invece impiegati per compiti di regressione, classificazione e clusterizzazione.

Benefici e risultati della manutenzione predittiva basata su ai nei trasporti

L’implementazione efficace della manutenzione predittiva nei trasporti comporta benefici documentati: aumento della disponibilità dei mezzi – riduzione dei tempi morti –, miglior sicurezza – minori probabilità di incidenti durante il servizio –, ottimizzazione dei costi di manutenzione – interventi mirati piuttosto che sostituzioni premature – e miglior qualità del servizio percepita dagli utenti – meno ritardi e cancellazioni (Veloso et al. 2022).

La società ferroviaria francese SNCF ha riportato significativi miglioramenti operativi a seguito dell’implementazione di soluzioni avanzate di PdM, basate su tecnologie abilitanti quali sensori IoT, connettività 5G e diagnostica remota. Secondo quanto comunicato da SNCF Voyageurs, l’adozione di tali strumenti ha consentito di ridurre fino al 50% i guasti visibili – con un conseguente raddoppio dell’affidabilità operativa –, fino al 30% il numero di treni ritirati dal servizio per manutenzione e fino al 30% gli accessi fisici ai siti manutentivi. Tali risultati sono stati resi possibili dall’eliminazione del 95% delle operazioni di manutenzione preventiva sistematica, solitamente eseguite anche in assenza di anomalie, e dal rilevamento a distanza delle criticità, che ha permesso di prevenire il 90% degli interventi correttivi successivi al guasto (SNCF Voyageurs 2024). Tra i benefici documentati dell’impiego di modelli di AI avanzati nella PdM, si segnala un recente studio che ha proposto l’utilizzo di un algoritmo basato su deep learning per il rilevamento automatico dei guasti nei binari ferroviari mediante reti LSTM, che evidenzia come le reti LSTM possano contribuire a trasformare le strategie manutentive delle infrastrutture ferroviarie, riducendo i tempi di inattività, ottimizzando la pianificazione e migliorando l’affidabilità e la sicurezza del sistema (Nigam et al. 2024).

Le sfide e i limiti dei modelli XAI nella manutenzione predittiva

Nonostante le promesse offerte dalla PdM basata su AI, persistono ancora diverse sfide aperte. Numerose implementazioni si trovano in una fase prototipale o sono circoscritte a progetti pilota, e la loro integrazione nei processi operativi richiede un elevato livello di fiducia nei confronti degli algoritmi impiegati. In questo contesto, il tema della trasparenza algoritmica assume un ruolo centrale: la possibilità di comprendere le motivazioni alla base delle previsioni generate dai modelli risulta infatti cruciale sia per la loro validazione tecnica, sia per promuoverne l’effettiva adozione su scala operativa.

Explainable AI: principi e categorie nella manutenzione predittiva

I recenti progressi nel campo dell’AI ne hanno favorito una diffusione capillare nei contesti industriali, con sistemi di machine learning in grado di raggiungere prestazioni superiori a quelle umane in un numero crescente di compiti. Tuttavia, questo incremento delle performance è stato spesso ottenuto a scapito della trasparenza, mediante una crescente complessità modellistica che ha trasformato tali sistemi in black box, generando incertezza sul loro funzionamento interno e, in ultima analisi, sui criteri decisionali adottati. Questa opacità ha reso particolarmente problematica l’adozione di sistemi di machine learning in ambiti critici e sensibili, nei quali il potenziale applicativo è elevato, ma la tracciabilità e la comprensibilità delle decisioni risultano essenziali. Di conseguenza, negli ultimi anni si è registrato un marcato rinnovato interesse scientifico nei confronti della XAI, intesa come area di ricerca finalizzata allo sviluppo di metodi e strumenti capaci di rendere interpretabili e comprensibili i modelli di apprendimento automatico (Linardatos, Papastefanopoulos, e Kotsiantis 2021). In termini meno formali, la XAI può essere descritta come il campo che mira a rendere i modelli di AI più comprensibili per gli esseri umani, mantenendone al contempo l’efficacia predittiva.

Nel contesto della PdM, l’XAI si confronta con una sfida centrale: come aprire la scatola nera di un modello di previsione dei guasti, fornendo spiegazioni comprensibili sui motivi per cui il sistema prevede un imminente malfunzionamento o rileva un’anomalia. La necessità di tali spiegazioni è duplice: da un lato, di natura tecnica, al fine di verificare che l’AI stia effettivamente identificando indicatori fisicamente significativi e non semplici correlazioni spurie; dall’altro, di natura operativa e normativa, per garantire trasparenza e fiducia da parte degli operatori e del management, nonché per assicurare la conformità ai requisiti regolatori in materia di accountability algoritmica.

Gli approcci alla spiegabilità dei sistemi di AI sono generalmente distinti in due categorie principali: i modelli auto-interpretabili (cd. selfinterpretable models), nei quali la capacità di interpretazione è integrata nella struttura stessa del sistema, e le spiegazioni post-hoc, in cui il comportamento del modello viene osservato e successivamente interpretato (European Data Protection Supervisor et al. 2023).

I modelli auto-interpretabili – noti anche come white box – sono costituiti da algoritmi di facile comprensione, in grado di mostrare chiaramente come gli input influenzino gli output o le variabili target. I modelli black box, al contrario, non sono interpretabili per loro natura. Tale mancanza di trasparenza può derivare sia dalla complessità intrinseca del modello, sia – in alcuni casi – da una deliberata opacità progettuale da parte del costruttore del sistema (Xu et al. 2018).

Altri autori propongono una classificazione più articolata delle tecniche di XAI, organizzata secondo una struttura gerarchica che si sviluppa lungo quattro assi concettuali:

(i) la data explainability, che riguarda la comprensibilità e la trasparenza dei dati utilizzati per addestrare i modelli, incluse le tecniche di selezione delle feature e di pulizia dei dati;

(ii) la model explainability, focalizzata sulla progettazione di modelli intrinsecamente interpretabili (cd. white box);

(iii) la post-hoc explainability, che comprende metodi applicabili a modelli già addestrati per fornire spiegazioni locali o globali sul loro comportamento;

(iv) la assessment of explanations, ovvero la valutazione sistematica della qualità, affidabilità e utilità delle spiegazioni generate, anche in relazione alla percezione dell’utente finale (Ali et al. 2023).

Di seguito si presentano le principali categorie di metodi XAI, articolate secondo la distinzione tra approcci ante-hoc – modelli intrinsecamente interpretabili – e post-hoc – spiegazioni applicate ex post a modelli opachi –, con l’obiettivo di evidenziare – per ciascuna categoria – gli aspetti tecnici e matematici rilevanti, nonché i principali limiti computazionali e applicativi.

Metodi post-hoc: tecniche di spiegazione dell’explainable ai

Questi metodi agiscono a posteriori sul modello addestrato, generando spiegazioni senza alterarne la struttura interna. Una distinzione particolarmente rilevante tra i metodi di interpretabilità riguarda la tipologia di algoritmi ai quali tali metodi possono essere applicati. Se un metodo è applicabile esclusivamente a una specifica classe di modelli, si parla di metodo model-specific. Al contrario, se un metodo può essere applicato in modo indipendente rispetto all’algoritmo sottostante, si definisce model-agnostic. Questa distinzione è centrale nella selezione della tecnica XAI più adatta in funzione della natura del modello predittivo adottato (Linardatos, Papastefanopoulos, e Kotsiantis 2021). Alcuni autori propongono inoltre di classificare i metodi di post-hoc explainability sulla base di sei caratteristiche fondamentali, che rappresentano altrettante categorie metodologiche (i) attribution methods, (ii) visualization methods, (iii) example-based explanation methods, (iv) game theory methods, (v) knowledge extraction methods, e (vi) neural methods (Ali et al. 2023). Di seguito alcuni dei metodi post-hoc più diffusi in letteratura.

LIME (Local Interpretable Model-Agnostic Explanations)

Introdotto per la prima volta da (M. T. Ribeiro, Singh, e Guestrin 2016), il metodo LIME rappresenta una delle tecniche più diffuse per l’interpretabilità dei modelli black box. Basandosi su un approccio semplice ma efficace, LIME è in grado di generare spiegazioni per singole predizioni prodotte da qualsiasi classificatore. Per ciascuna istanza e relativa previsione, LIME genera un insieme di dati simulati attraverso sampling casuale nello spazio locale circostante all’input originario. Utilizzando il modello black box in esame, vengono poi calcolate le predizioni associate alle istanze generate, ponderandole in base alla loro prossimità all’istanza di riferimento. Su questo insieme perturbato viene infine addestrato un modello interpretabile e di bassa complessità, come ad esempio un albero decisionale. L’analisi del comportamento del modello locale consente di approssimare la logica decisionale adottata dal modello originario (Linardatos, Papastefanopoulos, e Kotsiantis 2021).

Nella pratica, se un modello black box – come una rete LSTM – prevede un guasto sul componente X di un treno Y entro t giorni, sulla base dei valori sensoriali rilevati in tempo reale, LIME genera n istanze sintetiche perturbando i valori dell’input e calcola le predizioni del modello su tali istanze. Successivamente, assegna un peso a ciascuna istanza “sintetica” in funzione della distanza dall’istanza originaria, e addestra un modello interpretabile locale sulle istanze pesate. L’output del modello locale rappresenta il contributo di ciascuna variabile alla predizione effettuata dal modello originario.

Sebbene LIME si configuri come uno strumento potente e concettualmente lineare, presenta alcune limitazioni. Nel 2020, Garreau e Luxburg hanno pubblicato la prima analisi teorica del metodo, confermandone il valore esplicativo, ma dimostrando al contempo che una scelta non ottimale dei parametri può compromettere la qualità della spiegazione, portando all’omissione di variabili rilevanti (Garreau e Luxburg 2020). Ulteriori studi hanno evidenziato che l’impiego di perturbazioni casuali e della selezione aleatoria delle variabili, caratteristico del metodo LIME, può condurre a spiegazioni instabili (Zafar e Khan 2019). Per una stessa predizione, infatti, LIME può generare interpretazioni differenti, circostanza che risulta problematica in contesti applicativi che richiedono coerenza e affidabilità esplicativa. Per affrontare questa criticità, gli autori propongono una versione deterministica del metodo, denominata Deterministic LIME (DLIME). In questa variante, la perturbazione casuale viene sostituita da un approccio basato sul clustering gerarchico per la segmentazione dei dati, combinato con l’impiego dell’algoritmo dei k-nearest neighbours (KNN) per identificare il cluster a cui presumibilmente appartiene l’istanza da spiegare. Una volta individuato il cluster rilevante, viene addestrato un modello lineare locale su tale sottoinsieme per generare la spiegazione. Applicando DLIME a tre dataset in ambito medico e confrontando la coerenza delle interpretazioni prodotte, gli autori dimostrano una maggiore stabilità del metodo rispetto a LIME.

SHAP (Shapley Additive explanations)

SHAP, introdotto da (Lundberg e Lee 2017), è un metodo ispirato alla teoria dei giochi che mira a migliorare la spiegabilità dei modelli black box attraverso il calcolo dei valori di importanza delle variabili specifici per ciascuna predizione. Gli autori introducono innanzitutto la classe dei metodi additivi di attribuzione delle feature, che unifica sei tecniche preesistenti – tra cui LIME, DeepLIFT e Layer-Wise Relevance Propagation – accomunate dall’adozione di uno stesso modello esplicativo. Successivamente, propongono i valori di SHAP come misura unificata dell’importanza delle variabili, che soddisfa tre proprietà fondamentali: (i) accuratezza locale (cd. local accuracy), secondo cui la somma dei contributi delle variabili coincide con la predizione del modello; (ii) assenza (cd. missingness), per cui le variabili non presenti non producono alcun contributo; (iii) coerenza (cd. consistency), che assicura che, se l’importanza marginale di una variabile aumenta, anche il relativo valore SHAP aumenterà. Gli autori descrivono inoltre diversi algoritmi per l’approssimazione efficiente dei valori di SHAP e presentano evidenze sperimentali che ne dimostrano la superiorità, sia nella capacità di discriminare tra diverse classi di output, sia nella maggiore aderenza all’intuizione umana, rispetto ad altri metodi esplicativi esistenti (Linardatos, Papastefanopoulos, e Kotsiantis 2021).

In termini pratici, SHAP consente di ottenere spiegazioni sia locali che globali. A livello locale, il metodo attribuisce a ciascuna variabile un contributo specifico alla predizione di una singola istanza, evidenziando le feature che hanno influito positivamente o negativamente sull’output del modello. Queste spiegazioni risultano particolarmente utili per analizzare, ad esempio, perché il modello ha previsto un guasto imminente su un determinato componente di un treno. A livello globale, SHAP permette di aggregare i contributi delle variabili su un insieme di istanze, fornendo così una misura dell’importanza relativa di ciascuna feature nel comportamento complessivo del modello. Tale funzionalità è particolarmente rilevante nei contesti di PdM, poiché consente di identificare i sensori che influenzano maggiormente le previsioni e, di conseguenza, di orientare l’attenzione manutentiva verso le variabili più critiche.

Nonostante la sua solidità teorica, la generazione di spiegazioni SHAP dettagliate può risultare computazionalmente onerosa nei sistemi ad alta dimensionalità (Wu 2025), come quelli di PdM basati su centinaia di sensori e modelli complessi. Inoltre, SHAP spesso si basa sul presupposto errato che le caratteristiche del modello siano indipendenti, il che porta a risultati errati quando si ha a che fare con caratteristiche correlate (Hu et al. 2024). Questa ipotesi può risultare fortemente irrealistica in contesti reali – come la PdM – caratterizzati da forte correlazione tra le feature acquisite dai sensori – come ad esempio temperatura e pressione. In tali casi, l’attribuzione dell’importanza alle variabili può risultare distorta, generando interpretazioni fuorvianti.

Anchors

Anchors è un metodo di interpretabilità model-agnostic proposto da (M. T. Ribeiro, Singh, e Guestrin 2018), applicabile a qualsiasi modello black box e progettato per fornire spiegazioni locali con una garanzia probabilistica elevata. Il metodo si basa sulla generazione di regole if-then ad alta precisione, denominate per l’appunto anchors, che rappresentano condizioni sufficienti e localmente valide per una specifica predizione. Più precisamente, dato un input e la sua predizione, un anchor è una regola tale che, se le condizioni specificate sono soddisfatte, qualsiasi variazione nei restanti attributi dell’istanza non altera in modo significativo l’output del modello. In tal modo, l’anchor individua una regione locale dello spazio delle predizioni in cui il comportamento del modello risulta stabile.

La costruzione delle regole avviene in modo incrementale, secondo un approccio bottom-up. Ogni anchor viene inizialmente definito come una regola vuota, valida per tutte le istanze. Successivamente, in modo iterativo, il metodo costruisce nuove regole aggiungendo progressivamente condizioni alle regole precedenti. A ogni passaggio, viene selezionata la combinazione di condizioni che presenta la precisione stimata più elevata, la quale sostituisce la versione precedente della regola in costruzione.

Il processo si arresta non appena la regola soddisfa i criteri probabilistici definiti per essere considerata un anchor, ovvero quando garantisce localmente la predizione del modello con elevata affidabilità (Linardatos, Papastefanopoulos, e Kotsiantis 2021).

Gli autori osservano che, pur non ottimizzando esplicitamente la copertura globale, la ricerca di anchors brevi tende a identificare regole che possiedono comunque un’elevata copertura. Inoltre, in uno studio sperimentale condotto con utenti umani, è emerso che le spiegazioni fornite da anchors migliorano la precisione delle valutazioni umane rispetto a spiegazioni lineari – come LIME – e richiedono minore sforzo cognitivo in fase di comprensione e applicazione operativa.

Un vantaggio distintivo del metodo risiede nella natura simbolica e leggibile delle spiegazioni generate, basate su regole condizionali if-then. Tali regole sono spesso apprezzate dai tecnici e dagli operatori di dominio poiché richiamano logiche diagnostiche familiari, analoghe a quelle utilizzate nei protocolli di troubleshooting.

Tuttavia, gli stessi autori del metodo Anchors individuano quattro principali limiti del metodo, nonostante ne riconoscano la flessibilità e l’utilità su un’ampia gamma di domini.

Una prima criticità riguarda la generazione di overly specific anchors, ovvero regole estremamente specifiche e di bassa copertura, che si verificano tipicamente quando la predizione è molto vicina al confine della funzione decisionale del modello, oppure quando si tratta di classi rare. In questi casi, le condizioni sufficienti richieste risultano talmente restrittive da non generalizzare su altre istanze e forniscono un’informazione limitata sul comportamento complessivo del modello. Come osservano gli autori, in tali situazioni può risultare preferibile una spiegazione come quella fornita da LIME, poiché è in grado di offrire un insight più ampio.

Un’ulteriore limitazione concerne la possibilità, sebbene rara, che due o più anchor con predizioni differenti si applichino alla stessa istanza (cd. potentially conflicting anchors). Questo scenario, che può emergere nell’uso pratico su dati reali, è mitigato dalla struttura dell’algoritmo, in particolare dalla garanzia di alta precisione probabilistica e dall’utilizzo di un obiettivo sub-modulare nella selezione delle regole, che tende a minimizzare l’overlap tra le predizioni. Tuttavia, gli autori raccomandano, in tali casi, di segnalare il conflitto all’utente, suggerendo eventualmente di aumentare la soglia di precisione. Una terza criticità riguarda l’applicazione del metodo a problemi con output space complessi o strutturati. In questi casi non è evidente se sia più opportuno spiegare ciascuna etichetta individualmente, con il rischio di sovraccarico cognitivo, o l’intero insieme delle etichette, con il rischio di produrre spiegazioni non intuitive o eccessivamente articolate. Gli autori riconoscono che si tratta di una limitazione condivisa con altri approcci e di una questione ancora aperta nella letteratura. Infine, Anchors, come tutti i metodi basati su perturbazioni locali, presuppone l’esistenza di realistic perturbation distributions in grado di catturare il comportamento del modello e, al tempo stesso, di mantenerne l’interpretabilità. La definizione di tali distribuzioni resta una sfida aperta, soprattutto in domini complessi come quelli basati su immagini o dati non strutturati, in cui le spiegazioni, pur localmente coerenti, non sono facilmente comparabili tra istanze diverse.

Altri metodi post-hoc

Numerosi altri approcci completano il toolkit XAI, contribuendo ad ampliare il ventaglio di strumenti disponibili per la spiegazione di modelli black box in contesti applicativi eterogenei. La maggior parte delle tecniche di interpretabilità sviluppate per modelli di deep learning si concentra, in particolare, sul dominio della classificazione di immagini, mediante la generazione di saliency maps che evidenziano visivamente le regioni dell’input più influenti sulla predizione. Tali mappe sono spesso ottenute sfruttando sia l’informazione derivante dai gradienti che attraversano i livelli della rete neurale: in questo ambito, Grad-CAM (Selvaraju et al. 2017), estensione diretta del lavoro di (B. Zhou et al. 2016), rappresenta una delle tecniche più utilizzate. Un approccio alternativo, anch’esso largamente adottato, è basato sulle deconvolutional neural networks. Tale tecnica, nata con finalità diagnostiche, consente di esplorare le attivazioni dei layer intermedi e fornisce preziose intuizioni sull’architettura dei modelli e sul contributo dei singoli livelli alla performance complessiva (Zeiler e Fergus 2014). I metodi globali come le Partial Dependence Plots (PDP) (Friedman 2001) mirano a marginalizzare l’output del modello lungo l’asse di una specifica variabile. In questo modo è possibile visualizzare — in forma grafica — la relazione, anche non lineare o complessa, tra i valori assunti da una feature e la risposta prodotta dal modello. Il PDP consente dunque di esaminare l’effetto isolato di una variabile sull’output, offrendo una forma di interpretabilità globale utile per comprendere il comportamento medio del modello rispetto a una dimensione selezionata dello spazio dei dati (Muschalik et al. 2023).

Esistono, inoltre, tecniche basate su modelli surrogati globali, che consistono nell’addestrare un modello interpretabile — come un albero decisionale semplice — allo scopo di imitare il comportamento dell’intero modello black box. Se l’approssimazione ottenuta è sufficientemente fedele, il modello interpretabile può fungere da spiegazione globale del sistema predittivo (Molnar 2025). Tuttavia, questa strategia comporta un inevitabile compromesso tra semplicità e fedeltà: la riduzione della complessità spesso si traduce in una perdita di accuratezza nella riproduzione delle decisioni originali.

Merita infine attenzione il filone delle counterfactual explanations, definite come“how the world would have (had) to be different for a desirable outcome to occur” (Karimi, Schölkopf, e Valera 2020). A differenza dei metodi che chiariscono perché il modello ha prodotto un certo output, le spiegazioni controfattuali indicano quali modifiche minime e plausibili all’input sarebbero necessarie per ottenere un esito alternativo. Questo approccio, oltre a fornire una forma di interpretabilità locale centrata sull’istanza, si presta a offrire indicazioni operative concretamente azionabili, in particolare nel contesto della PdM, dove può suggerire interventi correttivi su variabili monitorate, al fine di prevenire condizioni operative che, secondo il modello predittivo, anticipano con elevata probabilità l’insorgenza di un guasto.

Modelli interpretabili per costruzione (ante-hoc)

In parallelo all’impiego di spiegazioni post-hoc, un approccio complementare consiste nel progettare o selezionare modelli di AI intrinsecamente interpretabili, ossia modelli la cui struttura rende direttamente accessibili e comprensibili i meccanismi decisionali interni. In questo caso, analizzando i parametri e la struttura del modello, è possibile ricostruire in modo trasparente tutti i fattori che conducono a una determinata predizione: l’interpretabilità, pertanto, è una proprietà nativa del modello stesso.

Tali modelli sono comunemente indicati in letteratura come intrinsic, transparent o white-box models, poiché costruiti per essere interpretabili by design (Linardatos, Papastefanopoulos, e Kotsiantis 2021). Di seguito alcuni dei metodi ante-hoc più diffusi in letteratura.

Alberi decisionali

Tra i modelli interpretabili by design, i più comuni sono i decision tree. Gli alberi decisionali sono considerati facilmente interpretabili a condizione che la loro struttura rimanga sufficientemente compatta, in quanto la loro logica gerarchica riflette un processo decisionale simile a quello umano (Pashami et al. 2023). Si tratta di un classificatore con struttura ad albero gerarchico, in cui ciascun nodo interno rappresenta un test su una singola variabile predittiva, mentre ogni nodo foglia corrisponde a una classe o a una predizione. I modelli ad albero sono costruiti mediante algoritmi ricorsivi che implementano strategie di tipo divide-and-conquer, suddividendo progressivamente il dataset in sottoinsiemi più omogenei rispetto alla variabile target. La loro attrattività risiede nella possibilità di convertire immediatamente la struttura appresa in regole decisionali del tipo if… then…, facilmente interpretabili dai decision maker (Mutihac e Mutihac 2008), anche in contesti ad alta criticità come la diagnostica predittiva o la manutenzione. Tali modelli, pertanto, sono comprensibili dai tecnici e possono essere direttamente validati con conoscenze di dominio. Ma se il dataset è complesso, l’albero cresce molto in profondità o in numero di nodi, perdendo in parte l’interpretabiltà. Inoltre, alla semplicità strutturale — che è alla base dell’interpretabilità — si associa spesso una capacità predittiva relativamente limitata. Di conseguenza, i modelli interpretabili, come gli alberi decisionali semplici, tendono in molti casi a non eguagliare le prestazioni predittive dei modelli black box più avanzati. Per migliorare l’accuratezza predittiva, i modelli ad albero vengono spesso potenziati mediante tecniche di ensemble learning, come Random Forest o Gradient Boosting, che combinano più di alberi base. Sebbene ciascun albero sia interpretabile, l’insieme risultante tende a comportarsi come una vera e propria scatola nera, per via dell’elevata complessità del modello (Delgado-Panadero et al. 2022). Infine, i modelli ad albero presentano alcune fragilità strutturali. In particolare, sono notoriamente soggetti a instabilità: minime variazioni nel dataset di addestramento possono generare strutture profondamente diverse, poiché ogni suddivisione dipende gerarchicamente da quella iniziale. La scelta di una diversa feature di split alla radice può modificare radicalmente l’intero albero, minando la fiducia nell’affidabilità del modello. Tale instabilità rende problematica l’adozione degli alberi decisionali in contesti in cui è richiesta una spiegabilità coerente e verificabile (Molnar 2025).

Modelli basati su regole (rule-based)

I modelli predittivi rule-based consistono in un insieme di if-then rules indipendenti, spesso progettate per catturare specifiche casistiche. RIPPER (Repeated Incremental Pruning to Produce Error Reduction) è un algoritmo di apprendimento basato sulla copertura sequenziale, appartenente alla famiglia dei metodi divide-and-conquer. Per ogni classe selezionata, l’algoritmo identifica la regola più efficace secondo un criterio specifico, e quindi rimuove gli esempi correttamente coperti da tale regola. Il processo si ripete iterativamente sui dati residui, fino a quando tutti i casi della classe in esame risultano coperti. Terminata una classe, RIPPER procede con la successiva, seguendo un ordine crescente rispetto alla numerosità delle classi. PART è anch’esso un algoritmo di apprendimento basato sull’approccio divide-and-conquer. La principale differenza rispetto ad altri metodi risiede nel fatto che, per generare la best rule, l’algoritmo costruisce un albero decisionale potato (cd. pruned decision tree) e mantiene la foglia con la copertura maggiore, ovvero quella che classifica correttamente il maggior numero di istanze. RuleFit è un algoritmo rule-based ad alta accuratezza. Il suo funzionamento prevede due fasi principali: inizialmente, genera un insieme di regole considerando tutti i nodi e le foglie di un ensemble di alberi potenziati (cd. boosted). Successivamente, tali regole vengono trasformate in feature binarie – variabili che assumono valore 1 se la regola è soddisfatta, 0 altrimenti – e utilizzate come input in un modello di regressione lineare sparsa, ottimizzato mediante Lasso (Tibshirani 1996) (Margot e Luta 2021).

La progettazione di architetture basate su regole, pur garantendo un’elevata comprensibilità e trasparenza del processo decisionale, può risultare limitata nella capacità di catturare interazioni complesse o relazioni sottili tra molteplici variabili – una limitazione particolarmente rilevante nei sistemi di PdM, dove i fenomeni degradativi presentano spesso dinamiche non lineari e dipendenze multivariate difficili da sintetizzare in regole semplici. Inoltre, tali modelli richiedono un’estesa attività di ingegneria manuale delle regole, con un impatto significativo in termini di effort progettuale (Yang et al. 2023).

Modelli lineari e additivi

I modelli lineari sono spesso considerati come interpretabili. La regressione lineare assegna a ciascuna variabile un peso, con la previsione finale calcolata come somma pesata cumulativa. In tal modo, è possibile determinare con facilità l’impatto di ciascuna variabile sull’output del modello. Tuttavia, poiché la regressione lineare non è in grado di modellare relazioni non lineari, essa fallisce spesso nei compiti più complessi (Pashami et al. 2023). Il modello di regressione lineare può funzionare adeguatamente per compiti di regressione, ma risulta inadeguato per problemi di classificazione. La regressione logistica, invece, è specificamente progettata per affrontare problemi di classificazione binaria. Essa impiega la funzione logistica – sigmoide – per comprimere l’output dell’equazione lineare in un intervallo compreso tra 0 e 1. Pertanto, la regressione logistica rappresenta una soluzione più appropriata per i problemi di classificazione rispetto alla regressione lineare (Molnar 2025). I modelli lineari – regressione lineare e regressione logistica – sono comunemente considerati interpretabili perché la relazione tra le feature e l’output è esplicita e trasparente: a ciascuna feature è associato un coefficiente – peso – che indica la direzione dell’influenza e l’intensità dell’influenza – maggiore è il valore assoluto del coefficiente, maggiore è l’impatto della feature sul risultato, a parità delle altre condizioni (cd. ceteris paribus). Questa proprietà li rende particolarmente utili in contesti in cui la trasparenza del processo decisionale è prioritaria, come nei domini regolamentati, quali la PdM. Tuttavia, l’assunzione di linearità intrinseca in tali modelli risulta spesso inadeguata per rappresentare fenomeni complessi e non lineari (W. Zhou, Yan, e Zhang 2024), come quelli tipicamente osservabili nei fenomeni di degrado. Di conseguenza, tali modelli tendono a mostrare prestazioni inferiori rispetto ad approcci in grado di catturare interazioni e non linearità latenti.

Un compromesso interessante è rappresentato dai generalized additive model (Hastie e and Tibshirani 1987), che estendono i modelli lineari introducendo funzioni non parametriche per ciascun predittore. Questo consente di modellare in modo interpretabile relazioni non lineari, aumentando il potere predittivo pur mantenendo la struttura additiva del modello. Evoluzioni recenti dei modelli additivi generalizzati, come i GA2M (Generalized Additive Models with pairwise interactions), originariamente proposti da (Lou et al. 2013), sono costituiti da termini univariati e includono anche termini di interazione a coppie. Poiché tali modelli si basano esclusivamente su componenti mono- e bidimensionali, ciascun contributo al risultato predittivo può essere rappresentato graficamente e compreso agevolmente dall’utente, rendendo i GA2M strumenti interpretabili e trasparenti, anche in contesti applicativi complessi e si configurano pertanto come strumenti particolarmente efficaci per applicazioni critiche, in cui la comprensibilità e la trasparenza del modello rappresentano requisiti imprescindibili (Linardatos, Papastefanopoulos, e Kotsiantis 2021).

Sebbene i modelli white-box offrano notevoli vantaggi in termini di trasparenza, auditabilità e compliance regolatoria, la loro applicabilità risulta ancora limitata in ambiti ad alta complessità, come la computer vision o il natural language processing, dove le prestazioni dei modelli deep learning restano ineguagliate.  Inoltre, la crescente richiesta di modelli multi-task e la necessità di trasferimento di conoscenza tra domini contribuiscono a ridurre ulteriormente l’interesse verso approcci pienamente interpretabili, spesso confinati a compiti specifici. Nonostante tali limiti, lavori come quello di (Caruana et al. 2015) hanno mostrato che, anche in contesti critici, architetture interpretabili come i GA2M possono offrire un equilibrio virtuoso tra accuratezza predittiva e comprensibilità, aprendo prospettive concrete per l’integrazione responsabile dell’AI in domini sensibili (Linardatos, Papastefanopoulos, e Kotsiantis 2021).

Ciò suggerisce che in alcuni casi è possibile chiudere il gap tra modelli white-box e black-box, eliminando la necessità di spiegazioni post-hoc perché il modello stesso si spiega da solo. Purtroppo, però, in domini molto complessi i modelli interpretabili faticano a raggiungere le prestazioni di altri modelli, e questo porta alla necessità pratica di usare il miglior modello disponibile – anche se black-box – corredato da metodi XAI per spiegarne i risultati.

Punti chiave riguardo l’integrazione di XAI nella manutenzione predittiva per i trasporti

Dall’analisi condotta emergono diversi punti chiave riguardo l’integrazione di XAI nella manutenzione predittiva per i trasporti, che meritano una discussione approfondita.

Necessità di spiegabilità lungo l’intero ciclo della PdM

La PdM non si esaurisce nella mera generazione di allarmi o nella previsione automatica di guasti, ma si colloca all’interno di un più ampio processo decisionale a responsabilità umana, che coinvolge un complesso ecosistema costituito da ingegneri di manutenzione, operatori sul campo e responsabili della sicurezza. In tale contesto, fornire a questi stakeholder spiegazioni comprensibili e verificabili delle predizioni generate dai modelli di AI non rappresenta un valore aggiunto opzionale, bensì un requisito imprescindibile, per diversi motivi.

Validazione e debugging

In scenari di manutenzione predittiva, la possibilità di comprendere le motivazioni alla base delle previsioni del modello riveste un ruolo essenziale nei processi di validazione tecnica e di diagnostica. Se un sistema di AI segnala un guasto imminente, è fondamentale che i tecnici possano analizzare quali parametri abbiano maggiormente contribuito alla previsione, al fine di valutarne la coerenza con il comportamento fisico noto dell’asset. Un’allerta determinata da un’anomalia significativa in una grandezza fisica può indirizzare l’intervento verso il componente specifico, migliorando l’efficacia dell’azione correttiva. Viceversa, se la spiegazione indica che la previsione è imputabile a un sensore malfunzionante, si può evitare un’azione manutentiva non necessaria, ottimizzando così l’allocazione delle risorse e riducendo il rischio di interventi superflui.

Accettazione e fiducia

I team di manutenzione dispongono frequentemente di un patrimonio consolidato di esperienza tecnica e conoscenza empirica del funzionamento degli asset. In questo contesto, un sistema di AI che fornisce predizioni prive di motivazioni esplicite rischia di essere accolto con scetticismo, in quanto percepito come una scatola nera. Al contrario, la possibilità di accedere a spiegazioni trasparenti delle decisioni del modello – ad esempio mediante l’evidenziazione di segnali di degrado noti anche all’esperto umano – favorisce l’accettazione dello strumento e ne rafforza l’integrazione nei processi decisionali. La convergenza tra intuizioni umane e segnali computazionali può così generare sinergie virtuose tra competenza operativa e capacità predittiva dell’AI impiegata nella PdM.

Prioritizzazione e gestione del rischio

In contesti operativi complessi, quali flotte di grandi dimensioni o reti infrastrutturali estese, gli algoritmi di manutenzione predittiva possono generare numerosi segnali di rischio. Tuttavia, le risorse tecniche e logistiche disponibili per gli interventi sono limitate, rendendo necessaria una selezione informata delle priorità. In tal senso, la disponibilità di spiegazioni associate alle predizioni consente di contestualizzare la criticità: due asset classificati come ad alto rischio possono richiedere priorità d’intervento differenti se, ad esempio, nel primo caso l’allarme riguarda un componente di sicurezza primaria, mentre nel secondo interessa un elemento non critico. Inoltre, spiegazioni che includano stime di incertezza o evidenze di anomalie nei dati permettono di adottare strategie più calibrate, come il rinvio dell’intervento in caso di segnali deboli o non confermati, privilegiando un incremento del monitoraggio.

Evidenze dalla ricerca: XAI nella PdM

Sebbene l’integrazione tra XAI e PdM costituisca un ambito di ricerca ancora emergente, iniziano a delinearsi evidenze empiriche e applicative che attestano il valore aggiunto delle spiegazioni mirate. Studi recenti dimostrano che l’impiego di tecniche XAI può incrementare l’affidabilità percepita dei sistemi di PdM e facilitarne l’adozione operativa, migliorando la comprensibilità delle predizioni da parte di tecnici e stakeholder.

L’Industria 4.0, sfruttando strumenti come l’AI e la massiccia generazione di dati, sta guidando un cambiamento di paradigma nella gestione della manutenzione. In particolare, nell’ambito dell’AI, i modelli tradizionalmente concepiti come scatole nere stanno progressivamente diventando interpretabili attraverso tecniche di XAI, che consentono di comprendere i processi decisionali alla base delle predizioni.

In un recente studio, (Tormos et al. 2025) affrontano la scarsa diffusione di tali tecniche nell’ambito della manutenzione di flotte di autobus urbani, nonostante la disponibilità di dati provenienti dai sistemi di diagnostica di bordo (On-Board Diagnostics, OBD), con l’obiettivo di contribuire alla risoluzione di problematiche critiche legate all’affidabilità dei veicoli e alla gestione degli interventi manutentivi. In primo luogo, gli autori evidenziano come i processi di rigenerazione del filtro antiparticolato diesel (DPF) operino frequentemente in condizioni subottimali, contribuendo all’accelerazione del degrado dell’olio motore e all’aumento dei costi di manutenzione. A causa della scarsa documentazione disponibile sul sistema di controllo del filtro, il team di manutenzione si trova in difficoltà nel proporre interventi basati su una comprensione esaustiva del comportamento e della logica di controllo del sistema stesso.

Pertanto, lo studio analizza e prevede i diversi stati che caratterizzano il processo di rigenerazione del DPF, attraverso l’impiego congiunto di tecniche di machine learning e di XAI. Le informazioni estratte mirano a fornire al personale di manutenzione una comprensione approfondita della logica di funzionamento del sistema, al fine di formulare proposte fondate su un’interpretazione sistemica e data-driven del fenomeno. La metodologia adottata combina modelli tradizionali di machine learning, tra cui XGBoost, LightGBM, Random Forest e Support Vector Machine. La variabile target, rappresentante tre differenti stati del processo di rigenerazione, è stata trasformata mediante un approccio one-vs-rest, dando origine a tre distinte attività di classificazione binaria, in cui ciascuno stato è stato classificato rispetto agli altri. A supporto dell’interpretabilità del sistema predittivo, sono state applicate tecniche XAI quali le SHAP, i Partial Dependence Plots e le Individual Conditional Expectation, al fine di visualizzare e comprendere le condizioni che influenzano ciascuno stato rigenerativo. I risultati ottenuti hanno permesso di associare due stati rigenerativi a specifiche condizioni operative e di individuare soglie funzionali per alcune variabili chiave, offrendo indicazioni pratiche per l’ottimizzazione del processo di rigenerazione.

La gestione della manutenzione nelle flotte urbane di autobus può dunque trarre significativo beneficio dall’integrazione tra analisi avanzata dei dati e tecniche XAI, che consentono l’estrazione di conoscenze utili dai dati OBD e una maggiore comprensione dei fattori che influenzano l’attivazione degli stati critici nei processi di rigenerazione del filtro antiparticolato.

Del resto, il verificarsi di guasti nei veicoli del trasporto pubblico durante l’esercizio rappresenta una fonte critica di disservizi, con impatti negativi sia per le aziende di gestione che, soprattutto, per l’utenza, minando l’affidabilità percepita del servizio. In tale contesto, l’anomaly detection assume un ruolo determinante nel prevenire cancellazioni di corse e garantire la disponibilità operativa del materiale rotabile.

Un caso rilevante, già citato precedentemente, è rappresentato dal sistema APU installato sui treni della Metro di Porto, responsabile dell’alimentazione pneumatica di quattro sottosistemi fondamentali: 1) accoppiamento; 2) lubrificazione; 3) sabbiere; 4) sospensioni secondarie. In particolare, le sospensioni secondarie mantengono costante l’altezza del veicolo rispetto al numero di passeggeri a bordo. L’assenza di ridondanza rende critico il corretto funzionamento del sistema, poiché un guasto determina l’immediata rimozione del veicolo dal servizio. Lo studio ha impiegato metodologie di Reliability Centered Maintenance (RCM), Failure Mode and Effects Analysis (FMEA) e Failure Mode, Effects, and Criticality Analysis (FMECA), per individuare le vulnerabilità dell’APU, identificare i guasti più ricorrenti e selezionare le variabili critiche da monitorare. È stato quindi progettato un sistema per l’acquisizione e trasmissione dei dati in tempo reale, basato su una rete di sensori dislocati in tre sottosistemi, capaci di rilevare pressioni, temperature, assorbimenti elettrici e segnali digitali direttamente dall’unità di controllo dell’APU. I dati, raccolti con frequenza di 1 Hz, vengono inviati ogni 5 minuti a un server remoto via rete GSM, generando report giornalieri per ciascuna APU monitorata. L’architettura sviluppata per l’analisi online dei guasti si compone di due livelli: un livello di rilevamento basato su una rete LSTM-Autoencoder, addestrata su condizioni di funzionamento normali, e un livello di spiegazione, supervisionato, che apprende regole di regressione utilizzando l’algoritmo AMRules (Duarte, Gama, e Bifet 2016). Il sistema calcola l’errore – mean squared error – per ogni osservazione, segnalando un’anomalia quando l’errore supera una soglia predefinita. Le spiegazioni vengono generate in tempo reale a livello globale – insieme delle regole apprese –, e locale – regole attivate per una specifica osservazione –, consentendo l’identificazione dei segnali anomali e dei componenti implicati nel guasto. I risultati evidenziano l’efficacia dell’approccio neuro-symbolic proposto (R. P. Ribeiro et al. 2023), che coniuga rilevazione automatica e spiegazione interpretabile del guasto. Ad esempio, alcune regole apprese sono risultate associate a perdite d’olio nel motore del compressore, rilevate tramite valori anomali di specifici sensori. L’integrazione tra tecniche di AI non supervisionata e modelli rule-based per l’interpretazione ha mostrato un potenziale significativo per aumentare l’affidabilità e la tempestività delle decisioni manutentive (Pashami et al. 2023).

Questi casi dimostrano come le esigenze esplicative varino in funzione del contesto applicativo, rendendo necessaria una personalizzazione delle tecniche di XAI rispetto al dominio di utilizzo. In particolare, un modello potrebbe dover tradurre concetti tecnici in termini comprensibili per l’utente finale, operazione tutt’altro che banale ma cruciale per l’effettiva usabilità dell’AI sul campo. La letteratura evidenzia l’esistenza di un divario tra le metodologie XAI attualmente disponibili e i bisogni concreti dell’industria, inclusi i contesti di PdM (Pashami et al. 2023). Inoltre, molte spiegazioni XAI sono statiche e individuali, mentre un responsabile di manutenzione potrebbe voler una vista aggregata – “quali sono le cause più frequenti degli allarmi generati questa settimana dal sistema PdM?” – una domanda che richiede strumenti di XAI in grado di operare su scala di sistema, oltre che su singola predizione.

Trade-off tra accuratezza del modello e interpretabilità

Un tema ricorrente è la tensione fra prestazioni predittive e semplicità del modello. Modelli interpretabili – come alberi poco profondi e modelli lineari – offrono spiegazioni immediate ma talvolta non catturano tutta la complessità dei dati di un sistema di PdM, dove i fenomeni di guasto possono essere altamente non lineari e dipendenti da molte variabili. D’altro canto, modelli molto complessi – come le reti neurali profonde – possono ottenere maggiore accuratezza ma richiedono poi metodi XAI aggiuntivi per spiegare le loro decisioni. La ricerca sta esplorando entrambe le direzioni: da un lato si cercano tecniche per rendere i modelli complessi più spiegabili senza perdere troppa accuratezza – incorporando meccanismi di attenzione o moduli esplicativi all’interno della rete, o addestrando modelli ibridi self-explaining; dall’altro si lavora per potenziare modelli interpretabili classici – aggiungendo termini non lineari come nei GA2M, o combinando più alberi interpretabili in ensemble piccoli e ragionati. È fondamentale riconoscere che non esiste una soluzione universale al compromesso tra interpretabilità e accuratezza. La scelta dell’approccio dipende dai requisiti specifici dell’applicazione, dalle risorse disponibili e dai compromessi accettabili nel contesto specifico (Yang et al. 2023). Altro aspetto importante è che la spiegabilità stessa può contribuire all’accuratezza in fase di sviluppo: analizzando le spiegazioni degli errori di predizione, i data scientist possono scoprire feature mancanti o dati sporchi. Se un modello di PdM tende a dare falsi allarmi e le spiegazioni indicano spesso come motivo un sensore specifico, ciò potrebbe rivelare che quel sensore ha problemi o che il modello ne sovrastima l’importanza – informazioni utili per migliorare il dataset o la struttura del modello. In sostanza, la spiegabilità funge anche da strumento di debugging e miglioramento continuo del sistema AI.

Quadro normativo europeo e governance pubblica

L’Unione Europea si pone all’avanguardia nel definire un quadro giuridico per l’AI che ponga al centro principi quali trasparenza, affidabilità e tutela dei diritti fondamentali. Due pilastri normativi di riferimento sono il Regolamento Generale sulla Protezione dei Dati (GDPR) e il Regolamento sull’AI (AI Act), recentemente approvato. Sebbene le applicazioni di PdM si concentrino prevalentemente su dati tecnici e operativi provenienti da sensori e macchinari — dunque, in linea di principio, estranei all’ambito dei dati personali — le normative menzionate stabiliscono principi generali di responsabilità, trasparenza e auditabilità che hanno ricadute anche su tali ambiti.

In particolare, il GDPR all’art.15, comma 1, lettera h, prevede che, in caso di decisioni automatizzate con effetti sugli individui, l’interessato abbia diritto a ottenere “informazioni significative sulla logica utilizzata, nonché l’importanza e le conseguenze previste di tale trattamento”. Questa clausola viene spesso interpretata come una forma di diritto alla spiegazione. Nel contesto della PdM, sebbene i destinatari diretti delle analisi algoritmiche siano tipicamente componenti tecnici o infrastrutture materiali, non si possono escludere impatti indiretti significativi su soggetti umani, in particolare in settori regolati come il trasporto pubblico. Si pensi, ad esempio, a un sistema di PdM che, sulla base di una previsione automatizzata, determini il ritiro anticipato di un treno per interventi manutentivi, generando disservizi per l’utenza. In una prospettiva di accountability, gli enti gestori e gli operatori del servizio dovrebbero essere in grado di giustificare tale decisione, specialmente in caso di richieste formali da parte di stakeholder istituzionali, come un’Autorità di regolazione dei trasporti, o in risposta a reclami dell’utenza.

Ancora più rilevante, nel contesto normativo europeo, è l’AI Act, che introduce un approccio basato sul rischio per classificare i sistemi di AI e stabilisce obblighi differenziati in funzione della fascia di rischio. I sistemi di AI impiegati per la PdM di infrastrutture critiche, come quelle del trasporto ferroviario o urbano, potrebbero rientrare tra quelli ad alto rischio, ai sensi dell’Allegato III del Regolamento, che include esplicitamente i sistemi destinati alla gestione delle infrastrutture digitali critiche. Per tali sistemi, l’art. 13 dell’AI Act stabilisce requisiti vincolanti di trasparenza, imponendo che essi siano progettati e sviluppati in modo da permettere agli utenti di interpretare adeguatamente il funzionamento del sistema e utilizzarlo in modo appropriato. In termini pratici, ciò implica che i fornitori di sistemi di PdM ad alto rischio saranno tenuti a fornire documentazione tecnica dettagliata, comprensiva di descrizione del modello, logiche decisionali sottostanti, istruzioni per l’uso, limiti noti del sistema, nonché indicazioni su come interpretarne correttamente gli output. Tali obblighi rafforzano il legame tra explainable AI (XAI) e compliance normativa, promuovendo l’adozione di soluzioni interpretabili come prerequisito non solo etico, ma anche legale per l’impiego di AI in ambiti sensibili come la manutenzione delle reti di trasporto.

Ciò non implica necessariamente la divulgazione integrale del codice sorgente del sistema, ma richiede che vengano fornite spiegazioni comprensibili, contestualizzate e proporzionate all’uso previsto. È prevedibile che, per soddisfare tali requisiti normativi, i fornitori di soluzioni AI integreranno direttamente funzionalità di XAI nei propri sistemi. In tale prospettiva, una dashboard di PdM potrebbe includere, accanto all’elenco degli allarmi generati, un pannello esplicativo dedicato, prodotto automaticamente tramite tecniche XAI. Questa integrazione consentirebbe la conformità alle prescrizioni regolatorie, e rappresenterebbe anche un valore aggiunto per l’utente finale, facilitando l’interpretazione operativa delle segnalazioni e supportando decisioni tecniche informate.

Dal punto di vista della governance pubblica, l’adozione di strategie XAI è vista come un abilitatore delle Ethics guidelines for trustworthy AI (High-Level Expert Group on AI 2019), ove la spiegabilità implica la tracciabilità decisionale del sistema basato su AI. Enti pubblici e aziende partecipate hanno il dovere di garantire che l’AI usata nei loro processi sia sotto controllo umano e spiegabile, sia per responsabilità verso i cittadini sia per evitare rischi reputazionali e legali. Se un sistema AI consigliasse di posticipare una manutenzione poi avvenisse un incidente, vi sarebbe certamente un’indagine; poter esibire le logiche e spiegazioni date dal sistema – oltre alle decisioni umane correlate – è cruciale per accertare le responsabilità e migliorare i processi. Viceversa, la trasparenza preventiva – comunicare in anticipo come funziona l’AI – può facilitare l’accettazione sociale di queste tecnologie. Uno scenario plausibile è l’istituzione di audit algoritmici periodici sui sistemi di PdM adottati nel settore dei trasporti, in cui esperti indipendenti valutano sia le performance che la spiegabilità e verificano che non vi siano bias o errori sistematici. Tali audit sarebbero molto difficili se i modelli fossero scatole nere totali. L’uso di modelli interpretabili o di robuste tecniche XAI diventa quindi un requisito anche strategico per chi sviluppa soluzioni di PdM destinate al settore pubblico europeo.

Limiti attuali e prospettive future

Nonostante i progressi, l’applicazione di XAI alla PdM è ancora in fase iniziale e presenta sfide aperte (Pashami et al. 2023). Un limite pratico è la scalabilità: generare spiegazioni dettagliate per migliaia di predizioni al giorno in tempo reale può essere oneroso. Servono ottimizzazioni e magari algoritmi XAI più snelli. Inoltre, la valutazione delle spiegazioni rimane un problema: come si misura se una spiegazione è attendibile nel contesto PdM? È possibile valutare la qualità delle spiegazioni mediante studi con utenti – user study – rivolti ai manutentori — ad esempio misurando la comprensione e l’utilità percepita delle spiegazioni – oppure attraverso metriche indirette – proxy –, quali la stabilità e la fedeltà al comportamento del modello. È un campo di ricerca attivo. Un altro aspetto è la robustezza: ci si assicura che le spiegazioni non possano essere ingannate o manipolate, tramite adversarial attack? In ambiti critici come i trasporti, dove la cyber-security dei sistemi AI sta assumendo crescente rilevanza, le tecniche di XAI dovranno essere integrate in architetture di sicurezza informatica, ad esempio per segnalare quando i dati in input risultano fuori dalla distribuzione attesa o incoerenti con il comportamento fisico noto. La spiegabilità può così contribuire anche alla AI assurance, rafforzando la fiducia nei modelli in ambienti operativi ad alta criticità. A monte del problema della spiegabilità si colloca una questione strutturale ancora più rilevante: la qualità dei dati storici utilizzati per l’addestramento del modello. In ambito PdM, i dataset sono spesso affetti da incompletezza, rumorosità e sbilanciamento. Tali criticità oltre a compromettere le performance predittive, minano anche la validità delle spiegazioni fornite dai modelli XAI, rendendole potenzialmente fuorvianti.

In prospettiva, è lecito attendersi una convergenza tra modelli predittivi e modelli descrittivi, come architetture di deep learning progettate per avere interpretabilità intrinseca – come le Self-Explaining Neural Networks –, che potrebbero apprendere a fornire non solo la previsione di guasto ma anche una sorta di diagnosi generata in linguaggio naturale per l’operatore. L’integrazione tra spiegazione e azione raccomandata sarebbe il punto di arrivo ideale, in grado di trasformare la PdM da mero sistema di allerta a vero sistema di supporto decisionale. Affinché ciò accada, serviranno collaborazioni multidisciplinari tra data scientist, esperti di dominio, psicologi cognitivi – per presentare le informazioni nel modo più efficace –, e giuristi – per assicurare conformità e tutela di responsabilità.

L’Europa, con le sue iniziative di ricerca – come quelle di Horizon Europe focalizzate su XAI – e con la spinta regolatoria, può diventare terreno fertile per queste innovazioni.

Conclusioni

La PdM basata sull’AI rappresenta una frontiera strategica per migliorare efficienza e sicurezza nei sistemi di trasporto, ma porta con sé la sfida della trasparenza algoritmica. Questo lavoro ha esaminato il ruolo cruciale che le tecniche di XAI possono giocare nel colmare il divario tra i potenti modelli di previsione dei guasti e la necessità, umana e normativa, di comprenderne il funzionamento.

Dall’analisi emerge che:

(i) i modelli di AI attualmente impiegati nel PdM dei trasporti – specialmente reti neurali e altri approcci black-box – beneficiano enormemente di strumenti XAI che ne rendano interpretabili le decisioni, facilitando l’integrazione nei processi industriali esistenti;

(ii) esiste già un ampio repertorio di metodi XAI, sia post-hoc che intrinseci, ciascuno con punti di forza e limiti: la scelta va calibrata in base al caso d’uso, bilanciando fedeltà, stabilità e semplicità della spiegazione;

(iii) la trasparenza non è solo un requisito tecnico ma sta diventando un obbligo legale e sociale: normative UE come l’AI Act imporranno livelli di spiegabilità per gli algoritmi in ambiti critici, e le organizzazioni pubbliche dovranno dotarsi di politiche di governance algoritmica che includano l’XAI come elemento chiave;

(iv) la spiegabilità porta benefici aggiuntivi come una maggiore fiducia degli operatori, migliori prassi di debugging dei modelli e possibilità di riutilizzo della conoscenza estratta – le regole scoperte da un modello interpretabile possono entrare a far parte delle procedure standard di manutenzione.

In conclusione, il ruolo della XAI nella PdM è destinato a diventare centrale. Trattasi di una componente intrinseca di ogni soluzione di AI che ambisce ad essere adottata su larga scala e a lungo termine nei sistemi di trasporto. Per aziende e operatori del settore, investire in modelli spiegabili significa non solo facilitare la conformità normativa, ma anche creare un vantaggio competitivo in termini di qualità e affidabilità del servizio. Per la comunità scientifica, la sfida è sviluppare nuove tecniche di XAI robuste, scalabili e domain-friendly, creando librerie e framework aperti specifici per applicazioni di prognostica e health monitoring. Il cammino verso una manutenzione predittiva affidabile e trasparente è appena iniziato, ma i risultati finora sono promettenti. Infine, è necessario che tecnologia e regolamentazione in Europa procedano di pari passo per assicurare che l’adozione dell’AI nel settore dei trasporti sia al servizio dell’uomo in maniera efficace, sicura e comprensibile.

Bibliografia

Ali, Sajid, Tamer Abuhmed, Shaker El-Sappagh, Khan Muhammad, Jose M. Alonso-Moral, Roberto Confalonieri, Riccardo Guidotti, et al. 2023. «Explainable Artificial Intelligence (XAI): What we know and what is left to attain Trustworthy Artificial Intelligence». Information Fusion 99: 101805. doi:10.1016/j.inffus.2023.101805.

Caruana, Rich, Yin Lou, Johannes Gehrke, Paul Koch, Marc Sturm, e Noemie Elhadad. 2015. «Intelligible Models for HealthCare: Predicting Pneumonia Risk and Hospital 30-day Readmission». In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’15, New York, NY, USA: Association for Computing Machinery, 1721–30. doi:10.1145/2783258.2788613.

Chapelle, O., B. Scholkopf, e A. Zien Eds. 2009. «Semi-Supervised Learning (Chapelle, O. et al., Eds.; 2006) [Book reviews]». IEEE Transactions on Neural Networks 20(3): 542–542. doi:10.1109/TNN.2009.2015974.

Cheng, Jack C. P., Weiwei Chen, Keyu Chen, e Qian Wang. 2020. «Data-driven predictive maintenance planning framework for MEP components based on BIM and IoT using machine learning algorithms». Automation in Construction 112: 103087. doi:10.1016/j.autcon.2020.103087.

Davari, Narjes, Bruno Veloso, Gustavo de Assis Costa, Pedro Mota Pereira, Rita P. Ribeiro, e João Gama. 2021. «A Survey on Data-Driven Predictive Maintenance for the Railway Industry». Sensors 21(17): 5739. doi:10.3390/s21175739.

Delgado-Panadero, Ángel, Beatriz Hernández-Lorca, María Teresa García-Ordás, e José Alberto Benítez-Andrades. 2022. «Implementing local-explainability in Gradient Boosting Trees: Feature Contribution». Information Sciences 589: 199–212. doi:10.1016/j.ins.2021.12.111.

Duarte, João, João Gama, e Albert Bifet. 2016. «Adaptive Model Rules From High-Speed Data Streams». ACM Trans. Knowl. Discov. Data 10(3): 30:1-30:22. doi:10.1145/2829955.

Ersöz, Olcay Özge, Ali Fırat İnal, Adnan Aktepe, Ahmet Kürşad Türker, e Süleyman Ersöz. 2022. «A Systematic Literature Review of the Predictive Maintenance from Transportation Systems Aspect». Sustainability 14(21): 14536. doi:10.3390/su142114536.

European Data Protection Supervisor, Massimo Attoresi, Vítor Bernardo, Xabier Lareo, e Luis Velasco. 2023. TechDispatch: Explainable Artificial Intelligence. #2/2023. Publications Office of the European Union. https://data.europa.eu/doi/10.2804/802043.

Friedman, Jerome H. 2001. «Greedy Function Approximation: A Gradient Boosting Machine». The Annals of Statistics 29(5): 1189–1232.

Garreau, Damien, e Ulrike Luxburg. 2020. «Explaining the Explainer: A First Theoretical Analysis of LIME». In Proceedings of the Twenty Third International Conference on Artificial Intelligence and Statistics, PMLR, 1287–96. https://proceedings.mlr.press/v108/garreau20a.html.

Hastie, Trevor, e Robert and Tibshirani. 1987. «Generalized Additive Models: Some Applications». Journal of the American Statistical Association 82(398): 371–86. doi:10.1080/01621459.1987.10478440.

High-Level Expert Group on AI. 2019. Ethics Guidelines for Trustworthy AI. European Commission. https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai (4 maggio 2025).

Hu, Xuran, Mingzhe Zhu, Zhenpeng Feng, e Ljubiša Stanković. 2024. «Manifold-based Shapley explanations for high dimensional correlated features». Neural Networks 180: 106634. doi:10.1016/j.neunet.2024.106634.

Karimi, Amir-Hossein, Bernhard Schölkopf, e Isabel Valera. 2020. «Algorithmic Recourse: from Counterfactual Explanations to Interventions». doi:10.48550/arXiv.2002.06278.

Katsarov, I, e S Penkov. 2023. «Application of Artificial Intelligence in Road Network Inventory and Network-Wide Road Safety Assessment». IOP Conference Series: Materials Science and Engineering 1297(1): 012020. doi:10.1088/1757-899X/1297/1/012020.

Khorasgani, Hamed, Ahmed Farahat, Kosta Ristovski, Chetan Gupta, e Gautam Biswas. 2018. «A Framework for Unifying Model-Based and Data-Driven Fault Diagnosis». Annual Conference of the PHM Society 10(1). doi:10.36001/phmconf.2018.v10i1.530.

Linardatos, Pantelis, Vasilis Papastefanopoulos, e Sotiris Kotsiantis. 2021. «Explainable AI: A Review of Machine Learning Interpretability Methods». Entropy 23(1): 18. doi:10.3390/e23010018.

Lou, Yin, Rich Caruana, Johannes Gehrke, e Giles Hooker. 2013. «Accurate intelligible models with pairwise interactions». In Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining, KDD ’13, New York, NY, USA: Association for Computing Machinery, 623–31. doi:10.1145/2487575.2487579.

Lukic Vujadinovic, Violeta, Aleksandar Damnjanovic, Aleksandar Cakic, Dragan R. Petkovic, Marijana Prelevic, Vladan Pantovic, Mirjana Stojanovic, et al. 2024. «AI-Driven Approach for Enhancing Sustainability in Urban Public Transportation». Sustainability 16(17): 7763. doi:10.3390/su16177763.

Lundberg, Scott M, e Su-In Lee. 2017. «A Unified Approach to Interpreting Model Predictions». In Advances in Neural Information Processing Systems, Curran Associates, Inc. https://proceedings.neurips.cc/paper/2017/hash/8a20a8621978632d76c43dfd28b67767-Abstract.html.

Malekjafarian, Abdollah, Chalres-Antoine Sarrabezolles, Muhammad Arslan Khan, e Fatemeh Golpayegani. 2023. «A Machine-Learning-Based Approach for Railway Track Monitoring Using Acceleration Measured on an In-Service Train». Sensors 23(17): 7568. doi:10.3390/s23177568.

Margot, Vincent, e George Luta. 2021. «A New Method to Compare the Interpretability of Rule-Based Algorithms». AI 2(4): 621–35. doi:10.3390/ai2040037.

Molnar, Christoph. 2025. Interpretable Machine Learning. https://christophm.github.io/interpretable-ml-book/global.html.

Muschalik, Maximilian, Fabian Fumagalli, Rohit Jagtani, Barbara Hammer, e Eyke Hüllermeier. 2023. «iPDP: On Partial Dependence Plots in Dynamic Modeling Scenarios». In , 177–94. doi:10.1007/978-3-031-44064-9_11.

Mutihac, Lucia, e Radu Mutihac. 2008. «Mining in chemometrics». Analytica Chimica Acta 612(1): 1–18. doi:10.1016/j.aca.2008.02.025.

Nigam, Sharad, Divya Kumar, Sandeep Mukherji, Saurabh Singh Tomar, Suryakant Shastri, e Preeti Gupta. 2024. «Predictive Maintenance of Railway Tracks Using LSTM». In 2024 IEEE International Conference on Intelligent Signal Processing and Effective Communication Technologies (INSPECT), , 1–5. doi:10.1109/INSPECT63485.2024.10896208.

Pashami, Sepideh, Slawomir Nowaczyk, Yuantao Fan, Jakub Jakubowski, Nuno Paiva, Narjes Davari, Szymon Bobek, et al. 2023. «Explainable Predictive Maintenance». arXiv.org. https://arxiv.org/abs/2306.05120v1.

Patibandla, Kondala Rao. 2024. «Predictive Maintenance in Aviation Using Artificial Intelligence». Journal of Artificial Intelligence General science (JAIGS) ISSN:3006-4023 4(1): 325–33. doi:10.60087/jaigs.v4i1.214.

Poór, P., J. Basl, e D. Zenisek. 2019. «Predictive Maintenance 4.0 as next evolution step in industrial maintenance development». In 2019 International Research Conference on Smart Computing and Systems Engineering (SCSE), , 245–53. doi:10.23919/SCSE.2019.8842659.

Ribeiro, Marco Tulio, Sameer Singh, e Carlos Guestrin. 2016. «“Why Should I Trust You?”: Explaining the Predictions of Any Classifier». In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’16, New York, NY, USA: Association for Computing Machinery, 1135–44. doi:10.1145/2939672.2939778.

Ribeiro, Marco Tulio, Sameer Singh, e Carlos Guestrin. 2018. «Anchors: High-Precision Model-Agnostic Explanations». Proceedings of the AAAI Conference on Artificial Intelligence 32(1). doi:10.1609/aaai.v32i1.11491.

Ribeiro, Rita P., Saulo Martiello Mastelini, Narjes Davari, Ehsan Aminian, Bruno Veloso, e João Gama. 2023. «Online Anomaly Explanation: A Case Study on Predictive Maintenance». In Machine Learning and Principles and Practice of Knowledge Discovery in Databases, a c. di Irena Koprinska, Paolo Mignone, Riccardo Guidotti, Szymon Jaroszewicz, Holger Fröning, Francesco Gullo, Pedro M. Ferreira, et al. Cham: Springer Nature Switzerland, 383–99. doi:10.1007/978-3-031-23633-4_25.

Selvaraju, Ramprasaath R., Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, e Dhruv Batra. 2017. «Grad-CAM: Visual Explanations From Deep Networks via Gradient-Based Localization». In , 618–26. https://openaccess.thecvf.com/content_iccv_2017/html/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.html.

Shang, Jing, Allen A. Zhang, Zishuo Dong, Hang Zhang, e Anzheng He. 2024. «Automated pavement detection and artificial intelligence pavement image data processing technology». Automation in Construction 168: 105797. doi:10.1016/j.autcon.2024.105797.

SNCF Voyageurs. 2024. «Keeping pace with innovation». https://www.sncf-voyageurs.com/en/our-company/divisions-and-subsidiaries/rolling-stock-division/our-stakes/innovation/?utm_source=chatgpt.com.

Tedeschi, A., e F. Benedetto. 2017. «A real-time automatic pavement crack and pothole recognition system for mobile Android-based devices». Advanced Engineering Informatics 32: 11–25. doi:10.1016/j.aei.2016.12.004.

Tibshirani, Robert. 1996. «Regression Shrinkage and Selection Via the Lasso». Journal of the Royal Statistical Society: Series B (Methodological) 58(1): 267–88. doi:10.1111/j.2517-6161.1996.tb02080.x.

Tormos, Bernardo, Benjamín Pla, Ramón Sánchez-Márquez, e Jose Luis Carballo. 2025. «Explainable AI Using On-Board Diagnostics Data for Urban Buses Maintenance Management: A Study Case». Information 16(2): 74. doi:10.3390/info16020074.

Veloso, Bruno, Rita P. Ribeiro, João Gama, e Pedro Mota Pereira. 2022. «The MetroPT Dataset for Predictive Maintenance». Scientific Data 9(1): 764. doi:10.1038/s41597-022-01877-3.

Wing, Alan Chong Kim, Abdul Hakim bin Mohammed, e Mat Naim bin Abdullah. 2016. «A Literature Review on Maintenance Priority – Conceptual Framework and Directions». MATEC Web of Conferences 66: 00004. doi:10.1051/matecconf/20166600004.

Wu, Lunshuai. 2025. «A review of the transition from Shapley values and SHAP values to RGE». Statistics 0(0): 1–23. doi:10.1080/02331888.2025.2487853.

Xu, Hui, Yuxin Su, Zirui Zhao, Yangfan Zhou, Michael R. Lyu, e Irwin King. 2018. «DeepObfuscation: Securing the Structure of Convolutional Neural Networks via Knowledge Distillation». doi:10.48550/arXiv.1806.10313.

Yang, Wenli, Yuchen Wei, Hanyu Wei, Yanyu Chen, Guan Huang, Xiang Li, Renjie Li, et al. 2023. «Survey on Explainable AI: From Approaches, Limitations and Applications Aspects». Human-Centric Intelligent Systems 3(3): 161–88. doi:10.1007/s44230-023-00038-y.

Zafar, Muhammad Rehman, e Naimul Mefraz Khan. 2019. «DLIME: A Deterministic Local Interpretable Model-Agnostic Explanations Approach for Computer-Aided Diagnosis Systems». doi:10.48550/arXiv.1906.10263.

Zeiler, Matthew D., e Rob Fergus. 2014. «Visualizing and Understanding Convolutional Networks». In Computer Vision – ECCV 2014, a c. di David Fleet, Tomas Pajdla, Bernt Schiele, e Tinne Tuytelaars. Cham: Springer International Publishing, 818–33. doi:10.1007/978-3-319-10590-1_53.

Zhou, Bolei, Aditya Khosla, Agata Lapedriza, Aude Oliva, e Antonio Torralba. 2016. «Learning Deep Features for Discriminative Localization». In 2921–29. https://openaccess.thecvf.com/content_cvpr_2016/html/Zhou_Learning_Deep_Features_CVPR_2016_paper.html.

Zhou, Wei, Zhengxiao Yan, e Liting Zhang. 2024. «A Comparative Study of 11 Non-Linear Regression Models Highlighting Autoencoder, DBN, and SVR, Enhanced by SHAP Importance Analysis in Soybean Branching Prediction». Scientific Reports 14(1): 5905. doi:10.1038/s41598-024-55243-x.