Emanuele Bevacqua
Strumenti e automazioni

Whitening

Algoritmi su dati reali

Implementazione e confronto di più algoritmi di whitening, provati su dati veri: accelerometro, consumi elettrici, tassi di cambio, sensori di luce.

Tipo
Strumenti e automazioni
Anno
2023
Cosa ho fatto
Implementazione, verifica e confronto
Quattro grafici affiancati: i dati originali allungati lungo una diagonale, gli stessi dati centrati, e le due versioni scorrelate con PCA e ZCA, dove la nuvola di punti è diventata rotonda

Il whitening prende dati in cui le variabili sono correlate fra loro e le trasforma in dati scorrelati, tutti sulla stessa scala. Serve prima di quasi ogni analisi seria: senza, un algoritmo scambia la struttura dei dati per un segnale.

Il grafico qui sopra mostra cosa succede. A sinistra il dato originale, allungato lungo una diagonale perché le due variabili si muovono insieme. Poi il dato centrato. Poi le due trasformazioni, PCA e ZCA: la nuvola diventa rotonda, la correlazione è sparita, e ZCA la restituisce nell’orientamento di partenza mentre PCA la ruota sugli assi principali.

Ho implementato le varianti principali — via decomposizione di Cholesky, via autovalori, con un’alternativa basata sulla decomposizione ai valori singolari — e le ho confrontate su serie reali di accelerometro, consumi elettrici, tassi di cambio e sensori di luce, non solo su dati generati.

Altri lavori dello stesso tipo