Ciao, Habr!
In «Rexoft» abbiamo tradotto in italiano un articolo . Speriamo sia utile a tutti coloro che sono interessati all'argomento.
Nel mondo reale, i dati non sono sempre così puliti come a volte pensano i committenti. Ecco perché l'analisi intelligente dei dati (data mining e data wrangling) è così richiesta. Essa aiuta a identificare i valori mancanti e i modelli nei dati strutturati attraverso query che non possono essere identificate dagli esseri umani. Per trovare e utilizzare questi modelli per prevedere i risultati attraverso le relazioni scoperte nei dati, sarà utile il machine learning.
Per comprendere qualsiasi algoritmo, è necessario esaminare tutte le variabili nei dati e capire cosa rappresentano. Questo è estremamente importante, poiché la giustificazione dei risultati si basa sulla comprensione dei dati. Se i dati contengono 5 o anche 50 variabili, è possibile studiarle tutte. E se fossero 200? Allora non ci sarebbe abbastanza tempo per analizzare ogni singola variabile. Inoltre, alcuni algoritmi non funzionano con dati categorici, e quindi sarà necessario convertire tutte le colonne categoriali in variabili quantitative (possono sembrare quantitative, ma le metriche mostreranno che sono categoriche) per poterle inserire nel modello. Così, il numero di variabili aumenta e arriva a circa 500. Cosa si può fare? Potrebbe sembrare che la risposta sia la riduzione della dimensionalità. Gli algoritmi di riduzione della dimensionalità riducono il numero dei parametri, ma influiscono negativamente sull'interpretabilità. E se ci fossero altre tecniche che escludono alcune caratteristiche e allo stesso tempo permettono di comprendere e interpretare facilmente quelle rimanenti?
A seconda che l'analisi sia basata su regressione o classificazione, gli algoritmi di selezione delle caratteristiche possono differire, ma l'idea principale della loro implementazione rimane la stessa.
Variabili fortemente correlate
Le variabili fortemente correlate tra loro forniscono alla modella le stesse informazioni, quindi non è necessario utilizzare tutte per l'analisi. Ad esempio, se un dataset contiene le caratteristiche "Tempo online" e "Traffico utilizzato", si può presumere che siano in qualche modo correlate e noteremo una forte correlazione anche se scegliamo un campione di dati imparziale. In questo caso, nella modella è necessaria solo una di queste variabili. Se utilizziamo entrambe, il modelo risulterà sovra-adattato (overfit) e parziale rispetto a un singolo attributo.
Valori di p
In algoritmi come la regressione lineare, un modello statistico iniziale è sempre una buona idea. Aiuta a dimostrare l'importanza delle caratteristiche attraverso i loro valori p, ottenuti con questo modello. Stabilendo il livello di significatività, verifichiamo i valori p ottenuti e, se uno di questi valori è inferiore al livello di significatività impostato, quella caratteristica viene dichiarata significativa, il che significa che una variazione del suo valore probabilmente porterà a una variazione del valore obiettivo (target).
Selezione diretta
La selezione diretta è una tecnica che consiste nell'applicazione della regressione passo-passo. La costruzione del modello inizia da zero, cioè da un modello vuoto, e ad ogni iterazione viene aggiunta la variabile che porta un miglioramento al modello in costruzione. La variabile da aggiungere al modello è determinata dalla sua significatività. Questo può essere calcolato utilizzando varie metriche. Il metodo più comune è l'applicazione dei valori di p, ottenuti nel modello statistico iniziale utilizzando tutte le variabili. A volte, la selezione diretta può portare a sovra-adattamento del modello, perché nel modello possono trovarsi variabili fortemente correlate, anche se forniscono la stessa informazione al modello (ma il modello mostra comunque un miglioramento).
Selezione inversa
La selezione inversa consiste anch'essa in un'esclusione passo-passo delle variabili, tuttavia in direzione opposta rispetto alla selezione diretta. In questo caso, il modello iniziale include tutte le variabili indipendenti. Le variabili vengono quindi escluse (una per iterazione), se non apportano valore al nuovo modello di regressione in ogni iterazione. L'esclusione delle variabili si basa sui valori di p del modello iniziale. Anche in questo metodo esiste incertezza nell'eliminazione di variabili fortemente correlate.
Esclusione ricorsiva delle caratteristiche
RFE è una tecnica/algoritmo ampiamente utilizzato per la selezione del numero esatto di caratteristiche significative. A volte il metodo viene usato per spiegare un certo numero di «caratteristiche più importanti» che influenzano i risultati; altre volte per ridurre un numero molto elevato di variabili (circa 200-400), mantenendo solo quelle che contribuiscono in qualche modo al modello, mentre tutte le altre vengono escluse. RFE utilizza un sistema di classificazione. Alle caratteristiche nel set di dati vengono assegnati dei ranghi. Questi ranghi vengono quindi utilizzati per l'esclusione ricorsiva delle caratteristiche in base alla collinearità tra di esse e all'importanza di queste caratteristiche nel modello. Oltre alla classificazione delle caratteristiche, RFE può mostrare se queste caratteristiche sono importanti o meno anche per un numero specifico di caratteristiche (perché è molto probabile che il numero scelto di caratteristiche possa non essere ottimale, e il numero ottimale di caratteristiche può essere sia maggiore che minore rispetto a quello scelto).
Diagramma di importanza delle caratteristiche
Parlando dell'interpretabilità degli algoritmi di apprendimento automatico, si discutono solitamente le regressioni lineari (che permettono di analizzare l'importanza delle caratteristiche tramite i valori p) e gli alberi decisionali (che mostrano letteralmente l'importanza delle caratteristiche in forma di albero, evidenziandone anche la gerarchia). D'altro canto, algoritmi come Random Forest, LightGBM e XG Boost spesso utilizzano i grafici di importanza delle caratteristiche, costruendo quindi un diagramma delle variabili e 'del loro grado di importanza'. Questo è particolarmente utile quando è necessario fornire una giustificazione strutturata dell'importanza delle caratteristiche in relazione al loro impatto sul business.
Regolarizzazione
La regolarizzazione viene applicata per controllare il bilanciamento tra bias e varianza. Il bias indica quanto un modello sia sovraccarico (overfit) sul set di dati di addestramento. La varianza indica quanto siano differenti le previsioni tra il set di dati di addestramento e quello di test. In un mondo ideale, sia il bias che la varianza dovrebbero essere ridotti al minimo. Qui entra in gioco la regolarizzazione! Esistono due tecniche principali:
Regolarizzazione L1 - Lasso: Lasso penalizza i coefficienti pesanti del modello per modificare la loro importanza per il modello e può persino azzerarli (cioè rimuovere queste variabili dal modello finale). Di solito Lasso viene utilizzato se il dataset contiene un gran numero di variabili e si richiede di escludere alcune di esse per comprendere meglio come le caratteristiche importanti influenzano il modello (cioè, quelle caratteristiche selezionate da Lasso e per le quali è stata stabilita l'importanza).
Regolarizzazione L2 - metodo Ridge: L'obiettivo di Ridge è mantenere tutte le variabili e allo stesso tempo assegnare loro importanza basata sul contributo all'efficacia del modello. Ridge sarà una buona scelta se il dataset contiene un numero ridotto di variabili e tutte sono necessarie per interpretare le conclusioni e i risultati ottenuti.
Poiché Ridge mantiene tutte le variabili, mentre Lasso stabilisce meglio la loro importanza, è stato sviluppato un algoritmo che combina le migliori caratteristiche di entrambe le regolarizzazioni ed è noto come Elastic-Net.
Esistono molti altri metodi per la selezione delle caratteristiche nel machine learning, ma l'idea principale rimane sempre la stessa: dimostrare l'importanza delle variabili e poi escludere alcune di esse in base all'importanza ottenuta. L'importanza è un termine molto soggettivo, in quanto non è una sola, ma un'intera serie di metriche e diagrammi che possono essere utilizzati per individuare le caratteristiche chiave.
Grazie per la lettura! Buono studio!
Fonte: habr.com
