Selezione delle Caratteristiche nel Machine Learning<\/a><\/noindex>. Speriamo che sia utile a tutti coloro che sono interessati all'argomento.<\/p>\nNel mondo reale, i dati non sono sempre cos\u00ec puliti come spesso pensano i clienti aziendali. \u00c8 per questo che \u00e8 richiesta l'analisi intelligente dei dati (data mining e data wrangling). Essa aiuta a identificare valori mancanti e pattern nei dati strutturati tramite query che un essere umano non riesce a determinare. Per trovare e utilizzare questi pattern per prevedere i risultati attraverso le relazioni scoperte nei dati, \u00e8 utile il machine learning.<\/p>\n
Per comprendere qualsiasi algoritmo, \u00e8 necessario esaminare tutte le variabili nei dati e scoprire cosa rappresentano queste variabili. Questo \u00e8 estremamente importante, poich\u00e9 la giustificazione dei risultati si basa sulla comprensione dei dati. Se i dati contengono 5 o anche 50 variabili, si possono esaminare tutte. E se sono 200? Allora non sar\u00e0 semplicemente sufficiente il tempo per esaminare ogni singola variabile. Inoltre, alcuni algoritmi non funzionano per i dati categoriali, e quindi sar\u00e0 necessario convertire tutte le colonne categoriali in variabili quantitative (possono apparire quantitative, ma le metriche mostreranno che sono categoriali), per poterle inserire nel modello. In questo modo, il numero di variabili cresce e si arriva a circa 500. Cosa fare adesso? Si potrebbe pensare che la risposta sia la riduzione della dimensionalit\u00e0. Gli algoritmi di riduzione della dimensionalit\u00e0 riducono il numero di parametri, ma influenzano negativamente l'interpretazione. E se ci fossero altre tecniche che escludono le caratteristiche ma permettono di capire e interpretare facilmente quelle rimaste?<\/p>\n
A seconda che l'analisi si basi sulla regressione o sulla classificazione, gli algoritmi di selezione delle caratteristiche possono variare, ma l'idea principale della loro implementazione rimane la stessa.<\/p>\n
Variabili fortemente correlate<\/h3>\n Variabili fortemente correlate tra loro forniscono alla modello la stessa informazione, quindi non \u00e8 necessario utilizzarle tutte per l'analisi. Ad esempio, se il set di dati contiene le caratteristiche \"Tempo online\" e \"Traffico utilizzato\", si pu\u00f2 ipotizzare che siano correlate in qualche misura e vedremo una forte correlazione, anche se scegliamo un campione di dati imparziale. In questo caso, nel modello \u00e8 necessaria solo una di queste variabili. Se utilizziamo entrambe, il modello risulter\u00e0 sovradattato (overfit) e parziale rispetto a una singola caratteristica.<\/p>\n
Valori p<\/h3>\n In algoritmi come la regressione lineare, un modello statistico iniziale \u00e8 sempre una buona idea. Aiuta a mostrare l'importanza delle caratteristiche attraverso i loro valori p, ottenuti da questo modello. Stabilendo il livello di significativit\u00e0, verifichiamo i valori p ottenuti e se un valore si trova al di sotto del livello di significativit\u00e0 stabilito, quella caratteristica viene dichiarata significativa, ovvero la modifica del suo valore probabilmente porter\u00e0 a una modifica del valore dell'obiettivo (target).<\/p>\n
Selezione diretta<\/h3>\n La selezione diretta \u00e8 una tecnica che implica l'uso della regressione passo-passo. La costruzione del modello inizia da zero, cio\u00e8 da un modello vuoto, e poi ad ogni iterazione viene aggiunta una variabile che apporta un miglioramento al modello in costruzione. La variabile da aggiungere al modello \u00e8 determinata dalla sua importanza. Ci\u00f2 pu\u00f2 essere calcolato utilizzando diverse metriche. Il metodo pi\u00f9 comune consiste nell'applicare i valori p ottenuti dal modello statistico iniziale utilizzando tutte le variabili. A volte la selezione diretta pu\u00f2 portare a un sovradattamento del modello, poich\u00e9 nel modello possono trovarsi variabili fortemente correlate, anche se forniscono la stessa informazione al modello (ma il modello mostra comunque un miglioramento).<\/p>\n
Selezione inversa<\/h3>\n La selezione inversa consiste anche nell'esclusione passo dopo passo delle variabili, ma nella direzione opposta rispetto a quella diretta. In questo caso, il modello iniziale include tutte le variabili indipendenti. Successivamente, le variabili vengono escluse (una alla volta per iterazione) se non apportano valore al nuovo modello di regressione in ciascuna iterazione. Alla base dell'esclusione delle variabili ci sono i valori p del modello iniziale. Anche in questo metodo \u00e8 presente incertezza nell'eliminazione di variabili altamente correlate.<\/p>\n
Esclusione ricorsiva delle variabili<\/h3>\n RFE \u00e8 una tecnica\/algoritmo ampiamente utilizzato per selezionare un numero preciso di variabili significative. A volte il metodo viene utilizzato per spiegare un certo numero di \"variabili pi\u00f9 importanti\" che influenzano i risultati; altre volte per ridurre un numero molto elevato di variabili (circa 200-400) e lasciare solo quelle che danno un qualche contributo al modello, escludendo tutte le altre. RFE utilizza un sistema di ranking. Vengono assegnati dei punteggi alle variabili nel set di dati. Questi punteggi vengono quindi utilizzati per l'esclusione ricorsiva delle variabili in base alla collinearit\u00e0 tra di esse e alla loro importanza nel modello. Oltre al ranking delle variabili, RFE pu\u00f2 mostrare se queste variabili siano importanti o meno, anche per un numero predefinito di variabili (poich\u00e9 \u00e8 molto probabile che il numero scelto di variabili possa non essere ottimale, e il numero ottimale di variabili potrebbe essere sia maggiore che minore rispetto a quello scelto).<\/p>\n
Diagramma dell'importanza delle variabili<\/h3>\n Quando si parla di interpretabilit\u00e0 degli algoritmi di machine learning, si discutono generalmente le regressioni lineari (che consentono di analizzare l'importanza delle variabili tramite valori p) e gli alberi decisionali (che mostrano letteralmente l'importanza delle variabili sotto forma di albero, cos\u00ec come la loro gerarchia). D'altra parte, in algoritmi come Random Forest, LightGBM e XG Boost, viene spesso utilizzato un diagramma di importanza delle variabili, cio\u00e8 viene costruito un diagramma delle variabili e \"della loro importanza complessiva\". Questo \u00e8 particolarmente utile quando \u00e8 necessario fornire una giustificazione strutturata dell'importanza delle variabili in relazione al loro impatto sul business.<\/p>\n
Regolarizzazione<\/h3>\n La regolarizzazione viene effettuata per controllare l'equilibrio tra il bias e la varianza. Il bias indica quanto un modello si \u00e8 adattato (overfit) al set di dati di addestramento. La varianza mostra quanto siano diverse le previsioni tra i set di dati di addestramento e di test. Idealmente, sia il bias che la varianza dovrebbero essere piccoli. Qui entra in gioco la regolarizzazione! Esistono due tecniche principali:<\/p>\n
Regolarizzazione L1 \u2014 Lasso: Lasso penalizza i coefficienti di peso del modello per modificare la loro importanza e pu\u00f2 persino annullarli (cio\u00e8 rimuovere queste variabili dal modello finale). Di solito, Lasso viene utilizzato se il set di dati contiene un gran numero di variabili e si devono escludere alcune di esse per comprendere meglio come le caratteristiche importanti influenzano il modello (cio\u00e8 quelle caratteristiche selezionate da Lasso e con importanza stabilita).<\/p>\n
Regolarizzazione L2 \u2014 metodo Ridge: L'obiettivo del Ridge \u00e8 mantenere tutte le variabili e allo stesso tempo assegnare loro un'importanza in base al contributo all'efficacia del modello. Il Ridge sar\u00e0 una buona scelta se il set di dati contiene un numero ridotto di variabili e tutte sono necessarie per interpretare le conclusioni e i risultati ottenuti.<\/p>\n
Poich\u00e9 il Ridge mantiene tutte le variabili, mentre il Lasso stabilisce meglio la loro importanza, \u00e8 stato sviluppato un algoritmo che combina i migliori aspetti di entrambe le regolarizzazioni, noto come Elastic-Net.<\/p>\n
Esistono ancora molti altri modi di selezione delle caratteristiche per il machine learning, ma l'idea principale rimane sempre la stessa: dimostrare l'importanza delle variabili e poi escluderne alcune in base all'importanza ottenuta. L'importanza \u00e8 un termine molto soggettivo, poich\u00e9 non \u00e8 un solo indicatore, ma un insieme di metriche e diagrammi che possono essere utilizzati per trovare le caratteristiche chiave.<\/p>\n
Grazie per la lettura! Buono studio!<\/p>\n
Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t