S\u00e9lection de Fonctionnalit\u00e9s en Apprentissage Automatique<\/a><\/noindex>. Nous esp\u00e9rons que cela sera utile \u00e0 tous ceux qui s'int\u00e9ressent au sujet.<\/p>\nDans le monde r\u00e9el, les donn\u00e9es ne sont pas toujours aussi propres que le pensent parfois les clients d'affaires. C'est pourquoi l'analyse intelligente des donn\u00e9es (data mining et data wrangling) est tr\u00e8s demand\u00e9e. Elle aide \u00e0 identifier les valeurs manquantes et les motifs dans les donn\u00e9es structur\u00e9es gr\u00e2ce \u00e0 des requ\u00eates que l'homme ne peut pas d\u00e9terminer. Pour trouver et utiliser ces motifs afin de pr\u00e9dire les r\u00e9sultats \u00e0 l'aide des relations d\u00e9tect\u00e9es dans les donn\u00e9es, l'apprentissage automatique (Machine Learning) sera utile.<\/p>\n
Pour comprendre n'importe quel algorithme, il est n\u00e9cessaire d'examiner toutes les variables dans les donn\u00e9es et de d\u00e9terminer ce que ces variables repr\u00e9sentent. C'est extr\u00eamement important, car l'interpr\u00e9tation des r\u00e9sultats repose sur la compr\u00e9hension des donn\u00e9es. Si les donn\u00e9es contiennent 5 ou m\u00eame 50 variables, on peut les analyser toutes. Mais que faire s'il y en a 200 ? Alors, il n'y aura tout simplement pas assez de temps pour examiner chaque variable individuelle. De plus, certains algorithmes ne fonctionnent pas pour les donn\u00e9es cat\u00e9gorielles, et il faudra alors convertir toutes les colonnes cat\u00e9gorielles en variables quantitatives (elles peuvent sembler quantitatives, mais les m\u00e9triques montreront qu'elles sont cat\u00e9gorielles) pour les int\u00e9grer dans le mod\u00e8le. Ainsi, le nombre de variables augmente, et il y en a environ 500. Que faire maintenant ? On pourrait penser que la solution serait la r\u00e9duction de dimensionnalit\u00e9. Les algorithmes de r\u00e9duction de dimensionnalit\u00e9 diminuent le nombre de param\u00e8tres, mais nuisent \u00e0 l'interpr\u00e9tabilit\u00e9. Que faire s'il existe d'autres techniques qui excluent certaines caract\u00e9ristiques tout en permettant de comprendre et d'interpr\u00e9ter facilement les restantes ?<\/p>\n
Selon que l'analyse est bas\u00e9e sur la r\u00e9gression ou la classification, les algorithmes de s\u00e9lection de fonctionnalit\u00e9s peuvent diff\u00e9rer, mais la principale id\u00e9e de leur mise en \u0153uvre reste la m\u00eame.<\/p>\n
Variables fortement corr\u00e9l\u00e9es<\/h3>\n Des variables fortement corr\u00e9l\u00e9es entre elles fournissent \u00e0 un mod\u00e8le la m\u00eame information, il n'est donc pas n\u00e9cessaire de toutes les utiliser pour l'analyse. Par exemple, si un ensemble de donn\u00e9es (dataset) contient les caract\u00e9ristiques \u00ab Temps en ligne \u00bb et \u00ab Trafic utilis\u00e9 \u00bb, on peut supposer qu'elles seront en corr\u00e9lation dans une certaine mesure, et nous observerons une forte corr\u00e9lation, m\u00eame si nous choisissons un \u00e9chantillon de donn\u00e9es impartial. Dans ce cas, le mod\u00e8le n'a besoin que d'une seule de ces variables. Si les deux sont utilis\u00e9es, le mod\u00e8le risque de surajuster (overfit) et d'\u00eatre biais\u00e9 par rapport \u00e0 une caract\u00e9ristique particuli\u00e8re.<\/p>\n
P-valeurs<\/h3>\n Dans des algorithmes tels que la r\u00e9gression lin\u00e9aire, commencer par un mod\u00e8le statistique initial est toujours une bonne id\u00e9e. Cela aide \u00e0 montrer l'importance des caract\u00e9ristiques \u00e0 l'aide de leurs p-valeurs, qui ont \u00e9t\u00e9 obtenues par ce mod\u00e8le. En fixant un niveau de signification, nous v\u00e9rifions les p-valeurs obtenues, et si une valeur se r\u00e9v\u00e8le inf\u00e9rieure au niveau de signification donn\u00e9, cette caract\u00e9ristique est d\u00e9clar\u00e9e significative, c'est-\u00e0-dire qu'un changement de sa valeur entra\u00eenera probablement un changement de la valeur cible.<\/p>\n
S\u00e9lection directe<\/h3>\n La s\u00e9lection directe est une technique qui consiste \u00e0 utiliser la r\u00e9gression pas \u00e0 pas. La construction du mod\u00e8le commence \u00e0 partir de z\u00e9ro, c'est-\u00e0-dire d'un mod\u00e8le vide, puis \u00e0 chaque it\u00e9ration, une variable est ajout\u00e9e, apportant une am\u00e9lioration au mod\u00e8le en cours de construction. La variable ajout\u00e9e au mod\u00e8le est d\u00e9termin\u00e9e par son importance. Cela peut \u00eatre calcul\u00e9 \u00e0 l'aide de diff\u00e9rentes m\u00e9triques. La m\u00e9thode la plus courante consiste \u00e0 appliquer les p-valeurs obtenues dans le mod\u00e8le statistique initial utilisant toutes les variables. Parfois, la s\u00e9lection directe peut mener \u00e0 un surajustement du mod\u00e8le, car des variables fortement corr\u00e9l\u00e9es peuvent se retrouver dans le mod\u00e8le, m\u00eame si elles fournissent la m\u00eame information au mod\u00e8le (mais le mod\u00e8le montre tout de m\u00eame une am\u00e9lioration).<\/p>\n
S\u00e9lection inverse<\/h3>\n La s\u00e9lection inverse consiste \u00e9galement en une exclusion progressive des caract\u00e9ristiques, mais dans la direction oppos\u00e9e par rapport \u00e0 la s\u00e9lection directe. Dans ce cas, le mod\u00e8le initial comprend toutes les variables ind\u00e9pendantes. Ensuite, les variables sont exclues (une \u00e0 la fois \u00e0 chaque it\u00e9ration) si elles n'apportent pas de valeur au nouveau mod\u00e8le de r\u00e9gression \u00e0 chaque it\u00e9ration. \u00c0 la base de l'exclusion des caract\u00e9ristiques se trouvent les valeurs p du mod\u00e8le initial. Cette m\u00e9thode pr\u00e9sente \u00e9galement une incertitude lors de la suppression de variables fortement corr\u00e9l\u00e9es.<\/p>\n
Exclusion r\u00e9currente de caract\u00e9ristiques<\/h3>\n L'RFE est une technique\/algorithme largement utilis\u00e9 pour s\u00e9lectionner un nombre pr\u00e9cis de caract\u00e9ristiques significatives. Parfois, la m\u00e9thode est utilis\u00e9e pour expliquer un certain nombre des \u00ab caract\u00e9ristiques les plus importantes \u00bb influen\u00e7ant les r\u00e9sultats ; et parfois pour r\u00e9duire un tr\u00e8s grand nombre de variables (environ 200 \u00e0 400), et ne conserver que celles qui contribuent d'une mani\u00e8re ou d'une autre au mod\u00e8le, tandis que toutes les autres sont exclues. L'RFE utilise un syst\u00e8me de classement. Les caract\u00e9ristiques dans l'ensemble de donn\u00e9es se voient attribuer des rangs. Ces rangs sont ensuite utilis\u00e9s pour l'exclusion r\u00e9cursive de caract\u00e9ristiques en fonction de la colin\u00e9arit\u00e9 entre elles et de l'importance de ces caract\u00e9ristiques dans le mod\u00e8le. En plus du classement des caract\u00e9ristiques, l'RFE peut indiquer si ces caract\u00e9ristiques sont importantes ou non m\u00eame pour un nombre donn\u00e9 de caract\u00e9ristiques (car il est tr\u00e8s probable que le nombre choisi de caract\u00e9ristiques puisse ne pas \u00eatre optimal, et le nombre optimal de caract\u00e9ristiques peut \u00eatre sup\u00e9rieur ou inf\u00e9rieur au nombre choisi).<\/p>\n
Diagramme d'importance des caract\u00e9ristiques<\/h3>\n Lorsqu'on parle d'interpr\u00e9tation des algorithmes d'apprentissage automatique, on discute g\u00e9n\u00e9ralement des r\u00e9gressions lin\u00e9aires (qui permettent d'analyser l'importance des caract\u00e9ristiques \u00e0 l'aide de valeurs p) et des arbres de d\u00e9cision (qui montrent litt\u00e9ralement l'importance des caract\u00e9ristiques sous forme d'arbre, ainsi que leur hi\u00e9rarchie). D'un autre c\u00f4t\u00e9, dans des algorithmes tels que Random Forest, LightGBM et XG Boost, on utilise souvent un diagramme de l'importance des caract\u00e9ristiques, c'est-\u00e0-dire qu'un diagramme des variables et de leur \u00ab importance \u00bb est construit. Cela est particuli\u00e8rement utile lorsque vous devez fournir une justification structur\u00e9e de l'importance des caract\u00e9ristiques du point de vue de leur impact sur les affaires.<\/p>\n
R\u00e9gularisation<\/h3>\n La r\u00e9gularisation est essentielle pour contr\u00f4ler l'\u00e9quilibre entre le biais et la variance. Le biais indique dans quelle mesure le mod\u00e8le est surajust\u00e9 sur l'ensemble d'entra\u00eenement. La variance montre \u00e0 quel point les pr\u00e9dictions diff\u00e8rent entre les ensembles de donn\u00e9es d'entra\u00eenement et de test. Id\u00e9alement, le biais et la variance doivent \u00eatre faibles. C'est l\u00e0 qu'intervient la r\u00e9gularisation ! Il existe deux techniques principales :<\/p>\n
R\u00e9gularisation L1 \u2014 Lasso : Lasso p\u00e9nalise les coefficients de poids du mod\u00e8le pour ajuster leur importance et peut m\u00eame les amener \u00e0 z\u00e9ro (c'est-\u00e0-dire exclure ces variables du mod\u00e8le final). En g\u00e9n\u00e9ral, Lasso est utilis\u00e9 lorsque l'ensemble de donn\u00e9es contient un grand nombre de variables et qu'il est n\u00e9cessaire d'en exclure certaines pour mieux comprendre comment les caract\u00e9ristiques importantes influencent le mod\u00e8le (c'est-\u00e0-dire celles choisies par Lasso et dont l'importance est \u00e9tablie).<\/p>\n
R\u00e9gularisation L2 \u2014 m\u00e9thode Ridge : L'objectif de Ridge est de conserver toutes les variables tout en leur attribuant de l'importance en fonction de leur contribution \u00e0 l'efficacit\u00e9 du mod\u00e8le. Ridge est un bon choix lorsque l'ensemble de donn\u00e9es contient un petit nombre de variables et que toutes sont n\u00e9cessaires pour interpr\u00e9ter les conclusions et les r\u00e9sultats obtenus.<\/p>\n
\u00c9tant donn\u00e9 que Ridge conserve toutes les variables, tandis que Lasso \u00e9tablit mieux leur importance, un algorithme a \u00e9t\u00e9 d\u00e9velopp\u00e9 pour combiner les meilleures caract\u00e9ristiques des deux r\u00e9gularisations, connu sous le nom d'Elastic-Net.<\/p>\n
Il existe de nombreuses autres m\u00e9thodes de s\u00e9lection de caract\u00e9ristiques pour l'apprentissage automatique, mais l'id\u00e9e principale reste la m\u00eame : d\u00e9montrer l'importance des variables et ensuite en exclure certaines en fonction de leur importance obtenue. L'importance est un terme tr\u00e8s subjectif, car ce n'est pas une seule mesure, mais plut\u00f4t un ensemble de m\u00e9triques et de graphiques qui peuvent \u00eatre utilis\u00e9s pour identifier les caract\u00e9ristiques cl\u00e9s.<\/p>\n
Merci de votre lecture ! Bon apprentissage !<\/p>\n
Source : habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t