Sele\u00e7\u00e3o de Recursos em Aprendizado de M\u00e1quina<\/a><\/noindex>. Esperamos que seja \u00fatil para todos que se interessam pelo tema.<\/p>\nNo mundo real, os dados nem sempre s\u00e3o t\u00e3o limpos quanto os clientes empresariais \u00e0s vezes pensam. \u00c9 por isso que a an\u00e1lise inteligente de dados (data mining e data wrangling) \u00e9 t\u00e3o procurada. Ela ajuda a identificar valores ausentes e padr\u00f5es em dados estruturados por consultas que n\u00e3o podem ser determinadas manualmente. Para encontrar e usar esses padr\u00f5es para prever resultados com as conex\u00f5es descobertas nos dados, ser\u00e1 \u00fatil o aprendizado de m\u00e1quina (Machine Learning).<\/p>\n
Para entender qualquer algoritmo, \u00e9 necess\u00e1rio examinar todas as vari\u00e1veis nos dados e descobrir o que essas vari\u00e1veis representam. Isso \u00e9 extremamente importante, pois a justificativa dos resultados se baseia na compreens\u00e3o dos dados. Se os dados cont\u00eam 5 ou at\u00e9 50 vari\u00e1veis, \u00e9 poss\u00edvel examin\u00e1-las todas. Mas e se forem 200? Ent\u00e3o, simplesmente n\u00e3o haver\u00e1 tempo suficiente para analisar cada vari\u00e1vel separadamente. Al\u00e9m disso, alguns algoritmos n\u00e3o funcionam para dados categ\u00f3ricos, e ent\u00e3o ser\u00e1 necess\u00e1rio transformar todas as colunas categ\u00f3ricas em vari\u00e1veis num\u00e9ricas (elas podem parecer num\u00e9ricas, mas as m\u00e9tricas mostrar\u00e3o que s\u00e3o categ\u00f3ricas) para inclu\u00ed-las no modelo. Assim, o n\u00famero de vari\u00e1veis aumenta, e elas se aproximam de 500. O que fazer agora? Pode-se pensar que a resposta ser\u00e1 a redu\u00e7\u00e3o de dimensionalidade. Os algoritmos de redu\u00e7\u00e3o de dimensionalidade diminuem o n\u00famero de par\u00e2metros, mas afetam negativamente a interpretabilidade. E se existirem outras t\u00e9cnicas que excluam caracter\u00edsticas e ainda assim permitam compreender e interpretar facilmente as restantes?<\/p>\n
Dependendo se a an\u00e1lise \u00e9 baseada em regress\u00e3o ou classifica\u00e7\u00e3o, os algoritmos de sele\u00e7\u00e3o de recursos podem variar, mas a ideia principal de sua implementa\u00e7\u00e3o permanece a mesma.<\/p>\n
Vari\u00e1veis fortemente correlacionadas<\/h3>\n Vari\u00e1veis que est\u00e3o fortemente correlacionadas entre si fornecem \u00e0 modelo a mesma informa\u00e7\u00e3o; portanto, n\u00e3o \u00e9 necess\u00e1rio usar todas elas para an\u00e1lise. Por exemplo, se um conjunto de dados cont\u00e9m as vari\u00e1veis \"Tempo online\" e \"Tr\u00e1fego utilizado\", pode-se supor que haver\u00e1 uma correla\u00e7\u00e3o entre elas, e observar\u00e1 uma forte correla\u00e7\u00e3o mesmo ao escolher uma amostra de dados imparcial. Nesse caso, apenas uma dessas vari\u00e1veis \u00e9 necess\u00e1ria no modelo. Se ambas forem usadas, o modelo pode acabar sobreajustado (overfit) e tendencioso em rela\u00e7\u00e3o a uma caracter\u00edstica espec\u00edfica.<\/p>\n
Valores-p<\/h3>\n Em algoritmos como regress\u00e3o linear, come\u00e7ar com um modelo estat\u00edstico inicial \u00e9 sempre uma boa ideia. Isso ajuda a mostrar a import\u00e2ncia das vari\u00e1veis por meio de seus valores-p, que foram gerados por esse modelo. Ao estabelecer um n\u00edvel de signific\u00e2ncia, testamos os valores-p obtidos, e se algum valor estiver abaixo do n\u00edvel de signific\u00e2ncia estabelecido, essa vari\u00e1vel \u00e9 considerada significativa, ou seja, uma mudan\u00e7a em seu valor provavelmente resultar\u00e1 em uma mudan\u00e7a no valor alvo (target).<\/p>\n
Sele\u00e7\u00e3o direta<\/h3>\n A sele\u00e7\u00e3o direta \u00e9 uma t\u00e9cnica que envolve a aplica\u00e7\u00e3o de regress\u00e3o passo a passo. A constru\u00e7\u00e3o do modelo come\u00e7a do zero, ou seja, a partir de um modelo vazio, e em cada itera\u00e7\u00e3o uma vari\u00e1vel que contribui para a melhoria do modelo em constru\u00e7\u00e3o \u00e9 adicionada. A vari\u00e1vel a ser adicionada ao modelo \u00e9 determinada pela sua signific\u00e2ncia. Isso pode ser calculado usando v\u00e1rias m\u00e9tricas. O m\u00e9todo mais comum \u00e9 a aplica\u00e7\u00e3o de valores-p obtidos no modelo estat\u00edstico inicial usando todas as vari\u00e1veis. \u00c0s vezes, a sele\u00e7\u00e3o direta pode levar ao sobreajuste do modelo, pois vari\u00e1veis fortemente correlacionadas podem acabar no modelo, mesmo que forne\u00e7am a mesma informa\u00e7\u00e3o ao modelo (mas o modelo ainda assim mostra uma melhoria).<\/p>\n
Sele\u00e7\u00e3o reversa<\/h3>\n A sele\u00e7\u00e3o reversa tamb\u00e9m consiste na exclus\u00e3o passo a passo de caracter\u00edsticas, mas na dire\u00e7\u00e3o oposta em compara\u00e7\u00e3o com a sele\u00e7\u00e3o direta. Neste caso, o modelo inicial inclui todas as vari\u00e1veis independentes. Em seguida, as vari\u00e1veis s\u00e3o exclu\u00eddas (uma por itera\u00e7\u00e3o), caso n\u00e3o contribuam para o novo modelo de regress\u00e3o em cada itera\u00e7\u00e3o. A exclus\u00e3o de caracter\u00edsticas baseia-se nos valores p do modelo inicial. Esse m\u00e9todo tamb\u00e9m apresenta incerteza ao remover vari\u00e1veis altamente correlacionadas.<\/p>\n
Exclus\u00e3o Recursiva de Caracter\u00edsticas<\/h3>\n RFE \u00e9 uma t\u00e9cnica\/algoritmo amplamente utilizado para selecionar um n\u00famero exato de caracter\u00edsticas significativas. \u00c0s vezes, o m\u00e9todo \u00e9 usado para explicar um certo n\u00famero dos \"mais importantes\" fatores que influenciam os resultados; outras vezes, para reduzir um n\u00famero muito grande de vari\u00e1veis (cerca de 200-400), mantendo apenas aquelas que contribuem de alguma forma para o modelo, enquanto todas as outras s\u00e3o exclu\u00eddas. RFE utiliza um sistema de classifica\u00e7\u00e3o. As caracter\u00edsticas no conjunto de dados recebem classifica\u00e7\u00f5es. Essas classifica\u00e7\u00f5es s\u00e3o ent\u00e3o usadas para a exclus\u00e3o recursiva de caracter\u00edsticas, dependendo da colinearidade entre elas e da signific\u00e2ncia dessas caracter\u00edsticas no modelo. Al\u00e9m de classificar caracter\u00edsticas, o RFE pode mostrar se essas caracter\u00edsticas s\u00e3o importantes ou n\u00e3o, mesmo para um n\u00famero fixo de caracter\u00edsticas (porque \u00e9 muito prov\u00e1vel que o n\u00famero escolhido de caracter\u00edsticas n\u00e3o seja \u00f3timo, e o n\u00famero ideal pode ser maior ou menor do que o selecionado).<\/p>\n
Gr\u00e1fico de Import\u00e2ncia das Caracter\u00edsticas<\/h3>\n Falando sobre a interpretabilidade dos algoritmos de aprendizado de m\u00e1quina, geralmente discutem-se regress\u00f5es lineares (que permitem analisar a import\u00e2ncia das caracter\u00edsticas atrav\u00e9s de valores p) e \u00e1rvores de decis\u00e3o (que mostram literalmente a import\u00e2ncia das caracter\u00edsticas em forma de \u00e1rvore, al\u00e9m de sua hierarquia). Por outro lado, em algoritmos como Random Forest, LightGBM e XG Boost, um gr\u00e1fico de import\u00e2ncia das caracter\u00edsticas \u00e9 frequentemente utilizado, ou seja, um gr\u00e1fico das vari\u00e1veis e \"quantidade de sua import\u00e2ncia\" \u00e9 constru\u00eddo. Isso \u00e9 especialmente \u00fatil quando \u00e9 necess\u00e1rio fornecer uma justificativa estruturada da import\u00e2ncia das caracter\u00edsticas em rela\u00e7\u00e3o ao seu impacto nos neg\u00f3cios.<\/p>\n
Regulariza\u00e7\u00e3o<\/h3>\n A regulariza\u00e7\u00e3o \u00e9 feita para controlar o equil\u00edbrio entre vi\u00e9s (bias) e varia\u00e7\u00e3o (variance). O vi\u00e9s mostra o qu\u00e3o bem o modelo se ajustou (overfit) ao conjunto de dados de treinamento. A varia\u00e7\u00e3o mostra o quanto as previs\u00f5es foram diferentes entre os conjuntos de dados de treinamento e de teste. Idealmente, tanto o vi\u00e9s quanto a varia\u00e7\u00e3o devem ser baixos. \u00c9 aqui que a regulariza\u00e7\u00e3o ajuda! Existem duas principais t\u00e9cnicas:<\/p>\n
Regulariza\u00e7\u00e3o L1 \u2014 Lasso: O Lasso penaliza os coeficientes de peso do modelo para alterar sua import\u00e2ncia para o modelo e pode at\u00e9 zer\u00e1-los (ou seja, remover essas vari\u00e1veis do modelo final). Geralmente, o Lasso \u00e9 usado quando o conjunto de dados cont\u00e9m um grande n\u00famero de vari\u00e1veis e \u00e9 necess\u00e1rio excluir algumas delas para entender melhor como as caracter\u00edsticas importantes afetam o modelo (ou seja, aquelas caracter\u00edsticas que foram selecionadas pelo Lasso e que t\u00eam uma import\u00e2ncia atribu\u00edda).<\/p>\n
Regulariza\u00e7\u00e3o L2 \u2014 M\u00e9todo Ridge: A tarefa do Ridge \u00e9 manter todas as vari\u00e1veis e ao mesmo tempo atribuir import\u00e2ncia a elas com base na contribui\u00e7\u00e3o para a efic\u00e1cia do modelo. O Ridge ser\u00e1 uma boa escolha se o conjunto de dados contiver um pequeno n\u00famero de vari\u00e1veis e todas forem necess\u00e1rias para interpretar as conclus\u00f5es e os resultados obtidos.<\/p>\n
J\u00e1 que o Ridge mant\u00e9m todas as vari\u00e1veis, enquanto o Lasso estabelece melhor sua import\u00e2ncia, foi desenvolvido um algoritmo que combina os melhores recursos de ambas as regulariza\u00e7\u00f5es e \u00e9 conhecido como Elastic-Net.<\/p>\n
Existem ainda muitas outras maneiras de sele\u00e7\u00e3o de caracter\u00edsticas para aprendizado de m\u00e1quina, mas a ideia principal continua a mesma: demonstrar a import\u00e2ncia das vari\u00e1veis e, em seguida, excluir algumas delas com base na import\u00e2ncia obtida. A import\u00e2ncia \u00e9 um termo muito subjetivo, pois n\u00e3o se refere a uma \u00fanica m\u00e9trica, mas a um conjunto de m\u00e9tricas e diagramas que podem ser usados para encontrar caracter\u00edsticas-chave.<\/p>\n
Obrigado pela leitura! Boas aprendizagens!<\/p>\n
Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t