Feature Selection im Maschinenlernen<\/a><\/noindex>. Wir hoffen, dass es f\u00fcr alle von Interesse sein wird, die sich f\u00fcr das Thema begeistern.<\/p>\nIn der realen Welt sind Daten nicht immer so sauber, wie es manchmal die Gesch\u00e4ftskunden annehmen. Genau deshalb ist die intelligente Datenanalyse (Data Mining und Data Wrangling) gefragt. Sie hilft dabei, fehlende Werte und Muster in strukturierten Daten zu identifizieren, die durch Abfragen schwer erkennbar sind. Um diese Muster zu finden und zu nutzen, um Ergebnisse vorherzusagen, sind die entdeckten Verbindungen in den Daten hilfreich; hier kommt das maschinelle Lernen (Machine Learning) ins Spiel.<\/p>\n
Um jeden Algorithmus zu verstehen, ist es notwendig, alle Variablen in den Daten zu betrachten und herauszufinden, was diese Variablen darstellen. Dies ist von entscheidender Bedeutung, da das Verst\u00e4ndnis der Daten die Grundlage f\u00fcr die Begr\u00fcndung der Ergebnisse bildet. Wenn die Daten 5 oder sogar 50 Variablen umfassen, kann man alle untersuchen. Aber was ist, wenn es 200 sind? Dann reicht die Zeit einfach nicht aus, um jede einzelne Variable zu analysieren. Dar\u00fcber hinaus funktionieren einige Algorithmen nicht f\u00fcr kategoriale Daten, und es ist notwendig, alle kategorialen Spalten in quantitative Variablen umzuwandeln (sie k\u00f6nnen wie quantitative Variablen aussehen, aber die Metriken zeigen, dass sie kategorial sind), um sie in das Modell einzuf\u00fcgen. Dadurch erh\u00f6ht sich die Anzahl der Variablen, und es k\u00f6nnten etwa 500 werden. Was ist jetzt zu tun? Man k\u00f6nnte denken, dass die Antwort in der Dimensionsreduktion liegt. Algorithmen zur Dimensionsreduktion verringern die Anzahl der Parameter, beeintr\u00e4chtigen jedoch die Interpretierbarkeit. Gibt es vielleicht andere Techniken, die Merkmale ausschlie\u00dfen und gleichzeitig das Verst\u00e4ndnis und die Interpretation der verbleibenden Merkmale erleichtern?<\/p>\n
Je nach Art der Analyse, ob sie auf Regression oder Klassifikation basiert, k\u00f6nnen sich die Auswahlmethoden f\u00fcr Merkmale unterscheiden, aber die grundlegende Idee ihrer Implementierung bleibt gleich.<\/p>\n
Stark korrelierte Variablen<\/h3>\n Stark korrelierte Variablen liefern dem Modell dieselbe Information, weshalb nicht alle f\u00fcr die Analyse ben\u00f6tigt werden. Wenn beispielsweise der Datensatz die Merkmale \u201eOnline-Zeit\u201c und \u201eVerbrauchter Traffic\u201c enth\u00e4lt, kann man annehmen, dass sie in gewissem Ma\u00dfe korreliert sind, und wir werden eine starke Korrelation sehen, selbst wenn wir eine zuf\u00e4llige Stichprobe w\u00e4hlen. In diesem Fall wird nur eine dieser Variablen im Modell ben\u00f6tigt. Wenn beide verwendet werden, besteht die Gefahr der \u00dcberanpassung (Overfitting) und der Vorurteil gegen\u00fcber einem speziellen Merkmal.<\/p>\n
P-Werte<\/h3>\n In Algorithmen wie der linearen Regression ist ein anf\u00e4ngliches statistisches Modell immer eine gute Idee. Es hilft, die Bedeutung der Merkmale anhand ihrer p-Werte zu zeigen, die mit diesem Modell ermittelt wurden. Indem wir ein Signifikanzniveau festlegen, \u00fcberpr\u00fcfen wir die erhaltenen p-Werte, und wenn ein Wert unter dem festgelegten Signifikanzniveau liegt, wird dieses Merkmal als signifikant betrachtet, das hei\u00dft, eine \u00c4nderung seines Wertes wird voraussichtlich zu einer \u00c4nderung des Zielwerts f\u00fchren.<\/p>\n
Direktauswahl<\/h3>\n Die direkte Auswahl ist eine Technik, die auf iterativer Regression basiert. Der Aufbau des Modells beginnt von Grund auf, also mit einem leeren Modell, und jede Iteration f\u00fcgt eine Variable hinzu, die eine Verbesserung des konstruierten Modells bewirkt. Welche Variable dem Modell hinzugef\u00fcgt wird, bestimmt ihre Bedeutung. Dies kann mit verschiedenen Metriken berechnet werden. Der gebr\u00e4uchlichste Weg ist die Anwendung von p-Werten, die aus dem urspr\u00fcnglichen statistischen Modell unter Verwendung aller Variablen gewonnen werden. Manchmal kann die direkte Auswahl jedoch zur \u00dcberanpassung des Modells f\u00fchren, da im Modell stark korrelierte Variablen enthalten sein k\u00f6nnen, selbst wenn sie die gleiche Information liefern (das Modell zeigt jedoch eine Verbesserung).<\/p>\n
Die r\u00fcckw\u00e4rtige Auswahl<\/h3>\n Das r\u00fcckw\u00e4rtige Feature-Selection besteht ebenfalls aus der schrittweisen Eliminierung von Merkmalen, jedoch in die entgegengesetzte Richtung im Vergleich zur Vorw\u00e4rtsauswahl. In diesem Fall umfasst das Ausgangsmodell alle unabh\u00e4ngigen Variablen. Anschlie\u00dfend werden Variablen (eine nach der anderen) ausgeschlossen, wenn sie in jeder Iteration keinen Wert f\u00fcr das neue Regressionsmodell haben. Die Grundlage f\u00fcr die Merkmalseliminierung bilden die p-Werte des Ausgangsmodells. Auch in dieser Methode gibt es Unsicherheiten beim Entfernen von stark korrelierten Variablen.<\/p>\n
Rekursives Feature-Selection<\/h3>\n RFE ist eine weit verbreitete Technik\/Algorithmus zur Auswahl einer genauen Anzahl bedeutender Merkmale. Manchmal wird die Methode verwendet, um eine bestimmte Anzahl von \"wichtigsten\" Merkmalen zu erkl\u00e4ren, die die Ergebnisse beeinflussen; manchmal auch, um eine sehr gro\u00dfe Anzahl von Variablen (etwa 200-400) zu reduzieren und nur die zu belassen, die einen gewissen Beitrag zum Modell leisten, w\u00e4hrend alle anderen ausgeschlossen werden. RFE verwendet ein Rangsystem. Den Merkmalen im Datensatz werden R\u00e4nge zugewiesen. Diese R\u00e4nge werden dann verwendet, um Merkmale rekursiv basierend auf der Kollinearit\u00e4t zwischen ihnen und der Bedeutung dieser Merkmale im Modell auszuschlie\u00dfen. Neben der Rangordnung der Merkmale kann RFE zeigen, ob diese Merkmale oder nicht sogar f\u00fcr eine bestimmte Anzahl von Merkmalen wichtig sind (da es sehr wahrscheinlich ist, dass die gew\u00e4hlte Anzahl von Merkmalen nicht optimal ist und die optimale Anzahl sowohl gr\u00f6\u00dfer als auch kleiner als die gew\u00e4hlte sein kann).<\/p>\n
Diagramm der Merkmalswichtigkeit<\/h3>\n Wenn es um die Interpretierbarkeit von Machine-Learning-Algorithmen geht, wird oft \u00fcber lineare Regressionen gesprochen (die mit p-Werten die Bedeutung der Merkmale analysieren) und Entscheidungsb\u00e4ume (die die Wichtigkeit der Merkmale in Form eines Baumes darstellen und zudem deren Hierarchie aufzeigen). Andererseits wird in Algorithmen wie Random Forest, LightGBM und XG Boost h\u00e4ufig ein Diagramm zur Merkmalsbedeutung verwendet, das hei\u00dft, es wird ein Diagramm der Variablen und deren \"Bedeutungsgrad\" erstellt. Dies ist besonders n\u00fctzlich, wenn eine strukturierte Begr\u00fcndung der Merkmalswichtigkeit in Bezug auf deren Einfluss auf das Gesch\u00e4ft bereitgestellt werden muss.<\/p>\n
Regularisierung<\/h3>\n Regularisierung wird eingesetzt, um das Gleichgewicht zwischen Bias (Voreingenommenheit) und Varianz zu steuern. Der Bias zeigt, wie stark das Modell auf die Trainingsdaten \u00fcberangepasst (overfit) ist. Die Varianz zeigt, wie unterschiedlich die Vorhersagen zwischen dem Trainings- und dem Testdatensatz waren. Idealerweise sollten sowohl Bias als auch Varianz gering sein. Hier kommt die Regularisierung ins Spiel! Es gibt zwei grundlegende Techniken:<\/p>\n
L1-Regularisierung \u2013 Lasso: Lasso bestraft die Gewichtungskoeffizienten des Modells, um deren Bedeutung f\u00fcr das Modell zu ver\u00e4ndern, und kann sie sogar auf null setzen (d. h. diese Variablen aus dem endg\u00fcltigen Modell entfernen). Normalerweise wird Lasso verwendet, wenn der Datensatz eine gro\u00dfe Anzahl von Variablen enth\u00e4lt und einige ausgeschlossen werden m\u00fcssen, um besser zu verstehen, wie wichtige Merkmale das Modell beeinflussen (d. h. die Merkmale, die von Lasso ausgew\u00e4hlt wurden und deren Bedeutung festgelegt wurde).<\/p>\n
L2-Regularisierung \u2013 Ridge-Methode: Ziel von Ridge ist es, alle Variablen beizubehalten und ihnen gleichzeitig eine Bedeutung basierend auf ihrem Beitrag zur Effizienz des Modells zuzuweisen. Ridge ist eine gute Wahl, wenn der Datensatz eine kleine Anzahl von Variablen enth\u00e4lt und alle f\u00fcr die Interpretation der Schlussfolgerungen und der erzielten Ergebnisse erforderlich sind.<\/p>\n
Da Ridge alle Variablen bel\u00e4sst und Lasso besser deren Bedeutung festlegt, wurde ein Algorithmus entwickelt, der die besten Eigenschaften beider Regularisierungen kombiniert und als Elastic-Net bekannt ist.<\/p>\n
Es gibt viele Methoden zur Merkmalsauswahl f\u00fcr maschinelles Lernen, aber die Hauptidee bleibt immer die gleiche: die Wichtigkeit der Variablen zu demonstrieren und dann einige von ihnen basierend auf der ermittelten Wichtigkeit auszuschlie\u00dfen. Wichtigkeit ist ein sehr subjektiver Begriff, da es sich nicht um einen, sondern um eine ganze Reihe von Metriken und Diagrammen handelt, die verwendet werden k\u00f6nnen, um Schl\u00fcsselmerkmale zu identifizieren.<\/p>\n
Danke f\u00fcrs Lesen! Viel Spa\u00df beim Lernen!<\/p>\n
Quelle: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t