Merkmalsauswahl im Maschinenlernen<\/a><\/noindex>. Wir hoffen, dass es f\u00fcr alle von Nutzen sein wird, die sich f\u00fcr das Thema interessieren.<\/p>\nIn der realen Welt sind Daten nicht immer so sauber, wie es manchmal von Gesch\u00e4ftskunden angenommen wird. Daher ist die intelligente Datenanalyse (Data Mining und Datenaufbereitung) sehr gefragt. Sie hilft, fehlende Werte und Muster in strukturierten Daten zu identifizieren, die nicht von Menschen erkannt werden k\u00f6nnen. Um diese Muster zu finden und f\u00fcr die Vorhersage von Ergebnissen anhand der entdeckten Zusammenh\u00e4nge in den Daten zu nutzen, ist maschinelles Lernen (Machine Learning) n\u00fctzlich.<\/p>\n
Um einen Algorithmus zu verstehen, ist es notwendig, alle Variablen in den Daten zu betrachten und herauszufinden, was diese Variablen darstellen. Das ist \u00e4u\u00dferst wichtig, da die Begr\u00fcndung der Ergebnisse auf dem Verst\u00e4ndnis der Daten beruht. Wenn die Daten 5 oder sogar 50 Variablen enthalten, kann man alle studieren. Aber was ist, wenn es 200 sind? Dann bleibt einfach nicht genug Zeit, jede einzelne Variable zu untersuchen. Dar\u00fcber hinaus funktionieren einige Algorithmen nicht f\u00fcr kategoriale Daten, und in diesem Fall m\u00fcssen alle kategorialen Spalten in quantitative Variablen umgewandelt werden (sie k\u00f6nnen quantitativ aussehen, aber die Metriken zeigen, dass sie kategorial sind), um sie in das Modell einzuf\u00fchren. So erh\u00f6ht sich die Anzahl der Variablen auf etwa 500. Was ist jetzt zu tun? Man k\u00f6nnte denken, dass die Antwort in der Dimensionsreduktion liegt. Algorithmen zur Dimensionsreduktion verringern die Anzahl der Parameter, haben aber negative Auswirkungen auf die Interpretierbarkeit. Was, wenn es andere Techniken gibt, die Merkmale ausschlie\u00dfen und gleichzeitig die verbleibenden leicht verst\u00e4ndlich machen?<\/p>\n
Je nachdem, ob die Analyse auf Regression oder Klassifikation basiert, k\u00f6nnen die Algorithmen zur Merkmalsauswahl unterschiedlich sein, aber die Hauptidee ihrer Umsetzung bleibt die gleiche.<\/p>\n
Stark korrelierte Variablen<\/h3>\n Stark korrelierte Variablen geben dem Modell dieselbe Information, daher ist es nicht n\u00f6tig, sie alle f\u00fcr die Analyse zu verwenden. Wenn beispielsweise ein Datensatz die Merkmale \"Online-Zeit\" und \"Verwendeter Traffic\" enth\u00e4lt, kann angenommen werden, dass sie bis zu einem gewissen Grad korreliert sein werden, und wir werden eine starke Korrelation feststellen, selbst wenn wir eine unvoreingenommene Datenprobe w\u00e4hlen. In diesem Fall ben\u00f6tigt das Modell nur eine dieser Variablen. Wenn beide verwendet werden, wird das Modell \u00fcberangepasst (overfit) und zeigt eine Verzerrung gegen\u00fcber einem bestimmten Merkmal.<\/p>\n
P-Werte<\/h3>\n In Algorithmen wie der linearen Regression ist es immer eine gute Idee, ein anf\u00e4ngliches statistisches Modell zu verwenden. Es hilft, die Wichtigkeit der Merkmale anhand ihrer P-Werte zu zeigen, die mit diesem Modell erhalten wurden. Durch Festlegung des Signifikanzniveaus \u00fcberpr\u00fcfen wir die erhaltenen P-Werte, und wenn ein Wert unter dem festgelegten Signifikanzniveau liegt, wird dieses Merkmal als signifikant angesehen, was bedeutet, dass eine \u00c4nderung seines Wertes wahrscheinlich zu einer \u00c4nderung des Zielwertes f\u00fchrt.<\/p>\n
Vorw\u00e4rtsauswahl<\/h3>\n Vorw\u00e4rtsauswahl ist eine Technik, die in der schrittweisen Regression angewendet wird. Der Modellaufbau beginnt von Grund auf, also mit einem leeren Modell, und dann wird in jeder Iteration eine Variable hinzugef\u00fcgt, die das entstehende Modell verbessert. Welche Variable in das Modell aufgenommen wird, bestimmt ihre Signifikanz. Dies kann unter Verwendung verschiedener Metriken berechnet werden. Die gebr\u00e4uchlichste Methode besteht darin, P-Werte zu verwenden, die im urspr\u00fcnglichen statistischen Modell unter Verwendung aller Variablen erhalten wurden. Manchmal kann die Vorw\u00e4rtsauswahl zu einer \u00dcberanpassung des Modells f\u00fchren, da stark korrelierte Variablen im Modell enthalten sein k\u00f6nnen, selbst wenn sie dem Modell dieselbe Information liefern (das Modell jedoch gleichzeitig eine Verbesserung zeigt).<\/p>\n
R\u00fcckw\u00e4rtsauswahl<\/h3>\n Die r\u00fcckw\u00e4rtsgerichtete Auswahl besteht ebenfalls aus schrittweiser Ausschluss von Merkmalen, jedoch in entgegengesetzter Richtung im Vergleich zur direkten Auswahl. In diesem Fall umfasst das anf\u00e4ngliche Modell alle unabh\u00e4ngigen Variablen. Danach werden die Variablen ausschlie\u00dfende (eine nach der anderen pro Iteration), wenn sie f\u00fcr das neue Regressionsmodell in jeder Iteration keinen Wert haben. Dem Ausschluss von Merkmalen liegen die p-Werte des anf\u00e4nglichen Modells zugrunde. Auch in dieser Methode gibt es Unsicherheiten beim Entfernen von stark korrelierten Variablen.<\/p>\n
Rekursive Merkmalsauswahl<\/h3>\n RFE ist eine weit verbreitete Technik\/Algorithmus zur Auswahl einer genauen Anzahl von signifikanten Merkmalen. Manchmal wird die Methode verwendet, um eine bestimmte Anzahl von \"wichtigsten\" Merkmalen zu erkl\u00e4ren, die die Ergebnisse beeinflussen; manchmal auch, um eine sehr gro\u00dfe Anzahl von Variablen (etwa 200-400) zu reduzieren und nur die zu belassen, die einen gewissen Beitrag zum Modell leisten, w\u00e4hrend alle anderen ausgeschlossen werden. RFE verwendet ein Rangsystem. Den Merkmalen im Datensatz werden R\u00e4nge zugewiesen. Diese R\u00e4nge werden dann f\u00fcr den rekursiven Ausschluss von Merkmalen in Abh\u00e4ngigkeit von der Kollinearit\u00e4t zwischen ihnen und der Bedeutung dieser Merkmale im Modell verwendet. Neben der Rangordnung der Merkmale kann RFE auch zeigen, ob diese Merkmale selbst f\u00fcr eine gegebene Anzahl von Merkmalen wichtig sind oder nicht (da sehr wahrscheinlich ist, dass die gew\u00e4hlte Anzahl von Merkmalen nicht optimal sein kann und die optimale Anzahl sowohl gr\u00f6\u00dfer als auch kleiner als die gew\u00e4hlte sein kann).<\/p>\n
Bedeutungsdiagramm der Merkmale<\/h3>\n Wenn \u00fcber die Interpretierbarkeit von Algorithmen des maschinellen Lernens gesprochen wird, werden normalerweise lineare Regressionen (die es erm\u00f6glichen, die Signifikanz von Merkmalen mithilfe von p-Werten zu analysieren) und Entscheidungsb\u00e4ume (die die Bedeutung von Merkmalen in Form eines Baumes und gleichzeitig deren Hierarchie darstellen) diskutiert. Auf der anderen Seite wird in Algorithmen wie Random Forest, LightGBM und XG Boost h\u00e4ufig ein Diagramm zur Merkmalsbedeutung verwendet, das hei\u00dft, es wird ein Diagramm der Variablen und ihrer \"Bedeutung\" erstellt. Dies ist besonders n\u00fctzlich, wenn ein strukturiertes Argument zur Bedeutung von Merkmalen in Bezug auf ihren Einfluss auf das Gesch\u00e4ft bereitgestellt werden muss.<\/p>\n
Regulierung<\/h3>\n Die Regularisierung wird durchgef\u00fchrt, um das Gleichgewicht zwischen Verzerrung (Bias) und Varianz (Variance) zu kontrollieren. Die Verzerrung zeigt, wie sehr das Modell \u00fcberangepasst (overfit) ist, basierend auf dem Trainingsdatensatz. Die Varianz zeigt, wie unterschiedlich die Vorhersagen zwischen dem Trainings- und dem Testdatensatz waren. Idealerweise sollten sowohl die Verzerrung als auch die Varianz gering sein. Hier kommt die Regularisierung ins Spiel! Es gibt zwei Haupttechniken:<\/p>\n
L1-Regularisierung \u2014 Lasso: Lasso bestraft die Gewichtungskoeffizienten des Modells, um deren Bedeutung f\u00fcr das Modell zu ver\u00e4ndern, und kann sie sogar auf null setzen (d.h. diese Variablen aus dem endg\u00fcltigen Modell entfernen). Lasso wird normalerweise verwendet, wenn der Datensatz eine gro\u00dfe Anzahl von Variablen enth\u00e4lt und einige davon ausgeschlossen werden m\u00fcssen, um besser zu verstehen, wie wichtige Merkmale das Modell beeinflussen (d.h. die Merkmale, die von Lasso ausgew\u00e4hlt wurden und deren Bedeutung festgelegt ist).<\/p>\n
L2-Regularisierung \u2014 Ridge-Methoden: Die Aufgabe von Ridge besteht darin, alle Variablen zu erhalten und ihnen gleichzeitig eine Bedeutung basierend auf ihrem Beitrag zur Wirksamkeit des Modells zuzuweisen. Ridge ist eine gute Wahl, wenn der Datensatz eine geringe Anzahl von Variablen enth\u00e4lt und alle f\u00fcr die Interpretation der Schlussfolgerungen und Ergebnisse ben\u00f6tigt werden.<\/p>\n
Da Ridge alle Variablen beibeh\u00e4lt und Lasso besser deren Bedeutung festlegt, wurde ein Algorithmus entwickelt, der die besten Eigenschaften beider Regularisierungen kombiniert und als Elastic-Net bekannt ist.<\/p>\n
Es gibt noch viele weitere Methoden zur Merkmalsauswahl f\u00fcr das maschinelle Lernen, aber die Hauptidee bleibt immer dieselbe: Die Wichtigkeit der Variablen zu demonstrieren und dann einige davon basierend auf der erhaltenen Wichtigkeit auszuschlie\u00dfen. Wichtigkeit ist ein sehr subjektiver Begriff, da es sich nicht um eine einzige, sondern um eine ganze Reihe von Metriken und Diagrammen handelt, die zur Identifizierung von Schl\u00fcsselfunktionen verwendet werden k\u00f6nnen.<\/p>\n
Vielen Dank f\u00fcrs Lesen! Viel Spa\u00df beim Lernen!<\/p>\n
Quelle: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u044b \u0432 \u00ab\u0420\u0435\u043a\u0441\u043e\u0444\u0442\u00bb \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0441\u0442\u0430\u0442\u044c\u044e Feature Selection in Machine Learning. \u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432\u0441\u0435\u043c, \u043a\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u043d\u043e\u0434\u0443\u0448\u0435\u043d \u043a \u0442\u0435\u043c\u0435. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0447\u0438\u0441\u0442\u044b\u0435, \u043a\u0430\u043a \u043f\u043e\u0440\u043e\u0439 \u0434\u0443\u043c\u0430\u044e\u0442 \u0431\u0438\u0437\u043d\u0435\u0441-\u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0434\u0430\u043d\u043d\u044b\u0445 (data mining \u0438 data wrangling). \u041e\u043d \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93155","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t