Përshëndetje, Habr!
Ne në «Rexoft» kemi përkthyer në gjuhën shqipe artikullin . Shpresojmë se do të jetë e dobishme për të gjithë ata që janë të interesuar për këtë temë.
Në botën reale, të dhënat nuk janë gjithmonë aq të pastra, sa ndonjëherë mendojnë porositësit e biznesit. Pikërisht për këtë arsye kërkohet analiza inteligjente e të dhënave (data mining dhe data wrangling). Kjo ndihmon në zbulimin e vlerave të humbura dhe modeleve në të dhënat e strukturuara, duke përdorur kërkesa që nuk mund t'i identifikojë njeriu. Për të gjetur dhe përdorur këto modele për parashikimin e rezultateve, përmes lidhjeve të zbuluara në të dhëna, do të nevojitet mësimi i makinerive (Machine Learning).
PĂ«r tĂ« kuptuar çdo algoritem, Ă«shtĂ« e nevojshme tĂ« shqyrtohen tĂ« gjitha variablĂ«t nĂ« tĂ« dhĂ«na dhe tĂ« zbulohet se çfarĂ« pĂ«rfaqĂ«sojnĂ« kĂ«to variabla. Kjo Ă«shtĂ« jashtĂ«zakonisht e rĂ«ndĂ«sishme, sepse arsyetimi i rezultateve bazohet nĂ« kuptimin e tĂ« dhĂ«nave. NĂ«se tĂ« dhĂ«nat pĂ«rmbajnĂ« 5 ose madje 50 variabla, mund t'i shqyrtoni tĂ« gjitha. Por çfarĂ« nĂ«se ka 200? AtĂ«herĂ« thjesht nuk do tĂ« mjaftojĂ« koha pĂ«r tĂ« shqyrtuar çdo variabĂ«l tĂ« veçantĂ«. MĂ« shumĂ« se kaq, disa algoritem nuk funksionojnĂ« pĂ«r tĂ« dhĂ«nat kategorike, dhe nĂ« atĂ« rast do tĂ« duhet t'i kthejmĂ« tĂ« gjitha kolonat kategorike nĂ« variabla numĂ«rorĂ« (ato mund tĂ« duken si numĂ«rorĂ«, por metrikat do tĂ« tregojnĂ« se janĂ« kategorike), pĂ«r t'i shtuar ato nĂ« model. NĂ« kĂ«tĂ« mĂ«nyrĂ«, numri i variablĂ«ve rritet dhe ata bĂ«hen rreth 500. ĂfarĂ« tĂ« bĂ«jmĂ« tani? Mund tĂ« mendohet se zgjidhja do tĂ« ishte reduktimi i dimensionalitetit. Algoritmet pĂ«r reduktimin e dimensionalitetit zvogĂ«lojnĂ« numrin e parametrave, por ndikojnĂ« negativisht nĂ« interpretuarshmĂ«ri. ĂfarĂ« nĂ«se ekzistojnĂ« teknika tĂ« tjera qĂ« pĂ«rjashtojnĂ« karakteristikat dhe nĂ« tĂ« njĂ«jtĂ«n kohĂ« lejojnĂ« qĂ« tĂ« kuptohen dhe interpretohen lehtĂ«sisht ato qĂ« mbeten?
Në varësi të asaj nëse analiza është e bazuar në regresion apo klasifikim, algoritmet e seleksionit të veçorave mund të ndryshojnë, por ideja kryesore për realizimin e tyre mbetet e njëjtë.
Variablat e forta korrelacioni
Variablat që janë shumë të korrelacionuar me njëri-tjetrin i japin modelit të njëjtën informacion, prandaj, nuk është e nevojshme të përdoren të gjitha për analizë. Për shembull, nëse të dhënat (dataset) përmbajnë veçori "Koha në rrjet" dhe "Trafiku i përdorur", mund të supozojmë se ato do të jenë të korrelacionuara në njëfarë mënyre, dhe do të shohim një korelim të fortë, edhe nëse zgjedhim një mostër të rastësishme të të dhënave. Në këtë rast, modeli ka nevojë vetëm për një nga këto variabla. Nëse përdorim të dyja, modeli do të jetë i mbingarkuar (overfit) dhe i prirur ndaj një veçorie të veçantë.
Vlerat P
Në algoritmet si regresioni liniar, një model statistik fillestar është gjithmonë një ide e mirë. Ai ndihmon në tregimin e rëndësisë së karakteristikave përmes vlerave të tyre p, të cilat janë nxjerrë nga ky model. Duke vendosur një nivel rëndësie, ne kontrollojmë vlerat e fituara p, dhe nëse ndonjë vlerë rezulton të jetë më e ulët se niveli i caktuar i rëndësisë, atëherë kjo karakteristikë shpallet e rëndësishme, domethënë ndryshimi i vlerës së saj ka shumë mundësi të sjellë një ndryshim në vlerën e targetit.
Zgjedhja e drejtpërdrejtë
Selekcija e drejtpërdrejtë është një teknikë që përfshin përdorimin e regresionit me hapa. Ndërtimi i modelit fillon nga një pikë zero, domethënë një model bosh, dhe pastaj çdo iteracion shton një variabël që sjell përmirësim në modelin në ndërtim. Variabli që shtohet në model përcaktohet nga rëndësia e tij. Kjo mund të llogaritet duke përdorur metrika të ndryshme. Mënyra më e zakonshme është përdorimi i vlerave p, të cilat merren nga një model statistikor fillestar duke përdorur të gjitha variablat. Disa herë, seleksioni i drejtpërdrejtë mund të çojë në mbifitim të modelit, pasi në model mund të ndodhen variabla me korrelacion të fortë, edhe nëse ata ofrojnë të njëjtin informacion për modelin (por modeli në këtë rast tregon përmirësim).
Seleksioni i kundërt
Zgjedhja e kthyer gjithashtu përfshin përjashtimin hap pas hapi të karakteristikave, megjithatë në drejtimin e kundërt në krahasim me të drejtat. Në këtë rast, modeli fillestar përfshin të gjithë variablat e pavarur. Më pas, variablat përjashtohen (një nga një për iteracion), nëse ata nuk kanë vlerë për modelin e ri regresion në çdo iteracion. Në themel të përjashtimit të karakteristikave qëndrojnë treguesit e vlerave p të modelit fillestar. Në këtë metodë ka gjithashtu pasiguri në heqjen e variablave që janë fort të korreluar.
PĂ«rjashtimi rekurziv i karakteristikave
RFE është një teknikë/algotitëm i përdorur gjerësisht për të zgjedhur numrin e saktë të karakteristikave të rëndësishme. Ndonjëherë metoda përdoret për të shpjeguar një numër "më të rëndësishmish" të karakteristikave që ndikojnë në rezultatet; dhe ndonjëherë për të reduktuar një numër shumë të madh variablish (rreth 200-400), duke lënë vetëm ata që kontribuojnë ndonjëherë në model, ndërsa të tjerët përjashtohen. RFE përdor një sistem renditjeje. Karakteristikave në grupin e të dhënave u jepen renditje. Më pas këto renditje përdoren për përjashtimin rekursiv të karakteristikave, në varësi të kollinearitetit midis tyre dhe rëndësisë së këtyre karakteristikave në model. Përveç renditjes së karakteristikave, RFE mund të tregojë nëse këto karakteristika janë të rëndësishme apo jo, edhe për një numër të caktuar karakteristikash (sepse është shumë e mundur që numri i zgjedhur i karakteristikave mund të mos jetë optimal, dhe numri optimal i karakteristikave mund të jetë më i madh ose më i vogël se ai i zgjedhuri).
Diagrami i rëndësisë së karakteristikave
Duke për interpretimin e algoritmeve të mësimit të makinerive, zakonisht diskutohet për regresionet linjare (të cilat lejojnë të analizohet rëndësia e karakteristikave përmes vlerave p) dhe pemët e vendimeve (të cilat tregojnë rëndësinë e karakteristikave në formën e një peme, si dhe hierarkinë e tyre). Nga ana tjetër, në algoritme si Random Forest, LightGBM dhe XG Boost, shpesh përdoret një diagram i rëndësisë së karakteristikave, që do të thotë se ndërtohet një diagram i variablave dhe "sasitë e rëndësisë" së tyre. Kjo është veçanërisht e dobishme kur duhet të ofrohet një justifikim i strukturuar i rëndësisë së karakteristikave në lidhje me ndikimin e tyre në biznes.
Regjistrimi
Regjistrimi bëhet për të kontrolluar bilancin mes paragjykimit (bias) dhe devijimit (variance). Paragjykimi tregon se sa modeli është përshtatur (overfit) në grupin e të dhënave të trajnimit. Devijimi tregon se sa të ndryshme ishin parashikimet mes seteve të të dhënave të trajnimit dhe atyre për testim. Idealisht, si paragjykimi ashtu edhe devijimi duhet të jenë të vogla. Këtu vjen në ndihmë regjistrimi! Ekzistojnë dy teknika kryesore:
L1 Regularizimi â Lasso: Lasso penalizon coefficientĂ«t e modelit pĂ«r tĂ« ndryshuar rĂ«ndĂ«sinĂ« e tyre pĂ«r modelin dhe madje mund t'i anulojĂ« ato (dmth. t'i heqĂ« kĂ«to variabla nga modeli pĂ«rfundimtar). Zakonisht, Lasso pĂ«rdoret nĂ«se grupi i tĂ« dhĂ«nave pĂ«rmban njĂ« numĂ«r tĂ« madh variablash dhe Ă«shtĂ« e nevojshme tĂ« pĂ«rjashtohen disa nga ata pĂ«r tĂ« kuptuar mĂ« mirĂ« se si karakteristikat e rĂ«ndĂ«sishme ndikojnĂ« nĂ« model (dmth. ato karakteristika qĂ« janĂ« pĂ«rzgjedhur prej Lasso dhe pĂ«r tĂ« cilat Ă«shtĂ« vendosur rĂ«ndĂ«sia).
L2 Regularizimi â metoda Ridge: QĂ«llimi i Ridge Ă«shtĂ« tĂ« mbajĂ« tĂ« gjithĂ« variablat dhe nĂ« tĂ« njĂ«jtĂ«n kohĂ« t'u caktojĂ« atyre rĂ«ndĂ«si mbi bazĂ«n e kontributit nĂ« performancĂ«n e modelit. Ridge do tĂ« ishte njĂ« zgjedhje e mirĂ« nĂ«se grupi i tĂ« dhĂ«nave pĂ«rmban njĂ« numĂ«r tĂ« vogĂ«l variablash dhe tĂ« gjithĂ« janĂ« tĂ« nevojshĂ«m pĂ«r interpretimin e pĂ«rfundimeve dhe rezultateve tĂ« marra.
Duke pasur parasysh se Ridge lë të gjithë variablat, ndërsa Lasso vendos më mirë rëndësinë e tyre, është zhvilluar një algoritem që bashkon veçoritë më të mira të të dyja regularizimeve dhe njohur si Elastic-Net.
Kaèżæ shumĂ« mĂ«nyra pĂ«r tĂ« seleksionuar karakteristikat pĂ«r mĂ«simin e makinerive, por ideja kryesore gjithmonĂ« mbetet e njĂ«jtĂ«: tĂ« demonstrohet rĂ«ndĂ«sia e variablave dhe pastaj tĂ« pĂ«rjashtohen disa nga ata nĂ« bazĂ« tĂ« rĂ«ndĂ«sisĂ« sĂ« marrĂ«. RĂ«ndĂ«sia Ă«shtĂ« njĂ« term shumĂ« subjektiv, pasi nuk Ă«shtĂ« njĂ«, por njĂ« grup i tĂ«rĂ« metrikash dhe grafikĂ«sh qĂ« mund tĂ« pĂ«rdoren pĂ«r tĂ« gjetur karakteristikat kyçe.
Faleminderit për leximin! Gëzuar mësimin!
Burimi: habr.com
