Iespēju atlase mašīnmācībā

Sveiki, Habr!

Mēs uzņēmumā „Rexoft” esam pārtulkojuši rakstu latviešu valodā Funkciju atlase mašīnmācībā. Ceram, ka tas būs noderīgi visiem, kas nav vienaldzīgi pret šo tēmu.

Reālajā pasaulē dati ne vienmēr ir tik tīri, kā dažreiz domā biznesa pasūtītāji. Tieši tāpēc ir pieprasīts inteliģentais datu analīze (data mining un data wrangling). Tas palīdz identificēt trūkstošās vērtības un raksturus strukturētajos datos, izmantojot pieprasījumus, kurus cilvēks nevar noteikt. Lai atrastu un izmantotu šos raksturus rezultātu prognozēšanai, izmantojot atklātās saites datos, noderēs mašīnmācība (Machine Learning).

Lai izprastu jebkuru algoritmu, ir jāapskata visas mainīgās vērtības datos un jānoskaidro, ko šie mainīgie pārstāv. Tas ir ārkārtīgi svarīgi, jo rezultātu pamatojums balstās uz datu izpratni. Ja datos ir 5 vai pat 50 mainīgo, tos visus var izpētīt. Bet ko darīt, ja tie ir 200? Tad laika nevarēs pietikt, lai izpētītu katru atsevišķo mainīgo. Turklāt daži algoritmi nedarbojas ar kategoriskajiem datiem, un tad būs jākonvertē visi kategoriskie stabi kvantitatīvajos mainīgajos (tie var izskatīties kvantitatīvi, bet metrikas parādīs, ka tie ir kategoriski), lai tos varētu iekļaut modelī. Tāpat mainīgo skaits palielinās, un to kļūst apmēram 500. Ko tagad darīt? Varētu domāt, ka risinājums būs dimensiju samazināšana. Dimensiju samazināšanas algoritmi samazina parametru skaitu, bet negatīvi ietekmē interpretējamo rezultātu. Ko darīt, ja pastāv citas tehnikas, kas izslēdz iezīmes un tajā pašā laikā ļauj viegli saprast un interpretēt atlikušos?

Atkarībā no tā, vai analīze balstās uz regresiju vai klasifikāciju, iezīmes atlases algoritmi var atšķirties, taču to ieviešanas galvenā ideja paliek viena un tā pati.

Stipri korelēti mainīgie

Vāji savstarpēji korelētie mainīgie sniedz modelim to pašu informāciju, tāpēc analīzei nav nepieciešams izmantot visus. Piemēram, ja datu kopā ir iekļauti rādītāji "Laiks tiešsaistē" un "Izmantotā datu plūsma", var pieņemt, ka tie zināmā mērā būs korelēti, un mēs novērosim spēcīgu korelāciju, pat ja izvēlēsimies neobjektīvu datu paraugu. Šādā gadījumā modelī nepieciešams tikai viens no šiem mainīgajiem. Ja izmantosim abus, modelis kļūs pārmācīts (overfit) un iepriekšējais attiecībā uz kādu konkrētu raksturojumu.

P-vērtības

Tādos algoritmos kā lineārā regresija sākotnējā statistiskā modeļa izveide vienmēr ir laba ideja. Tā palīdz parādīt rādītāju nozīmīgumu, balstoties uz to p-vērtībām, kuras iegūtas šajā modelī. Iestādot nozīmīguma līmeni, mēs pārbaudām iegūtās p-vērtības, un, ja kāda vērtība izrādās zemāka par noteikto nozīmīguma līmeni, šis rādītājs tiek uzskatīts par nozīmīgu, tas ir, izmaiņas tā vērtībā, visticamāk, radīs izmaiņas mērķa vērtībā.

Taisnā atlase

Taisnā atlase ir tehnika, kas ietver pakāpeniskas regresijas pielietojumu. Modeļa izveidi sāk ar pilnīgu nulli, proti, tukšu modeli, bet pēc tam katra iterācija pievieno mainīgo, kas uzlabo veidojamo modeli. Tās mainīgā pievienošana modelim tiek noteikta pēc tās nozīmīguma. To var aprēķināt, izmantojot dažādas metriskas. Visizplatītākais veids ir p-vērtību pielietošana, kas iegūtas sākotnējā statistiskajā modelī ar visiem mainīgajiem. Dažreiz taisnā atlase var novest pie modeļa pārmācības, jo modelī var būt spēcīgi korelēti mainīgie, pat ja tie sniedz modeli vienu un to pašu informāciju (taču modelis šajā gadījumā rāda uzlabojumus).

Aizmugurējā atlase

Atgriezeniskā atlase ir solīga izslēgšana, taču pretējā virzienā salīdzinājumā ar tiešo. Šajā gadījumā sākotnējā modeļa ietver visas neatkarīgās mainīgās. Pēc tam mainīgie tiek izslēgti (pa vienam katrā iterācijā), ja tie neiegūst vērtību jaunajai regresijas modelim katrā iterācijā. Izslēgšanas pamatā ir p-vērtības sākotnējā modelī. Šajā metodē arī pastāv nenoteiktība, izslēdzot stipri korelētus mainīgos.

Rekursīvā mainīgo izslēgšana

RFE ir plaši izmantota tehnika/algoritms precīza nozīmīgu mainīgo skaita izvēlē. Dažreiz metodi izmanto, lai izskaidrotu kādu skaitu "visnozīmīgākajiem" mainīgajiem, kas ietekmē rezultātus; citreiz, lai samazinātu ļoti lielu mainīgo skaitu (ap 200-400), atstājot tikai tos, kas iegulda kaut kādu ieguldījumu modelī, bet visus pārējos izslēdz. RFE izmanto rangu sistēmu. Mainīgajiem datu kopā tiek piešķirti rangi. Pēc tam šie rangi tiek izmantoti rekursīvai mainīgo izslēgšanai atkarībā no to kolinearitātes un nozīmības šajos mainīgajos modelī. Papildus mainīgo rangēšanai, RFE var parādīt, cik nozīmīgi šie mainīgie ir vai nav pat doto mainīgo skaitam (jo ir ļoti iespējams, ka izvēlētais mainīgo skaits var būt neoptimāls, un optimālais skaits var būt gan lielāks, gan mazāks par izvēlēto).

Mainīgo nozīmīguma diagramma

Runājot par mašīnmācīšanās algoritmu interpretējamību, parasti tiek apspriesta lineārā regresija (kas ļauj analizēt mainīgo nozīmību, izmantojot p-vērtības) un lēmumu koki (kas burtiski parāda mainīgo nozīmību koka formā, kā arī viņu hierarhiju). No otras puses, tādos algoritmos kā Random Forest, LightGBM un XG Boost, bieži tiek izmantota mainīgo nozīmīguma diagramma, t.i., tiek izveidota diagramma ar mainīgajiem un "to nozīmīguma skaitu". Tas ir īpaši noderīgi, kad nepieciešams sniegt strukturētu pamatojumu mainīgo nozīmībai attiecībā uz viņu ietekmi uz biznesu.

Regulāraizācija

Regulēšana tiek veikta, lai kontrolētu līdzsvaru starp noslieci (bias) un novirzi (variance). Nosliece parāda, cik sava modeļa ir pārslodzes gadījums (overfit) apmācību datu kopā. Novirze rāda, cik atšķirīgi bija prognozes starp apmācību un testa datu kopām. Ideālā gadījumā gan nosliecei, gan novirzei jābūt zemām. Šeit nāk palīgā regulēšana! Ir divas pamattehnikas:

L1 regulēšana - Lasso: Lasso sods modeļa svaru koeficientiem, lai mainītu to nozīmību modelī un var pat tos nullo (t.i., izslēgt šos mainīgos no galīgā modeļa). Parasti Lasso tiek izmantots, ja datu kopā ir liels skaits mainīgo un ir nepieciešams izslēgt dažus no tiem, lai labāk izprastu, kā svarīgās iezīmes ietekmē modeli (t.i., tās iezīmes, kuras izvēlējās Lasso un kuru nozīmība tika noteikta).

L2 regulēšana - Ridge metode: Ridge uzdevums ir saglabāt visus mainīgos un tajā pašā laikā piešķirt tiem nozīmību, pamatojoties uz ieguldījumu modeļa efektivitātē. Ridge būs laba izvēle, ja datu kopā ir neliels skaits mainīgo un visi ir nepieciešami secinājumu un iegūto rezultātu interpretācijai.

Tā kā Ridge atstāj visus mainīgos, bet Lasso labāk nosaka to nozīmību, tika izstrādāts algoritms, kas apvieno labākās abu regulēšanas iezīmes un ir pazīstams kā Elastic-Net.

Vēl ir daudz veidu, kā izvēlēties iezīmes mašīnmācībā, bet galvenā ideja vienmēr paliek tāda pati: parādīt mainīgo nozīmīgumu un pēc tam izslēgt dažus no tiem, pamatojoties uz iegūto nozīmību. Nozīmīgums ir ļoti subjektīvs jēdziens, jo tas nav viens, bet visai liels metrikas un diagrammu kopums, ko var izmantot, lai atrastu galvenās iezīmes.

Paldies par lasīšanu! Lai veicas mācībās!

Avots: habr.com