Hlo Habr!
Peb ntawm Reksoft tau txhais tsab xov xwm ua lus Lavxias . Peb cia siab tias nws yuav muaj txiaj ntsig zoo rau txhua tus neeg uas nyiam lub ntsiab lus.
Hauv lub ntiaj teb tiag tiag, cov ntaub ntawv tsis yog ib txwm huv si raws li cov neeg siv khoom lag luam qee zaum xav. Qhov no yog vim li cas cov ntaub ntawv mining thiab cov ntaub ntawv wrangling yog xav tau. Nws pab txheeb xyuas qhov tseem ceeb thiab cov qauv uas tsis muaj nyob hauv cov ntaub ntawv nug cov qauv uas tib neeg tsis tuaj yeem txheeb xyuas. Txhawm rau nrhiav thiab siv cov qauv no los kwv yees cov txiaj ntsig siv kev sib raug zoo hauv cov ntaub ntawv, kev kawm tshuab los ua ke.
Txhawm rau nkag siab txhua qhov algorithm, koj yuav tsum saib tag nrho cov kev hloov pauv hauv cov ntaub ntawv thiab txheeb xyuas seb cov kev hloov pauv ntawd sawv cev li cas. Qhov no yog qhov tseem ceeb vim tias qhov laj thawj tom qab cov txiaj ntsig tau ua raws li kev nkag siab cov ntaub ntawv. Yog tias cov ntaub ntawv muaj 5 lossis 50 qhov sib txawv, koj tuaj yeem kuaj xyuas lawv txhua tus. Yuav ua li cas yog tias muaj 200 ntawm lawv? Tom qab ntawd tsuas yog yuav tsis muaj sijhawm txaus los kawm txhua qhov sib txawv. Ntxiv mus, qee qhov algorithms tsis ua haujlwm rau cov ntaub ntawv categorical, thiab tom qab ntawd koj yuav tau hloov tag nrho cov kab ke mus rau ntau qhov sib txawv (lawv yuav saib ntau, tab sis cov metrics yuav qhia tau tias lawv yog categorical) ntxiv rau cov qauv. Yog li, tus naj npawb ntawm cov hloov pauv nce, thiab muaj txog 500 ntawm lawv yuav ua li cas tam sim no? Tej zaum ib tug yuav xav tias cov lus teb yuav yog los txo qhov seem. Dimensionality txo algorithms txo tus naj npawb ntawm cov tsis tab sis muaj kev cuam tshuam tsis zoo rau kev txhais lus. Yuav ua li cas yog tias muaj lwm cov tswv yim uas tshem tawm cov paib thaum ua kom cov seem uas yooj yim to taub thiab txhais?
Nyob ntawm seb qhov kev txheeb xyuas yog raws li kev rov qab los yog kev faib tawm, qhov kev xaiv cov algorithms yuav txawv, tab sis lub tswv yim tseem ceeb ntawm lawv qhov kev siv tseem zoo ib yam.
Cov sib txawv heev
Cov kev hloov pauv uas muaj feem cuam tshuam nrog ib leeg muab cov ntaub ntawv tib yam rau tus qauv, yog li tsis tas yuav siv tag nrho rau kev tshuaj xyuas. Piv txwv li, yog tias cov ntaub ntawv muaj cov yam ntxwv "Lub Sijhawm Online" thiab "Tsuas Siv Tsheb", peb tuaj yeem xav tias lawv yuav cuam tshuam me ntsis, thiab peb yuav pom muaj kev sib raug zoo txawm tias peb xaiv cov ntaub ntawv tsis sib haum xeeb. Hauv qhov no, tsuas yog ib qho ntawm cov kev hloov pauv no xav tau hauv tus qauv. Yog tias koj siv ob qho tib si, tus qauv yuav dhau los ua qhov tsis zoo thiab tsis ncaj ncees rau ib qho tshwj xeeb.
P-tus nqi
Nyob rau hauv algorithms zoo li linear regression, thawj tus qauv txheeb cais yog ib lub tswv yim zoo. Nws pab qhia qhov tseem ceeb ntawm cov yam ntxwv los ntawm lawv cov p-values uas tau txais los ntawm cov qauv no. Tom qab teeb tsa qhov tseem ceeb, peb txheeb xyuas cov txiaj ntsig p-qhov txiaj ntsig, thiab yog tias ib qho txiaj ntsig qis dua qhov ntsuas qhov tseem ceeb, ces qhov no tau tshaj tawm tias qhov tseem ceeb, uas yog, kev hloov pauv ntawm nws tus nqi yuav ua rau muaj kev hloov pauv ntawm tus nqi. lub hom phiaj.
Kev xaiv ncaj qha
Kev xaiv rau pem hauv ntej yog ib qho txheej txheem uas suav nrog kev siv cov kauj ruam rov qab. Lub tsev qauv pib nrog xoom ua tiav, uas yog, tus qauv khoob, thiab tom qab ntawd txhua qhov iteration ntxiv qhov sib txawv uas ua rau kev txhim kho rau tus qauv tsim. Qhov hloov pauv twg ntxiv rau tus qauv yog txiav txim siab los ntawm nws qhov tseem ceeb. Qhov no tuaj yeem suav nrog ntau yam kev ntsuas. Txoj hauv kev uas feem ntau yog siv cov p-tus nqi tau txais hauv cov qauv kev txheeb cais qub uas siv txhua qhov sib txawv. Qee lub sij hawm kev xaiv ncaj qha tuaj yeem ua rau overfitting tus qauv vim tias tej zaum yuav muaj kev sib txuam sib txawv hauv cov qauv, txawm tias lawv muab cov ntaub ntawv tib yam rau tus qauv (tab sis tus qauv tseem qhia txog kev txhim kho).
Rov qab xaiv
Kev xaiv thim rov qab kuj suav nrog kev tshem tawm ib ntus ntawm cov yam ntxwv, tab sis nyob rau hauv qhov kev coj rov qab piv rau kev xaiv rau pem hauv ntej. Hauv qhov no, tus qauv pib suav nrog txhua qhov kev hloov pauv ywj pheej. Cov kev hloov pauv tau raug tshem tawm (ib qho ib qho iteration) yog tias lawv tsis pab tus nqi rau tus qauv regression tshiab hauv txhua qhov iteration. Kev cais tawm tshwj xeeb yog raws li p-tus nqi ntawm tus qauv thawj zaug. Txoj kev no kuj muaj qhov tsis paub meej thaum tshem tawm cov kev sib raug zoo heev.
Recursive Feature Elimination
RFE yog cov txheej txheem siv dav / algorithm rau xaiv tus naj npawb ntawm cov yam ntxwv tseem ceeb. Qee lub sij hawm txoj kev siv los piav qhia ntau yam "tseem ceeb tshaj" uas cuam tshuam cov txiaj ntsig; thiab qee zaum kom txo qis ntau qhov sib txawv (kwv yees li 200-400), thiab tsuas yog cov uas ua kom tsawg kawg qee qhov kev txhawb nqa rau tus qauv yog khaws cia, thiab tag nrho lwm tus raug cais tawm. RFE siv cov txheej txheem qeb duas. Cov yam ntxwv hauv cov ntaub ntawv teev yog muab qib. Cov qib no yog tom qab ntawd siv los recursively tshem tawm cov yam ntxwv raws li kev sib koom ua ke ntawm lawv thiab qhov tseem ceeb ntawm cov yam ntxwv hauv cov qauv. Ntxiv nrog rau kev ua haujlwm qeb duas, RFE tuaj yeem qhia tau tias cov yam ntxwv no tseem ceeb lossis tsis txawm rau tus naj npawb ntawm cov yam ntxwv (vim tias nws muaj peev xwm xaiv tus naj npawb ntawm cov yam ntxwv yuav tsis zoo, thiab tus naj npawb ntawm cov yam ntxwv zoo yuav yog ntau dua. los yog tsawg dua tus lej xaiv).
Feature Daim duab tseem ceeb
Thaum tham txog kev txhais lus ntawm tshuab kev kawm algorithms, peb feem ntau sib tham txog linear regressions (uas tso cai rau koj los txheeb xyuas qhov tseem ceeb ntawm cov yam ntxwv siv p-values) thiab cov ntoo txiav txim siab (hais qhia qhov tseem ceeb ntawm cov yam ntxwv ntawm tsob ntoo, thiab ntawm cov ntoo. tib lub sij hawm lawv hierarchy). Ntawm qhov tod tes, algorithms xws li Random Forest, LightGBM thiab XG Boost feem ntau siv daim duab qhia qhov tseem ceeb, uas yog, daim duab ntawm qhov sib txawv thiab "lawv cov lej tseem ceeb" yog npaj. Qhov no yog qhov tshwj xeeb tshaj yog thaum koj xav tau los muab cov txheej txheem tsim nyog rau qhov tseem ceeb ntawm cov cwj pwm ntawm lawv cov kev cuam tshuam rau kev lag luam.
Regularization
Regularization yog ua los tswj qhov sib npaug ntawm kev tsis ncaj ncees thiab kev sib txawv. Bias qhia ntau npaum li cas tus qauv tau dhau los ntawm cov ntaub ntawv qhia kev cob qhia. Qhov sib txawv qhia tau hais tias qhov sib txawv ntawm qhov kev kwv yees nyob ntawm qhov kev cob qhia thiab cov ntaub ntawv xeem. Qhov zoo tshaj plaws, ob qho tib si kev tsis ncaj ncees thiab kev sib txawv yuav tsum yog me me. Qhov no yog qhov uas tsis tu ncua los cawm! Muaj ob txoj hauv kev tseem ceeb:
L1 Regularization - Lasso: Lasso penalizes qauv hnyav los hloov lawv qhov tseem ceeb rau tus qauv thiab tuaj yeem tshem tawm lawv (piv txwv li tshem tawm cov hloov pauv ntawm tus qauv kawg). Feem ntau, Lasso yog siv thaum cov ntaub ntawv muaj ntau qhov sib txawv thiab koj xav kom tshem tawm qee qhov kom nkag siab zoo dua li cas cov yam ntxwv tseem ceeb cuam tshuam rau tus qauv (uas yog, cov yam ntxwv uas tau xaiv los ntawm Lasso thiab tau muab qhov tseem ceeb).
L2 Regularization - Ridge txoj kev: Ridge txoj haujlwm yog khaws txhua qhov sib txawv thiab tib lub sijhawm muab qhov tseem ceeb rau lawv raws li lawv txoj kev koom tes rau tus qauv kev ua haujlwm. Ridge yuav yog qhov kev xaiv zoo yog tias cov ntaub ntawv muaj qee qhov sib txawv me me thiab tag nrho lawv yuav tsum tau txhais cov kev tshawb pom thiab cov txiaj ntsig tau txais.
Txij li thaum Ridge khaws tag nrho cov kev hloov pauv thiab Lasso ua txoj haujlwm zoo dua ntawm kev tsim lawv qhov tseem ceeb, ib qho algorithm tau tsim los ua ke nrog cov yam ntxwv zoo tshaj plaws ntawm ob qho tib si tsis tu ncua, hu ua Elastic-Net.
Muaj ntau ntau txoj hauv kev los xaiv cov yam ntxwv rau kev kawm tshuab, tab sis lub tswv yim tseem ceeb yog ib txwm zoo ib yam: ua kom pom qhov tseem ceeb ntawm cov kev hloov pauv thiab tom qab ntawd tshem tawm qee yam ntawm lawv raws li qhov ua tau zoo. Qhov tseem ceeb yog lub ntsiab lus tseem ceeb, vim nws tsis yog ib qho xwb, tab sis tag nrho cov kev ntsuas thiab cov kab kos uas tuaj yeem siv los nrhiav cov yam ntxwv tseem ceeb.
Ua tsaug rau koj nyeem! Zoo siab kawm!
Tau qhov twg los: www.hab.com
