Jo, sigurisht, nuk e them krejt seriozisht. Duhet të ketë një limit deri në çfarë shkalle është e mundur të thjeshtohet një temë. Por për hapat e parë, për të kuptuar konceptet bazike dhe për t'u përshtatur shpejt në temë, ndoshta është e pranueshme. Si të quajmë këtë material saktësisht (opsionet: "Mësimi i makinerive për fillestarë", "Analiza e të dhënave që nga e para", "Algoritmet për më të vegjlit"), do ta diskutojmë në fund.
TĂ« kalojmĂ« nĂ« temĂ«. Kam shkruar disa programe praktike nĂ« MS Excel pĂ«r vizualizimin dhe paraqitjen e qartĂ« tĂ« proceseve qĂ« ndodhin nĂ« metoda tĂ« ndryshme tĂ« mĂ«simit tĂ« makinerive gjatĂ« analizĂ«s sĂ« tĂ« dhĂ«nave. TĂ« shohĂ«sh Ă«shtĂ« tĂ« besosh, nĂ« fund tĂ« fundit, siç thonĂ« ata qĂ« e zhvilluan shumicĂ«n e kĂ«tyre metodave (ndĂ«r tĂ« tjera, jo tĂ« gjitha. Metoda shumĂ« e fuqishme e "vektoreve mbĂ«shtetĂ«s", ose SVM, sipĂ«rfaqja e mbĂ«shtetjeve â shpikje e bashkĂ«atdhetarit tonĂ« Vladimir Vapnik, Instituti Menaxhues i MoskĂ«s. Vitin 1963, pĂ«r tĂ« qenĂ« tĂ« saktĂ«! Tani, ai megjithatĂ«, mĂ«son dhe punon nĂ« SHBA).
Të tri skedat për shqyrtim
1. Klasifikimi përmes metodës K-means
KĂ«to lloj problemesh i pĂ«rkasin "mĂ«simit pa mĂ«sues", kur na nevojitet tĂ« ndajmĂ« tĂ« dhĂ«nat fillestare nĂ« njĂ« numĂ«r tĂ« caktuar kategorish tĂ« njohura paraprakisht, por atje nuk kemi asnjĂ« numĂ«r pĂ«rgjigjesh "tĂ« sakta", ato duhet t'i nxjerrim nga vetĂ« tĂ« dhĂ«nat. Problemi themelor klasik i gjetjes sĂ« nĂ«nllojve tĂ« luleve tĂ« irisit (Ronald Fisher, viti 1936!), i cili konsiderohet si filizi i parĂ« i kĂ«tyre njohurive â ka pikĂ«risht kĂ«tĂ« natyrĂ«.
Metoda është mjaft e thjeshtë. Ne kemi një grup objektesh, të paraqitura si vektorë (grupe N numrash). Për irisat, këto janë grupe 4 numrash që karakterizojnë lulen: gjatësia dhe gjerësia e pjesës jashtme dhe të brendshme të petaleve, përkatësisht (). Si distancë, ose masë afërsie midis objekteve, përdoret metrika e zakonshme kartiziane.
MĂ« pas, nĂ« mĂ«nyrĂ« tĂ« rastit (ose jo rastĂ«sisht, shihni mĂ« poshtĂ«), zgjidhen qendrat e grupeve, dhe llogariten distancat nga secili objekt nĂ« qendrat e grupeve. Ădo objekt nĂ« kĂ«tĂ« hap tĂ« iteracionit shĂ«nohet se i pĂ«rket qendrĂ«s mĂ« tĂ« afĂ«rt. MĂ« pas, qendra e çdo grupi zhvendoset nĂ« mesataren aritmetike tĂ« koordinatave tĂ« anĂ«tarĂ«ve tĂ« saj (pĂ«r analogji me fizikĂ«n, e quajnĂ« gjithashtu "qendra e masĂ«s"), dhe procedura pĂ«rsĂ«ritet.
Procesi konvergon mjaft shpejt. Në imazhet në dy dimensione kjo duket kështu:
1. Shpërndarja fillestare rastësore e pikave në plan dhe numri i grupeve
2. Caktimi i qendrave të grupeve dhe lidhja e pikave me grupet e tyre
3. Zhvendosja e koordinatave të qendrave të grupeve, ripërllogaritja e përkatësisë së pikave, derisa qendrat të stabilizohen. Duket rruga e lëvizjes së qendrës së grupit në pozitat përfundimtare.
Në çdo moment mund të caktoni qendra të reja të grupeve (pa gjeneruar një shpërndarje të re pikash!) dhe të shihni se procesi i ndarjes nuk është gjithmonë unik. Matematika do të thotë se në funksionin që optimizohet (shuma e katrorëve të distancave nga piketat në qendrat e grupeve të tyre) ne gjejmë jo minimume globale, por lokale. Të zgjidhim këtë problem mund të bëhet duke zgjedhur pa rastësi qendrat fillestare të grupeve, ose duke provuar qendra të mundshme (ndonjëherë është për të përfituar t'i vendosim saktësisht në ndonjë nga piketat, atëherë të paktën kemi garancinë që nuk do të kemi grupe të zbrazëta). Në çdo rast, një numër i mbaruar ka gjithmonë një skaj të poshtëm të saktë.
(mos harroni të aktivizoni mbështetje për makros). Skedarët janë verifikuar nga viruset)
PĂ«rshkrimi i metodĂ«s nĂ« Wikipedia â
2. Aproksimimi me polinome dhe ndarja e të dhënave. Përshtatja e tepruar
Shkencëtari dhe popullarizuesi i shkencës mbi të dhënat, K.V. Voroncov thotë shkurtimisht për metodat e mësimit të makinerive si "shkenca e kalimit të vijave përmes pikave". Në këtë shembull, do të gjejmë ligjshmërinë në të dhëna përmes metodës së katrorëve më të vegjël.
Tregohet teknika e ndarjes sĂ« tĂ« dhĂ«nave fillestare nĂ« "tĂ« mĂ«suara" dhe "tĂ« kontrolluara", si dhe fenomeni si pĂ«rshtatja e tepruar, ose "pĂ«rshtatja e tepĂ«rt" nĂ« tĂ« dhĂ«na. Me njĂ« aproksimim tĂ« saktĂ« do tĂ« kemi njĂ« gabim tĂ« caktuar nĂ« tĂ« dhĂ«nat e mĂ«suara dhe disa gabime mĂ« tĂ« mĂ«dha â nĂ« tĂ« dhĂ«nat e kontrollit. NĂ« rastin e gabuar â pĂ«rshtatja e saktĂ« nĂ« tĂ« dhĂ«nat e mĂ«suara dhe njĂ« gabim tĂ« madh nĂ« ato tĂ« kontrollit.
(Fakti i njohur është se përmes N pikave mund të kaloni vetëm një kurbë të gradës N-1, dhe ky mënyrë në rastin e përgjithshëm nuk jep rezultatin e dëshiruar. )
1. Caktojme shpërndarjen fillestare
2. Ndajmë pikët në "të mësuara" dhe "të kontrolluara" në një raport 70 me 30.
3. Ne lidhim një kurbë aproksimuese me piketat e trajnimit, shohim gabimin që ajo jep në të dhënat e kontrollit.
4. Ne lidhim një kurbë të saktë përmes pikave të trajnimit dhe shohim një gabim monstruoz në të dhënat e kontrollit (dhe zero në ato të trajnimit, por çfarë ndihme ka kjo?).
Kjo është, natyrisht, varianti më i thjeshtë me një ndarje në nënsetet 'trajnues' dhe 'kontrollues', në rastin e përgjithshëm kjo bëhet shumë herë për një përputhje më të mirë të koeficientëve.
Aktivizoni makrot për funksionimin e saktë.
3. Rënia e gradienteve dhe dinamika e ndryshimit të gabimit.
Këtu do të jetë rasti 4-dimensional dhe regresioni linear. Koeficientët e regresionit linear do të përcaktohen hap pas hapi me metodën e rënies së gradienteve, fillimisht të gjithë koeficientët janë zero. Në një grafik të veçantë shikohet dinamika e reduktimit të gabimit me përshtatjen gjithnjë e më të saktë të koeficientëve. Ka mundësinë të shihen të katër projeksionet 2-dimensionale.
NĂ«se caktojmĂ« njĂ« hap shumĂ« tĂ« madh tĂ« rĂ«nies sĂ« gradienteve, Ă«shtĂ« e dukshme se gjithnjĂ« do tĂ« kalojmĂ« minimumin dhe do tĂ« arrijmĂ« nĂ« rezultat pĂ«r mĂ« shumĂ« hapa, megjithatĂ«, pĂ«rfundimisht do tĂ« arrijmĂ« (pĂ«rveç nĂ«se nuk e rrisim shumĂ« hapin e rĂ«nies â atĂ«herĂ« algoritmi do tĂ« shkojĂ« 'nĂ« çmenduri'). Dhe grafiku i varĂ«sisĂ« sĂ« gabimit nga hapi i iteracionit do tĂ« jetĂ« jo i butĂ«, por 'i lĂ«kundur'.
1. Generojmë të dhëna, vendosim hapin e rënies së gradienteve.
2. Me zgjedhjen e duhur të hapit të rënies së gradienteve, arrijmë në minimum ngadalë dhe mjaft shpejt.
3. Me zgjedhjen e gabuar të hapit të rënies së gradienteve, kalojmë maksimumin, grafiku i gabimit është 'i lëkundur', konvergjenca merr më shumë hapa.
dhe
4. Me një zgjedhje krejtësisht të gabuar të hapit të rënies së gradienteve, largohemi nga minimumi.
(Për të riprodhuar procesin me vlerat e treguara në fotografi të hapit të rënies së gradienteve, vendosni shenjën në 'të dhënat referuese').
Si mendon komuniteti i nderuar, a është e pranueshme një thjeshtim i tillë dhe metoda e paraqitjes së materialit? A duhet të përkthehet artikulli në anglisht?
Burimi: habr.com
