{"id":37955,"date":"2019-10-31T22:20:47","date_gmt":"2019-10-31T19:20:47","guid":{"rendered":"https:\/\/prohoster.info\/blog\/linejnaya-regressiya-i-metody-eyo-vosstanovleniya\/"},"modified":"2019-10-31T22:20:47","modified_gmt":"2019-10-31T19:20:47","slug":"linejnaya-regressiya-i-metody-eyo-vosstanovleniya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/linejnaya-regressiya-i-metody-eyo-vosstanovleniya","title":{"rendered":"Linearna regresija in metode njene obnovitve","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Linearna
\nIzvor: xkcd<\/a><\/noindex><\/i><\/p>\n

Linearno regresijo lahko \u0161tejemo za enega od osnovnih algoritmov v mnogih podro\u010djih, povezanih z analizo podatkov. Razlog za to je o\u010diten. To je zelo preprost in razumljiv algoritem, kar spodbuja njegovo \u0161iroko uporabo \u017ee desetletja, \u010de ne stoletja. Ideja je enostavna; predpostavljamo linearno odvisnost ene spremenljivke od niza drugih spremenljivk, nato pa posku\u0161amo to odvisnost obnoviti.<\/p>\n

Vendar pa v tem \u010dlanku ne bomo obravnavali uporabe linearne regresije za re\u0161evanje prakti\u010dnih te\u017eav. Obravnavali bomo zanimive zna\u010dilnosti izvajanja porazdeljenih algoritmov za njeno obnovitev, s katerimi smo se sre\u010dali pri pisanju modula za strojno u\u010denje v Apache Ignite<\/a><\/noindex>. Nekaj osnovne matematike, temelj strojnega u\u010denja in porazdeljenega ra\u010dunalni\u0161tva bo pomagalo razumeti, kako obnoviti linearno regresijo, tudi \u010de so podatki razpr\u0161eni med tiso\u010di vozli\u0161\u010d.
\n<\/a><\/noindex><\/p>\n

O \u010dem govorimo?<\/h3>\n

\nPred nami je naloga obnove linearne odvisnosti. Kot vhodni podatki imamo mno\u017eico vektorjev domnevno neodvisnih spremenljivk, katerim je pripojeno dolo\u010deno vrednost odvisne spremenljivke. Te podatke lahko predstavimo v obliki dveh matrik:<\/p>\n

\"Linearna<\/p>\n

\nZdaj, saj predpostavljamo odvisnost, in \u0161e to linearno, zapi\u0161imo na\u0161e predpostavke v obliki produkta matrik (za poenostavitev zapisa se bo tukaj in naprej domnevalo, da je prosti \u010dlen ena\u010dbe skrit za \"Linearna, zadnji stolpec matrike \"Linearna vsebuje enice):<\/p>\n

\"Linearna<\/p>\n

\nZelo podobno kot sistem linearnih ena\u010db, a ne? Zdi se, vendar re\u0161itve za tak sistem ena\u010db verjetno ne bo. Razlog je \u0161um, ki je prisoten v skoraj vseh realnih podatkih. Prav tako lahko razlog za to pomanjkanje linearne odvisnosti, s katero se lahko borimo z uvedbo dodatnih spremenljivk, ki so nelinearno odvisne od izvirnih. Oglejmo si naslednji primer:
\n\"Linearna
\nIzvor: Wikipedia<\/a><\/noindex><\/i><\/p>\n

To je preprost primer linearne regresije, ki prikazuje odvisnost ene spremenljivke (na osi \"Linearna) od druge spremenljivke (na osi \"Linearna). Da bi sistem linearnih jedna\u010dina imao re\u0161enje, sve ta\u010dke moraju le\u017eati ta\u010dno na jednoj pravoj. Me\u0111utim, to nije slu\u010daj. A ne le\u017ee na jednoj pravoj upravo zbog \u0161uma (ili zato \u0161to je pretpostavka o postojanju linearne zavisnosti bila pogre\u0161na). Tako da je, kako bismo rekonstruisali linearnu zavisnost prema stvarnim podacima, obi\u010dno potrebno uvesti jo\u0161 jednu pretpostavku: ulazni podaci sadr\u017ee \u0161um i taj \u0161um ima normalnu raspodelu<\/a><\/noindex>. Mogu se praviti pretpostavke i o drugim tipovima raspodela \u0161uma, ali u prete\u017enoj ve\u0107ini slu\u010dajeva se razmatra ba\u0161 normalna raspodela, o kojoj \u0107e biti re\u010di u nastavku.<\/p>\n

Metod maksimalne verovatno\u0107e<\/h3>\n

\n. Dakle, pretpostavili smo prisustvo slu\u010dajnog normalno raspore\u0111enog \u0161uma. \u0160ta u\u010diniti u takvoj situaciji? Za ovaj slu\u010daj u matematici postoji i \u0161iroko se koristi metod maksimalne verovatno\u0107e<\/a><\/noindex>. Ukratko, su\u0161tina je u odabiru funkcije verovatno\u0107e<\/a><\/noindex> i njenoj kasnijoj maksimalizaciji.<\/p>\n

Vra\u0107amo se rekonstrukciji linearne zavisnosti prema podacima sa normalnim \u0161umom. Prime\u0107ujemo da predlo\u017eena linearna zavisnost predstavlja matemati\u010dko o\u010dekivanje \"Linearna postoje\u0107eg normalnog rasporeda. U isto vreme, verovatno\u0107a da \"Linearna uzima odre\u0111enu vrednost, pod uslovom da su prisutni posmatrani \"Linearna, izgleda ovako:<\/p>\n

\"Linearna<\/p>\n

\nSada \u0107emo umesto \"Linearna in \"Linearna ubaciti potrebne varijable:<\/p>\n

\"Linearna<\/p>\n

\nPreostaje samo da prona\u0111emo vektor \"Linearna, pri kojem je ova verovatno\u0107a maksimizovana. Da bismo maksimalizovali takvu funkciju, zgodno je prvo je prilogarifmovati (logaritam funkcije \u0107e dosti\u0107i maksimum u istoj ta\u010dki kao i sama funkcija):<\/p>\n

\"Linearna<\/p>\n

\n\u0160to, zauzvrat, svodi na minimizaciju slede\u0107e funkcije:<\/p>\n

\"Linearna<\/p>\n

\nUsput, ovo se naziva metodom najmanjih kvadrata<\/a><\/noindex>. \u010cesto se sve navedene rasprave presko\u010de i koristi se samo ova metoda.<\/p>\n

QR razlaganje<\/h3>\n

\nMinimum navedene funkcije mo\u017ee se na\u0107i ako se prona\u0111e ta\u010dka u kojoj je gradijent ove funkcije jednak nuli. A gradijent \u0107e biti zapisan na slede\u0107i na\u010din:<\/p>\n

\"Linearna<\/p>\n

\nQR razlaganje<\/a><\/noindex> je matri\u010dna metoda re\u0161avanja problema minimizacije koja se koristi u metodu najmanjih kvadrata. U tom svetlu, prepisujemo jedna\u010dinu u matri\u010dnom obliku:<\/p>\n

\"Linearna<\/p>\n

\nDakle, raspore\u0111ujemo matricu \"Linearna na matrice \"Linearna in \"Linearna in izvajamo vrsto transformacij (sam algoritem QR razcepitve tukaj ne bo obravnavan, le njegova uporaba v zvezi z zastavljeno nalogo):<\/p>\n

\"Linearna<\/p>\n

\nMatrika \"Linearna je ortogonalna. To nam omogo\u010da, da se znebimo produkta \"Linearna:<\/p>\n

\"Linearna<\/p>\n

\n\u010ce zamenjamo \"Linearna na \"Linearna, dobimo \"Linearna. Glede na to, da \"Linearna je zgornja trikotna matrika, to izgleda takole:<\/p>\n

\"Linearna<\/p>\n

\nTo lahko re\u0161imo z metodo substitucije. Element \"Linearna se izra\u010duna kot \"Linearna, prej\u0161nji element \"Linearna se izra\u010duna kot \"Linearna in tako naprej.<\/p>\n

Tukaj je treba omeniti, da je kompleksnost nastalega algoritma zaradi uporabe QR razcepitve enaka \"Linearna. Kljub temu, da se mno\u017eenje matric dobro paralelizira, se u\u010dinkovita razpr\u0161ena razli\u010dica tega algoritma ne zdi mogo\u010da.<\/p>\n

Gradientni spust<\/h3>\n

\nKo govorimo o minimizaciji neke funkcije, se vedno spomnimo na metodo (stohasti\u010dnega) gradientnega spu\u0161\u010danja. To je preprosta in u\u010dinkovita metoda minimizacije, ki temelji na iterativnem izra\u010dunu gradienta funkcije v to\u010dki in njenem kasnej\u0161em premikanju v nasprotno smer od gradienta. Vsak tak korak pribli\u017ea re\u0161itev k minimumu. Gradient je pri tem videti enako:<\/p>\n

\"Linearna<\/p>\n

Ta metoda se dobro paralelizira in razporeja zaradi linearnih lastnosti gradientnega operatorja. Opa\u017eamo, da so v zgoraj navedeni formuli pod znakom se\u0161tevka neodvisni \u010dlani. Z drugimi besedami, gradient lahko izra\u010dunamo neodvisno za vse indekse \"Linearna od prvega do \"Linearna, hkrati pa izra\u010dunamo gradient za indekse od \"Linearna do \"Linearna. Nato se se\u0161tejejo pridobljeni gradienti. Rezultat se\u0161tevanja bo enak, kot \u010de bi neposredno izra\u010dunali gradient za indekse od prvega do \"Linearna. Tako, \u010de so podatki razdeljeni med ve\u010d delov podatkov, se gradient lahko izra\u010duna neodvisno na vsaki delu, nato pa se rezultati teh izra\u010dunov lahko se\u0161tejejo za pridobitev kon\u010dnega rezultata:<\/p>\n

\"Linearna<\/p>\n

Z vidika implementacije to sledi paradigmi MapReduce<\/a><\/noindex>. Na vsakem koraku gradientnega spu\u0161\u010danja se vsakemu podatkovnemu vozli\u0161\u010du po\u0161lje naloga za izra\u010dun gradienta, nato se izra\u010dunani gradienti zberejo skupaj, in rezultat njihovega se\u0161tevanja se uporablja za izbolj\u0161anje rezultata.<\/p>\n

Kljub svoji preprostosti pri implementaciji in mo\u017enosti izvajanja v paradigmi MapReduce ima gradientni spust tudi svoje pomanjkljivosti. Zlasti je \u0161tevilo korakov, potrebnih za dosego konvergence, znatno ve\u010dje v primerjavi z drugimi bolj specializiranimi metodami.<\/p>\n

LSQR<\/h3>\n

\nLSQR<\/a><\/noindex> je \u0161e ena metoda za re\u0161evanje zastavljenega problema, ki je primerna tako za obnovo linearne regresije kot za re\u0161evanje sistemov linearnih ena\u010db. Njegova glavna zna\u010dilnost je, da zdru\u017euje prednosti matri\u010dnih metod in iterativnega pristopa. Implementacije te metode so na voljo tako v knji\u017enicah SciPy<\/a><\/noindex>, kot tudi v MATLAB-u.<\/a><\/noindex>. Opis te metode ne bo podan (lahko ga najdete v \u010dlanku LSQR: An algorithm for sparse linear equations and sparse least squares<\/a><\/noindex>). Namesto tega bo prikazan pristop, ki omogo\u010da prilagajanje LSQR za izvajanje v distribuiranem okolju.<\/p>\n

Osnova metode LSQR je postopek bidiagonalizacije<\/a><\/noindex>. To je iterativni postopek, vsaka iteracija pa obsega naslednje korake:
\n\"Linearna
\n
\nVendar, \u010de predpostavimo, da je matrica \"Linearna horizontalno razdeljena, lahko vsako iteracijo predstavimo kot dva koraka MapReduce. Tako se zmanj\u0161a prenosi podatkov med posameznimi iteracijami (samo vektorji dol\u017eine, enake \u0161tevilu neznank):<\/p>\n

\"Linearna
\n
\nTa pristop se uporablja pri implementaciji linearne regresije v Apache Ignite ML<\/a><\/noindex>.<\/p>\n

Zaklju\u010dek<\/h3>\n

\nObstaja veliko algoritmov za obnovo linearne regresije, vendar vsi ne morejo biti uporabljeni v vseh pogojih. Na primer, QR razcepitev je odli\u010dna za natan\u010dno re\u0161itev na majhnih podatkovnih mno\u017eicah. Gradientni spust se preprosto implementira in hitro najde pribli\u017eno re\u0161itev. LSQR pa zdru\u017euje najbolj\u0161e lastnosti prej\u0161njih dveh algoritmov, saj ga je mogo\u010de distribuirati, hitreje konvergira v primerjavi z gradientnim spustom in omogo\u010da zgodnje ustavljanje algoritma v nasprotju z QR razcepitvijo za iskanje pribli\u017ene re\u0161itve.
\n
Izvor: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: xkcd \u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0431\u0430\u0437\u043e\u0432\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0430\u043d\u0430\u043b\u0438\u0437\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u044d\u0442\u043e\u043c\u0443 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430. \u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0447\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0441\u0442\u0432\u0443\u0435\u0442 \u0435\u0433\u043e \u0448\u0438\u0440\u043e\u043a\u043e\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044e \u0443\u0436\u0435 \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0435\u0441\u044f\u0442\u043a\u0438, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0441\u043e\u0442\u043d\u0438, \u043b\u0435\u0442. \u0418\u0434\u0435\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0434\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043e\u0442 \u043d\u0430\u0431\u043e\u0440\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445, \u0430 \u043f\u043e\u0442\u043e\u043c \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":28483,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-37955","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Linearni regresija in metode njene obnovitve | ProHoster","description":"Izvor:","canonical_url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/linejnaya-regressiya-i-metody-eyo-vosstanovleniya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sl_SI","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0435\u0451 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f | ProHoster","og:description":"\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a:","og:url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/linejnaya-regressiya-i-metody-eyo-vosstanovleniya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:20:47+00:00","article:modified_time":"2019-10-31T19:20:47+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"37955","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-23 19:55:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 01:17:23","updated":"2026-01-23 19:55:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/37955","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/comments?post=37955"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/37955\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media\/28483"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media?parent=37955"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/categories?post=37955"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/tags?post=37955"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}