Манбаъ:
Регрессияи хатӣ яке аз алгоритмҳои асосӣ барои бисёр соҳаҳои марбут ба таҳлили додаҳо мебошад. Сабаби ин маълум аст. Ин як алгоритми хеле содда ва фаҳмо аст, ки ба истифодаи васеъи он дар тӯли даҳҳо, ҳатто садҳо сол мусоидат кардааст. Идеяи он аст, ки мо вобастагии хаттии як тағирёбандаро аз маҷмӯи тағирёбандаҳои дигар тахмин мезанем ва сипас кӯшиш мекунем, ки ин вобастагӣ барқарор карда шавад.
Аммо ин мақола дар бораи истифодаи регрессияи хатӣ барои ҳалли масъалаҳои амалӣ нест. Дар ин ҷо мо хусусиятҳои ҷолиби татбиқи алгоритмҳои тақсимшудаи барқарорсозии онро баррасӣ хоҳем кард, ки мо ҳангоми навиштани модули омӯзиши мошинсозӣ дучор омадаем. . Як каме математикаи асосӣ, омӯзиши мошинсозӣ ва ҳисоббарории тақсимшуда метавонад ба шумо кӯмак кунад, ки чӣ гуна регрессияи хатиро иҷро кунед, ҳатто вақте ки маълумоти шумо дар ҳазорон гиреҳҳо тақсим карда мешавад.
Мо дар бораи чӣ гап мезанем?
Дар назди мо вазифаи баркарор намудани вобастагии хаттй истодааст. Ҳамчун маълумоти воридотӣ, маҷмӯи векторҳои тағирёбандаҳои гӯё мустақил дода мешавад, ки ҳар яки онҳо бо арзиши муайяни тағирёбандаи вобаста алоқаманданд. Ин маълумотро дар шакли ду матритса ифода кардан мумкин аст:
Акнун, азбаски вобастагӣ тахмин карда мешавад ва зиёда аз он, хаттӣ, мо тахмини худро дар шакли ҳосили матритсаҳо менависем (барои содда кардани сабт, дар ин ҷо ва дар поён тахмин карда мешавад, ки мӯҳлати озоди муодила дар паси он пинҳон аст. , ва сутуни охирини матритса воҳидҳоро дар бар мегирад):
Ба системаи муодилаҳои хатӣ хеле монанд аст, ҳамин тавр не? Чунин ба назар мерасад, аммо ба эҳтимоли зиёд роҳи ҳалли ин гуна системаи муодилаҳо вуҷуд надорад. Сабаби ин садоест, ки қариб дар ҳама маълумоти воқеӣ мавҷуд аст. Сабаби дигар метавонад набудани вобастагии хатӣ бошад, ки бо он тавассути ворид кардани тағирёбандаҳои иловагӣ, ки аз тағирёбандаҳои аслӣ ғайрихаттӣ вобастаанд, мубориза бурдан мумкин аст. Мисоли зеринро дида мебароем:
Манбаъ:
Ин як мисоли оддии регрессияи хатӣ мебошад, ки муносибати як тағирёбандаро нишон медиҳад (қад-қади меҳвар ) аз тағирёбандаи дигар (қад-қади меҳвар ). Барои он ки системаи муодилаҳои хаттии ба ин мисол мувофиқ ҳал карда шавад, ҳамаи нуқтаҳо бояд маҳз дар як хати рост ҷойгир шаванд. Аммо ин дуруст нест. Аммо онҳо маҳз аз сабаби садо (ё аз сабаби нодуруст будани фарзияи муносибатҳои хатӣ) дар як хати рост хобидаанд. Ҳамин тариқ, барои барқарор кардани робитаи хатӣ аз маълумоти воқеӣ, одатан як фарзияи дигарро ҷорӣ кардан лозим аст: маълумоти воридотӣ дорои садо аст ва ин садо дорои садо дорад. . Шумо метавонед дар бораи дигар намудҳои паҳнкунии садо тахмин кунед, аммо дар аксари ҳолатҳо тақсимоти муқаррарӣ баррасӣ карда мешавад, ки минбаъд муҳокима карда мешавад.
Усули эҳтимолияти максималӣ
Ҳамин тавр, мо мавҷудияти садои ба таври тасодуфӣ тақсимшударо тахмин кардем. Дар чунин вазъият чй бояд кард? Барои ин ҳолат дар математика вуҷуд дорад ва васеъ истифода мешавад . Хулоса, мохияти он дар интихоб аст ва афзоиши минбаъдаи он.
Мо ба барқарор кардани муносибатҳои хаттӣ аз маълумот бо садои муқаррарӣ бармегардем. Дар хотир доред, ки муносибати хаттии тахминшуда интизории математикӣ мебошад тақсимоти муқаррарии мавҷуда. Дар баробари ин, эҳтимолияти он бо шарти мавчудияти мушохидашаванда ин ё он киматро мегирад , таври зерин:
Биёед ҳоло ба ҷои он иваз кунем и Тағирёбандаҳое, ки ба мо лозиманд, инҳоянд:
Танҳо ёфтани вектор боқӣ мемонад , ки ин эҳтимолият ҳадди аксар аст. Барои ба ҳадди аксар расонидани чунин функсия, аввал логарифми онро гирифтан қулай аст (логарифми функсия дар ҳамон нуқта бо худи функсия ба ҳадди максималӣ мерасад):
Ин, дар навбати худ, ба кам кардани функсияи зерин дахл дорад:
Дар омади гап, ин усул номида мешавад . Аксар вақт ҳамаи мулоҳизаҳои дар боло зикршуда сарфи назар карда мешаванд ва ин усул танҳо истифода мешавад.
Таҷзияи QR
Минимуми функсияи дар боло зикршударо тавассути ёфтани нуқтае, ки дар он градиенти ин функсия сифр аст, пайдо кардан мумкин аст. Ва градиент ба таври зерин навишта мешавад:
усули матритсавӣ барои ҳалли масъалаи минимизатсия, ки дар усули квадратҳои хурд истифода мешавад. Дар робита ба ин, мо муодиларо дар шакли матритса аз нав менависем:
Ҳамин тавр, мо матритсаро таҷзия мекунем ба матрицахо и ва як қатор тағиротҳоро иҷро кунед (худи алгоритми таҷзияи QR дар ин ҷо баррасӣ карда намешавад, танҳо истифодаи он дар робита бо вазифаи дар пешистода):
Матрица ортогоналӣ аст. Ин ба мо имконият медихад, ки аз кор халос шавем :
Ва агар шумо иваз кунед ба , он гоҳ ин кор хоҳад шуд . Бо назардошти он матритсаи секунҷаи болоӣ аст, чунин менамояд:
Инро бо усули ивазкунӣ ҳал кардан мумкин аст. Элемент ҳамчун ҷойгир шудааст , унсури қаблӣ ҳамчун ҷойгир шудааст ва ғайра.
Дар ин ҷо бояд қайд кард, ки мураккабии алгоритми натиҷавӣ аз ҳисоби истифодаи таҷзияи QR ба . Гузашта аз ин, сарфи назар аз он, ки амалиёти зарбкунии матритса хуб параллелизатсия карда шудааст, версияи самараноки тақсимшудаи ин алгоритмро навиштан имконнопазир аст.
Пастшавии градиент
Ҳангоми сухан дар бораи кам кардани функсия, ҳамеша ба ёд овардани усули (стохастикӣ) градиентӣ зарур аст. Ин як усули содда ва самарабахши минимизатсия аст, ки ба такроран ҳисоб кардани градиенти функсия дар нуқта ва сипас ба самти муқобили градиент кӯчонидани он асос ёфтааст. Ҳар як чунин қадам ҳалли худро ба ҳадди аққал наздик мекунад. Градиент то ҳол як хел менамояд:
Ин усул инчунин аз ҳисоби хосиятҳои хаттии оператори градиентӣ хуб параллелизатсия ва тақсим карда шудааст. Дар хотир доред, ки дар формулаи боло дар зери аломати ҷамъ истилоҳҳои мустақил мавҷуданд. Ба ибораи дигар, мо метавонем градиентро барои ҳамаи индексҳо мустақилона ҳисоб кунем аз аввал то , дар баробари ин, градиентро барои индексҳо бо ба . Сипас градиентҳои натиҷаро илова кунед. Натиҷаи илова ҳамон тавре хоҳад буд, ки агар мо фавран градиентро барои индексҳо аз аввал то ҳисоб карда бошем . Ҳамин тариқ, агар маълумот дар байни якчанд қисмҳои додаҳо тақсим карда шавад, градиентро дар ҳар як порча мустақилона ҳисоб кардан мумкин аст ва сипас натиҷаҳои ин ҳисобҳоро ҷамъбаст карда, натиҷаи ниҳоӣ гирифтан мумкин аст:
Аз нуқтаи назари амалӣ, ин ба парадигма мувофиқат мекунад . Дар ҳар як қадами пастшавии градиент, ба ҳар як гиреҳи додаҳо барои ҳисоб кардани градиент супориш фиристода мешавад, сипас градиентҳои ҳисобшуда якҷоя ҷамъ карда мешаванд ва натиҷаи ҷамъи онҳо барои беҳтар кардани натиҷа истифода мешавад.
Сарфи назар аз осонии татбиқ ва қобилияти иҷро кардан дар парадигмаи MapReduce, фаромадани градиент низ нуқсонҳои худро дорад. Аз ҷумла, шумораи қадамҳое, ки барои ноил шудан ба конвергенсия лозиманд, нисбат ба дигар усулҳои махсусгардонидашуда хеле зиёданд.
LSQR
усули дигари ҳалли масъала аст, ки ҳам барои барқарор кардани регрессияи хатӣ ва ҳам барои ҳалли системаҳои муодилаҳои хатӣ мувофиқ аст. Хусусияти асосии он дар он аст, ки он афзалиятҳои усулҳои матритсавӣ ва равиши такрориро муттаҳид мекунад. Татбиқи ин усулро дар ҳарду китобхона дидан мумкин аст , ва дар . Тавсифи ин усул дар ин ҷо дода намешавад (онро дар мақола пайдо кардан мумкин аст ). Ба ҷои ин, равиш барои мутобиқ кардани LSQR ба иҷро дар муҳити тақсимшуда нишон дода мешавад.
Усули LSQR ба он асос ёфтааст . Ин як тартиби такрорӣ буда, ҳар як такрор аз қадамҳои зерин иборат аст:
Аммо агар фарз кунем, ки матрица ба таври уфуқӣ тақсим карда мешавад, пас ҳар як такрорро метавон ҳамчун ду қадами MapReduce муаррифӣ кард. Бо ин роҳ, интиқоли маълумотро дар давоми ҳар як итератсия кам кардан мумкин аст (танҳо векторҳое, ки дарозиашон ба шумораи номаълумҳо баробар аст):
Маҳз ҳамин равиш ҳангоми татбиқи регрессияи хатӣ истифода мешавад .
хулоса
Бисёр алгоритмҳои барқарорсозии регрессияи хатӣ вуҷуд доранд, аммо на ҳамаи онҳоро дар ҳама шароит истифода бурдан мумкин аст. Ҳамин тавр, таҷзияи QR барои ҳалли дақиқ дар маҷмӯи додаҳои хурд аъло аст. Пайдоиши градиент осон аст ва ба шумо имкон медиҳад, ки ҳалли тахминиро зуд пайдо кунед. Ва LSQR беҳтарин хосиятҳои ду алгоритми қаблиро муттаҳид мекунад, зеро он метавонад тақсим карда шавад, нисбат ба пастшавии градиент тезтар муттаҳид мешавад ва инчунин имкон медиҳад, ки алгоритми барвақт қатъ карда шавад, бар хилофи таҷзияи QR, барои ёфтани ҳалли тахминӣ.
Манбаъ: will.com