અમે રેખીય રીગ્રેશન સમીકરણને મેટ્રિક્સ સ્વરૂપમાં લાવીએ છીએ

લેખનો હેતુ શરૂઆતના ડેટા વૈજ્ઞાનિકોને સમર્થન આપવાનો છે. IN પાછલો લેખ અમે રેખીય રીગ્રેસન સમીકરણને ઉકેલવાની ત્રણ રીતો દર્શાવી છે: વિશ્લેષણાત્મક ઉકેલ, ગ્રેડિયન્ટ ડીસેન્ટ, સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડીસેન્ટ. પછી વિશ્લેષણાત્મક ઉકેલ માટે અમે સૂત્ર લાગુ કર્યું . આ લેખમાં, શીર્ષક સૂચવે છે તેમ, અમે આ સૂત્રના ઉપયોગને ન્યાયી ઠેરવીશું અથવા, બીજા શબ્દોમાં કહીએ તો, અમે તેને જાતે મેળવીશું.

સૂત્ર પર વધુ ધ્યાન આપવાનું શા માટે અર્થપૂર્ણ છે ?

તે મેટ્રિક્સ સમીકરણ સાથે છે કે મોટાભાગના કિસ્સાઓમાં વ્યક્તિ રેખીય રીગ્રેશનથી પરિચિત થવાનું શરૂ કરે છે. તે જ સમયે, સૂત્ર કેવી રીતે પ્રાપ્ત થયું તેની વિગતવાર ગણતરીઓ દુર્લભ છે.

ઉદાહરણ તરીકે, યાન્ડેક્ષના મશીન લર્નિંગ અભ્યાસક્રમોમાં, જ્યારે વિદ્યાર્થીઓને નિયમિત કરવા માટે રજૂ કરવામાં આવે છે, ત્યારે તેઓને પુસ્તકાલયમાંથી ફંક્શનનો ઉપયોગ કરવાની ઓફર કરવામાં આવે છે. sklearn, જ્યારે અલ્ગોરિધમના મેટ્રિક્સ પ્રતિનિધિત્વ વિશે એક શબ્દનો ઉલ્લેખ નથી. તે આ ક્ષણે છે કે કેટલાક શ્રોતાઓ આ મુદ્દાને વધુ વિગતવાર સમજવા માંગે છે - તૈયાર કાર્યોનો ઉપયોગ કર્યા વિના કોડ લખો. અને આ કરવા માટે, તમારે પહેલા રેગ્યુલરાઇઝર સાથેના સમીકરણને મેટ્રિક્સ સ્વરૂપમાં રજૂ કરવું પડશે. આ લેખ તે લોકોને પરવાનગી આપશે જેઓ આવી કુશળતામાં નિપુણતા મેળવવા માંગે છે. ચાલો, શરુ કરીએ.

પ્રારંભિક શરતો

લક્ષ્ય સૂચકાંકો

અમારી પાસે લક્ષ્ય મૂલ્યોની શ્રેણી છે. ઉદાહરણ તરીકે, લક્ષ્ય સૂચક કોઈપણ સંપત્તિની કિંમત હોઈ શકે છે: તેલ, સોનું, ઘઉં, ડોલર, વગેરે. તે જ સમયે, સંખ્યાબંધ લક્ષ્ય સૂચક મૂલ્યો દ્વારા અમારો અર્થ અવલોકનોની સંખ્યા છે. આવા અવલોકનો હોઈ શકે છે, ઉદાહરણ તરીકે, વર્ષ માટે માસિક તેલના ભાવ, એટલે કે, અમારી પાસે 12 લક્ષ્ય મૂલ્યો હશે. ચાલો નોટેશનનો પરિચય શરૂ કરીએ. ચાલો લક્ષ્ય સૂચકના દરેક મૂલ્યને આ રીતે દર્શાવીએ . કુલ મળીને અમારી પાસે છે અવલોકનો, જેનો અર્થ છે કે આપણે આપણા અવલોકનોને તરીકે રજૂ કરી શકીએ છીએ .

રીગ્રેસર્સ

અમે ધારીશું કે એવા પરિબળો છે જે અમુક હદ સુધી લક્ષ્ય સૂચકના મૂલ્યોને સમજાવે છે. ઉદાહરણ તરીકે, ડૉલર/રુબલ ​​વિનિમય દર તેલની કિંમત, ફેડરલ રિઝર્વ રેટ વગેરેથી ખૂબ પ્રભાવિત થાય છે. આવા પરિબળોને રીગ્રેસર કહેવામાં આવે છે. તે જ સમયે, દરેક લક્ષ્ય સૂચક મૂલ્ય રીગ્રેસર મૂલ્યને અનુરૂપ હોવું જોઈએ, એટલે કે, જો અમારી પાસે 12 માં દરેક મહિના માટે 2018 લક્ષ્ય સૂચકાંકો હોય, તો અમારી પાસે સમાન સમયગાળા માટે 12 રીગ્રેસર મૂલ્યો પણ હોવા જોઈએ. ચાલો દરેક રીગ્રેસરના મૂલ્યો દ્વારા સૂચિત કરીએ . અમારા કિસ્સામાં ત્યાં રહેવા દો રીગ્રેસર્સ (એટલે ​​કે લક્ષ્ય સૂચક મૂલ્યોને પ્રભાવિત કરતા પરિબળો). આનો અર્થ એ છે કે અમારા રીગ્રેસરને નીચે પ્રમાણે રજૂ કરી શકાય છે: 1 લી રીગ્રેસર માટે (ઉદાહરણ તરીકે, તેલની કિંમત): , 2જી રીગ્રેસર માટે (ઉદાહરણ તરીકે, ફેડ રેટ): , માટે "-th" રીગ્રેસર:

રીગ્રેસર્સ પર લક્ષ્ય સૂચકોની અવલંબન

ચાલો ધારીએ કે લક્ષ્ય સૂચકની અવલંબન રીગ્રેસર્સ તરફથી "th" અવલોકન ફોર્મના રેખીય રીગ્રેસન સમીકરણ દ્વારા વ્યક્ત કરી શકાય છે:

જ્યાં - "-th" રીગ્રેસર મૂલ્ય 1 થી ,

- 1 થી રીગ્રેસરની સંખ્યા

— કોણીય ગુણાંક, જે તે રકમનું પ્રતિનિધિત્વ કરે છે જેના દ્વારા ગણતરી કરેલ લક્ષ્ય સૂચક સરેરાશ બદલાશે જ્યારે રીગ્રેસર બદલાશે.

બીજા શબ્દોમાં કહીએ તો, અમે દરેક માટે છીએ (સિવાય રીગ્રેસરના ) અમે "અમારું" ગુણાંક નક્કી કરીએ છીએ , પછી રીગ્રેસરના મૂલ્યો દ્વારા ગુણાંકનો ગુણાકાર કરો "th" અવલોકન, પરિણામે આપણે ચોક્કસ અંદાજ મેળવીએ છીએ "-th" લક્ષ્ય સૂચક.

તેથી, આપણે આવા ગુણાંક પસંદ કરવાની જરૂર છે , જેના પર અમારા અંદાજિત કાર્યના મૂલ્યો લક્ષ્ય સૂચક મૂલ્યોની શક્ય તેટલી નજીક સ્થિત હશે.

અંદાજિત કાર્યની ગુણવત્તાનું મૂલ્યાંકન

અમે ઓછામાં ઓછા ચોરસ પદ્ધતિનો ઉપયોગ કરીને અંદાજિત કાર્યનું ગુણવત્તા મૂલ્યાંકન નક્કી કરીશું. આ કિસ્સામાં ગુણવત્તા મૂલ્યાંકન કાર્ય નીચેનું સ્વરૂપ લેશે:

આપણે ગુણાંકના આવા મૂલ્યો પસંદ કરવાની જરૂર છે $w$ જેના માટે મૂલ્ય સૌથી નાનો હશે.

સમીકરણને મેટ્રિક્સ સ્વરૂપમાં રૂપાંતરિત કરવું

વેક્ટર પ્રતિનિધિત્વ

શરૂઆતમાં, તમારું જીવન સરળ બનાવવા માટે, તમારે રેખીય રીગ્રેસન સમીકરણ પર ધ્યાન આપવું જોઈએ અને નોંધ લો કે પ્રથમ ગુણાંક કોઈપણ રીગ્રેસર દ્વારા ગુણાકાર કરવામાં આવતો નથી. તે જ સમયે, જ્યારે આપણે ડેટાને મેટ્રિક્સ સ્વરૂપમાં રૂપાંતરિત કરીએ છીએ, ત્યારે ઉપરોક્ત સંજોગો ગણતરીઓને ગંભીરતાથી જટિલ બનાવશે. આ સંદર્ભે, પ્રથમ ગુણાંક માટે અન્ય રીગ્રેસર રજૂ કરવાની દરખાસ્ત છે અને તેને એક સાથે સરખાવો. અથવા તેના બદલે, દરેક "આ રીગ્રેસરના મા મૂલ્યને એક સાથે સરખાવો - છેવટે, જ્યારે એક વડે ગુણાકાર કરવામાં આવે, ત્યારે ગણતરીના પરિણામના દૃષ્ટિકોણથી કંઈપણ બદલાશે નહીં, પરંતુ મેટ્રિસિસના ઉત્પાદન માટેના નિયમોના દૃષ્ટિકોણથી, અમારી યાતના નોંધપાત્ર ઘટાડો થશે.

હવે, આ ક્ષણ માટે, સામગ્રીને સરળ બનાવવા માટે, ચાલો ધારીએ કે આપણી પાસે ફક્ત એક જ છે "-મી" અવલોકન. પછી, રીગ્રેસરના મૂલ્યોની કલ્પના કરો "વેક્ટર તરીકે -th" અવલોકનો . વેક્ટર પરિમાણ ધરાવે છે તે છે પંક્તિઓ અને 1 કૉલમ:

ચાલો વેક્ટર તરીકે જરૂરી ગુણાંક રજૂ કરીએ , પરિમાણ ધરાવે છે :

" માટે રેખીય રીગ્રેસન સમીકરણ-th" અવલોકન ફોર્મ લેશે:

રેખીય મોડેલની ગુણવત્તાનું મૂલ્યાંકન કરવા માટેનું કાર્ય ફોર્મ લેશે:

મહેરબાની કરીને નોંધ કરો કે મેટ્રિક્સ ગુણાકારના નિયમો અનુસાર, આપણે વેક્ટરને સ્થાનાંતરિત કરવાની જરૂર હતી .

મેટ્રિક્સ પ્રતિનિધિત્વ

વેક્ટરના ગુણાકારના પરિણામે, અમને સંખ્યા મળે છે: , જે અપેક્ષિત છે. આ સંખ્યા અંદાજિત છે "-th" લક્ષ્ય સૂચક. પરંતુ અમારે માત્ર એક લક્ષ્ય મૂલ્યની નહીં, પરંતુ તે તમામની અંદાજિતતાની જરૂર છે. આ કરવા માટે, ચાલો બધું લખીએ "મેટ્રિક્સ ફોર્મેટમાં "th" રીગ્રેસર્સ . પરિણામી મેટ્રિક્સનું પરિમાણ છે :

હવે રેખીય રીગ્રેસન સમીકરણ ફોર્મ લેશે:

ચાલો લક્ષ્ય સૂચકાંકોના મૂલ્યો સૂચવીએ (બધા ) પ્રતિ વેક્ટર પરિમાણ :

હવે આપણે મેટ્રિક્સ ફોર્મેટમાં રેખીય મોડેલની ગુણવત્તાનું મૂલ્યાંકન કરવા માટે સમીકરણ લખી શકીએ છીએ:

વાસ્તવમાં, આ સૂત્રમાંથી આપણે આપણને જાણીતું સૂત્ર મેળવીએ છીએ

તે કેવી રીતે થાય છે? કૌંસ ખોલવામાં આવે છે, ભિન્નતા હાથ ધરવામાં આવે છે, પરિણામી અભિવ્યક્તિઓ રૂપાંતરિત થાય છે, વગેરે, અને આ તે જ છે જે આપણે હવે કરીશું.

મેટ્રિક્સ પરિવર્તન

ચાલો કૌંસ ખોલીએ

ચાલો ભિન્નતા માટે સમીકરણ તૈયાર કરીએ

આ કરવા માટે, અમે કેટલાક પરિવર્તનો હાથ ધરીશું. અનુગામી ગણતરીઓમાં તે આપણા માટે વધુ અનુકૂળ રહેશે જો વેક્ટર સમીકરણમાં દરેક ઉત્પાદનની શરૂઆતમાં રજૂ કરવામાં આવશે.

રૂપાંતર 1

એ કેવી રીતે થયું? આ પ્રશ્નનો જવાબ આપવા માટે, માત્ર ગુણાકાર કરવામાં આવતા મેટ્રિસિસના કદ જુઓ અને જુઓ કે આઉટપુટ પર આપણને સંખ્યા મળે છે અથવા તો .

ચાલો મેટ્રિક્સ સમીકરણોના માપો લખીએ.

રૂપાંતર 2

ચાલો તેને રૂપાંતર 1 ની સમાન રીતે લખીએ

આઉટપુટ પર આપણને એક સમીકરણ મળે છે જેને આપણે અલગ પાડવાનું છે:

અમે મોડેલ ગુણવત્તા મૂલ્યાંકન કાર્યને અલગ પાડીએ છીએ

ચાલો વેક્ટરના સંદર્ભમાં તફાવત કરીએ :

શા માટે પ્રશ્નો ત્યાં ન હોવું જોઈએ, પરંતુ અમે અન્ય બે અભિવ્યક્તિઓમાં ડેરિવેટિવ્ઝ નક્કી કરવા માટેની ક્રિયાઓની વધુ વિગતવાર તપાસ કરીશું.

ભેદભાવ 1

ચાલો તફાવતને વિસ્તૃત કરીએ:

મેટ્રિક્સ અથવા વેક્ટરનું વ્યુત્પન્ન નક્કી કરવા માટે, તમારે તેમની અંદર શું છે તે જોવાની જરૂર છે. ચાલો જોઈએ:

ચાલો મેટ્રિસીસનું ઉત્પાદન સૂચવીએ મેટ્રિક્સ દ્વારા . મેટ્રિક્સ ચોરસ અને વધુમાં, તે સપ્રમાણ છે. આ ગુણધર્મો પછીથી આપણા માટે ઉપયોગી થશે, ચાલો તેમને યાદ કરીએ. મેટ્રિક્સ પરિમાણ ધરાવે છે :

હવે અમારું કાર્ય મેટ્રિક્સ દ્વારા વેક્ટર્સને યોગ્ય રીતે ગુણાકાર કરવાનું છે અને "બે વખત બે છે પાંચ" મેળવવાનું નથી, તેથી ચાલો ધ્યાન કેન્દ્રિત કરીએ અને અત્યંત સાવચેત રહીએ.

જો કે, અમે એક જટિલ અભિવ્યક્તિ પ્રાપ્ત કરી છે! હકીકતમાં, અમને એક નંબર મળ્યો - એક સ્કેલર. અને હવે, વાસ્તવિકતા માટે, આપણે ભિન્નતા તરફ આગળ વધીએ છીએ. દરેક ગુણાંક માટે પરિણામી અભિવ્યક્તિનું વ્યુત્પન્ન શોધવું જરૂરી છે અને આઉટપુટ તરીકે પરિમાણ વેક્ટર મેળવો . માત્ર કિસ્સામાં, હું કાર્યવાહી દ્વારા કાર્યવાહી લખીશ:

1) દ્વારા તફાવત , અમને મળે છે:

2) દ્વારા તફાવત , અમને મળે છે:

3) દ્વારા તફાવત , અમને મળે છે:

આઉટપુટ એ કદનું વચન આપેલ વેક્ટર છે :

જો તમે વેક્ટરને વધુ નજીકથી જોશો, તો તમે જોશો કે વેક્ટરના ડાબા અને અનુરૂપ જમણા ઘટકોને એવી રીતે જૂથબદ્ધ કરી શકાય છે કે પરિણામે, વેક્ટરને પ્રસ્તુત વેક્ટરથી અલગ કરી શકાય છે. કદ . ઉદાહરણ તરીકે (વેક્ટરની ટોચની લાઇનનું ડાબું તત્વ) (વેક્ટરની ટોચની લાઇનનું જમણું તત્વ) તરીકે રજૂ કરી શકાય છે અને - કેવી રીતે વગેરે દરેક લાઇન પર. ચાલો જૂથ કરીએ:

ચાલો વેક્ટર બહાર કાઢીએ અને આઉટપુટ પર આપણને મળે છે:

હવે, ચાલો પરિણામી મેટ્રિક્સ પર નજીકથી નજર કરીએ. મેટ્રિક્સ એ બે મેટ્રિસિસનો સરવાળો છે :

ચાલો યાદ કરીએ કે થોડા સમય પહેલા આપણે મેટ્રિક્સની એક મહત્વપૂર્ણ મિલકત નોંધી હતી - તે સપ્રમાણ છે. આ ગુણધર્મના આધારે, અમે વિશ્વાસપૂર્વક કહી શકીએ કે અભિવ્યક્તિ બરાબર . તત્વ દ્વારા મેટ્રિસીસ તત્વના ઉત્પાદનને વિસ્તૃત કરીને આ સરળતાથી ચકાસી શકાય છે . અમે આ અહીં કરીશું નહીં; રસ ધરાવનારાઓ તેને જાતે ચકાસી શકે છે.

ચાલો આપણી અભિવ્યક્તિ પર પાછા ફરીએ. અમારા રૂપાંતરણો પછી, અમે તેને જે રીતે જોવા માગીએ છીએ તે રીતે તે બહાર આવ્યું:

તેથી, અમે પ્રથમ તફાવત પૂર્ણ કર્યો છે. ચાલો બીજા અભિવ્યક્તિ તરફ આગળ વધીએ.

ભેદભાવ 2

ચાલો પીટાયેલા માર્ગને અનુસરીએ. તે પાછલા એક કરતા ઘણું નાનું હશે, તેથી સ્ક્રીનથી વધુ દૂર ન જશો.

ચાલો વેક્ટર અને મેટ્રિક્સ તત્વને તત્વ દ્વારા વિસ્તૃત કરીએ:

ચાલો થોડા સમય માટે ગણતરીઓમાંથી બેને દૂર કરીએ - તે કોઈ મોટી ભૂમિકા ભજવતું નથી, પછી અમે તેને તેના સ્થાને પાછું મૂકીશું. ચાલો વેક્ટરને મેટ્રિક્સ વડે ગુણાકાર કરીએ. સૌ પ્રથમ, ચાલો મેટ્રિક્સનો ગુણાકાર કરીએ વેક્ટર માટે , અમારે અહીં કોઈ પ્રતિબંધ નથી. આપણને કદ વેક્ટર મળે છે :

ચાલો નીચેની ક્રિયા કરીએ - વેક્ટરનો ગુણાકાર પરિણામી વેક્ટર માટે. બહાર નીકળતી વખતે નંબર અમારી રાહ જોશે:

પછી આપણે તેને અલગ પાડીશું. આઉટપુટ પર આપણને પરિમાણનું વેક્ટર મળે છે :

મને કંઈક યાદ અપાવે છે? તે સાચું છે! આ મેટ્રિક્સનું ઉત્પાદન છે વેક્ટર માટે .

આમ, બીજો ભેદ સફળતાપૂર્વક પૂર્ણ થયો.

તેના બદલે એક નિષ્કર્ષ

હવે આપણે જાણીએ છીએ કે સમાનતા કેવી રીતે આવી .

અંતે, અમે મૂળભૂત સૂત્રોને રૂપાંતરિત કરવાની ઝડપી રીતનું વર્ણન કરીશું.

ચાલો ઓછામાં ઓછા ચોરસ પદ્ધતિ અનુસાર મોડેલની ગુણવત્તાનું મૂલ્યાંકન કરીએ:

ચાલો પરિણામી અભિવ્યક્તિને અલગ કરીએ:

સાહિત્ય

ઈન્ટરનેટ સ્ત્રોતો:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

પાઠ્યપુસ્તકો, સમસ્યાઓનો સંગ્રહ:

1) ઉચ્ચ ગણિત પર વ્યાખ્યાન નોંધો: સંપૂર્ણ અભ્યાસક્રમ / D.T. લેખિત – ચોથી આવૃત્તિ. – એમ.: આઇરિસ-પ્રેસ, 4
2) એપ્લાઇડ રીગ્રેશન એનાલિસિસ / N. Draper, G. Smith - 2nd ed. – એમ.: ફાઇનાન્સ એન્ડ સ્ટેટિસ્ટિક્સ, 1986 (અંગ્રેજીમાંથી અનુવાદ)
3) મેટ્રિક્સ સમીકરણો ઉકેલવા માટેની સમસ્યાઓ:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

સોર્સ: www.habr.com