સ્થિતિસ્થાપક સ્ટેકમાં મશીન લર્નિંગને સમજવું (ઉર્ફ ઇલાસ્ટિકસર્ચ, ઉર્ફ ELK)

ચાલો યાદ કરીએ કે સ્થિતિસ્થાપક સ્ટેક નોન-રિલેશનલ ઈલાસ્ટિકસર્ચ ડેટાબેઝ, કિબાના વેબ ઈન્ટરફેસ અને ડેટા કલેક્ટર્સ અને પ્રોસેસર્સ (સૌથી પ્રખ્યાત લોગસ્ટેશ, વિવિધ બીટ્સ, એપીએમ અને અન્ય) પર આધારિત છે. સમગ્ર લિસ્ટેડ પ્રોડક્ટ સ્ટેકમાં એક સરસ ઉમેરો એ મશીન લર્નિંગ અલ્ગોરિધમનો ઉપયોગ કરીને ડેટા વિશ્લેષણ છે. લેખમાં આપણે સમજીએ છીએ કે આ અલ્ગોરિધમ્સ શું છે. કૃપા કરીને બિલાડી હેઠળ.

મશીન લર્નિંગ એ શેરવેર ઈલાસ્ટીક સ્ટેકની પેઈડ ફીચર છે અને તે એક્સ-પેકમાં સામેલ છે. તેનો ઉપયોગ શરૂ કરવા માટે, ઇન્સ્ટોલેશન પછી ફક્ત 30-દિવસની અજમાયશને સક્રિય કરો. અજમાયશ અવધિ સમાપ્ત થયા પછી, તમે તેને વધારવા અથવા સબ્સ્ક્રિપ્શન ખરીદવા માટે સમર્થનની વિનંતી કરી શકો છો. સબ્સ્ક્રિપ્શનની કિંમત ડેટાના જથ્થાના આધારે નહીં, પરંતુ ઉપયોગમાં લેવાતા નોડ્સની સંખ્યાના આધારે ગણવામાં આવે છે. ના, ડેટાની માત્રા, અલબત્ત, જરૂરી ગાંઠોની સંખ્યાને અસર કરે છે, પરંતુ તેમ છતાં કંપનીના બજેટના સંબંધમાં લાયસન્સ આપવાનો આ અભિગમ વધુ માનવીય છે. જો ઉચ્ચ ઉત્પાદકતાની જરૂર નથી, તો તમે પૈસા બચાવી શકો છો.

સ્થિતિસ્થાપક સ્ટેકમાં ML C++ માં લખાયેલ છે અને JVM ની બહાર ચાલે છે, જેમાં Elasticsearch પોતે ચાલે છે. એટલે કે, પ્રક્રિયા (માર્ગ દ્વારા, તેને ઓટોડિટેક કહેવામાં આવે છે) તે બધું જ વાપરે છે જે JVM ગળી નથી. ડેમો સ્ટેન્ડ પર આ એટલું જટિલ નથી, પરંતુ ઉત્પાદન વાતાવરણમાં ML કાર્યો માટે અલગ નોડ્સ ફાળવવા મહત્વપૂર્ણ છે.

મશીન લર્નિંગ અલ્ગોરિધમ્સ બે કેટેગરીમાં આવે છે - શિક્ષક સાથે и શિક્ષક વિના. સ્થિતિસ્થાપક સ્ટેકમાં, અલ્ગોરિધમ "અનિરીક્ષણ" શ્રેણીમાં છે. દ્વારા આ લિંક તમે મશીન લર્નિંગ અલ્ગોરિધમ્સનું ગાણિતિક ઉપકરણ જોઈ શકો છો.

વિશ્લેષણ કરવા માટે, મશીન લર્નિંગ અલ્ગોરિધમ ઇલાસ્ટિકસર્ચ ઇન્ડેક્સમાં સંગ્રહિત ડેટાનો ઉપયોગ કરે છે. તમે Kibana ઈન્ટરફેસ અને API મારફતે વિશ્લેષણ માટે કાર્યો બનાવી શકો છો. જો તમે કિબાના દ્વારા આ કરો છો, તો તમારે કેટલીક વસ્તુઓ જાણવાની જરૂર નથી. ઉદાહરણ તરીકે, વધારાના અનુક્રમણિકાઓ કે જે અલ્ગોરિધમ તેના ઓપરેશન દરમિયાન ઉપયોગ કરે છે.

વિશ્લેષણ પ્રક્રિયામાં વપરાતા વધારાના સૂચકાંકો.ml-state — આંકડાકીય મોડેલો વિશેની માહિતી (વિશ્લેષણ સેટિંગ્સ);
.ml-વિસંગતતા-* — ML અલ્ગોરિધમ્સના પરિણામો;
.ml-notifications — વિશ્લેષણ પરિણામો પર આધારિત સૂચનાઓ માટે સેટિંગ્સ.

Elasticsearch ડેટાબેઝમાં ડેટા માળખું તેમાં સંગ્રહિત ઇન્ડેક્સ અને દસ્તાવેજોનો સમાવેશ કરે છે. જ્યારે રિલેશનલ ડેટાબેઝ સાથે સરખામણી કરવામાં આવે છે, ત્યારે ઇન્ડેક્સની તુલના ડેટાબેઝ સ્કીમા સાથે અને દસ્તાવેજને ટેબલમાંના રેકોર્ડ સાથે કરી શકાય છે. આ સરખામણી શરતી છે અને જેઓએ માત્ર Elasticsearch વિશે સાંભળ્યું છે તેમના માટે આગળની સામગ્રીની સમજને સરળ બનાવવા માટે પ્રદાન કરવામાં આવી છે.

એપીઆઈ દ્વારા વેબ ઈન્ટરફેસ દ્વારા સમાન કાર્યક્ષમતા ઉપલબ્ધ છે, તેથી ખ્યાલોની સ્પષ્ટતા અને સમજણ માટે, અમે તેને કિબાના દ્વારા કેવી રીતે ગોઠવવું તે બતાવીશું. ડાબી બાજુના મેનૂમાં એક મશીન લર્નિંગ વિભાગ છે જ્યાં તમે નવી જોબ બનાવી શકો છો. કિબાના ઇન્ટરફેસમાં તે નીચેની છબી જેવું લાગે છે. હવે આપણે દરેક પ્રકારના કાર્યનું વિશ્લેષણ કરીશું અને વિશ્લેષણના પ્રકારો બતાવીશું જે અહીં બનાવી શકાય છે.

સિંગલ મેટ્રિક - એક મેટ્રિકનું વિશ્લેષણ, મલ્ટી મેટ્રિક - બે અથવા વધુ મેટ્રિક્સનું વિશ્લેષણ. બંને કિસ્સાઓમાં, દરેક મેટ્રિકનું એક અલગ વાતાવરણમાં વિશ્લેષણ કરવામાં આવે છે, એટલે કે. અલ્ગોરિધમ સમાંતર વિશ્લેષિત મેટ્રિક્સના વર્તનને ધ્યાનમાં લેતું નથી, કારણ કે તે મલ્ટી મેટ્રિકના કિસ્સામાં લાગે છે. વિવિધ મેટ્રિક્સના સહસંબંધને ધ્યાનમાં લઈને ગણતરીઓ કરવા માટે, તમે વસ્તી વિશ્લેષણનો ઉપયોગ કરી શકો છો. અને એડવાન્સ એ ચોક્કસ કાર્યો માટે વધારાના વિકલ્પો સાથે અલ્ગોરિધમ્સને ફાઇન-ટ્યુનિંગ છે.

સિંગલ મેટ્રિક

એક જ મેટ્રિકમાં ફેરફારોનું વિશ્લેષણ કરવું એ સૌથી સરળ બાબત છે જે અહીં કરી શકાય છે. જોબ બનાવો પર ક્લિક કર્યા પછી, એલ્ગોરિધમ વિસંગતતાઓ શોધશે.

ક્ષેત્રમાં એકત્રીકરણ તમે વિસંગતતાઓ શોધવાનો અભિગમ પસંદ કરી શકો છો. ઉદાહરણ તરીકે, જ્યારે મીન લાક્ષણિક મૂલ્યોથી નીચેના મૂલ્યોને વિસંગત ગણવામાં આવશે. ખાવું મહત્તમ, ઉચ્ચ સરેરાશ, નીચું, સરેરાશ, અલગ અને અન્ય. તમામ કાર્યોનું વર્ણન મળી શકે છે લિંક.

ક્ષેત્રમાં ક્ષેત્ર દસ્તાવેજમાં સંખ્યાત્મક ક્ષેત્ર સૂચવે છે કે જેના પર અમે વિશ્લેષણ કરીશું.

ક્ષેત્રમાં બકેટ સ્પાન - સમયરેખા પર અંતરાલોની ગ્રેન્યુલારિટી કે જેની સાથે વિશ્લેષણ હાથ ધરવામાં આવશે. તમે ઓટોમેશન પર વિશ્વાસ કરી શકો છો અથવા મેન્યુઅલી પસંદ કરી શકો છો. નીચેની છબી ગ્રેન્યુલારિટી ખૂબ ઓછી હોવાનું ઉદાહરણ છે - તમે વિસંગતતા ચૂકી શકો છો. આ સેટિંગનો ઉપયોગ કરીને, તમે અલ્ગોરિધમની સંવેદનશીલતાને વિસંગતતાઓમાં બદલી શકો છો.

એકત્રિત ડેટાનો સમયગાળો એ એક મુખ્ય વસ્તુ છે જે વિશ્લેષણની અસરકારકતાને અસર કરે છે. વિશ્લેષણ દરમિયાન, અલ્ગોરિધમ પુનરાવર્તિત અંતરાલો ઓળખે છે, આત્મવિશ્વાસ અંતરાલો (બેઝલાઇન્સ) ની ગણતરી કરે છે અને વિસંગતતાઓને ઓળખે છે - મેટ્રિકની સામાન્ય વર્તણૂકમાંથી વિશિષ્ટ વિચલનો. માત્ર ઉદાહરણ તરીકે:

ડેટાના નાના ભાગ સાથે બેઝલાઇન્સ:

જ્યારે એલ્ગોરિધમ પાસે કંઈક શીખવાનું હોય છે, ત્યારે આધારરેખા આના જેવી દેખાય છે:

કાર્ય શરૂ કર્યા પછી, એલ્ગોરિધમ ધોરણમાંથી વિસંગત વિચલનો નક્કી કરે છે અને વિસંગતતાની સંભાવના અનુસાર તેમને ક્રમાંકિત કરે છે (અનુરૂપ લેબલનો રંગ કૌંસમાં દર્શાવેલ છે):

ચેતવણી (વાદળી): 25 થી ઓછી
માઇનોર (પીળો): 25-50
મુખ્ય (નારંગી): 50-75
જટિલ (લાલ): 75-100

નીચેનો આલેખ મળેલી વિસંગતતાઓનું ઉદાહરણ બતાવે છે.

અહીં તમે 94 નંબર જોઈ શકો છો, જે વિસંગતતાની સંભાવના દર્શાવે છે. તે સ્પષ્ટ છે કે મૂલ્ય 100 ની નજીક હોવાથી, તેનો અર્થ એ છે કે અમારી પાસે વિસંગતતા છે. ગ્રાફની નીચેની કૉલમ ત્યાં દેખાતા મેટ્રિક મૂલ્યના 0.000063634% ની નિંદાત્મક રીતે નાની સંભાવના દર્શાવે છે.

વિસંગતતાઓ શોધવા ઉપરાંત, તમે કિબાનામાં આગાહી ચલાવી શકો છો. આ સરળ રીતે અને વિસંગતતાઓ સાથે સમાન દૃશ્યથી કરવામાં આવે છે - બટન અનુમાન ઉપર જમણા ખૂણે.

આગાહી મહત્તમ 8 અઠવાડિયા અગાઉથી કરવામાં આવે છે. જો તમે ખરેખર ઇચ્છતા હોવ તો પણ, ડિઝાઇન દ્વારા તે હવે શક્ય નથી.

કેટલીક પરિસ્થિતિઓમાં, આગાહી ખૂબ જ ઉપયોગી થશે, ઉદાહરણ તરીકે, જ્યારે ઈન્ફ્રાસ્ટ્રક્ચર પર વપરાશકર્તા લોડનું નિરીક્ષણ કરો.

મલ્ટી મેટ્રિક

ચાલો સ્થિતિસ્થાપક સ્ટેકમાં આગામી ML સુવિધા પર આગળ વધીએ - એક બેચમાં અનેક મેટ્રિક્સનું વિશ્લેષણ કરીએ છીએ. પરંતુ આનો અર્થ એ નથી કે એક મેટ્રિકની બીજા પર નિર્ભરતાનું વિશ્લેષણ કરવામાં આવશે. આ સિંગલ મેટ્રિક જેવું જ છે, પરંતુ એક સ્ક્રીન પર એકની બીજી પરની અસરની સરળ સરખામણી માટે બહુવિધ મેટ્રિક્સ સાથે. અમે વસ્તી વિભાગમાં એક મેટ્રિકની બીજા પર નિર્ભરતાનું વિશ્લેષણ કરવા વિશે વાત કરીશું.

મલ્ટી મેટ્રિકવાળા સ્ક્વેર પર ક્લિક કર્યા પછી, સેટિંગ્સ સાથેની વિંડો દેખાશે. ચાલો તેમને વધુ વિગતમાં જોઈએ.

પ્રથમ તમારે તેમના પર વિશ્લેષણ અને ડેટા એકત્રીકરણ માટે ક્ષેત્રો પસંદ કરવાની જરૂર છે. અહીં એકત્રીકરણ વિકલ્પો સિંગલ મેટ્રિક માટે સમાન છે (મહત્તમ, ઉચ્ચ સરેરાશ, નીચું, સરેરાશ, અલગ અને અન્ય). આગળ, જો ઇચ્છિત હોય, તો ડેટાને એક ફીલ્ડમાં વિભાજિત કરવામાં આવે છે (ક્ષેત્ર વિભાજિત ડેટા). ઉદાહરણમાં, અમે ક્ષેત્ર દ્વારા આ કર્યું OriginAirportID. નોંધ લો કે જમણી બાજુનો મેટ્રિક્સ ગ્રાફ હવે બહુવિધ ગ્રાફ તરીકે રજૂ કરવામાં આવ્યો છે.

ક્ષેત્ર મુખ્ય ક્ષેત્રો (પ્રભાવકો) શોધાયેલ વિસંગતતાઓને સીધી અસર કરે છે. ડિફૉલ્ટ રૂપે અહીં હંમેશા ઓછામાં ઓછું એક મૂલ્ય હશે, અને તમે વધારાના ઉમેરી શકો છો. વિશ્લેષણ કરતી વખતે અલ્ગોરિધમ આ ક્ષેત્રોના પ્રભાવને ધ્યાનમાં લેશે અને સૌથી વધુ "પ્રભાવશાળી" મૂલ્યો બતાવશે.

લોન્ચ કર્યા પછી, આના જેવું કંઈક કિબાના ઇન્ટરફેસમાં દેખાશે.

આ કહેવાતા છે દરેક ફીલ્ડ મૂલ્ય માટે વિસંગતતાઓનો હીટ મેપ OriginAirportID, જે અમે સૂચવ્યું છે વિભાજિત ડેટા. સિંગલ મેટ્રિકની જેમ, રંગ અસામાન્ય વિચલનનું સ્તર સૂચવે છે. સમાન વિશ્લેષણ કરવું અનુકૂળ છે, ઉદાહરણ તરીકે, શંકાસ્પદ રીતે મોટી સંખ્યામાં અધિકૃતતાઓ વગેરેને ટ્રૅક કરવા માટે વર્કસ્ટેશનો પર. અમે પહેલેથી જ લખ્યું છે EventLog Windows માં શંકાસ્પદ ઘટનાઓ વિશે, જે અહીં એકત્રિત અને વિશ્લેષણ પણ કરી શકાય છે.

હીટ મેપની નીચે વિસંગતતાઓની સૂચિ છે, દરેકમાંથી તમે વિગતવાર વિશ્લેષણ માટે સિંગલ મેટ્રિક દૃશ્ય પર સ્વિચ કરી શકો છો.

વસ્તી

વિવિધ મેટ્રિક્સ વચ્ચેના સહસંબંધોમાં વિસંગતતાઓ જોવા માટે, સ્થિતિસ્થાપક સ્ટેક પાસે વિશિષ્ટ વસ્તી વિશ્લેષણ છે. તે તેની સહાયથી છે કે તમે અન્યની તુલનામાં સર્વરના પ્રદર્શનમાં વિસંગત મૂલ્યો શોધી શકો છો જ્યારે, ઉદાહરણ તરીકે, લક્ષ્ય સિસ્ટમની વિનંતીઓની સંખ્યા વધે છે.

આ દ્રષ્ટાંતમાં, વસ્તી ફીલ્ડ એ મૂલ્ય સૂચવે છે કે જેનાથી વિશ્લેષિત મેટ્રિક્સ સંબંધિત હશે. આ કિસ્સામાં તે પ્રક્રિયાનું નામ છે. પરિણામે, આપણે જોઈશું કે દરેક પ્રક્રિયાના પ્રોસેસર લોડ એકબીજાને કેવી રીતે પ્રભાવિત કરે છે.

મહેરબાની કરીને નોંધ કરો કે વિશ્લેષિત ડેટાનો ગ્રાફ સિંગલ મેટ્રિક અને મલ્ટી મેટ્રિક સાથેના કેસથી અલગ છે. વિશ્લેષિત ડેટાના મૂલ્યોના વિતરણની સુધારેલી ધારણા માટે ડિઝાઇન દ્વારા આ કિબાનામાં કરવામાં આવ્યું હતું.

આલેખ બતાવે છે કે પ્રક્રિયા અસામાન્ય રીતે વર્તે છે તણાવ (માર્ગ દ્વારા, વિશિષ્ટ ઉપયોગિતા દ્વારા જનરેટ) સર્વર પર પોઇપુ, જેણે આ વિસંગતતાની ઘટનાને પ્રભાવિત કર્યો (અથવા પ્રભાવક બન્યો).

ઉન્નત

ફાઇન ટ્યુનિંગ સાથે વિશ્લેષણ. અદ્યતન વિશ્લેષણ સાથે, કિબાનામાં વધારાની સેટિંગ્સ દેખાય છે. બનાવટ મેનૂમાં એડવાન્સ્ડ ટાઇલ પર ક્લિક કર્યા પછી, ટેબ્સ સાથેની આ વિન્ડો દેખાય છે. ટૅબ જોબ વિગતો અમે તેને હેતુસર છોડી દીધું છે, ત્યાં મૂળભૂત સેટિંગ્સ છે જે વિશ્લેષણ સેટ કરવા સાથે સીધી રીતે સંબંધિત નથી.

В સારાંશ_ગણતરી_ફિલ્ડ_નામ વૈકલ્પિક રીતે, તમે એકીકૃત મૂલ્યો ધરાવતા દસ્તાવેજોમાંથી ફીલ્ડનું નામ સ્પષ્ટ કરી શકો છો. આ ઉદાહરણમાં, પ્રતિ મિનિટ ઇવેન્ટ્સની સંખ્યા. IN વર્ગીકરણ_ક્ષેત્ર_નામ ડોક્યુમેન્ટમાંથી ફીલ્ડનું નામ અને મૂલ્ય સૂચવે છે જેમાં અમુક ચલ મૂલ્ય હોય છે. આ ફીલ્ડ પર માસ્કનો ઉપયોગ કરીને, તમે વિશ્લેષણ કરેલ ડેટાને સબસેટમાં વિભાજિત કરી શકો છો. બટન પર ધ્યાન આપો ડિટેક્ટર ઉમેરો અગાઉના ચિત્રમાં. નીચે આ બટન પર ક્લિક કરવાનું પરિણામ છે.

વિશિષ્ટ કાર્ય માટે વિસંગતતા ડિટેક્ટરને ગોઠવવા માટે અહીં સેટિંગ્સનો વધારાનો બ્લોક છે. અમે નીચેના લેખોમાં ચોક્કસ ઉપયોગના કિસ્સાઓ (ખાસ કરીને સુરક્ષા મુદ્દાઓ) વિશે ચર્ચા કરવાની યોજના બનાવીએ છીએ. દાખ્લા તરીકે, એક નજર ડિસએસેમ્બલ કેસોમાંનો એક. તે ભાગ્યે જ દેખાતા મૂલ્યોની શોધ સાથે સંકળાયેલું છે અને તેનો અમલ કરવામાં આવે છે દુર્લભ કાર્ય.

ક્ષેત્રમાં કાર્ય તમે વિસંગતતાઓ શોધવા માટે ચોક્કસ કાર્ય પસંદ કરી શકો છો. સિવાય દુર્લભ, ત્યાં થોડા વધુ રસપ્રદ કાર્યો છે - દિવસનો_સમય и અઠવાડિયાનો_સમય. તેઓ અનુક્રમે સમગ્ર દિવસ અથવા અઠવાડિયા દરમિયાન મેટ્રિક્સના વર્તનમાં વિસંગતતાઓને ઓળખે છે. અન્ય વિશ્લેષણ કાર્યો દસ્તાવેજીકરણમાં છે.

В ક્ષેત્ર_નામ દસ્તાવેજનું ક્ષેત્ર સૂચવે છે કે જેના પર વિશ્લેષણ હાથ ધરવામાં આવશે. ક્ષેત્ર_નામ દ્વારા અહીં ઉલ્લેખિત દસ્તાવેજ ક્ષેત્રના દરેક વ્યક્તિગત મૂલ્ય માટે વિશ્લેષણ પરિણામોને અલગ કરવા માટે ઉપયોગ કરી શકાય છે. જો તમે ભરો over_field_name તમે વસ્તી વિશ્લેષણ મેળવો છો જેની અમે ઉપર ચર્ચા કરી છે. જો તમે માં મૂલ્યનો ઉલ્લેખ કરો છો partition_field_name, તો પછી દસ્તાવેજના આ ક્ષેત્ર માટે દરેક મૂલ્ય માટે અલગ આધારરેખાની ગણતરી કરવામાં આવશે (મૂલ્ય, ઉદાહરણ તરીકે, સર્વરનું નામ અથવા સર્વર પરની પ્રક્રિયા હોઈ શકે છે). IN બાકાત_વારંવાર પસંદ કરી શકે છે બધા અથવા કંઈ, જેનો અર્થ વારંવાર થતા દસ્તાવેજ ફીલ્ડ મૂલ્યોને બાદ કરતા (અથવા સહિત) થશે.

આ લેખમાં, અમે સ્થિતિસ્થાપક સ્ટેકમાં મશીન લર્નિંગની ક્ષમતાઓ વિશે શક્ય તેટલો સંક્ષિપ્ત વિચાર આપવાનો પ્રયાસ કર્યો છે; પડદા પાછળ હજુ પણ ઘણી વિગતો બાકી છે. અમને ટિપ્પણીઓમાં જણાવો કે તમે સ્થિતિસ્થાપક સ્ટેકનો ઉપયોગ કરીને કયા કેસોને ઉકેલવામાં વ્યવસ્થાપિત છો અને તમે કયા કાર્યો માટે તેનો ઉપયોગ કરો છો. અમારો સંપર્ક કરવા માટે, તમે Habré અથવા પર વ્યક્તિગત સંદેશાઓનો ઉપયોગ કરી શકો છો વેબસાઇટ પર પ્રતિસાદ ફોર્મ.

સોર્સ: www.habr.com