સર્વર એનાલિટિક્સ સિસ્ટમ્સ

વિશ્લેષણાત્મક સિસ્ટમો વિશેના લેખોની શ્રેણીનો આ બીજો ભાગ છે (ભાગ 1 ની લિંક).

આજે તેમાં કોઈ શંકા નથી કે સાવચેતીપૂર્વક ડેટા પ્રોસેસિંગ અને પરિણામોનું અર્થઘટન લગભગ કોઈપણ પ્રકારના વ્યવસાયને મદદ કરી શકે છે. આ સંદર્ભમાં, વિશ્લેષણાત્મક સિસ્ટમો વધુને વધુ પરિમાણો સાથે લોડ થઈ રહી છે, અને એપ્લિકેશન્સમાં ટ્રિગર્સ અને વપરાશકર્તા ઇવેન્ટ્સની સંખ્યા વધી રહી છે.
આને કારણે, કંપનીઓ તેમના વિશ્લેષકોને વધુ અને વધુ કાચી માહિતી આપી રહી છે જેથી તેનું વિશ્લેષણ કરવામાં આવે અને યોગ્ય નિર્ણય લેવામાં આવે. કંપની માટે એનાલિટિક્સ સિસ્ટમનું મહત્વ ઓછું આંકવું જોઈએ નહીં, અને સિસ્ટમ પોતે જ વિશ્વસનીય અને સ્થિર હોવી જોઈએ.

ગ્રાહક વિશ્લેષકો

ગ્રાહક વિશ્લેષણ એ એવી સેવા છે જેને કંપની સત્તાવાર SDK દ્વારા તેની વેબસાઇટ અથવા એપ્લિકેશન સાથે જોડે છે, તેના પોતાના કોડબેઝમાં એકીકૃત થાય છે અને ઇવેન્ટ ટ્રિગર્સ પસંદ કરે છે. આ અભિગમમાં એક સ્પષ્ટ નુકસાન છે: તમે પસંદ કરો છો તે કોઈપણ સેવાની મર્યાદાઓને કારણે એકત્રિત કરવામાં આવેલ તમામ ડેટા પર તમે ઇચ્છો તે રીતે બરાબર પ્રક્રિયા કરી શકાતી નથી. ઉદાહરણ તરીકે, એક સિસ્ટમ પર MapReduce કાર્યો ચલાવવાનું સરળ રહેશે નહીં, બીજી સિસ્ટમ પર તમે તમારું મોડેલ ચલાવી શકશો નહીં. અન્ય ગેરલાભ એ સેવાઓ માટે નિયમિત (પ્રભાવશાળી) બિલ હશે.
બજારમાં ઘણા ગ્રાહક વિશ્લેષણ ઉકેલો છે, પરંતુ વહેલા અથવા પછીના વિશ્લેષકોને એ હકીકતનો સામનો કરવો પડે છે કે દરેક કાર્ય માટે કોઈ એક સાર્વત્રિક સેવા યોગ્ય નથી (જ્યારે આ બધી સેવાઓની કિંમતો સતત વધી રહી છે). આવી સ્થિતિમાં, કંપનીઓ ઘણીવાર તમામ જરૂરી કસ્ટમ સેટિંગ્સ અને ક્ષમતાઓ સાથે તેમની પોતાની એનાલિટિક્સ સિસ્ટમ બનાવવાનું નક્કી કરે છે.

સર્વર વિશ્લેષકો

સર્વર-સાઇડ એનાલિટિક્સ એ એક એવી સેવા છે જે કંપનીની અંદર તેના પોતાના સર્વર પર અને (સામાન્ય રીતે) તેના પોતાના પ્રયત્નોથી ગોઠવી શકાય છે. આ મોડેલમાં, તમામ વપરાશકર્તા ઇવેન્ટ્સ આંતરિક સર્વર્સ પર સંગ્રહિત થાય છે, જે વિકાસકર્તાઓને વિવિધ સ્ટોરેજ ડેટાબેસેસ અજમાવવા અને સૌથી અનુકૂળ આર્કિટેક્ચર પસંદ કરવાની મંજૂરી આપે છે. અને જો તમે હજી પણ કેટલાક કાર્યો માટે તૃતીય-પક્ષ ક્લાયંટ એનાલિટિક્સનો ઉપયોગ કરવા માંગતા હો, તો પણ તે શક્ય બનશે.
સર્વર-સાઇડ એનાલિટિક્સ બે રીતે જમાવી શકાય છે. પ્રથમ: કેટલીક ઓપન સોર્સ યુટિલિટીઝ પસંદ કરો, તેને તમારા મશીનો પર જમાવો અને બિઝનેસ લોજીક વિકસાવો.

Плюсы
મિનિસી

તમે ઇચ્છો તે કંઈપણ કસ્ટમાઇઝ કરી શકો છો
આ ઘણીવાર ખૂબ જ મુશ્કેલ હોય છે અને અલગ વિકાસકર્તાઓની જરૂર હોય છે

બીજું: SaaS સેવાઓ (Amazon, Google, Azure) લો તેને બદલે તેને જાતે ગોઠવો. અમે ત્રીજા ભાગમાં વધુ વિગતવાર SaaS વિશે વાત કરીશું.

Плюсы
મિનિસી

તે મધ્યમ જથ્થામાં સસ્તી હોઈ શકે છે, પરંતુ મોટી વૃદ્ધિ સાથે તે હજી પણ ખૂબ ખર્ચાળ બનશે
તમામ પરિમાણોને નિયંત્રિત કરવું શક્ય બનશે નહીં

વહીવટ સંપૂર્ણપણે સેવા પ્રદાતાના ખભા પર ટ્રાન્સફર થાય છે
સેવાની અંદર શું છે તે હંમેશા જાણી શકાતું નથી (તેની જરૂર ન હોઈ શકે)

સર્વર એનાલિટિક્સ કેવી રીતે એકત્રિત કરવું

જો આપણે ક્લાયન્ટ એનાલિટિક્સનો ઉપયોગ કરવાથી દૂર જઈને આપણું પોતાનું નિર્માણ કરવા માગીએ છીએ, તો સૌ પ્રથમ આપણે નવી સિસ્ટમના આર્કિટેક્ચર દ્વારા વિચારવાની જરૂર છે. નીચે હું તમને પગલું દ્વારા પગલું કહીશ કે તમારે શું ધ્યાનમાં લેવાની જરૂર છે, શા માટે દરેક પગલાની જરૂર છે અને તમે કયા સાધનોનો ઉપયોગ કરી શકો છો.

1. ડેટા પ્રાપ્ત કરી રહ્યા છીએ

જેમ ગ્રાહક એનાલિટિક્સના કિસ્સામાં, સૌ પ્રથમ, કંપનીના વિશ્લેષકો ભવિષ્યમાં અભ્યાસ કરવા માગતા ઇવેન્ટના પ્રકારો પસંદ કરે છે અને તેમને સૂચિમાં એકત્રિત કરે છે. સામાન્ય રીતે, આ ઘટનાઓ ચોક્કસ ક્રમમાં થાય છે, જેને "ઇવેન્ટ પેટર્ન" કહેવાય છે.
આગળ, કલ્પના કરો કે મોબાઇલ એપ્લિકેશન (વેબસાઇટ)માં નિયમિત વપરાશકર્તાઓ (ઉપકરણો) અને ઘણા સર્વર્સ છે. ઉપકરણોથી સર્વર પર ઇવેન્ટ્સને સુરક્ષિત રીતે સ્થાનાંતરિત કરવા માટે, મધ્યવર્તી સ્તરની જરૂર છે. આર્કિટેક્ચર પર આધાર રાખીને, ત્યાં ઘણી અલગ ઇવેન્ટ કતાર હોઈ શકે છે.
અપાચે કાફકા છે પબ/સબ કતાર, જેનો ઉપયોગ ઇવેન્ટ્સ એકત્રિત કરવા માટે કતાર તરીકે થાય છે.

અનુસાર Quora પર પોસ્ટ કરો 2014 માં, અપાચે કાફકાના નિર્માતાએ સોફ્ટવેરનું નામ ફ્રાન્ઝ કાફકાના નામ પર રાખવાનું નક્કી કર્યું કારણ કે "તે લખવા માટે ઑપ્ટિમાઇઝ કરેલ સિસ્ટમ છે" અને કારણ કે તેને કાફકાની કૃતિઓ પસંદ હતી. - વિકિપીડિયા

અમારા ઉદાહરણમાં, ઘણા ડેટા ઉત્પાદકો અને ડેટા ઉપભોક્તા (ઉપકરણો અને સર્વર્સ) છે અને કાફકા તેમને એકબીજા સાથે જોડવામાં મદદ કરે છે. ઉપભોક્તાઓને નીચેના પગલાંઓમાં વધુ વિગતવાર વર્ણવવામાં આવશે, જ્યાં તેઓ મુખ્ય વિષયો હશે. હવે અમે ફક્ત ડેટા ઉત્પાદકો (ઇવેન્ટ્સ) ને ધ્યાનમાં લઈશું.
કાફકા કતાર અને પાર્ટીશનની વિભાવનાઓને સમાવિષ્ટ કરે છે; આ વિશે અન્યત્ર વધુ સ્પષ્ટપણે વાંચવું વધુ સારું છે (ઉદાહરણ તરીકે, માં દસ્તાવેજીકરણ). વિગતોમાં ગયા વિના, ચાલો કલ્પના કરીએ કે બે અલગ-અલગ OS માટે મોબાઇલ એપ્લિકેશન લોન્ચ કરવામાં આવી છે. પછી દરેક સંસ્કરણ તેની પોતાની અલગ ઇવેન્ટ સ્ટ્રીમ બનાવે છે. નિર્માતાઓ કાફકાને ઇવેન્ટ્સ મોકલે છે, તે યોગ્ય કતારમાં રેકોર્ડ કરવામાં આવે છે.

(ચિત્ર અહીંથી)

તે જ સમયે, કાફકા તમને હિસ્સામાં વાંચવાની અને મીની-બેચમાં ઇવેન્ટ્સના પ્રવાહ પર પ્રક્રિયા કરવાની મંજૂરી આપે છે. કાફકા એ ખૂબ જ અનુકૂળ સાધન છે જે વધતી જતી જરૂરિયાતો (ઉદાહરણ તરીકે, ઘટનાઓના ભૌગોલિક સ્થાન દ્વારા) સારી રીતે માપે છે.
સામાન્ય રીતે એક શાર્ડ પૂરતો હોય છે, પરંતુ સ્કેલિંગ કરતી વખતે વસ્તુઓ વધુ જટિલ બને છે (જેમ કે તેઓ હંમેશા કરે છે). સંભવતઃ કોઈ પણ વ્યક્તિ ઉત્પાદનમાં માત્ર એક ભૌતિક શાર્ડનો ઉપયોગ કરવા માંગશે નહીં, કારણ કે આર્કિટેક્ચર દોષ-સહિષ્ણુ હોવું જોઈએ. કાફકા ઉપરાંત, બીજો જાણીતો ઉકેલ છે - RabbitMQ. અમે ઇવેન્ટ એનાલિટિક્સ માટે કતાર તરીકે ઉત્પાદનમાં તેનો ઉપયોગ કર્યો નથી (જો તમને આવો અનુભવ હોય, તો અમને ટિપ્પણીઓમાં તેના વિશે જણાવો!). જો કે, અમે AWS Kinesis નો ઉપયોગ કર્યો.

આગલા પગલા પર આગળ વધતા પહેલા, આપણે સિસ્ટમના વધુ એક વધારાના સ્તરનો ઉલ્લેખ કરવાની જરૂર છે - કાચો લોગ સ્ટોરેજ. આ જરૂરી સ્તર નથી, પરંતુ જો કંઈક ખોટું થાય અને કાફકામાં ઇવેન્ટ કતાર ફરીથી સેટ કરવામાં આવે તો તે ઉપયોગી થશે. કાચા લોગને સંગ્રહિત કરવા માટે જટિલ અને ખર્ચાળ ઉકેલની જરૂર નથી; તમે તેને ક્યાંક યોગ્ય ક્રમમાં લખી શકો છો (હાર્ડ ડ્રાઇવ પર પણ).

2. ઇવેન્ટ સ્ટ્રીમ્સ પર પ્રક્રિયા કરી રહી છે

અમે તમામ ઇવેન્ટ્સ તૈયાર કર્યા પછી અને તેમને યોગ્ય કતારોમાં મૂક્યા પછી, અમે પ્રક્રિયાના પગલા પર આગળ વધીએ છીએ. અહીં હું તમને બે સૌથી સામાન્ય પ્રોસેસિંગ વિકલ્પો વિશે જણાવીશ.
પ્રથમ વિકલ્પ અપાચે સિસ્ટમમાં સ્પાર્ક સ્ટ્રીમિંગને સક્ષમ કરવાનો છે. બધા અપાચે ઉત્પાદનો HDFS પર રહે છે, ફાઇલ પ્રતિકૃતિઓ સાથે સુરક્ષિત ફાઇલ સિસ્ટમ. સ્પાર્ક સ્ટ્રીમિંગ એ ઉપયોગમાં સરળ સાધન છે જે સ્ટ્રીમિંગ ડેટા અને સ્કેલને સારી રીતે હેન્ડલ કરે છે. જો કે, તેને જાળવવું મુશ્કેલ હોઈ શકે છે.
તમારો પોતાનો ઇવેન્ટ હેન્ડલર બનાવવાનો બીજો વિકલ્પ છે. આ કરવા માટે, તમારે જરૂર છે, ઉદાહરણ તરીકે, પાયથોન એપ્લિકેશન લખવા માટે, તેને ડોકરમાં બનાવો અને કાફકા કતારમાં સબ્સ્ક્રાઇબ કરો. જ્યારે ડોકર હેન્ડલર્સ પર ટ્રિગર્સ આવશે, ત્યારે પ્રક્રિયા શરૂ થશે. આ પદ્ધતિ સાથે, તમારે દરેક સમયે એપ્લિકેશન ચાલુ રાખવાની જરૂર છે.
ચાલો માની લઈએ કે અમે ઉપર વર્ણવેલ વિકલ્પોમાંથી એક પસંદ કર્યો છે અને પ્રક્રિયામાં જ આગળ વધીએ છીએ. પ્રોસેસરોએ ડેટાની માન્યતા ચકાસીને, કચરાને ફિલ્ટર કરીને અને "તૂટેલી" ઘટનાઓ દ્વારા પ્રારંભ કરવો જોઈએ. માન્યતા માટે અમે સામાન્ય રીતે ઉપયોગ કરીએ છીએ સર્બેરસ. આ પછી, તમે ડેટા મેપિંગ કરી શકો છો: સામાન્ય કોષ્ટકમાં ઉમેરવા માટે વિવિધ સ્રોતોમાંથી ડેટા સામાન્ય અને પ્રમાણિત કરવામાં આવે છે.

3. ડેટાબેઝ

ત્રીજું પગલું એ સામાન્ય ઘટનાઓને જાળવી રાખવાનું છે. તૈયાર વિશ્લેષણાત્મક સિસ્ટમ સાથે કામ કરતી વખતે, અમારે તેને વારંવાર ઍક્સેસ કરવી પડશે, તેથી અનુકૂળ ડેટાબેઝ પસંદ કરવું મહત્વપૂર્ણ છે.
જો ડેટા નિશ્ચિત યોજનામાં સારી રીતે બંધબેસે છે, તો તમે પસંદ કરી શકો છો ક્લિકહાઉસ અથવા અમુક અન્ય કોલમર ડેટાબેઝ. આ રીતે એકત્રીકરણ ખૂબ જ ઝડપથી કામ કરશે. નુકસાન એ છે કે યોજના સખત રીતે નિશ્ચિત છે અને તેથી ફેરફાર કર્યા વિના મનસ્વી ઑબ્જેક્ટ ઉમેરવાનું શક્ય બનશે નહીં (ઉદાહરણ તરીકે, જ્યારે બિન-માનક ઘટના બને છે). પરંતુ તમે ખરેખર ખૂબ જ ઝડપથી ગણતરી કરી શકો છો.
અનસ્ટ્રક્ચર્ડ ડેટા માટે, તમે NoSQL લઈ શકો છો, ઉદાહરણ તરીકે, અપાચે કેસેન્દ્રા. તે HDFS પર ચાલે છે, સારી રીતે નકલ કરે છે, તમે ઘણા ઉદાહરણો ઉભા કરી શકો છો, અને દોષ-સહિષ્ણુ છે.
તમે કંઈક સરળ પણ કરી શકો છો, ઉદાહરણ તરીકે, MongoDB. તે એકદમ ધીમું અને નાના વોલ્યુમ માટે છે. પરંતુ વત્તા એ છે કે તે ખૂબ જ સરળ છે અને તેથી પ્રારંભ કરવા માટે યોગ્ય છે.

4. એકત્રીકરણ

બધી ઘટનાઓને કાળજીપૂર્વક સાચવીને, અમે પહોંચેલી બેચમાંથી તમામ મહત્વપૂર્ણ માહિતી એકત્રિત કરવા અને ડેટાબેઝને અપડેટ કરવા માંગીએ છીએ. વૈશ્વિક સ્તરે, અમે સંબંધિત ડેશબોર્ડ અને મેટ્રિક્સ મેળવવા માંગીએ છીએ. ઉદાહરણ તરીકે, ઇવેન્ટમાંથી વપરાશકર્તા પ્રોફાઇલ એકત્રિત કરો અને કોઈક રીતે વર્તનને માપો. ઇવેન્ટ્સ એકત્ર કરવામાં આવે છે, એકત્રિત કરવામાં આવે છે અને ફરીથી સાચવવામાં આવે છે (વપરાશકર્તા કોષ્ટકોમાં). તે જ સમયે, તમે એક સિસ્ટમ બનાવી શકો છો જેથી કરીને તમે ફિલ્ટરને એગ્રીગેટર-કોઓર્ડિનેટર સાથે પણ કનેક્ટ કરી શકો: ફક્ત ચોક્કસ પ્રકારની ઇવેન્ટમાંથી વપરાશકર્તાઓને એકત્રિત કરો.
તે પછી, જો ટીમ પરના કોઈને માત્ર ઉચ્ચ-સ્તરના વિશ્લેષણની જરૂર હોય, તો બાહ્ય વિશ્લેષણ સિસ્ટમ્સ કનેક્ટ થઈ શકે છે. તમે ફરીથી Mixpanel લઈ શકો છો. પરંતુ તે ખૂબ ખર્ચાળ હોવાથી, બધી વપરાશકર્તા ઇવેન્ટ્સ ત્યાં મોકલવામાં આવતી નથી, પરંતુ ફક્ત તે જ જરૂરી છે. આ કરવા માટે, અમારે એક કોઓર્ડિનેટર બનાવવાની જરૂર છે જે કેટલીક કાચી ઘટનાઓ અથવા કંઈક કે જેને આપણે પહેલા એકત્ર કરી હોય તેને બાહ્ય સિસ્ટમ્સ, API અથવા જાહેરાત પ્લેટફોર્મ પર સ્થાનાંતરિત કરશે.

5. અગ્રભાગ

તમારે ફ્રન્ટએન્ડને બનાવેલ સિસ્ટમ સાથે કનેક્ટ કરવાની જરૂર છે. એક સારું ઉદાહરણ સેવા છે લાલ રંગ, ડેટાબેઝ GUI છે જે ડેશબોર્ડ બનાવવામાં મદદ કરે છે. ક્રિયાપ્રતિક્રિયા કેવી રીતે કાર્ય કરે છે:

1. વપરાશકર્તા SQL ક્વેરી કરે છે.
2. જવાબમાં તેને એક નિશાની મળે છે.
3. તે તેના માટે એક 'નવું વિઝ્યુલાઇઝેશન' બનાવે છે અને એક સુંદર ગ્રાફ મેળવે છે જે તમે તમારા માટે સાચવી શકો છો.

સેવામાં વિઝ્યુલાઇઝેશન ઓટો-અપડેટ થાય છે, તમે તમારા મોનિટરિંગને કસ્ટમાઇઝ અને ટ્રૅક કરી શકો છો. જો સ્વયં-હોસ્ટ કરેલ હોય તો Redash મફત છે, પરંતુ SaaS તરીકે તેનો દર મહિને $50 ખર્ચ થશે.

નિષ્કર્ષ

ઉપરોક્ત તમામ પગલાંઓ પૂર્ણ કર્યા પછી, તમે તમારું સર્વર એનાલિટિક્સ બનાવશો. મહેરબાની કરીને નોંધ કરો કે આ ફક્ત ગ્રાહક વિશ્લેષણોને કનેક્ટ કરવા જેટલું સરળ નથી, કારણ કે દરેક વસ્તુ જાતે ગોઠવવાની જરૂર છે. તેથી, તમારી પોતાની સિસ્ટમ બનાવતા પહેલા, તમે તેને ફાળવવા માટે તૈયાર છો તેવા સંસાધનો સાથે ગંભીર એનાલિટિક્સ સિસ્ટમની જરૂરિયાતની તુલના કરવી યોગ્ય છે.
જો તમે ગણિત કર્યું છે અને જોયું છે કે ખર્ચ ખૂબ વધારે છે, તો પછીના ભાગમાં હું સર્વર-સાઇડ એનાલિટિક્સનું સસ્તું સંસ્કરણ કેવી રીતે બનાવવું તે વિશે વાત કરીશ.

વાંચવા બદલ આભાર! મને ટિપ્પણીઓમાં પ્રશ્નો પૂછવામાં આનંદ થશે.

સોર્સ: www.habr.com