થેનોસ - સ્કેલેબલ પ્રોમિથિયસ

લેખનો અનુવાદ કોર્સના વિદ્યાર્થીઓ માટે ખાસ તૈયાર કરવામાં આવ્યો હતો "DevOps પ્રેક્ટિસ અને ટૂલ્સ".

ફેબિયન રેનાર્ટ્ઝ સોફ્ટવેર ડેવલપર, ગો ફેનેટિક અને પ્રોબ્લેમ સોલ્વર છે. તે પ્રોમિથિયસ જાળવણીકાર અને કુબરનેટ્સ SIG ઇન્સ્ટ્રુમેન્ટેશનના સહ-સ્થાપક પણ છે. ભૂતકાળમાં, તે સાઉન્ડક્લાઉડમાં પ્રોડક્શન એન્જિનિયર હતો અને CoreOS પર મોનિટરિંગ ટીમનું નેતૃત્વ કરતો હતો. હાલમાં Google પર કામ કરે છે.

બાર્ટેક પ્લોટકા - ઇમ્પ્રોબેબલ ખાતે ઇન્ફ્રાસ્ટ્રક્ચર એન્જિનિયર. તેને નવી તકનીકીઓ અને વિતરિત પ્રણાલીઓની સમસ્યાઓમાં રસ છે. તેમની પાસે ઇન્ટેલમાં નિમ્ન-સ્તરનો પ્રોગ્રામિંગ અનુભવ છે, મેસોસમાં ફાળો આપનારનો અનુભવ છે અને અસંભવિત ખાતે વિશ્વ-વર્ગના SRE ઉત્પાદનનો અનુભવ છે. માઇક્રોસર્વિસિસની દુનિયામાં સુધારો કરવા માટે સમર્પિત. તેના ત્રણ પ્રેમ: ગોલાંગ, ઓપન સોર્સ અને વોલીબોલ.

અમારા ફ્લેગશિપ પ્રોડક્ટ SpatialOS ને જોઈને, તમે અનુમાન કરી શકો છો કે અસંભવને ડઝનેક કુબરનેટ્સ ક્લસ્ટરો સાથે અત્યંત ગતિશીલ, વૈશ્વિક-સ્કેલ ક્લાઉડ ઈન્ફ્રાસ્ટ્રક્ચરની જરૂર છે. અમે મોનિટરિંગ સિસ્ટમનો ઉપયોગ કરનારા પ્રથમ લોકોમાંના એક હતા પ્રોમિથિયસ. પ્રોમિથિયસ વાસ્તવિક સમયમાં લાખો મેટ્રિક્સને ટ્રૅક કરવામાં સક્ષમ છે અને શક્તિશાળી ક્વેરી લેંગ્વેજ સાથે આવે છે જે તમને જરૂરી માહિતી કાઢવાની મંજૂરી આપે છે.

પ્રોમિથિયસની સરળતા અને વિશ્વસનીયતા તેના મુખ્ય ફાયદાઓમાંની એક છે. જો કે, એકવાર અમે ચોક્કસ સ્કેલ પાર કરી ગયા પછી, અમને ઘણી ખામીઓ આવી. આ સમસ્યાઓ ઉકેલવા માટે અમે વિકાસ કર્યો છે થાનોસ અમર્યાદિત ઐતિહાસિક ડેટા સ્ટોરેજ સાથે હાલના પ્રોમિથિયસ ક્લસ્ટરોને એકીકૃત રીતે એક મોનિટરિંગ સિસ્ટમમાં પરિવર્તિત કરવા માટે અસંભવ દ્વારા બનાવવામાં આવેલ ઓપન સોર્સ પ્રોજેક્ટ છે. થેનોસ ગીથબ પર ઉપલબ્ધ છે અહીં.

Improbable ના નવીનતમ સમાચાર સાથે અદ્યતન રહો.

થાનોસ સાથેના અમારા લક્ષ્યો

ચોક્કસ સ્કેલ પર, સમસ્યાઓ ઊભી થાય છે જે વેનીલા પ્રોમિથિયસની ક્ષમતાઓની બહાર છે. ઐતિહાસિક માહિતીના પેટાબાઇટ્સને વિશ્વસનીય અને આર્થિક રીતે કેવી રીતે સંગ્રહિત કરવી? શું પ્રતિભાવ સમય સાથે સમાધાન કર્યા વિના આ કરી શકાય? શું એક API વિનંતી સાથે વિવિધ પ્રોમિથિયસ સર્વર્સ પર સ્થિત તમામ મેટ્રિક્સને ઍક્સેસ કરવું શક્ય છે? શું પ્રોમિથિયસ HA નો ઉપયોગ કરીને એકત્રિત કરવામાં આવેલ પ્રતિકૃતિ ડેટાને જોડવાની કોઈ રીત છે?

આ મુદ્દાઓને ઉકેલવા માટે, અમે થાનોસની રચના કરી. નીચેના વિભાગો વર્ણવે છે કે અમે કેવી રીતે આ મુદ્દાઓનો સંપર્ક કર્યો અને અમારા ધ્યેયો સમજાવ્યા.

બહુવિધ પ્રોમિથિયસ ઉદાહરણો (વૈશ્વિક ક્વેરી) માંથી ડેટાની પૂછપરછ

પ્રોમિથિયસ શાર્ડિંગ માટે કાર્યાત્મક અભિગમ પ્રદાન કરે છે. એક પ્રોમિથિયસ સર્વર પણ લગભગ તમામ ઉપયોગના કેસોમાં આડી શાર્ડિંગની જટિલતાઓમાંથી વપરાશકર્તાઓને મુક્ત કરવા માટે પૂરતી માપનીયતા પ્રદાન કરે છે.

જ્યારે આ એક મહાન જમાવટ મોડલ છે, ત્યારે એક જ API અથવા UI - વૈશ્વિક દૃશ્ય દ્વારા વિવિધ પ્રોમિથિયસ સર્વર પરના ડેટાને એક્સેસ કરવા માટે ઘણીવાર જરૂરી છે. અલબત્ત, એક Grafana પેનલમાં બહુવિધ ક્વેરી પ્રદર્શિત કરવી શક્ય છે, પરંતુ દરેક ક્વેરી માત્ર એક પ્રોમિથિયસ સર્વર પર જ એક્ઝિક્યુટ કરી શકાય છે. બીજી બાજુ, થેનોસ સાથે તમે બહુવિધ પ્રોમિથિયસ સર્વર્સમાંથી ડેટાને ક્વેરી કરી શકો છો અને એકંદર કરી શકો છો કારણ કે તે બધા એક જ એન્ડપોઇન્ટથી સુલભ છે.

અગાઉ, અસંભવમાં વૈશ્વિક દૃષ્ટિકોણ મેળવવા માટે, અમે અમારા પ્રોમિથિયસ ઉદાહરણોને બહુ-સ્તરીયમાં ગોઠવ્યા હતા હાયરાર્કિકલ ફેડરેશન. આનો અર્થ એક પ્રોમિથિયસ મેટા સર્વર બનાવવાનો હતો જે દરેક લીફ સર્વરમાંથી કેટલાક મેટ્રિક્સ એકત્રિત કરે છે.

આ અભિગમ સમસ્યારૂપ સાબિત થયો. આ વધુ જટિલ રૂપરેખાંકનોમાં પરિણમ્યું છે, નિષ્ફળતાના વધારાના સંભવિત બિંદુનો ઉમેરો, અને ફેડરેટેડ એન્ડપોઇન્ટ ફક્ત તેને જરૂરી ડેટા પ્રાપ્ત કરે છે તેની ખાતરી કરવા માટે જટિલ નિયમોનો ઉપયોગ. વધુમાં, આ પ્રકારનું ફેડરેશન તમને સાચા વૈશ્વિક દૃશ્ય મેળવવાની મંજૂરી આપતું નથી, કારણ કે એક જ API વિનંતીમાંથી તમામ ડેટા ઉપલબ્ધ નથી.

ઉચ્ચ-ઉપલબ્ધતા (HA) પ્રોમિથિયસ સર્વર્સ પર એકત્રિત કરવામાં આવેલા ડેટાનું એકીકૃત દૃશ્ય આની સાથે નજીકથી સંબંધિત છે. પ્રોમિથિયસનું HA મોડલ સ્વતંત્ર રીતે બે વાર ડેટા એકત્રિત કરે છે, જે એટલું સરળ છે કે તે સરળ ન હોઈ શકે. જો કે, બંને સ્ટ્રીમના સંયુક્ત અને ડુપ્લિકેટેડ વ્યૂનો ઉપયોગ કરવો વધુ અનુકૂળ રહેશે.

અલબત્ત, ખૂબ જ ઉપલબ્ધ પ્રોમિથિયસ સર્વર્સની જરૂર છે. અસંભવ પર, અમે મિનિટ-દર-મિનિટ ડેટા મોનિટરિંગને ખરેખર ગંભીરતાથી લઈએ છીએ, પરંતુ ક્લસ્ટર દીઠ એક પ્રોમિથિયસ દાખલો એ નિષ્ફળતાનો એક મુદ્દો છે. કોઈપણ રૂપરેખાંકન ભૂલ અથવા હાર્ડવેર નિષ્ફળતા સંભવિતપણે મહત્વપૂર્ણ ડેટાના નુકશાન તરફ દોરી શકે છે. એક સરળ જમાવટ પણ મેટ્રિક્સ સંગ્રહમાં નાના વિક્ષેપોનું કારણ બની શકે છે કારણ કે પુનઃપ્રારંભ સ્ક્રેપિંગ અંતરાલ કરતાં નોંધપાત્ર રીતે લાંબો હોઈ શકે છે.

ઐતિહાસિક માહિતીનો વિશ્વસનીય સંગ્રહ

સસ્તું, ઝડપી, લાંબા ગાળાના મેટ્રિક્સ સ્ટોરેજ એ અમારું સ્વપ્ન છે (મોટા ભાગના પ્રોમિથિયસ વપરાશકર્તાઓ દ્વારા વહેંચાયેલું). અસંભવમાં, અમને મેટ્રિક્સ રીટેન્શન પિરિયડને નવ દિવસ સુધી ગોઠવવાની ફરજ પડી હતી (પ્રોમિથિયસ 1.8 માટે). આ આપણે કેટલા પાછળ જોઈ શકીએ તેની સ્પષ્ટ મર્યાદા ઉમેરે છે.

આ સંદર્ભે પ્રોમિથિયસ 2.0 માં સુધારો થયો છે, કારણ કે સમય શ્રેણીની સંખ્યા હવે સર્વરના એકંદર પ્રદર્શનને અસર કરતી નથી (જુઓ. પ્રોમિથિયસ 2 વિશે કુબેકોન કીનોટ). જો કે, પ્રોમિથિયસ સ્થાનિક ડિસ્ક પર ડેટા સ્ટોર કરે છે. જો કે ઉચ્ચ-કાર્યક્ષમતા ડેટા કમ્પ્રેશન સ્થાનિક SSD વપરાશને નોંધપાત્ર રીતે ઘટાડી શકે છે, આખરે હજુ પણ સંગ્રહિત કરી શકાય તેવા ઐતિહાસિક ડેટાની મર્યાદા છે.

વધુમાં, અસંભવ પર અમે વિશ્વસનીયતા, સરળતા અને ખર્ચની કાળજી રાખીએ છીએ. મોટી સ્થાનિક ડિસ્કનું સંચાલન કરવું અને બેકઅપ લેવાનું વધુ મુશ્કેલ છે. તેઓ વધુ ખર્ચ કરે છે અને વધુ બેકઅપ સાધનોની જરૂર પડે છે, પરિણામે બિનજરૂરી જટિલતા આવે છે.

ડાઉનસેમ્પલિંગ

એકવાર અમે ઐતિહાસિક ડેટા સાથે કામ કરવાનું શરૂ કર્યા પછી, અમને સમજાયું કે મોટા-ઓ સાથે મૂળભૂત મુશ્કેલીઓ છે જે ક્વેરીઝને ધીમી અને ધીમી બનાવે છે કારણ કે અમે અઠવાડિયા, મહિનાઓ અને વર્ષોના ડેટા સાથે કામ કરીએ છીએ.

આ સમસ્યાનો પ્રમાણભૂત ઉકેલ હશે ડાઉનસેમ્પલિંગ (ડાઉનસેમ્પલિંગ) - સિગ્નલ સેમ્પલિંગની આવર્તન ઘટાડવી. ડાઉનસેમ્પલિંગ સાથે, અમે મોટી સમય શ્રેણીમાં "સ્કેલ ડાઉન" કરી શકીએ છીએ અને પ્રશ્નોને પ્રતિભાવશીલ રાખીને સમાન સંખ્યામાં નમૂનાઓ જાળવી શકીએ છીએ.

જૂના ડેટાને ડાઉન સેમ્પલિંગ એ કોઈપણ લાંબા ગાળાના સ્ટોરેજ સોલ્યુશનની અનિવાર્ય જરૂરિયાત છે અને તે વેનીલા પ્રોમિથિયસના અવકાશની બહાર છે.

વધારાના લક્ષ્યો

થાનોસ પ્રોજેક્ટના મૂળ ધ્યેયો પૈકી એક હાલના પ્રોમિથિયસ સ્થાપનો સાથે એકીકૃત રીતે એકીકૃત થવાનો હતો. બીજો ધ્યેય પ્રવેશમાં ન્યૂનતમ અવરોધો સાથે કામગીરીમાં સરળતાનો હતો. કોઈપણ નિર્ભરતા નાના અને મોટા બંને વપરાશકર્તાઓ માટે સરળતાથી સંતુષ્ટ થવી જોઈએ, જેનો અર્થ નીચી આધાર કિંમત પણ છે.

થાનોસ આર્કિટેક્ચર

અગાઉના વિભાગમાં અમારા લક્ષ્યોની સૂચિબદ્ધ કર્યા પછી, ચાલો તેમના દ્વારા કાર્ય કરીએ અને જોઈએ કે થેનોસ આ સમસ્યાઓનું નિરાકરણ કેવી રીતે કરે છે.

વૈશ્વિક દૃશ્ય

હાલના પ્રોમિથિયસ ઉદાહરણોની ટોચ પર વૈશ્વિક દૃષ્ટિકોણ મેળવવા માટે, અમારે બધા સર્વર્સ સાથે એક જ વિનંતી એન્ટ્રી પોઇન્ટ લિંક કરવાની જરૂર છે. થેનોસ ઘટક બરાબર આ જ કરે છે. સાઇડકાર. તે દરેક પ્રોમિથિયસ સર્વરની બાજુમાં તૈનાત કરવામાં આવે છે અને પ્રોક્સી તરીકે કાર્ય કરે છે, gRPC સ્ટોર API દ્વારા સ્થાનિક પ્રોમિથિયસ ડેટાને સેવા આપે છે, સમય શ્રેણીના ડેટાને ટેગ અને સમય શ્રેણી દ્વારા પુનઃપ્રાપ્ત કરવાની મંજૂરી આપે છે.

બીજી બાજુ સ્કેલ-આઉટ, સ્ટેટલેસ ક્વેરીયર ઘટક છે, જે પ્રમાણભૂત પ્રોમિથિયસ HTTP API દ્વારા PromQL પ્રશ્નોના જવાબ આપવા કરતાં થોડું વધારે કરે છે. Querier, Sidecar અને અન્ય Thanos ઘટકો મારફતે વાતચીત ગપસપ પ્રોટોકોલ.

1. ક્વેરીઅર, વિનંતી પ્રાપ્ત કર્યા પછી, અનુરૂપ સ્ટોર API સર્વર સાથે જોડાય છે, એટલે કે, અમારા સાઇડકાર્સ સાથે અને સંબંધિત પ્રોમિથિયસ સર્વર્સ પાસેથી સમય શ્રેણીનો ડેટા મેળવે છે.
2. તે પછી, તે પ્રતિસાદોને જોડે છે અને તેના પર એક PromQL ક્વેરી ચલાવે છે. ક્વેરીયર પ્રોમિથિયસ એચએ સર્વર્સમાંથી ડિસજોઇન્ટ ડેટા અને ડુપ્લિકેટ ડેટા બંનેને મર્જ કરી શકે છે.

આ અમારા કોયડાના મુખ્ય ભાગને ઉકેલે છે - અલગ પ્રોમિથિયસ સર્વર્સના ડેટાને એક દૃશ્યમાં સંયોજિત કરીને. હકીકતમાં, થેનોસનો ઉપયોગ ફક્ત આ સુવિધા માટે જ થઈ શકે છે. હાલના પ્રોમિથિયસ સર્વર્સમાં કોઈ ફેરફાર કરવાની જરૂર નથી!

અમર્યાદિત શેલ્ફ લાઇફ!

જો કે, વહેલા કે પછી અમે સામાન્ય પ્રોમિથિયસ રીટેન્શન સમયની બહાર ડેટા સ્ટોર કરવા માંગીએ છીએ. અમે ઐતિહાસિક ડેટા સ્ટોર કરવા માટે ઑબ્જેક્ટ સ્ટોરેજ પસંદ કર્યું છે. તે કોઈપણ ક્લાઉડ તેમજ ઓન-પ્રિમાઈસીસ ડેટા સેન્ટરમાં વ્યાપકપણે ઉપલબ્ધ છે અને તે ખૂબ જ ખર્ચ અસરકારક છે. વધુમાં, લગભગ કોઈપણ ઑબ્જેક્ટ સ્ટોરેજ જાણીતા S3 API દ્વારા ઉપલબ્ધ છે.

પ્રોમિથિયસ લગભગ દર બે કલાકે RAM થી ડિસ્ક પર ડેટા લખે છે. સંગ્રહિત ડેટા બ્લોકમાં નિશ્ચિત સમયગાળા માટેનો તમામ ડેટા હોય છે અને તે અપરિવર્તનશીલ હોય છે. આ ખૂબ જ અનુકૂળ છે કારણ કે થેનોસ સાઇડકાર પ્રોમિથિયસ ડેટા ડિરેક્ટરી જોઈ શકે છે અને જેમ જેમ નવા બ્લોક્સ ઉપલબ્ધ થાય છે, તેમ તેમ તેને ઑબ્જેક્ટ સ્ટોરેજ બકેટમાં લોડ કરી શકે છે.

ડિસ્ક પર લખ્યા પછી તરત જ ઑબ્જેક્ટ સ્ટોરેજમાં લોડ કરવાથી તમે સ્ક્રેપર (પ્રોમિથિયસ અને થેનોસ સાઇડકાર) ની સરળતા જાળવી શકો છો. જે આધાર, ખર્ચ અને સિસ્ટમ ડિઝાઇનને સરળ બનાવે છે.

જેમ તમે જોઈ શકો છો, ડેટા બેકઅપ ખૂબ જ સરળ છે. પરંતુ ઑબ્જેક્ટ સ્ટોરેજમાં ડેટા ક્વેરી કરવા વિશે શું?

થેનોસ સ્ટોર ઘટક ઑબ્જેક્ટ સ્ટોરેજમાંથી ડેટા પુનઃપ્રાપ્ત કરવા માટે પ્રોક્સી તરીકે કાર્ય કરે છે. થેનોસ સાઇડકારની જેમ, તે ગોસિપ ક્લસ્ટરમાં ભાગ લે છે અને સ્ટોર API ને અમલમાં મૂકે છે. આ રીતે, વર્તમાન ક્વેરીયર તેને સાઇડકારની જેમ સમય શ્રેણીના ડેટાના અન્ય સ્ત્રોત તરીકે ગણી શકે છે - કોઈ ખાસ ગોઠવણીની જરૂર નથી.

સમય શ્રેણીના ડેટા બ્લોક્સમાં ઘણી મોટી ફાઇલો હોય છે. માંગ પર તેમને લોડ કરવું તદ્દન બિનકાર્યક્ષમ હશે, અને તેમને સ્થાનિક રીતે કેશ કરવા માટે મોટી માત્રામાં મેમરી અને ડિસ્ક જગ્યાની જરૂર પડશે.

તેના બદલે, સ્ટોર ગેટવે પ્રોમિથિયસ સ્ટોરેજ ફોર્મેટને કેવી રીતે હેન્ડલ કરવું તે જાણે છે. સ્માર્ટ ક્વેરી શેડ્યૂલર અને બ્લોક્સના માત્ર જરૂરી ઇન્ડેક્સ ભાગોને કેશ કરવા બદલ આભાર, ઑબ્જેક્ટ સ્ટોરેજ ફાઇલો માટે જટિલ ક્વેરીઝને ન્યૂનતમ સંખ્યામાં HTTP વિનંતીઓ સુધી ઘટાડવાનું શક્ય છે. આ રીતે, તમે વિનંતીઓની સંખ્યાને ચારથી છ ઓર્ડરની તીવ્રતાથી ઘટાડી શકો છો અને પ્રતિભાવ સમય પ્રાપ્ત કરી શકો છો જે સામાન્ય રીતે સ્થાનિક SSD પરના ડેટાની વિનંતીઓથી અલગ પાડવાનું મુશ્કેલ હોય છે.

ઉપરના ચિત્રમાં બતાવ્યા પ્રમાણે, થેનોસ ક્વેરીયર પ્રોમિથિયસ સ્ટોરેજ ફોર્મેટનો લાભ લઈને અને સંબંધિત ડેટાને બાજુમાં મૂકીને ઑબ્જેક્ટ સ્ટોરેજ ડેટાની ક્વેરી દીઠ કિંમતમાં નોંધપાત્ર ઘટાડો કરે છે. આ અભિગમનો ઉપયોગ કરીને, અમે ઘણી એકલ વિનંતીઓને ન્યૂનતમ સંખ્યામાં જથ્થાબંધ કામગીરીમાં જોડી શકીએ છીએ.

કોમ્પેક્શન અને ડાઉનસેમ્પલિંગ

એકવાર સમય શ્રેણીના ડેટાનો નવો બ્લોક ઑબ્જેક્ટ સ્ટોરેજમાં સફળતાપૂર્વક લોડ થઈ જાય, અમે તેને "ઐતિહાસિક" ડેટા તરીકે ગણીએ છીએ, જે સ્ટોર ગેટવે દ્વારા તરત જ ઉપલબ્ધ થાય છે.

જો કે, થોડા સમય પછી, એક સ્ત્રોતમાંથી બ્લોક્સ (પ્રોમિથિયસ વિથ સાઇડકાર) એકઠા થાય છે અને હવે સંપૂર્ણ અનુક્રમણિકા ક્ષમતાનો ઉપયોગ કરતા નથી. આ સમસ્યાને ઉકેલવા માટે, અમે કોમ્પેક્ટર નામનું બીજું ઘટક રજૂ કર્યું. તે ઑબ્જેક્ટ સ્ટોરેજમાં ઐતિહાસિક ડેટા પર પ્રોમિથિયસના સ્થાનિક કોમ્પેક્શન એન્જિનને સરળ રીતે લાગુ કરે છે અને તેને સામાન્ય સામયિક બેચ જોબ તરીકે ચલાવી શકાય છે.

કાર્યક્ષમ કમ્પ્રેશન માટે આભાર, લાંબા સમય સુધી સ્ટોરેજને ક્વેરી કરવાથી ડેટાના કદના સંદર્ભમાં કોઈ સમસ્યા ઊભી થતી નથી. જો કે, એક અબજ મૂલ્યોને અનપેક કરવા અને તેમને ક્વેરી પ્રોસેસર દ્વારા ચલાવવાની સંભવિત કિંમત અનિવાર્યપણે ક્વેરી એક્ઝેક્યુશન સમયમાં નાટ્યાત્મક વધારો તરફ દોરી જશે. બીજી બાજુ, સ્ક્રીન પર પિક્સેલ દીઠ સેંકડો ડેટા પોઈન્ટ હોવાથી, સંપૂર્ણ રિઝોલ્યુશન પર ડેટાની કલ્પના કરવી પણ અશક્ય બની જાય છે. આમ, ડાઉનસેમ્પલિંગ માત્ર શક્ય નથી, પણ ચોકસાઈના નોંધપાત્ર નુકસાન તરફ દોરી જશે નહીં.

ડેટાને ડાઉનસેમ્પલ કરવા માટે, કોમ્પેક્ટર સતત પાંચ મિનિટ અને એક કલાકના રિઝોલ્યુશન પર ડેટા એકત્ર કરે છે. TSDB XOR કમ્પ્રેશનનો ઉપયોગ કરીને એન્કોડ કરેલા દરેક કાચા ભાગ માટે, વિવિધ પ્રકારના એકંદર ડેટા સંગ્રહિત થાય છે, જેમ કે એક બ્લોક માટે ન્યૂનતમ, મહત્તમ અથવા સરવાળો. આ ક્વેરીયરને આપેલ PromQL ક્વેરી માટે યોગ્ય હોય તેવા એકંદરને આપમેળે પસંદ કરવાની મંજૂરી આપે છે.

વપરાશકર્તાને ઘટાડેલા ચોકસાઇ ડેટાનો ઉપયોગ કરવા માટે કોઈ ખાસ ગોઠવણીની જરૂર નથી. જ્યારે વપરાશકર્તા ઝૂમ ઇન અને આઉટ કરે છે તેમ ક્વેરીઅર આપમેળે વિવિધ રીઝોલ્યુશન અને કાચા ડેટા વચ્ચે સ્વિચ કરે છે. જો ઇચ્છિત હોય, તો વપરાશકર્તા વિનંતીમાં "પગલાં" પરિમાણ દ્વારા સીધા જ આને નિયંત્રિત કરી શકે છે.

એક જીબી સ્ટોર કરવાની કિંમત ઓછી હોવાથી, ડિફૉલ્ટ રૂપે થાનોસ કાચો ડેટા, પાંચ-મિનિટ અને એક-કલાકનો રિઝોલ્યુશન ડેટા સ્ટોર કરે છે. મૂળ ડેટા કાઢી નાખવાની જરૂર નથી.

રેકોર્ડિંગ નિયમો

થાનોસ સાથે પણ, રેકોર્ડિંગ નિયમો મોનિટરિંગ સ્ટેકનો આવશ્યક ભાગ છે. તેઓ જટિલતા, લેટન્સી અને પ્રશ્નોની કિંમત ઘટાડે છે. તે વપરાશકર્તાઓ માટે મેટ્રિક્સ દ્વારા એકત્રિત ડેટા મેળવવા માટે પણ અનુકૂળ છે. થેનોસ વેનીલા પ્રોમિથિયસના દાખલાઓ પર આધારિત છે, તેથી હાલના પ્રોમિથિયસ સર્વર પર રેકોર્ડિંગ નિયમો અને ચેતવણીના નિયમોને સંગ્રહિત કરવા માટે તે સંપૂર્ણપણે સ્વીકાર્ય છે. જો કે, કેટલાક કિસ્સાઓમાં આ પૂરતું નથી:

• વૈશ્વિક ચેતવણી અને નિયમ (ઉદાહરણ તરીકે, જ્યારે સેવા ત્રણમાંથી બે ક્લસ્ટરો પર કામ કરતી નથી ત્યારે ચેતવણી).
• સ્થાનિક સ્ટોરેજની બહારના ડેટા માટેનો નિયમ.
• બધા નિયમો અને ચેતવણીઓ એક જગ્યાએ સંગ્રહિત કરવાની ઇચ્છા.

આ તમામ કેસો માટે, થાનોસમાં રૂલર નામના એક અલગ ઘટકનો સમાવેશ થાય છે, જે થેનોસ ક્વેરીઝ દ્વારા નિયમ અને ચેતવણીની ગણતરી કરે છે. જાણીતા StoreAPI પ્રદાન કરીને, ક્વેરી નોડ તાજા ગણતરી કરેલ મેટ્રિક્સને ઍક્સેસ કરી શકે છે. બાદમાં તેઓ ઑબ્જેક્ટ સ્ટોરેજમાં પણ સંગ્રહિત થાય છે અને સ્ટોર ગેટવે દ્વારા ઉપલબ્ધ કરવામાં આવે છે.

થેનોસની શક્તિ

થેનોસ તમારી જરૂરિયાતોને અનુરૂપ કસ્ટમાઇઝ કરવા માટે પૂરતું લવચીક છે. સાદા પ્રોમિથિયસમાંથી સ્થળાંતર કરતી વખતે આ ખાસ કરીને ઉપયોગી છે. ચાલો ઝડપી ઉદાહરણ સાથે થાનોસ ઘટકો વિશે આપણે જે શીખ્યા તે ઝડપથી રીકેપ કરીએ. તમારા વેનીલા પ્રોમિથિયસને "અમર્યાદિત મેટ્રિક્સ સ્ટોરેજ" ની દુનિયામાં કેવી રીતે લઈ જવું તે અહીં છે:

1. તમારા પ્રોમિથિયસ સર્વર્સમાં થેનોસ સાઇડકાર ઉમેરો - ઉદાહરણ તરીકે, કુબરનેટ્સ પોડમાં સાઇડકાર કન્ટેનર.
2. ડેટા જોવા માટે સમર્થ થવા માટે બહુવિધ Thanos Querier પ્રતિકૃતિઓનો ઉપયોગ કરો. આ તબક્કે સ્ક્રેપર અને ક્વેરીયર વચ્ચે ગપસપ ગોઠવવાનું સરળ છે. ઘટકોની ક્રિયાપ્રતિક્રિયા તપાસવા માટે, 'thanos_cluster_members' મેટ્રિકનો ઉપયોગ કરો.

સંભવિત પ્રોમિથિયસ HA પ્રતિકૃતિઓમાંથી વૈશ્વિક દૃશ્ય અને સીમલેસ ડેટા ડિડુપ્લિકેશન પ્રદાન કરવા માટે ફક્ત આ બે પગલાં પૂરતા છે! ફક્ત તમારા ડેશબોર્ડ્સને Querier HTTP એન્ડપોઇન્ટ સાથે કનેક્ટ કરો અથવા સીધા જ Thanos UI નો ઉપયોગ કરો.

જો કે, જો તમને મેટ્રિક્સ બેકઅપ અને લાંબા ગાળાના સ્ટોરેજની જરૂર હોય, તો તમારે વધુ ત્રણ પગલાં ભરવા પડશે:

1. AWS S3 અથવા GCS બકેટ બનાવો. આ બકેટમાં ડેટા કૉપિ કરવા માટે સાઇડકારને ગોઠવો. સ્થાનિક ડેટા સ્ટોરેજ હવે ઘટાડી શકાય છે.
2. સ્ટોર ગેટવેનો ઉપયોગ કરો અને તેને તમારા હાલના ગોસિપ ક્લસ્ટર સાથે કનેક્ટ કરો. હવે તમે બેકઅપ લીધેલા ડેટાની ક્વેરી કરી શકો છો!
3. કોમ્પેક્શન અને ડાઉનસેમ્પલિંગનો ઉપયોગ કરીને લાંબા સમય સુધી ક્વેરી કાર્યક્ષમતા સુધારવા માટે કોમ્પેક્ટરનો ઉપયોગ કરો.

જો તમે વધુ જાણવા માંગતા હો, તો અમારા પર એક નજર કરવામાં અચકાશો નહીં kubernetes મેનિફેસ્ટ ઉદાહરણો и શરૂ કરી રહ્યા છીએ!

માત્ર પાંચ પગલાંમાં, અમે પ્રોમિથિયસને વૈશ્વિક દૃશ્ય, અમર્યાદિત સંગ્રહ સમય અને મેટ્રિક્સની સંભવિત ઉચ્ચ ઉપલબ્ધતા સાથે વિશ્વસનીય મોનિટરિંગ સિસ્ટમમાં ફેરવી દીધું.

પુલ વિનંતી: અમને તમારી જરૂર છે!

થાનોસ શરૂઆતથી જ ઓપન સોર્સ પ્રોજેક્ટ છે. પ્રોમિથિયસ સાથે સીમલેસ એકીકરણ અને થેનોસના માત્ર એક ભાગનો ઉપયોગ કરવાની ક્ષમતા તેને તમારી મોનિટરિંગ સિસ્ટમને સરળતાથી સ્કેલ કરવા માટે ઉત્તમ પસંદગી બનાવે છે.

અમે હંમેશા GitHub પુલ વિનંતીઓ અને મુદ્દાઓનું સ્વાગત કરીએ છીએ. તે દરમિયાન, ગીથબ મુદ્દાઓ અથવા સ્લેક દ્વારા અમારો સંપર્ક કરવા માટે નિઃસંકોચ improbable-eng #thanosજો તમારી પાસે પ્રશ્નો અથવા પ્રતિસાદ હોય, અથવા તેનો ઉપયોગ કરીને તમારો અનુભવ શેર કરવા માંગો છો! જો તમને અસંભવ પર અમે જે કરીએ છીએ તે ગમે છે, તો અમારો સંપર્ક કરવામાં અચકાશો નહીં - અમારી પાસે હંમેશા ખાલી જગ્યાઓ હોય છે!

કોર્સ વિશે વધુ જાણો.

સોર્સ: www.habr.com