પ્રોમિથિયસ માટે ડેટા સ્ટોરેજ પસંદ કરી રહ્યા છીએ: થેનોસ વિ વિક્ટોરિયામેટ્રિક્સ

કેમ છો બધા. નીચે ટ્રાન્સક્રિપ્ટ છે બિગ મોનિટરિંગ મીટઅપ 4 નો અહેવાલ.

પ્રોમિથિયસ - વિવિધ સિસ્ટમો અને સેવાઓ માટે મોનિટરિંગ સિસ્ટમ, જેની મદદથી સિસ્ટમ સંચાલકો સિસ્ટમના વર્તમાન પરિમાણો વિશે માહિતી એકત્રિત કરી શકે છે અને સિસ્ટમના સંચાલનમાં વિચલનો વિશે સૂચનાઓ પ્રાપ્ત કરવા માટે ચેતવણીઓ સેટ કરી શકે છે.

રિપોર્ટમાં સરખામણીનો સમાવેશ થશે થાનોસ и વિક્ટોરિયામેટ્રિક્સ - પ્રોમિથિયસ મેટ્રિક્સના લાંબા ગાળાના સંગ્રહ માટેના પ્રોજેક્ટ્સ.

પ્રથમ, હું તમને પ્રોમિથિયસ વિશે કહીશ. આ એક મોનિટરિંગ સિસ્ટમ છે જે નિર્દિષ્ટ લક્ષ્યોમાંથી મેટ્રિક્સ એકત્રિત કરે છે અને તેને સ્થાનિક સ્ટોરેજમાં સાચવે છે. પ્રોમિથિયસ રિમોટ સ્ટોરેજમાં મેટ્રિક્સ રેકોર્ડ કરી શકે છે અને ચેતવણીઓ અને રેકોર્ડિંગ નિયમો જનરેટ કરી શકે છે.

પ્રોમિથિયસ મર્યાદાઓ:

• તેની પાસે વૈશ્વિક ક્વેરી દૃશ્ય નથી. આ ત્યારે થાય છે જ્યારે તમારી પાસે પ્રોમિથિયસના બહુવિધ સ્વતંત્ર ઉદાહરણો હોય. તેઓ મેટ્રિક્સ એકત્રિત કરે છે. અને તમે જુદા જુદા પ્રોમિથિયસ ઉદાહરણોમાંથી એકત્રિત કરેલ આ તમામ મેટ્રિક્સની ટોચ પર ક્વેરી કરવા માંગો છો. પ્રોમિથિયસ આને મંજૂરી આપતા નથી.
• પ્રોમિથિયસ સાથે, પ્રદર્શન માત્ર એક સર્વર સુધી મર્યાદિત છે. પ્રોમિથિયસ બહુવિધ સર્વર પર આપમેળે સ્કેલ કરતું નથી. તમે ફક્ત તમારા લક્ષ્યોને બહુવિધ પ્રોમિથિયસ વચ્ચે મેન્યુઅલી વિભાજિત કરી શકો છો.
• પ્રોમિથિયસમાં મેટ્રિક્સનો અવકાશ માત્ર એક સર્વર સુધી મર્યાદિત છે તે જ કારણસર તે બહુવિધ સર્વર પર આપમેળે માપન કરી શકતું નથી.
• પ્રોમિથિયસમાં ડેટા સલામતીનું આયોજન કરવું એટલું સરળ નથી.

આ સમસ્યાઓ/પડકારોના ઉકેલો?

ઉકેલો છે:

• થાનોસ
• વિક્ટોરિયામેટ્રિક્સ
• ઉબેર M3
• કોર્ટેક્સ

આ તમામ ઉકેલો પ્રોમિથિયસ દ્વારા એકત્રિત કરવામાં આવેલા ડેટાના રિમોટ સ્ટોરેજ માટે છે. તેઓ અગાઉની સ્લાઇડમાંથી રિમોટ સ્ટોરેજ સમસ્યાને અલગ અલગ રીતે હલ કરે છે. આ પ્રસ્તુતિમાં હું ફક્ત પ્રથમ બે ઉકેલો વિશે વાત કરીશ: થાનોસ и વિક્ટોરિયામેટ્રિક્સ.

વિશે પ્રથમ વખત માહિતી થાનોસ દ્વારા દેખાયા આ લિંક. ત્યાં સ્થાપત્યનું વર્ણન કરવામાં આવ્યું છે થાનોસ અને તે કેવી રીતે કામ કરે છે.

થેનોસ પ્રોમિથિયસે સ્થાનિક ડિસ્કમાં સેવ કરેલો ડેટા લે છે અને તેને S3 પર કોપી કરે છે. જીસીએસ અથવા અન્ય ઑબ્જેક્ટ સ્ટોરેજ માટે.

આમ થેનોસ વૈશ્વિક ક્વેરી વ્યુ પ્રદાન કરે છે. તમે બહુવિધ પ્રોમિથિયસ ઉદાહરણોમાંથી ઑબ્જેક્ટ સ્ટોરેજમાં સંગ્રહિત ડેટાની ક્વેરી કરી શકો છો.

થેનોસ PromQL ને સપોર્ટ કરે છે અને પ્રોમિથિયસ ક્વેરી API.

થેનોસ ડેટા સ્ટોર કરવા માટે પ્રોમિથિયસ કોડનો ઉપયોગ કરે છે.

થેનોસ પ્રોમિથિયસ જેવા જ વિકાસકર્તાઓ દ્વારા વિકસાવવામાં આવી છે.

પર વિક્ટોરિયામેટ્રિક્સ. અહીં ссылка, જ્યાં અમે પ્રથમ વાત કરી હતી વિક્ટોરિયામેટ્રિક્સ.

VictoriaMetrics અનેક પ્રોમિથિયસ પાસેથી ડેટા મેળવે છે રીમોટ રાઈટ API પ્રોમિથિયસ દ્વારા સપોર્ટેડ પ્રોટોકોલ.

વિક્ટોરિયામેટ્રિક્સ વૈશ્વિક ક્વેરી વ્યૂ પ્રદાન કરે છે, કારણ કે બહુવિધ પ્રોમિથિયસ ઉદાહરણો એક વિક્ટોરિયામેટ્રિક્સ પર ડેટા લખી શકે છે. તદનુસાર, તમે આ તમામ ડેટા પર પ્રશ્નો કરી શકો છો.

VictoriaMetrics પણ સપોર્ટ કરે છે, જેમ કે Thanos, PromQL અને Prometheus querying API.

થાનોસથી વિપરીત, VictoriaMetrics સોર્સ કોડ શરૂઆતથી લખવામાં આવ્યો છે અને ઝડપ અને સંસાધન વપરાશ માટે ઑપ્ટિમાઇઝ કરવામાં આવ્યો છે.

વિક્ટોરિયામેટ્રિક્સ, થેનોસથી વિપરીત, ઊભી અને આડી એમ બંને રીતે સ્કેલ કરે છે. ખાવું સિંગલ-નોડ સંસ્કરણ, જે ઊભી રીતે સ્કેલ કરે છે. તમે એક પ્રોસેસર અને 1 GB મેમરીથી શરૂઆત કરી શકો છો અને ધીમે ધીમે સેંકડો પ્રોસેસર્સ અને 1 TB મેમરી સુધી વધી શકો છો. VictoriaMetrics આ તમામ સંસાધનોનો ઉપયોગ કરી શકે છે. 100-કોર સિસ્ટમની તુલનામાં તેનું પ્રદર્શન લગભગ 1 ગણું વધશે.

થાનોસનો ઇતિહાસ નવેમ્બર 2017 માં શરૂ થયો, જ્યારે પ્રથમ જાહેર પ્રતિબદ્ધતા દેખાઈ. આ પહેલા થાનોસને આંતરિક રીતે વિકસાવવામાં આવી હતી improbable.io.

જૂન 2019 માં 0.5.0 એક સીમાચિહ્ન પ્રકાશન હતું, જેમાં દૂર ગપસપ પ્રોટોકોલ તેને થાનોસમાંથી દૂર કરવામાં આવ્યો કારણ કે તેણે સારું પ્રદર્શન કર્યું ન હતું. ઘણીવાર થેનોસ ક્લસ્ટર યોગ્ય રીતે કામ કરતું ન હતું, ગપસપ પ્રોટોકોલને કારણે તેની સાથે ખોટી રીતે જોડાયેલ નોડ્સ. તેથી, અમે તેને ત્યાંથી દૂર કરવાનો નિર્ણય કર્યો. મને લાગે છે કે આ સાચો નિર્ણય છે.

તે જ જૂન 2019 માં, તેઓએ એપ્લિકેશન નંબર મોકલ્યો 256 в ક્લાઉડ નેટીવ કમ્પ્યુટિંગ ફાઉન્ડેશન.

અને થોડા મહિના પછી થાનોસને સ્વીકારવામાં આવ્યો ક્લાઉડ નેટીવ કમ્પ્યુટિંગ ફાઉન્ડેશન, જેમાં પ્રોમિથિયસ, કુબરનેટ્સ અને અન્ય લોકપ્રિય પ્રોજેક્ટ્સનો સમાવેશ થાય છે.

જાન્યુઆરી 2018 માં, વિક્ટોરિયામેટ્રિક્સનો વિકાસ શરૂ થયો.

સપ્ટેમ્બર 2018 માં, મેં પ્રથમ વખત જાહેરમાં VictoriaMetrics નો ઉલ્લેખ કર્યો.

ડિસેમ્બર 2018 માં, સિંગલ-નોડ સંસ્કરણ પ્રકાશિત કરવામાં આવ્યું હતું.

મે 2019 માં પ્રકાશિત થયા હતા સિંગલ-નોડ અને ક્લસ્ટર વર્ઝન બંનેના સ્ત્રોત.

જૂન 2019 માં, થાનોસની જેમ, અમે નંબર હેઠળ CNCF ફાઉન્ડેશનને અરજી સબમિટ કરી 255. થાનોસે અરજી કરી તેના એક દિવસ પહેલા અમે અરજી કરી હતી.

પરંતુ, કમનસીબે, અમને હજુ પણ ત્યાં સ્વીકારવામાં આવ્યા નથી. સમુદાયની મદદની જરૂર છે.

ચાલો થેનોસ અને વિક્ટોરિયામેટ્રિક્સના આર્કિટેક્ચરને દર્શાવતી સૌથી મહત્વપૂર્ણ સ્લાઇડ્સ જોઈએ.

ચાલો થાનોસથી શરૂઆત કરીએ. પીળા ઘટકો પ્રોમિથિયસ ઘટકો છે. બાકીનું બધું થેનોસ ઘટકો છે. ચાલો સૌથી મહત્વપૂર્ણ ઘટક સાથે પ્રારંભ કરીએ. થેનોસ સાઇડકાર એ એક ઘટક છે જે દરેક પ્રોમિથિયસની બાજુમાં સ્થાપિત થયેલ છે. તે સ્થાનિક સ્ટોરેજમાંથી પ્રોમિથિયસ ડેટાને S3 અથવા અન્ય ઑબ્જેક્ટ સ્ટોરેજમાં લોડ કરે છે.

થેનોસ સ્ટોર ગેટવે નામનું એક ઘટક પણ છે, જે થાનોસ ક્વેરી તરફથી આવનારી વિનંતીઓ પર ઑબ્જેક્ટ સ્ટોરેજમાંથી આ ડેટા વાંચી શકે છે. Thanos Query PromQL અને Prometheus API ને લાગુ કરે છે. એટલે કે, બહારથી તે પ્રોમિથિયસ જેવો દેખાય છે. પ્રોમક્યુએલ ક્વેરીઝ મેળવે છે, તેમને થાનોસ સ્ટોર ગેટવે પર મોકલે છે, થેનોસ સ્ટોર ગેટવે ઑબ્જેક્ટ સ્ટોરેજમાંથી જરૂરી ડેટા મેળવે છે, તેને પાછો મોકલે છે.

પરંતુ અમે Thanos Sidecar અમલીકરણની વિશેષતાને કારણે છેલ્લા બે કલાક વિના ઑબ્જેક્ટ સ્ટોરેજમાં ડેટા સ્ટોર કરીએ છીએ, જે ઑબ્જેક્ટ સ્ટોરેજ S3 પર છેલ્લા બે કલાક અપલોડ કરી શકતા નથી, કારણ કે પ્રોમિથિયસે હજુ સુધી સ્થાનિક સ્ટોરેજમાં આ બે કલાક માટે ફાઇલો બનાવી નથી.

તમે આની આસપાસ જવાનું કેવી રીતે નક્કી કર્યું? થેનોસ ક્વેરી, થેનોસ સ્ટોર ગેટવેની વિનંતીઓ ઉપરાંત, દરેક થાનોસ સાઇડકારને સમાંતર વિનંતીઓ મોકલે છે, જે પ્રોમિથિયસની બાજુમાં સ્થિત છે.

અને થેનોસ સાઇડકાર, બદલામાં, પ્રોક્સીઓ પ્રોમિથિયસને વધુ વિનંતી કરે છે અને છેલ્લા બે કલાકનો ડેટા પુનઃપ્રાપ્ત કરે છે.

આ ઘટકો ઉપરાંત, એક વૈકલ્પિક ઘટક પણ છે જેના વિના થેનોસ સારું પ્રદર્શન કરશે નહીં. આ થેનોસ કોમ્પેક્ટ છે, જે ઓબ્જેક્ટ સ્ટોરેજ પરની નાની ફાઇલોને મોટી ફાઇલોમાં મર્જ કરવા માટે જવાબદાર છે જે અહીં થેનોસ સાઇડકાર્સ દ્વારા અપલોડ કરવામાં આવી હતી. Thanos Sidecar ત્યાં બે કલાકમાં ડેટા ફાઇલો અપલોડ કરે છે. આ ફાઇલો, જો તે મોટી ફાઇલોમાં મર્જ કરવામાં આવતી નથી, તો તેમની સંખ્યા ખૂબ જ નોંધપાત્ર રીતે વધી શકે છે. આવી વધુ ફાઇલો, થેનોસ સ્ટોર ગેટવે માટે વધુ મેમરીની જરૂર છે, નેટવર્ક અને મેટાડેટા પર ડેટા ટ્રાન્સફર કરવા માટે વધુ સંસાધનોની જરૂર છે. થાનોસ સ્ટોર ગેટવે બિનઅસરકારક બની જાય છે. તેથી, થેનોસ કોમ્પેક્ટ ચલાવવું જરૂરી છે, જે નાની ફાઇલોને મોટી ફાઇલોમાં મર્જ કરે છે, જેથી આવી ફાઇલો ઓછી હોય અને થાનોસ સ્ટોર ગેટવે પર ઓવરહેડ ઓછું થાય.

થેનોસ શાસક જેવા ઘટક પણ છે. તે પ્રોમિથિયસ ચેતવણીના નિયમોનું અમલીકરણ કરે છે અને ઓબ્જેક્ટ સ્ટોરેજ પર ડેટા લખવા માટે પ્રોમિથિયસ રેકોર્ડિંગ નિયમોનું મૂલ્યાંકન કરી શકે છે. પરંતુ આ ઘટકનો ઉપયોગ કરવાની ભલામણ કરવામાં આવતી નથી, કારણ કે ... તેમણે અપૂર્ણ ડેટા પરત કરવાનું વલણ ધરાવે છે.

આ થાનોસની સરળ યોજના છે.

હવે ચાલો તેની સરખામણી VictoriaMetrics સ્કીમ સાથે કરીએ.

VictoriaMetrics પાસે 2 વર્ઝન છે: સિંગલ-નોડ અને ક્લસ્ટર વર્ઝન. સિંગલ-નોડ એક કમ્પ્યુટર પર ચાલે છે. સિંગલ-નોડમાં આ ઘટકો નથી, માત્ર એક દ્વિસંગી. સ્લાઇડ પરની આ દ્વિસંગી આ ચોરસ જેવી દેખાય છે. ચોરસની અંદર જે બધું છે તે સિંગલ-નોડ સંસ્કરણ માટે બાઈનરી ફાઇલની સામગ્રી છે. તમારે તેના વિશે જાણવાની જરૂર નથી. તમે ફક્ત દ્વિસંગી ચલાવો છો અને બધું અમારા માટે કામ કરે છે.

ક્લસ્ટર સંસ્કરણ વધુ જટિલ છે. તેની અંદર ત્રણ અલગ અલગ ઘટકો છે: vmselect, vminsert અને vmstorage. તેમના નામ પરથી તે સ્પષ્ટ હોવું જોઈએ કે તેમાંના દરેક શું કરે છે. ઇન્સર્ટ કમ્પોનન્ટ વિવિધ ફોર્મેટમાં ડેટા સ્વીકારે છે: પ્રોમિથિયસ રિમોટ રાઇટ API, ઇનફ્લક્સ લાઇન પ્રોટોકોલ, ગ્રેફાઇટ પ્રોટોકોલ અને ઓપનટીએસડીબી પ્રોટોકોલ. ઇન્સર્ટ ઘટક તેમને સ્વીકારે છે, તેમનું વિશ્લેષણ કરે છે અને હાલના સ્ટોરેજ ઘટકો વચ્ચે વિતરિત કરે છે, જ્યાં ડેટા પહેલેથી જ સંગ્રહિત છે. સિલેક્ટ ઘટક, બદલામાં, PromQL ક્વેરીઝ સ્વીકારે છે. તે અમલ કરે છે પ્રોમક્યુએલ, તેમજ પ્રોમિથિયસ ક્વેરીંગ API, અને તેનો ઉપયોગ Grafana અથવા અન્ય Prometheus API ક્લાયંટમાં પ્રોમિથિયસ માટે રિપ્લેસમેન્ટ તરીકે થઈ શકે છે. સિલેક્ટ પ્રોમક્યુએલ વિનંતી સ્વીકારે છે, તેનું વિશ્લેષણ કરે છે, સ્ટોરેજ નોડ્સમાંથી આ વિનંતીને અમલમાં મૂકવા માટે જરૂરી ડેટા વાંચે છે, આ ડેટા પર પ્રક્રિયા કરે છે અને પ્રતિસાદ આપે છે.

ચાલો Thanos અને VictoriaMetrics ઇન્સ્ટોલ કરવાની જટિલતાની તુલના કરીએ.

ચાલો થાનોસથી શરૂઆત કરીએ. તમે Thanos સાથે કામ કરવાનું શરૂ કરો તે પહેલાં, તમારે S3 અથવા GCS જેવા ઑબ્જેક્ટ સ્ટોરેજમાં એક બકેટ બનાવવાની જરૂર છે, જેથી થેનોસ સાઇડકાર તેના પર ડેટા લખી શકે.

પછી દરેક પ્રોમિથિયસ માટે તમારે થાનોસ સાઇડકાર ઇન્સ્ટોલ કરવાની જરૂર છે. આ પહેલાં, તમારે પ્રોમિથિયસમાં ડેટા કોમ્પેક્શનને અક્ષમ કરવાનું યાદ રાખવાની જરૂર છે. ડેટા કોમ્પેક્શન સમયાંતરે સંસાધન વપરાશ ઘટાડવા માટે સ્થાનિક પ્રોમિથિયસ સ્ટોરેજમાં ડેટાને સંકુચિત કરે છે.

જ્યારે તમે તમારા Prometheus પર Thanos Sidecar ઇન્સ્ટોલ કરો છો, ત્યારે તમારે આ ડેટા કોમ્પેક્શનને અક્ષમ કરવું પડશે, કારણ કે Thanos Sidecar ડેટા કોમ્પેક્શન સક્ષમ સાથે યોગ્ય રીતે કામ કરતું નથી. આનો અર્થ એ છે કે તમારું પ્રોમિથિયસ બે-કલાકના બ્લોક્સમાં ડેટા બચાવવાનું શરૂ કરે છે અને તે બ્લોક્સને મોટામાં મર્જ કરવાનું બંધ કરે છે. તદનુસાર, જો તમે છેલ્લા બે કલાકની અવધિ કરતાં વધુ ક્વેરી કરો છો, તો તે એટલી કાર્યક્ષમતાથી કામ કરશે નહીં કે જો ડેટા કોમ્પેક્શન સક્ષમ હોય તો તે કાર્ય કરી શકે.

તેથી, થેનોસ મોટી સંખ્યામાં નાના બ્લોક્સના ઓવરહેડને ઘટાડવા માટે સ્થાનિક સ્ટોરેજમાં ડેટા રીટેન્શન સમયને 6-8 કલાક સુધી ઘટાડવાની ભલામણ કરે છે.

એકવાર તમે Thanos Sidecar ઇન્સ્ટોલ કરી લો, પછી તમારે દરેક ઑબ્જેક્ટ સ્ટોરેજ બકેટ માટે બે ઘટકો ઇન્સ્ટોલ કરવા આવશ્યક છે. આ છે થાનોસ કોમ્પેક્ટર અને થેનોસ સ્ટોર ગેટવે.

તે પછી, તમારે થેનોસ ક્વેરી ઇન્સ્ટોલ કરવાની અને તેને રૂપરેખાંકિત કરવાની જરૂર છે જેથી તે તમારી પાસેના તમામ થાનોસ સ્ટોર ગેટવે સાથે કનેક્ટ થઈ શકે અને તમામ થાનોસ સાઇડકાર સાથે પણ કનેક્ટ થઈ શકે.

અહીં થોડી સમસ્યા હોઈ શકે છે.

તમારે થાનોસ ક્વેરીથી આ ઘટકો માટે વિશ્વસનીય અને સુરક્ષિત કનેક્શન ગોઠવવાની જરૂર છે. અને જો તમારું પ્રોમિથિયસ અલગ-અલગ ડેટા સેન્ટરમાં અથવા અલગ-અલગ VPCમાં સ્થિત છે, તો પછી તેમની સાથે બહારથી કનેક્શન પ્રતિબંધિત છે. પરંતુ થેનોસ ક્વેરી કામ કરવા માટે, તમારે કોઈક રીતે ત્યાં કનેક્શન ગોઠવવાની જરૂર છે, અને તમારે એક રસ્તો કાઢવો પડશે.

જો તમારી પાસે આવા ઘણા ડેટા કેન્દ્રો છે, તો તે મુજબ, સમગ્ર સિસ્ટમની વિશ્વસનીયતા ઘટે છે. કારણ કે થાનોસ ક્વેરી એ વિવિધ ડેટા સેન્ટરોમાં સ્થિત તમામ થાનોસ સાઇડકાર સાથે સતત જોડાણ જાળવી રાખવા જોઈએ. દરેક આવનારી વિનંતિ માટે, તે તમામ થાનોસ સાઇડકારને વિનંતીઓને રૂટ કરશે. જો કનેક્શનમાં વિક્ષેપ આવે, તો તમને કાં તો ડેટાનો અપૂર્ણ સેટ પ્રાપ્ત થશે, અથવા તમને "ક્લસ્ટર ઈઝ ડાઉન" પ્રતિસાદ પ્રાપ્ત થશે.

VictoriaMetrics માં બધું થોડું સરળ છે. સિંગલ-નોડ સંસ્કરણ માટે, તમારે ફક્ત એક બાઈનરી ચલાવવાની જરૂર છે અને બધું કાર્ય કરે છે.

ક્લસ્ટર સંસ્કરણમાં, ઉપરોક્ત તમામ ત્રણ પ્રકારના ઘટકોને તમને જોઈતી કોઈપણ માત્રામાં ચલાવવા અથવા ઉપયોગ કરવા માટે તે પૂરતું છે. સુકાન ચાર્ટ કુબરનેટ્સમાં ઘટકોના લોંચને સ્વચાલિત કરવા માટે. અમે કુબરનેટ્સ ઓપરેટર બનાવવાનું પણ આયોજન કરી રહ્યા છીએ. હેલ્મ ચાર્ટ કેટલાક કેસોને આવરી લેતું નથી અને તમને તમારી જાતને પગમાં મારવા દે છે. ઉદાહરણ તરીકે, તે તમને સ્ટોરેજ નોડ્સની સંખ્યા ઘટાડવાની મંજૂરી આપે છે, જે ડેટાના નુકશાન તરફ દોરી જશે.

તમે એક દ્વિસંગી અથવા ક્લસ્ટર્ડ સંસ્કરણ લોંચ કર્યા પછી, તમારે ફક્ત પ્રોમિથિયસને રૂપરેખામાં ઉમેરવાની જરૂર છે. રિમોટ રાઈટ યુઆરએલ માટે સેટિંગજેથી તે સ્થાનિક સ્ટોરેજ અને રિમોટ સ્ટોરેજની સમાંતર ડેટા લખવાનું શરૂ કરે. જેમ તમે જોઈ શકો છો, આ રૂપરેખાંકન Thanos રૂપરેખાંકનની તુલનામાં વધુ વિશ્વસનીય રીતે કાર્ય કરવું જોઈએ. અમારે વિક્ટોરિયામેટ્રિક્સથી બધા પ્રોમિથિયસ સાથે જોડાણ જાળવવાની જરૂર નથી, કારણ કે પ્રોમિથિયસ પોતે વિક્ટોરિયામેટ્રિક્સ સાથે જોડાય છે અને ડેટા ટ્રાન્સમિટ કરે છે.

ચાલો થાનોસ અને વિક્ટોરિયામેટ્રિક્સના સમર્થનને ધ્યાનમાં લઈએ.

Thanos એ ખાતરી કરવા માટે Sidecar પર દેખરેખ રાખવાની જરૂર છે કે તેઓ ઑબ્જેક્ટ સ્ટોરેજમાં ડેટા લોડ કરવાનું બંધ ન કરે. તેઓ ડાઉનલોડ ભૂલોને કારણે આ ડેટા ડાઉનલોડને રોકી શકે છે, ઉદાહરણ તરીકે ઑબ્જેક્ટ સ્ટોરેજ સાથે તમારું નેટવર્ક કનેક્શન અસ્થાયી રૂપે વિક્ષેપિત થયું છે અથવા ઑબ્જેક્ટ સ્ટોરેજ અસ્થાયી રૂપે અનુપલબ્ધ છે. Thanos Sidecar આ ક્ષણે આની નોંધ લેશે, ભૂલની જાણ કરશે, ક્રેશ થઈ શકે છે અને પછી કામ કરવાનું બંધ કરશે. જો તમે તેનું નિરીક્ષણ ન કરો, તો પછી તમે ઑબ્જેક્ટ સ્ટોરેજમાં ડેટા સ્થાનાંતરિત કરવાનું બંધ કરશો. જો રીટેન્શનનો સમય પસાર થાય છે (6-8 કલાક ભલામણ કરવામાં આવે છે), તો તમે તે ડેટા ગુમાવશો જે ઑબ્જેક્ટ સ્ટોરેજમાં સમાપ્ત થયો ન હતો.

થાનોસ કોમ્પેક્ટર્સ કારણે કામ કરવાનું બંધ કરી શકે છે સાઇડકાર સાથે રેસ છે. કોમ્પેક્ટર્સ ઑબ્જેક્ટ સ્ટોરેજમાંથી ડેટા લે છે અને તેને ડેટાના મોટા ટુકડાઓમાં મર્જ કરે છે. કોમ્પેક્ટર્સ સાઇડકાર સાથે સમન્વયિત ન હોવાથી, નીચેના થઈ શકે છે: સાઇડકાર પાસે હજુ સુધી બ્લોક પૂર્ણ કરવાનો સમય નથી, કોમ્પેક્ટર નક્કી કરે છે કે આ બ્લોક સંપૂર્ણપણે લખાયેલ છે. કોમ્પેક્ટર તેને વાંચવાનું શરૂ કરે છે. તે બ્લોકને સંપૂર્ણ રીતે વાંચતું નથી અને કામ કરવાનું બંધ કરે છે. વિગતો જુઓ અહીં.

સ્ટોર ગેટવે કોમ્પેક્ટર અને સાઇડકાર વચ્ચેની રેસને કારણે અસંગત ડેટા પરત કરી શકે છે. તે જ વસ્તુ અહીં થાય છે, કારણ કે સ્ટોર ગેટવે કોઈપણ રીતે કોમ્પેક્ટર્સ અને સાઇડકાર સાથે સિંક્રનાઇઝ થયેલ નથી. તદનુસાર, જ્યારે સ્ટોર ગેટવે ડેટાનો ભાગ જોતો નથી અથવા બિનજરૂરી ડેટા જુએ છે ત્યારે રેસની સ્થિતિ આવી શકે છે.

થાનોસમાં ક્વેરી ઘટક મૂળભૂત રીતે આંશિક પરિણામ આપે છે જો આ ક્ષણે કેટલાક સાઇડકાર અથવા સ્ટોર ગેટવે ઉપલબ્ધ ન હોય. તમને ડેટાનો એક ભાગ પ્રાપ્ત થશે, અને તમને એ પણ ખબર નહીં હોય કે તમને બધો ડેટા પ્રાપ્ત થયો નથી. આ રીતે તે મૂળભૂત રીતે કાર્ય કરે છે. સમાન પરિસ્થિતિમાં, VictoriaMetrics ચિહ્નિત ડેટાને આંશિક તરીકે પરત કરે છે.

થાનોસથી વિપરીત, VictoriaMetrics ભાગ્યે જ ડેટા ગુમાવે છે. જો પ્રોમિથિયસથી વિક્ટોરિયામેટ્રિક્સનું કનેક્શન વિક્ષેપિત થાય તો પણ, આ કોઈ સમસ્યા નથી, કારણ કે પ્રોમિથિયસ આગળ લખો લોગમાં આવનારા નવા ડેટાને રેકોર્ડ કરવાનું ચાલુ રાખે છે, જેનું કદ 2 કલાક છે. જો તમે બે કલાકમાં VictoriaMetrics સાથે તમારું કનેક્શન પુનઃસ્થાપિત કરશો, તો તમારો ડેટા ગુમ થશે નહીં. પ્રોમિથિયસ VictoriaMetrics સાથે જોડાણ પુનઃસ્થાપિત કર્યા પછી ડેટા ઉમેરી શકે છે.

થેનોસથી વિપરીત, જે ફક્ત બે કલાક પછી ઑબ્જેક્ટ સ્ટોરેજ પર ડેટા લખે છે, પ્રોમિથિયસ વિક્ટોરિયામેટ્રિક્સ જેવા રિમોટ સ્ટોરેજમાં રિમોટ રાઈટ પ્રોટોકોલનો ઉપયોગ કરીને આપમેળે ડેટાની નકલ કરે છે. તમે પ્રોમિથિયસમાં સ્થાનિક સ્ટોરેજ ગુમાવવાથી ડરતા નથી. જો તેણે અચાનક સ્થાનિક સ્ટોરેજ ગુમાવ્યું, તો પછી સૌથી ખરાબ કિસ્સામાં તમે છેલ્લી સેકંડનો ડેટા ગુમાવશો કે જેને રિમોટ સ્ટોરેજમાં રેકોર્ડ કરવાનો સમય નથી.

થાનોસથી વિપરીત, કુબરનેટ્સ આપમેળે ક્લસ્ટરનું સંચાલન કરે છે. વિક્ટોરિયામેટ્રિક્સ ક્લસ્ટર ઘટકોથી વિપરીત તમામ થાનોસ ઘટકોને એક કુબરનેટ્સ ક્લસ્ટરમાં મૂકવું મુશ્કેલ છે.

VictoriaMetrics પાસે નવા સંસ્કરણ માટે ખૂબ જ સરળ અપડેટ છે. ફક્ત VictoriaMetrics બંધ કરો, દ્વિસંગીઓને અપડેટ કરો અને તેને લોંચ કરો. જ્યારે SIGINT સિગ્નલ દ્વારા રોકવામાં આવે છે, ત્યારે તમામ VictoriaMetrics દ્વિસંગીઓ આકર્ષક શટડાઉન કરે છે. તેઓ જરૂરી ડેટાને યોગ્ય રીતે સાચવે છે, ઇનકમિંગ કનેક્શન્સને યોગ્ય રીતે બંધ કરે છે જેથી કંઈપણ ન ગુમાવે. તેથી અપગ્રેડ કરતી વખતે તમે કંઈપણ ગુમાવશો નહીં.

VictoriaMetrics ક્લસ્ટરને વિસ્તૃત કરવાનું ખૂબ જ સરળ બનાવે છે. ફક્ત જરૂરી ઘટકો ઉમેરો અને કામ કરવાનું ચાલુ રાખો.

થાનોસ અને વિક્ટોરિયામેટ્રિક્સમાં મુશ્કેલીઓ વિશે.

થેનોસમાં નીચેની ખામીઓ છે. પ્રોમિથિયસે છેલ્લા બે કલાકનો ડેટા સ્ટોર કરવો જોઈએ. જો તેઓ ખોવાઈ જાય, તો તમે તેમને સંપૂર્ણપણે ગુમાવશો કારણ કે તેઓ હજુ સુધી S3 જેવા ઑબ્જેક્ટ સ્ટોરેજ પર લખાયા નથી.

સ્ટોર ગેટવે ઘટક અને કોમ્પેક્ટર ઘટકને મોટા ઓબ્જેક્ટ સ્ટોરેજ સાથે કામ કરવા માટે ઘણી બધી મેમરીની જરૂર પડી શકે છે જો ત્યાં ઘણી નાની ફાઇલો સંગ્રહિત હોય. ફાઇલોની સંખ્યા અને કદ જેટલી વધારે છે, તેટલી વધુ સ્ટોર ગેટવે અને કોમ્પેક્ટર રેમ મેટેનફોર્મેશન સ્ટોર કરવા માટે જરૂરી છે. થેનોસને આ હકીકત અંગે ઘણી સમસ્યાઓ છે રેકોર્ડ કરેલ ડેટાના સરેરાશ વોલ્યુમ સાથે સ્ટોર ગેટવે અને કોમ્પેક્ટર ક્રેશ.

તમારી પાસે પ્રોમિથિયસના જથ્થા સાથે અનિશ્ચિત સમય માટે થાનોસની જાહેરાત કરવામાં આવે છે. આ વાસ્તવમાં સાચું નથી. બધી વિનંતીઓ ક્વેરી ઘટકમાંથી પસાર થતી હોવાથી, જેમાં એકસાથે બધા સ્ટોર ગેટવે ઘટકો અને તમામ સાઇડકાર ઘટકોનું મતદાન કરવું આવશ્યક છે, ત્યાંથી ડેટા ખેંચો અને પછી તેને પ્રીપ્રોસેસ કરો. દેખીતી રીતે, વિનંતીની ઝડપ સૌથી ધીમી નબળી લિંક, સૌથી ધીમી સ્ટોર ગેટવે અથવા સૌથી ધીમી સાઇડકાર દ્વારા મર્યાદિત છે.

આ ઘટકો અસમાન રીતે લોડ થઈ શકે છે. ઉદાહરણ તરીકે, તમારી પાસે પ્રોમિથિયસ છે, જે પ્રતિ સેકન્ડ લાખો મેટ્રિક્સ એકત્રિત કરે છે. અને ત્યાં પ્રોમિથિયસ છે, જે સેકન્ડ દીઠ હજારો મેટ્રિક્સ એકત્રિત કરે છે. પ્રોમિથિયસ, જે પ્રતિ સેકન્ડ લાખો મેટ્રિક્સ એકત્રિત કરે છે, તે જે સર્વર પર ચાલે છે તેના પર ઘણો વધારે ભાર મૂકે છે. તદનુસાર, સાઇડકાર ત્યાં ધીમું કામ કરે છે. અને સામાન્ય રીતે ત્યાં બધું ધીમે ધીમે કામ કરે છે. અને ક્વેરી કમ્પોનન્ટ ત્યાંથી ખૂબ જ ધીરે ધીરે ડેટા ખેંચશે. તદનુસાર, તમારા સમગ્ર ક્લસ્ટરનું પ્રદર્શન આ ધીમી સાઇડકાર દ્વારા મર્યાદિત કરવામાં આવશે.

ડિફૉલ્ટ રૂપે, જો અમુક સાઇડકાર અને ક્યાં તો સ્ટોર ગેટવે અનુપલબ્ધ હોય તો થેનોસ આંશિક ડેટા આપે છે. ઉદાહરણ તરીકે, જો તમારા સાઇડકાર વિશ્વભરમાં જુદા જુદા ડેટા સેન્ટર્સમાં પથરાયેલા હોય, તો કનેક્શન નિષ્ફળતા અને ઘટકોની અનુપલબ્ધતાની સંભાવના ઘણી વધી જાય છે. તદનુસાર, મોટાભાગના કિસ્સાઓમાં તમને જાણ્યા વિના પણ આંશિક ડેટા પ્રાપ્ત થશે.

વિક્ટોરિયામેટ્રિક્સમાં પણ મુશ્કેલીઓ છે. પ્રથમ મુશ્કેલી એ વિકલ્પ છે જે VictoriaMetrics કેશ માટે વપરાતી RAM ની માત્રાને મર્યાદિત કરે છે. ડિફૉલ્ટ રૂપે, તે મશીન પરની RAM ના 60% જેટલો છે જ્યાં વિક્ટોરિયામેટ્રિક્સ ચાલી રહ્યું છે અથવા કુબરનેટ્સમાં વિક્ટોરિયામેટ્રિક્સ પોડની RAM ના 60% જેટલું છે.

જો તમે આ મૂલ્યને ખોટી રીતે બદલો છો, તો તમે VictoriaMetrics નું પ્રદર્શન બગાડી શકો છો. ઉદાહરણ તરીકે, જો તમે મૂલ્ય ખૂબ ઓછું સેટ કરો છો, તો ડેટા હવે VictoriaMetrics કેશમાં ફિટ થઈ શકશે નહીં. આને કારણે, તેણીએ વધારાનું કામ કરવું પડશે અને પ્રોસેસર અને ડિસ્ક લોડ કરવી પડશે. જો તમે આ વિકલ્પને ખૂબ મોટો બનાવો છો, તો તે વધે છે, પ્રથમ, મેમરીની બહારની ભૂલ સાથે વિક્ટોરિયામેટ્રિક્સ ક્રેશ થવાની સંભાવના, અને બીજું, તે એ હકીકત તરફ દોરી જશે કે ઓપરેટિંગ સિસ્ટમ મેમરીમાં બહુ ઓછી RAM બાકી હશે. ફાઇલ કેશ. અને VictoriaMetrics કામગીરી માટે ફાઇલ કેશ પર આધાર રાખે છે. જો તે પૂરતું નથી, તો ડિસ્ક પરનો ભાર મોટા પ્રમાણમાં વધી શકે છે. તેથી, સલાહ: જ્યાં સુધી એકદમ જરૂરી ન હોય ત્યાં સુધી પરિમાણ બદલશો નહીં.

બીજો વિકલ્પ. આ રીટેન્શન પીરિયડ છે - એક સમયગાળો જે ડિફોલ્ટ રૂપે 1 મહિના પર સેટ છે. VictoriaMetrics ડેટા સ્ટોર કરે છે તે સમયની આ લંબાઈ છે. આ સમયગાળા પછી, VictoriaMetrics ડેટા કાઢી નાખે છે.

ઘણા લોકો આ પરિમાણ વિના VictoriaMetrics ચલાવે છે અને એક મહિના માટે ડેટા રેકોર્ડ કરે છે. અને પછી તેઓ પૂછે છે: પાછલા મહિનાનો ડેટા કેમ અદૃશ્ય થઈ ગયો? કારણ કે ડિફોલ્ટ રીટેન્શન પિરિયડ 1 મહિનો છે. તેથી, તમારે યોગ્ય રીટેન્શન પિરિયડ જાણવાની અને સેટ કરવાની જરૂર છે.

ચાલો અનન્ય લક્ષણો પર એક નજર કરીએ.

થાનોસમાં ડાઉનસેમ્પલિંગ નામની વિશેષતા છે: 5-મિનિટ અને કલાકના અંતરાલ, જે ઘણીવાર યોગ્ય રીતે કામ કરતું નથી. જો તમે ગૂગલ કરો અને ગીથબ પર તેમની સમસ્યા જુઓ, તો આ ડાઉનસેમ્પલિંગને લગતી ઘણી બધી સમસ્યાઓ છે, કે તે કેટલીકવાર યોગ્ય રીતે કામ કરતું નથી, અથવા વપરાશકર્તાઓની અપેક્ષા મુજબ કામ કરતું નથી.

થેનોસ પાસે પ્રોમિથિયસ એચએ જોડીઓ માટે ડેટા ડિડુપ્લિકેશન છે. જ્યારે બે પ્રોમિથિયસ સમાન લક્ષ્યોમાંથી સમાન મેટ્રિક્સ એકત્રિત કરે છે અને થેનોસ તેમને ઑબ્જેક્ટ સ્ટોરેજમાં સંગ્રહિત કરે છે. વિક્ટોરિયામેટ્રિક્સથી વિપરીત થાનોસ આ ડેટાને યોગ્ય રીતે ડિડપ્લિકેટ કરી શકે છે.

થેનોસમાં એક ચેતવણી ઘટક છે જે થાનોસ યોજનાકીયમાં હતું. પરંતુ તેને ઉત્પાદનમાં ઉપયોગ માટે આગ્રહણીય નથી.

થેનોસનો ફાયદો છે કે થેનોસ અને પ્રોમિથિયસ સમાન કોડ શેર કરે છે. થેનોસ અને પ્રોમિથિયસ એ જ વિકાસકર્તાઓ દ્વારા વિકસાવવામાં આવ્યા છે. થેનોસ અથવા પ્રોમિથિયસના સુધારા સાથે, બીજી બાજુ જીતે છે.

વિક્ટોરિયામેટ્રિક્સનું મુખ્ય લક્ષણ મેટ્રિક્સક્યુએલ છે. આ PromQL માટે VictoriaMetrics એક્સ્ટેન્શન્સ છે, જેના વિશે મેં અગાઉના મોટા મોનિટરિંગ મેટઅપ પર વાત કરી હતી.

VictoriaMetrics ઘણા વિવિધ પ્રોટોકોલ્સનો ઉપયોગ કરીને ડેટા લોડિંગને સપોર્ટ કરે છે. વિક્ટોરિયામેટ્રિક્સ માત્ર પ્રોમિથિયસનો ડેટા જ નહીં, પણ ઈન્ફ્લક્સ, ઓપનટીએસડીબી અને ગ્રેફાઈટ પ્રોટોકોલ દ્વારા પણ સ્વીકારી શકે છે.

VictoriaMetrics ડેટા થેનોસ અને પ્રોમિથિયસની સરખામણીમાં ઘણી ઓછી જગ્યા લે છે.

જો તમે વાસ્તવિક ડેટા રેકોર્ડ કરો છો, તો વપરાશકર્તાઓ પ્રોમિથિયસ અને થાનોસની તુલનામાં ડિસ્ક પરના ડેટાના કદમાં 2-5 ગણા ઘટાડા વિશે વાત કરે છે.

VictoriaMetrics નો બીજો ફાયદો એ છે કે તે ઝડપ માટે ઑપ્ટિમાઇઝ થયેલ છે.

ચાલો ઈન્ફ્રાસ્ટ્રક્ચરની કિંમત જોઈએ.

થેનોસનો એક ફાયદો એ છે કે તે ઓબ્જેક્ટ સ્ટોરેજમાં ડેટા સ્ટોર કરે છે, જે પ્રમાણમાં સસ્તું છે.

ઑબ્જેક્ટ સ્ટોરેજમાં ડેટા સ્ટોર કરતી વખતે, તમારે ડેટા રાઇટ અને રીડ ઑપરેશન્સ ($10 પ્રતિ મિલિયન ઑપરેશન્સ) માટે ચૂકવણી કરવી પડશે. જ્યારે તમે ઑબ્જેક્ટ સ્ટોરેજ પર ડેટા લખો છો, ત્યારે તમે ઇન્ટરનેટ પર ડેટા અપલોડ કરવા માટે તમારા હોસ્ટિંગ ખર્ચ ચૂકવો છો; જો તમારું ક્લસ્ટર AWS માં નથી, તો તે ત્યાં મફત છે. જ્યારે તમે ડેટા વાંચો છો, ત્યારે તમે 10TB દીઠ $230 અને $1 ની વચ્ચે ચૂકવણી કરો છો. જો તમે થાનોસ ક્લસ્ટરમાંથી ઐતિહાસિક ડેટાની વારંવાર પૂછપરછ કરો છો તો આ નોંધપાત્ર બની શકે છે.

થેનોસ ક્લસ્ટર માટે, તમારે કોમ્પેક્ટ, સ્ટોર ગેટવે, ક્વેરી કમ્પોનન્ટ કે જેને ઘણી બધી મેમરીની જરૂર હોય છે અને મોટી માત્રામાં ડેટા માટે CPU માટે સર્વર માટે ચૂકવણી કરવાની જરૂર છે.

VictoriaMetrics પાસે નીચેના ખર્ચાઓ છે. જો તમે GCE HDD ડ્રાઇવ્સ પર ડેટા સ્ટોર કરો છો, તો તે 40TB માટે $1 થાય છે. VictoriaMetrics માટે, સામાન્ય HDD ડ્રાઈવો પર્યાપ્ત છે; કોઈ SSDs, જેની કિંમત પાંચ ગણી વધારે છે, જરૂરી નથી. VictoriaMetrics HDD માટે ઑપ્ટિમાઇઝ કરેલ છે.

વિક્ટોરિયામેટ્રિક્સને ઘટકો માટે સર્વરની જરૂર છે: કાં તો સિંગલ-નોડ અથવા ક્લસ્ટર્ડ ઘટકો, જે થાનોસ ઘટકોથી વિપરીત, ખૂબ ઓછા CPU અને RAM ની જરૂર છે - અને તે મુજબ સસ્તી હશે.

અમલીકરણના ઉદાહરણો.

થાનોસનું ગિટલેબમાં અમલીકરણનું ઉદાહરણ છે. ગિટલેબ સંપૂર્ણપણે થાનોસ પર ચાલે છે. પરંતુ ત્યાં બધું એટલું સરળ નથી. જો તમે તેમને જુઓ મુદ્દાઓ, પછી તમે જોઈ શકો છો કે તેમની પાસે સતત કેટલાક હોય છે થાનોસ સાથે ઓપરેશનલ સમસ્યાઓ: સ્ટોર ગેટવે અથવા ક્વેરી ઘટકો માટે પૂરતી મેમરી નથી. તેમને સતત મેમરીની માત્રા વધારવી પડે છે.

જેના કારણે આ સમસ્યાઓના નિરાકરણનો ખર્ચ વધી જાય છે.

બીજું અમલીકરણ, જે વધુ સફળ હોઈ શકે છે, તે અસંભવિત કંપની છે, જેણે થેનોસ વિકસાવવાનું શરૂ કર્યું. તેઓએ થાનોસ સોર્સ કોડ પ્રકાશિત કર્યો. અસંભવ એ એક કંપની છે જે ગેમ એન્જિન વિકસાવે છે.

VictoriaMetrics પાસે સાર્વજનિક અમલીકરણ ઉદાહરણો છે:

• wix.com વેબસાઇટ બિલ્ડર
• Adidas VictoriaMetrics ને અમલમાં મૂકી રહ્યું છે અને છેલ્લા PromCon 2019માં પ્રેઝન્ટેશન પણ કર્યું હતું
• ટ્રાફિકસ્ટાર્સ - જાહેરાત નેટવર્ક
• Seznam.cz એક લોકપ્રિય ચેક સર્ચ એન્જિન છે.

અને પછી એવી નોન-નામ કંપનીઓ હતી જેનું નામ હવે હું આપી શકતો નથી. તેઓએ સંમતિ આપી ન હતી.

• એક મુખ્ય રમત વિકાસકર્તા. ઇમ અસંભવ કરતાં મોટું.
• મુખ્ય ગ્રાફિક્સ સોફ્ટવેર ડેવલપર.
• મોટી રશિયન બેંક.
• યુરોપિયન વિન્ડ ટર્બાઇન ઉત્પાદક કે જેણે વિક્ટોરિયામેટ્રિક્સનું સફળતાપૂર્વક પરીક્ષણ કર્યું છે. આ ઉત્પાદક વિન્ડ ટર્બાઇનમાંથી એકત્ર કરાયેલા ડેટાને મોનિટર કરવા માટે વિક્ટોરિયામેટ્રિક્સનો અમલ કરી રહી છે જે સેન્સર દીઠ સેકન્ડ દીઠ 50 નમૂનાના દરે છે. દરેક વિન્ડ ટર્બાઇનમાં કેટલાક સો સેન્સર હોય છે. તેમની પાસે સો વિન્ડ ટર્બાઇન છે.
• રશિયન એરલાઇન્સ જે VictoriaMetrics લાગુ કરવા માંગે છે, પરંતુ તેમ છતાં કરી શકતી નથી. અમે તેમની સાથે કરારના તબક્કે છીએ.

તારણો

VictoriaMetrics અને Thanos સમાન સમસ્યાઓ હલ કરે છે, પરંતુ અલગ અલગ રીતે:

• વૈશ્વિક ક્વેરી દૃશ્ય
• આડી સ્કેલિંગ
• મનસ્વી રીટેન્શન

Спасибо.

અમે અમારા ખાતે તમારી રાહ જોઈ રહ્યા છીએ ટેલિગ્રામ ચેનલ.

ફક્ત નોંધાયેલા વપરાશકર્તાઓ જ સર્વેમાં ભાગ લઈ શકે છે. સાઇન ઇન કરો, મહેરબાની કરીને.

પ્રોમિથિયસ માટે લાંબા ગાળાના સ્ટોરેજ તરીકે તમે શું વાપરો છો?

• 35,3%થાનોસ6

• 0,0%કોર્ટેક્સ0

• 0,0%M3DB0

• 41,2%વિક્ટોરિયામેટ્રિક્સ7

• 23,5%અન્ય4

17 વપરાશકર્તાઓએ મતદાન કર્યું. 16 વપરાશકર્તાઓ દૂર રહ્યા.

સોર્સ: www.habr.com