કેમ છો બધા! તેના માં છેલ્લા લેખ મેં માઇક્રોસર્વિસ આર્કિટેક્ચર માટે મોડ્યુલર મોનિટરિંગ સિસ્ટમ ગોઠવવા વિશે લખ્યું છે. કંઈપણ સ્થિર નથી, અમારો પ્રોજેક્ટ સતત વધી રહ્યો છે, અને તેથી સંગ્રહિત મેટ્રિક્સની સંખ્યા પણ છે. અમે કેવી રીતે ગ્રેફાઇટ+વ્હિસ્પરથી ગ્રેફાઇટ+ક્લિકહાઉસ સુધીના સંક્રમણને ઉચ્ચ ભારની સ્થિતિમાં ગોઠવ્યું, તેમાંથી અપેક્ષાઓ અને કટ હેઠળ સ્થાનાંતરણના પરિણામો વિશે વાંચો.

અમે તમને Graphite+whisper થી Graphite+ClickHouse માં મેટ્રિક્સ સ્ટોર કરવા માટેનું સંક્રમણ કેવી રીતે ગોઠવ્યું તે હું તમને કહું તે પહેલાં, હું આવો નિર્ણય લેવાના કારણો અને વ્હીસ્પરના ગેરફાયદા વિશે માહિતી આપવા માંગુ છું જેની સાથે અમે લાંબા સમયથી જીવ્યા હતા.

ગ્રેફાઇટ+વ્હિસ્પર સમસ્યાઓ

1. ડિસ્ક સબસિસ્ટમ પર ઉચ્ચ ભાર

સંક્રમણ સમયે, આશરે 1.5 મિલિયન મેટ્રિક્સ પ્રતિ મિનિટ અમારી પાસે આવી રહ્યા હતા. આવા પ્રવાહ સાથે, સર્વર પર ડિસ્કનો ઉપયોગ ~30% હતો. સામાન્ય રીતે, આ એકદમ સ્વીકાર્ય હતું - બધું સ્થિર રીતે કામ કરતું હતું, ઝડપથી લખવામાં આવ્યું હતું, ઝડપથી વાંચવામાં આવ્યું હતું... જ્યાં સુધી વિકાસ ટીમોમાંથી એકે નવી સુવિધા રજૂ કરી અને અમને પ્રતિ મિનિટ 10 મિલિયન મેટ્રિક્સ મોકલવાનું શરૂ કર્યું નહીં. તે સમયે જ્યારે ડિસ્ક સબસિસ્ટમ કડક થઈ, અને અમે 100% ઉપયોગ જોયો. સમસ્યા ઝડપથી ઉકેલાઈ ગઈ, પરંતુ એક અવશેષ રહી ગયો.

2. પ્રતિકૃતિ અને સુસંગતતાનો અભાવ

મોટે ભાગે, ગ્રેફાઇટ+વ્હિસ્પરનો ઉપયોગ/વપરાશ કરનાર દરેક વ્યક્તિની જેમ, અમે ખામી સહિષ્ણુતા બનાવવા માટે એકસાથે અનેક ગ્રેફાઇટ સર્વર્સ પર મેટ્રિક્સનો સમાન પ્રવાહ રેડ્યો. અને આમાં કોઈ ખાસ સમસ્યાઓ નહોતી - તે ક્ષણ સુધી જ્યારે કોઈ કારણસર સર્વર ક્રેશ થયું. કેટલીકવાર અમે પડી ગયેલા સર્વરને પર્યાપ્ત ઝડપથી ઉપાડવામાં વ્યવસ્થાપિત કરીએ છીએ, અને કાર્બન-સી-રિલે તેના કેશમાંથી મેટ્રિક્સને તેમાં લોડ કરવામાં વ્યવસ્થાપિત છે, પરંતુ ક્યારેક નહીં. અને પછી મેટ્રિક્સમાં એક છિદ્ર હતું, જે અમે rsync થી ભર્યું. પ્રક્રિયા ઘણી લાંબી હતી. બચતની એકમાત્ર કૃપા એ હતી કે આ બહુ જ ભાગ્યે જ બન્યું. અમે સમયાંતરે મેટ્રિક્સનો રેન્ડમ સેટ પણ લીધો અને ક્લસ્ટરના પડોશી ગાંઠો પર સમાન લોકો સાથે તેમની સરખામણી કરી. લગભગ 5% કિસ્સાઓમાં, ઘણા મૂલ્યો અલગ હતા, જેનાથી અમે ખૂબ ખુશ ન હતા.

3. વિશાળ પદચિહ્ન

અમે ગ્રેફાઈટમાં માત્ર ઈન્ફ્રાસ્ટ્રક્ચર જ નહીં, પણ બિઝનેસ મેટ્રિક્સ (અને હવે કુબરનેટ્સના મેટ્રિક્સ પણ) લખીએ છીએ, તેથી અમને ઘણી વાર એવી પરિસ્થિતિ મળે છે જેમાં મેટ્રિકમાં માત્ર થોડા મૂલ્યો હોય છે, અને .wsp ફાઇલ તમામ રીટેન્શનને ધ્યાનમાં લઈને બનાવવામાં આવે છે. સમયગાળો, અને અગાઉથી ફાળવેલ જગ્યા લે છે, જે અમારા માટે ~2MB હતી. સમસ્યા એ હકીકત દ્વારા વધુ વકરી છે કે સમય જતાં ઘણી બધી સમાન ફાઇલો દેખાય છે, અને જ્યારે તેમના પર રિપોર્ટ્સ બનાવતી વખતે, ખાલી પોઈન્ટ્સ વાંચવામાં ઘણો સમય અને સંસાધનો લાગે છે.

હું તરત જ નોંધવા માંગુ છું કે ઉપર વર્ણવેલ સમસ્યાઓ વિવિધ પદ્ધતિઓનો ઉપયોગ કરીને અને અસરકારકતાની વિવિધ ડિગ્રી સાથે વ્યવહાર કરી શકાય છે, પરંતુ તમે જેટલો વધુ ડેટા પ્રાપ્ત કરવાનું શરૂ કરો છો, તે વધુ ખરાબ થાય છે.

ઉપરોક્ત તમામ રાખવાથી (પાછલાને ધ્યાનમાં લેતા લેખ), તેમજ પ્રાપ્ત મેટ્રિક્સની સંખ્યામાં સતત વધારો, તમામ મેટ્રિક્સને 30 સેકન્ડના સ્ટોરેજ અંતરાલમાં સ્થાનાંતરિત કરવાની ઇચ્છા. (જો જરૂરી હોય તો 10 સેકન્ડ સુધી), અમે વ્હીસ્પરના આશાસ્પદ વિકલ્પ તરીકે Graphite+ClickHouse અજમાવવાનું નક્કી કર્યું.

ગ્રેફાઇટ+ક્લિકહાઉસ. અપેક્ષાઓ

યાન્ડેક્સના છોકરાઓની ઘણી મીટઅપ્સની મુલાકાત લીધા પછી, વાંચ્યું Habré પર લેખો એક દંપતિ, દસ્તાવેજીકરણમાંથી પસાર થયા પછી અને ગ્રેફાઇટ હેઠળ ક્લિકહાઉસને બંધનકર્તા માટે સમજદાર ઘટકો મળ્યાં, અમે પગલાં લેવાનું નક્કી કર્યું!

હું નીચેના પ્રાપ્ત કરવા માંગુ છું:

• ડિસ્ક સબસિસ્ટમનો ઉપયોગ 30% થી ઘટાડીને 5% કરો;
• 1TB થી 100GB સુધી કબજે કરેલી જગ્યાની માત્રા ઘટાડવી;
• સર્વરમાં પ્રતિ મિનિટ 100 મિલિયન મેટ્રિક્સ પ્રાપ્ત કરવામાં સમર્થ થાઓ;
• બોક્સની બહાર ડેટા પ્રતિકૃતિ અને દોષ સહિષ્ણુતા;
• આ પ્રોજેક્ટ પર એક વર્ષ સુધી બેસો નહીં અને વાજબી સમયમર્યાદામાં સંક્રમણ કરો;
• ડાઉનટાઇમ વિના સ્વિચ કરો.

ખૂબ મહત્વાકાંક્ષી, અધિકાર?

ગ્રેફાઇટ+ક્લિકહાઉસ. ઘટકો

ગ્રેફાઇટ પ્રોટોકોલ દ્વારા ડેટા પ્રાપ્ત કરવા અને ત્યારબાદ તેને ક્લિકહાઉસમાં રેકોર્ડ કરવા માટે, મેં પસંદ કર્યું કાર્બન-ક્લિકહાઉસ (ગોલાંગ).

ક્લિકહાઉસનું નવીનતમ પ્રકાશન, સ્થિર સંસ્કરણ 1.1.54253, સમય શ્રેણી સ્ટોર કરવા માટે ડેટાબેઝ તરીકે પસંદ કરવામાં આવ્યું હતું. તેની સાથે કામ કરતી વખતે સમસ્યાઓ આવી હતી: લોગમાં ભૂલોનો પર્વત રેડવામાં આવ્યો હતો, અને તેની સાથે શું કરવું તે સંપૂર્ણપણે સ્પષ્ટ ન હતું. સાથે ચર્ચામાં છે રોમન લોમોનોસોવ (કાર્બન-ક્લિકહાઉસ, ગ્રેફાઇટ-ક્લિકહાઉસ અને ઘણા બધાના લેખક) જૂનાની પસંદગી કરવામાં આવી હતી રિલીઝ 1.1.54236. ભૂલો અદૃશ્ય થઈ ગઈ - બધું ધડાકા સાથે કામ કરવાનું શરૂ કર્યું.

ક્લિકહાઉસમાંથી ડેટા વાંચવા માટે પસંદ કરેલ ગ્રેફાઇટ-ક્લિકહાઉસ (ગોલાંગ). ગ્રેફાઇટ માટે API તરીકે - કાર્બોનાપી (ગોલાંગ). ક્લિકહાઉસનો ઉપયોગ કોષ્ટકો વચ્ચે પ્રતિકૃતિ ગોઠવવા માટે થતો હતો ઝૂ કીપર. રૂટીંગ મેટ્રિક્સ માટે, અમે અમારા પ્રિયને છોડી દીધું કાર્બન-સી-રિલે (સાથે) (અગાઉનો લેખ જુઓ).

ગ્રેફાઇટ+ક્લિકહાઉસ. ટેબલ માળખું

"ગ્રેફાઇટ" એ ડેટાબેઝ છે જે અમે મોનિટરિંગ કોષ્ટકો માટે બનાવ્યો છે.

“graphite.metrics” - ReplicatedReplacingMergeTree એન્જિન સાથેનું ટેબલ (પ્રતિકૃત મર્જટ્રીને બદલી રહ્યું છે). આ કોષ્ટક મેટ્રિક્સના નામ અને તેમના માટેના પાથનો સંગ્રહ કરે છે.

CREATE TABLE graphite.metrics ( Date Date, Level UInt32, Path String, Deleted UInt8, Version UInt32 ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/replicator/graphite.metrics', ‘r1’, Date, (Level, Path), 8192, Version);

“graphite.data” - ReplicatedGraphiteMergeTree એન્જિન સાથેનું ટેબલ (પ્રતિકૃતિ GraphiteMergeTree). આ કોષ્ટક મેટ્રિક મૂલ્યોનો સંગ્રહ કરે છે.

CREATE TABLE graphite.data ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32 ) ENGINE = ReplicatedGraphiteMergeTree('/clickhouse/tables/replicator/graphite.data', 'r1', Date, (Path, Time), 8192, 'graphite_rollup')

“graphite.date_metrics” એ ReplicatedReplacingMergeTree એન્જિન સાથે શરતી રીતે ભરેલું ટેબલ છે. આ કોષ્ટક તે તમામ મેટ્રિક્સના નામ રેકોર્ડ કરે છે જે દિવસ દરમિયાન સામે આવ્યા હતા. તેની રચનાના કારણો વિભાગમાં વર્ણવેલ છે "સમસ્યાઓ" આ લેખના અંતે.

CREATE MATERIALIZED VIEW graphite.date_metrics ( Path String,  Level UInt32,  Date Date) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/replicator/graphite.date_metrics', 'r1', Date, (Level, Path, Date), 8192) AS SELECT toUInt32(length(splitByChar('.', Path))) AS Level, Date, Path FROM graphite.data

“graphite.data_stat” - શરત મુજબ ભરેલું ટેબલ, ReplicatedAggregatingMergeTree એન્જીન સાથે (પ્રતિકૃત AggregatingMergeTree). આ કોષ્ટક ઇનકમિંગ મેટ્રિક્સની સંખ્યાને રેકોર્ડ કરે છે, જે 4 નેસ્ટિંગ સ્તરોમાં તૂટી જાય છે.

CREATE MATERIALIZED VIEW graphite.data_stat ( Date Date,  Prefix String,  Timestamp UInt32,  Count AggregateFunction(count)) ENGINE = ReplicatedAggregatingMergeTree('/clickhouse/tables/replicator/graphite.data_stat', 'r1', Date, (Timestamp, Prefix), 8192) AS SELECT toStartOfMonth(now()) AS Date, replaceRegexpOne(Path, '^([^.]+.[^.]+.[^.]+).*$', '1') AS Prefix, toUInt32(toStartOfMinute(toDateTime(Timestamp))) AS Timestamp, countState() AS Count FROM graphite.data  GROUP BY Timestamp, Prefix

ગ્રેફાઇટ+ક્લિકહાઉસ. ઘટક ક્રિયાપ્રતિક્રિયા ડાયાગ્રામ

ગ્રેફાઇટ+ક્લિકહાઉસ. ડેટા સ્થળાંતર

જેમ આપણે આ પ્રોજેક્ટની અપેક્ષાઓથી યાદ રાખીએ છીએ, ક્લિકહાઉસમાં સંક્રમણ ડાઉનટાઇમ વિના હોવું જોઈએ; તે મુજબ, અમારે અમારા વપરાશકર્તાઓ માટે શક્ય તેટલી પારદર્શક રીતે અમારી સમગ્ર મોનિટરિંગ સિસ્ટમને નવા સ્ટોરેજ પર સ્વિચ કરવાની હતી.
આ રીતે અમે તે કર્યું.

• ક્લિકહાઉસ કોષ્ટકોની પ્રતિકૃતિમાં ભાગ લેતા સર્વર્સમાંથી એકના કાર્બન-ક્લિકહાઉસને મેટ્રિક્સનો વધારાનો પ્રવાહ મોકલવા માટે કાર્બન-સી-રિલેમાં એક નિયમ ઉમેરવામાં આવ્યો છે.

• અમે પાયથોનમાં એક નાની સ્ક્રિપ્ટ લખી, જે વ્હીસ્પર-ડમ્પ લાઇબ્રેરીનો ઉપયોગ કરીને, અમારા સ્ટોરેજમાંથી બધી .wsp ફાઇલો વાંચે છે અને આ ડેટાને ઉપર વર્ણવેલ કાર્બન-ક્લિકહાઉસને 24 થ્રેડોમાં મોકલે છે. કાર્બન-ક્લિકહાઉસમાં સ્વીકૃત મેટ્રિક મૂલ્યોની સંખ્યા 125 મિલિયન/મિનિટ પર પહોંચી ગઈ છે, અને ક્લિકહાઉસે એક પણ પરસેવો તોડ્યો નથી.

• હાલના ડેશબોર્ડ્સમાં ઉપયોગમાં લેવાતા ફંક્શન્સને ડીબગ કરવા માટે અમે Grafana માં એક અલગ ડેટાસોર્સ બનાવ્યો છે. અમે ફંક્શન્સની સૂચિ ઓળખી છે જેનો અમે ઉપયોગ કર્યો છે, પરંતુ તે કાર્બોનાપીમાં લાગુ કરવામાં આવ્યા નથી. અમે આ કાર્યો ઉમેર્યા અને કાર્બોનાપીના લેખકોને PR મોકલ્યા (તેમનો વિશેષ આભાર).

• બેલેન્સર સેટિંગ્સમાં રીડિંગ લોડને સ્વિચ કરવા માટે, અમે ગ્રેફાઈટ-એપીઆઈ (ગ્રેફાઈટ+વ્હીસ્પર માટે API ઈન્ટરફેસ) થી કાર્બોનાપીમાં એન્ડપોઈન્ટ્સ બદલ્યાં છે.

ગ્રેફાઇટ+ક્લિકહાઉસ. પરિણામો

• ડિસ્ક સબસિસ્ટમનો ઉપયોગ 30% થી ઘટાડીને 1%;

  

• 1 TB થી 300 GB સુધી કબજે કરેલી જગ્યાની માત્રા ઘટાડીને;
• અમારી પાસે સર્વરમાં પ્રતિ મિનિટ 125 મિલિયન મેટ્રિક્સ પ્રાપ્ત કરવાની ક્ષમતા છે (સ્થળાંતર સમયે શિખરો);
• તમામ મેટ્રિક્સને ત્રીસ-સેકન્ડના સ્ટોરેજ અંતરાલમાં સ્થાનાંતરિત કર્યા;
• પ્રાપ્ત માહિતી પ્રતિકૃતિ અને દોષ સહિષ્ણુતા;
• ડાઉનટાઇમ વિના સ્વિચ કર્યું;
• બધું પૂર્ણ કરવામાં લગભગ 7 અઠવાડિયા લાગ્યાં.

ગ્રેફાઇટ+ક્લિકહાઉસ. સમસ્યાઓ

અમારા કિસ્સામાં, કેટલીક મુશ્કેલીઓ હતી. સંક્રમણ પછી આપણે આનો સામનો કર્યો.

1. ક્લિકહાઉસ હંમેશા ફ્લાય પર રૂપરેખાઓને ફરીથી વાંચતું નથી; કેટલીકવાર તેને રીબૂટ કરવાની જરૂર પડે છે. ઉદાહરણ તરીકે, ક્લિકહાઉસ રૂપરેખામાં ઝૂકીપર ક્લસ્ટરના વર્ણનના કિસ્સામાં, જ્યાં સુધી ક્લિકહાઉસ-સર્વર રીબૂટ ન થાય ત્યાં સુધી તેનો ઉપયોગ થતો ન હતો.
2. મોટી ક્લિકહાઉસ વિનંતીઓ પસાર થઈ ન હતી, તેથી ગ્રેફાઈટ-ક્લિકહાઉસમાં અમારી ક્લિકહાઉસ કનેક્શન સ્ટ્રિંગ આના જેવી દેખાય છે:

   url = "http://localhost:8123/?max_query_size=268435456&max_ast_elements=1000000"

3. ક્લિકહાઉસ ઘણીવાર સ્થિર પ્રકાશનોના નવા સંસ્કરણો પ્રકાશિત કરે છે; તેમાં આશ્ચર્ય હોઈ શકે છે: સાવચેત રહો.
4. કુબરનેટ્સમાં ગતિશીલ રીતે બનાવેલ કન્ટેનર ટૂંકા અને રેન્ડમ જીવનકાળ સાથે મોટી સંખ્યામાં મેટ્રિક્સ મોકલે છે. આવા મેટ્રિક્સ માટે ઘણા બધા બિંદુઓ નથી, અને જગ્યા સાથે કોઈ સમસ્યા નથી. પરંતુ ક્વેરી બનાવતી વખતે, ક્લિકહાઉસ 'મેટ્રિક્સ' કોષ્ટકમાંથી આ જ મેટ્રિક્સની વિશાળ સંખ્યાને પસંદ કરે છે. 90% કેસોમાં, વિન્ડો (24 કલાક) ઉપરાંત તેમના પર કોઈ ડેટા નથી. પરંતુ 'ડેટા' કોષ્ટકમાં આ ડેટા શોધવામાં સમય પસાર થાય છે, અને આખરે સમય સમાપ્ત થાય છે. આ સમસ્યાને ઉકેલવા માટે, અમે દિવસ દરમિયાન સામે આવતા મેટ્રિક્સની માહિતી સાથે એક અલગ દૃષ્ટિકોણ જાળવવાનું શરૂ કર્યું. આમ, ગતિશીલ રીતે બનાવેલ કન્ટેનર માટે રિપોર્ટ્સ (ગ્રાફ) બનાવતી વખતે, અમે ફક્ત તે જ મેટ્રિક્સની ક્વેરી કરીએ છીએ જે આપેલ વિંડોની અંદર આવી હોય, અને સમગ્ર સમય માટે નહીં, જેણે તેમના પર અહેવાલોના નિર્માણને નોંધપાત્ર રીતે ઝડપી બનાવ્યું. ઉપર વર્ણવેલ ઉકેલ માટે, મેં એકત્રિત કર્યું ગ્રેફાઇટ-ક્લિકહાઉસ (ફોર્ક), જેમાં date_metrics કોષ્ટક સાથે કામ કરવાના અમલીકરણનો સમાવેશ થાય છે.

ગ્રેફાઇટ+ક્લિકહાઉસ. ટૅગ્સ

વર્ઝન 1.1.0 સાથે ગ્રેફાઇટ ઓફિશિયલ બન્યું સપોર્ટ ટૅગ્સ. અને અમે ગ્રેફાઇટ+ક્લિકહાઉસ સ્ટેકમાં આ પહેલને સમર્થન આપવા માટે શું અને કેવી રીતે કરવું તે વિશે સક્રિયપણે વિચારી રહ્યા છીએ.

ગ્રેફાઇટ+ક્લિકહાઉસ. વિસંગતતા શોધનાર

ઉપર વર્ણવેલ ઇન્ફ્રાસ્ટ્રક્ચરના આધારે, અમે વિસંગતતા શોધનારનો પ્રોટોટાઇપ અમલમાં મૂક્યો છે, અને તે કાર્ય કરે છે! પરંતુ હવે પછીના લેખમાં તેના વિશે વધુ.

સબ્સ્ક્રાઇબ કરો, ઉપર તીર દબાવો અને ખુશ રહો!

સોર્સ: www.habr.com