सर्वांना नमस्कार! त्याच्या शेवटचा लेख मी मायक्रोसर्व्हिस आर्किटेक्चरसाठी मॉड्यूलर मॉनिटरिंग सिस्टम आयोजित करण्याबद्दल लिहिले. काहीही स्थिर नाही, आमचा प्रकल्प सतत वाढत आहे आणि संग्रहित मेट्रिक्सची संख्या देखील आहे. आम्ही उच्च भाराच्या परिस्थितीत Graphite+Whisper ते Graphite+ClickHouse मधील संक्रमण कसे आयोजित केले, त्यातून अपेक्षा आणि कट अंतर्गत स्थलांतराचे परिणाम वाचा.

Graphite+Whisper पासून Graphite+ClickHouse मधील मेट्रिक्स संचयित करण्यापासून आम्ही संक्रमण कसे आयोजित केले हे मी तुम्हाला सांगण्यापूर्वी, मी असा निर्णय घेण्यामागची कारणे आणि व्हिस्परच्या तोट्यांबद्दल माहिती देऊ इच्छितो ज्यामध्ये आम्ही बराच काळ जगलो.

ग्रेफाइट+व्हिस्पर समस्या

1. डिस्क उपप्रणालीवर उच्च भार

संक्रमणाच्या वेळी, प्रति मिनिट अंदाजे 1.5 दशलक्ष मेट्रिक्स आमच्याकडे येत होते. अशा प्रवाहासह, सर्व्हरवरील डिस्कचा वापर ~30% होता. सर्वसाधारणपणे, हे अगदी स्वीकार्य होते - सर्वकाही स्थिरपणे कार्य केले, पटकन लिहिले गेले, पटकन वाचले... जोपर्यंत विकास कार्यसंघांपैकी एकाने नवीन वैशिष्ट्य आणले आणि आम्हाला प्रति मिनिट 10 दशलक्ष मेट्रिक्स पाठवणे सुरू केले. तेव्हा डिस्क उपप्रणाली घट्ट झाली आणि आम्ही 100% उपयोग पाहिला. समस्येचे त्वरीत निराकरण झाले, परंतु अवशेष राहिले.

2. प्रतिकृती आणि सुसंगततेचा अभाव

बहुधा, Graphite+Whisper वापरणार्‍या/वापरणार्‍या प्रत्येकाप्रमाणे, आम्ही दोष सहिष्णुता निर्माण करण्यासाठी एकाच वेळी अनेक ग्रेफाइट सर्व्हरवर मेट्रिक्सचा समान प्रवाह ओतला. आणि यामध्ये कोणतीही विशेष समस्या नव्हती - काही कारणास्तव सर्व्हर क्रॅश होईपर्यंत. कधीकधी आम्ही पडलेल्या सर्व्हरला पटकन उचलण्यात व्यवस्थापित केले आणि कार्बन-सी-रिले त्याच्या कॅशेमधून मेट्रिक्स लोड करण्यात व्यवस्थापित केले, परंतु कधीकधी नाही. आणि मग मेट्रिक्समध्ये एक छिद्र होते, जे आम्ही rsync ने भरले. प्रक्रिया बरीच लांब होती. एकमात्र बचत कृपा होती की हे फार क्वचितच घडले. आम्ही वेळोवेळी मेट्रिक्सचा एक यादृच्छिक संच देखील घेतला आणि क्लस्टरच्या शेजारच्या नोड्सवर समान प्रकारच्या इतरांशी तुलना केली. सुमारे 5% प्रकरणांमध्ये, अनेक मूल्ये भिन्न होती, ज्याबद्दल आम्ही फारसे आनंदी नव्हतो.

3. मोठा ठसा

आम्ही ग्रेफाइटमध्ये केवळ पायाभूत सुविधाच नव्हे तर व्यवसाय मेट्रिक्स (आणि आता कुबर्नेट्सचे मेट्रिक्स देखील) लिहित असल्याने, आम्हाला बर्‍याचदा अशी परिस्थिती येते ज्यामध्ये मेट्रिकमध्ये फक्त काही मूल्ये असतात आणि .wsp फाइल सर्व धारणा लक्षात घेऊन तयार केली जाते. कालावधी, आणि आधीच वाटप केलेली जागा घेते, जी आमच्यासाठी ~2MB होती. कालांतराने बर्‍याच समान फायली दिसतात आणि त्यांच्यावर अहवाल तयार करताना, रिक्त बिंदू वाचण्यासाठी बराच वेळ आणि संसाधने लागतात या वस्तुस्थितीमुळे समस्या आणखी वाढली आहे.

मी ताबडतोब हे लक्षात घेऊ इच्छितो की वर वर्णन केलेल्या समस्या विविध पद्धती वापरून आणि परिणामकारकतेच्या वेगवेगळ्या प्रमाणात हाताळल्या जाऊ शकतात, परंतु आपण जितका अधिक डेटा प्राप्त करण्यास प्रारंभ कराल तितके ते अधिक बिघडतील.

वरील सर्व असणे (मागील विचारात घेऊन लेख), तसेच प्राप्त मेट्रिक्सच्या संख्येत सतत वाढ, सर्व मेट्रिक्स 30 सेकंदांच्या स्टोरेज अंतरालमध्ये हस्तांतरित करण्याची इच्छा. (आवश्यक असल्यास 10 सेकंदांपर्यंत), आम्ही व्हिस्परचा एक आशादायक पर्याय म्हणून Graphite+ClickHouse वापरून पाहण्याचा निर्णय घेतला.

Graphite+ClickHouse. अपेक्षा

यांडेक्स मधील मुलांच्या अनेक भेटींना भेट देऊन, वाचून Habré वर काही लेख, दस्तऐवजीकरण तपासल्यानंतर आणि ग्रेफाइट अंतर्गत क्लिकहाऊस बंधनकारक करण्यासाठी योग्य घटक सापडले, आम्ही कारवाई करण्याचा निर्णय घेतला!

मी खालील प्राप्त करू इच्छितो:

डिस्क उपप्रणालीचा वापर 30% वरून 5% पर्यंत कमी करा;
व्यापलेल्या जागेचे प्रमाण 1TB ते 100GB पर्यंत कमी करा;
सर्व्हरमध्ये प्रति मिनिट 100 दशलक्ष मेट्रिक्स प्राप्त करण्यास सक्षम व्हा;
बॉक्सच्या बाहेर डेटा प्रतिकृती आणि दोष सहिष्णुता;
या प्रकल्पावर वर्षभर बसू नका आणि वाजवी कालमर्यादेत संक्रमण करू नका;
डाउनटाइमशिवाय स्विच करा.

अगदी महत्वाकांक्षी, बरोबर?

Graphite+ClickHouse. घटक

ग्रेफाइट प्रोटोकॉलद्वारे डेटा प्राप्त करण्यासाठी आणि त्यानंतर क्लिकहाऊसमध्ये रेकॉर्ड करण्यासाठी, मी निवडले कार्बन-क्लिकहाऊस (गोलंग).

ClickHouse चे नवीनतम प्रकाशन, स्थिर आवृत्ती 1.1.54253, वेळ मालिका संचयित करण्यासाठी डेटाबेस म्हणून निवडले गेले. त्याच्यासह कार्य करताना समस्या होत्या: लॉगमध्ये त्रुटींचा डोंगर ओतला गेला आणि त्यांचे काय करावे हे पूर्णपणे स्पष्ट नव्हते. यांच्याशी चर्चा केली रोमन लोमोनोसोव्ह (कार्बन-क्लिकहाऊस, ग्रेफाइट-क्लिकहाऊस आणि बरेच काही लेखक) जुने निवडले गेले रिलीज 1.1.54236. त्रुटी अदृश्य झाल्या - सर्व काही धमाकेदारपणे कार्य करू लागले.

ClickHouse वरून डेटा वाचण्यासाठी निवडले ग्रेफाइट-क्लिकहाऊस (गोलंग). Graphite साठी API म्हणून − कार्बनपी (गोलंग). टेबल्समधील प्रतिकृती आयोजित करण्यासाठी क्लिकहाऊसचा वापर केला गेला प्राणीसंग्रहालय. राउटिंग मेट्रिक्ससाठी, आम्ही आमचे प्रिय सोडले कार्बन-सी-रिले (सी) (मागील लेख पहा).

Graphite+ClickHouse. टेबल रचना

"ग्रेफाइट" हा एक डेटाबेस आहे जो आम्ही मॉनिटरिंग टेबलसाठी तयार केला आहे.

“graphite.metrics” - ReplicatedReplacingMergeTree इंजिनसह टेबल (प्रतिकृती मर्जट्री बदलत आहे). हे सारणी मेट्रिक्सची नावे आणि त्यांच्यासाठी पथ संग्रहित करते.

CREATE TABLE graphite.metrics ( Date Date, Level UInt32, Path String, Deleted UInt8, Version UInt32 ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/replicator/graphite.metrics', ‘r1’, Date, (Level, Path), 8192, Version);

“graphite.data” - ReplicatedGraphiteMergeTree इंजिनसह टेबल (प्रतिकृती GraphiteMergeTree). हे सारणी मेट्रिक मूल्ये संग्रहित करते.

CREATE TABLE graphite.data ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32 ) ENGINE = ReplicatedGraphiteMergeTree('/clickhouse/tables/replicator/graphite.data', 'r1', Date, (Path, Time), 8192, 'graphite_rollup')

“graphite.date_metrics” हे ReplicatedReplacingMergeTree इंजिनसह सशर्त भरलेले टेबल आहे. हे सारणी दिवसभरात समोर आलेल्या सर्व मेट्रिक्सची नावे नोंदवते. त्याच्या निर्मितीची कारणे विभागात वर्णन केली आहेत "अडचणी" या लेखाच्या शेवटी.

CREATE MATERIALIZED VIEW graphite.date_metrics ( Path String,  Level UInt32,  Date Date) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/replicator/graphite.date_metrics', 'r1', Date, (Level, Path, Date), 8192) AS SELECT toUInt32(length(splitByChar('.', Path))) AS Level, Date, Path FROM graphite.data

“ग्रेफाइट.डेटा_स्टॅट” - रेप्लिकेटेड एग्रीगेटिंगमर्जट्री इंजिनसह (प्रतिकृती) स्थितीनुसार भरलेले टेबल AggregatingMergeTree). हे टेबल इनकमिंग मेट्रिक्सची संख्या नोंदवते, 4 नेस्टिंग स्तरांमध्ये मोडते.

CREATE MATERIALIZED VIEW graphite.data_stat ( Date Date,  Prefix String,  Timestamp UInt32,  Count AggregateFunction(count)) ENGINE = ReplicatedAggregatingMergeTree('/clickhouse/tables/replicator/graphite.data_stat', 'r1', Date, (Timestamp, Prefix), 8192) AS SELECT toStartOfMonth(now()) AS Date, replaceRegexpOne(Path, '^([^.]+.[^.]+.[^.]+).*$', '1') AS Prefix, toUInt32(toStartOfMinute(toDateTime(Timestamp))) AS Timestamp, countState() AS Count FROM graphite.data  GROUP BY Timestamp, Prefix

Graphite+ClickHouse. घटक संवाद आकृती

Graphite+ClickHouse. डेटा स्थलांतर

या प्रकल्पाच्या अपेक्षेवरून आम्ही लक्षात ठेवतो की, ClickHouse मधील संक्रमण डाउनटाइमशिवाय असावे; त्यानुसार, आम्हाला आमच्या वापरकर्त्यांसाठी शक्य तितक्या पारदर्शकपणे आमच्या संपूर्ण मॉनिटरिंग सिस्टमला नवीन स्टोरेजमध्ये स्विच करावे लागले.
आम्ही हे कसे केले.

ClickHouse टेबल्सच्या प्रतिकृतीमध्ये भाग घेणाऱ्या एका सर्व्हरच्या कार्बन-क्लिकहाऊसला मेट्रिक्सचा अतिरिक्त प्रवाह पाठवण्यासाठी कार्बन-सी-रिलेमध्ये एक नियम जोडला गेला आहे.
आम्ही python मध्ये एक छोटी स्क्रिप्ट लिहिली, जी व्हिस्पर-डंप लायब्ररी वापरून, आमच्या स्टोरेजमधील सर्व .wsp फायली वाचते आणि हा डेटा 24 थ्रेड्समध्ये वर वर्णन केलेल्या कार्बन-क्लिकहाऊसला पाठवला. कार्बन-क्लिकहाऊसमध्ये स्वीकृत मेट्रिक मूल्यांची संख्या 125 दशलक्ष/मिनिटावर पोहोचली आणि क्लिकहाऊसला घाम फुटला नाही.
विद्यमान डॅशबोर्डमध्ये वापरल्या जाणार्‍या फंक्शन्स डीबग करण्यासाठी आम्ही Grafana मध्ये एक वेगळा डेटास्रोत तयार केला आहे. आम्ही वापरलेल्या फंक्शन्सची सूची आम्ही ओळखली, परंतु ती कार्बनपीमध्ये लागू केली गेली नाहीत. आम्ही ही कार्ये जोडली आणि कार्बनपीच्या लेखकांना PR पाठवले (त्यांना विशेष धन्यवाद).
बॅलन्सर सेटिंग्जमध्ये रीडिंग लोड स्विच करण्यासाठी, आम्ही ग्रेफाइट-एपीआय (ग्रेफाइट+व्हिस्परसाठी API इंटरफेस) वरून कार्बनपीमध्ये एंडपॉइंट्स बदलले.

Graphite+ClickHouse. परिणाम

डिस्क उपप्रणालीचा वापर 30% वरून 1% पर्यंत कमी केला;
व्यापलेल्या जागेचे प्रमाण 1 TB वरून 300 GB पर्यंत कमी केले;
आमच्याकडे सर्व्हरमध्ये प्रति मिनिट 125 दशलक्ष मेट्रिक्स प्राप्त करण्याची क्षमता आहे (स्थलांतराच्या वेळी शिखरे);
सर्व मेट्रिक्स तीस-सेकंद स्टोरेज अंतरालमध्ये हस्तांतरित केले;
प्राप्त डेटा प्रतिकृती आणि दोष सहिष्णुता;
डाउनटाइमशिवाय स्विच केले;
सर्वकाही पूर्ण करण्यासाठी सुमारे 7 आठवडे लागले.

Graphite+ClickHouse. अडचणी

आमच्या बाबतीत, काही तोटे होते. संक्रमणानंतर आम्हाला हेच आले.

क्लिकहाऊस नेहमी फ्लायवर कॉन्फिगन्स पुन्हा वाचत नाही; काहीवेळा ते रीबूट करणे आवश्यक आहे. उदाहरणार्थ, ClickHouse कॉन्फिगरेशनमधील zookeeper क्लस्टरच्या वर्णनाच्या बाबतीत, clickhouse-server रीबूट होईपर्यंत ते वापरले जात नव्हते.
क्लिकहाऊसच्या मोठ्या विनंत्या पूर्ण झाल्या नाहीत, म्हणून ग्रेफाइट-क्लिकहाऊसमध्ये आमची क्लिकहाऊस कनेक्शन स्ट्रिंग असे दिसते:
```
url = "http://localhost:8123/?max_query_size=268435456&max_ast_elements=1000000"
```
क्लिकहाऊस बर्‍याचदा स्थिर प्रकाशनांच्या नवीन आवृत्त्या रिलीझ करते; त्यामध्ये आश्चर्य असू शकते: सावधगिरी बाळगा.
kubernetes मध्ये गतिमानपणे तयार केलेले कंटेनर लहान आणि यादृच्छिक आयुष्यासह मोठ्या संख्येने मेट्रिक्स पाठवतात. अशा मेट्रिक्ससाठी बरेच गुण नाहीत आणि जागेसह कोणतीही समस्या नाही. परंतु क्वेरी तयार करताना, क्लिकहाऊस 'मेट्रिक्स' टेबलमधून या समान मेट्रिक्सची प्रचंड संख्या उचलते. 90% प्रकरणांमध्ये, खिडकीच्या पलीकडे (24 तास) त्यांच्यावर कोणताही डेटा नाही. पण 'डेटा' टेबलमध्ये हा डेटा शोधण्यात वेळ जातो आणि शेवटी कालबाह्य होतो. या समस्येचे निराकरण करण्यासाठी, आम्ही दिवसभरात आलेल्या मेट्रिक्सच्या माहितीसह एक स्वतंत्र दृश्य राखण्यास सुरुवात केली. अशाप्रकारे, डायनॅमिकली तयार केलेल्या कंटेनरसाठी अहवाल (ग्राफ) तयार करताना, आम्ही दिलेल्या विंडोमध्ये समोर आलेल्या मेट्रिक्सचीच चौकशी करतो, आणि संपूर्ण वेळेसाठी नाही, ज्यामुळे त्यांच्यावरील अहवाल तयार करण्यात लक्षणीय गती येते. वर वर्णन केलेल्या उपायासाठी, मी गोळा केले ग्रेफाइट-क्लिकहाऊस (काटा), ज्यामध्ये date_metrics सारणीसह कार्य करणे समाविष्ट आहे.

Graphite+ClickHouse. टॅग्ज

आवृत्ती 1.1.0 सह ग्रेफाइट अधिकृत झाले समर्थन टॅग. आणि ग्रेफाइट+क्लिकहाऊस स्टॅकमध्ये या उपक्रमाला पाठिंबा देण्यासाठी काय आणि कसे करावे याबद्दल आम्ही सक्रियपणे विचार करत आहोत.

Graphite+ClickHouse. विसंगती डिटेक्टर

वर वर्णन केलेल्या पायाभूत सुविधांवर आधारित, आम्ही विसंगती डिटेक्टरचा प्रोटोटाइप लागू केला आहे आणि ते कार्य करते! पण पुढील लेखात त्याच्याबद्दल अधिक.

सदस्यता घ्या, वरचा बाण दाबा आणि आनंदी व्हा!

स्त्रोत: www.habr.com

मेट्रिक्स स्टोरेज: आम्ही Graphite+Whisper वरून Graphite+ClickHouse वर कसे स्विच केले