जब हर कोई मेरा जन्मदिन मना रहा था, मैं सुबह तक क्लस्टर को ठीक कर रहा था - और डेवलपर्स ने अपनी गलतियों का दोष मुझ पर मढ़ा

यहां एक ऐसी कहानी है जिसने देवोप्स कार्य के प्रति मेरे दृष्टिकोण को हमेशा के लिए बदल दिया। पूर्व-कोविड समय में, उनसे बहुत पहले, जब मैं और लोग अपने स्वयं के व्यवसाय की योजना बना रहे थे और यादृच्छिक ऑर्डर पर फ्रीलांसिंग कर रहे थे, एक प्रस्ताव मेरे कार्ट में आया।

इसे लिखने वाली कंपनी एक डेटा एनालिटिक्स कंपनी थी। वह प्रतिदिन हजारों अनुरोधों पर कार्रवाई करती थी। वे हमारे पास इन शब्दों के साथ आए: दोस्तों, हमारे पास ClickHouse है और हम इसके कॉन्फ़िगरेशन और इंस्टॉलेशन को स्वचालित करना चाहते हैं। हम चाहते हैं कि एन्सिबल, टेराफॉर्म, डॉकर और ये सभी Git में संग्रहीत हों। हम प्रत्येक दो प्रतिकृतियों के साथ चार नोड्स का एक क्लस्टर चाहते हैं।

यह एक मानक अनुरोध है, उनमें से दर्जनों हैं, और आपको समान रूप से अच्छे मानक समाधान की आवश्यकता है। हमने कहा "ठीक है", और 2-3 सप्ताह के बाद सब कुछ तैयार हो गया। उन्होंने नौकरी स्वीकार कर ली और हमारी उपयोगिता का उपयोग करके एक नए क्लिकहाउस क्लस्टर में जाना शुरू कर दिया।

कोई भी नहीं चाहता था या जानता था कि क्लिकहाउस के साथ कैसे छेड़छाड़ की जाए। तब हमने सोचा कि यह उनकी मुख्य समस्या थी, और इसलिए कंपनी के सर्विस स्टेशन ने मेरी टीम को जितना संभव हो सके काम को स्वचालित करने की अनुमति दे दी, ताकि मुझे फिर कभी वहां न जाना पड़े।

हमने इस कदम का साथ दिया, अन्य कार्य सामने आए - बैकअप स्थापित करना और निगरानी करना। उसी क्षण, इस कंपनी के सर्विस स्टेशन का एक अन्य प्रोजेक्ट के साथ विलय हो गया, जिससे हमें अपने ही एक - लियोनिद - को कमांडर के रूप में छोड़ दिया गया। लेन्या कोई बहुत प्रतिभाशाली व्यक्ति नहीं था। एक साधारण डेवलपर जिसे अचानक क्लिकहाउस का प्रभारी बना दिया गया। ऐसा लगता है कि किसी चीज़ को प्रबंधित करने का यह उनका पहला काम था, और इस जबरदस्त सम्मान ने उन्हें आश्चर्यचकित कर दिया।

हमने मिलकर बैकअप बनाने की योजना बनाई। मैंने तुरंत मूल डेटा का बैकअप लेने का सुझाव दिया। बस इसे लें, इसे ज़िप करें और इसे सुरुचिपूर्ण ढंग से किसी सी3 में फेंक दें। कच्चा डेटा सोना है. एक और विकल्प था - फ़्रीज़ और कॉपी का उपयोग करके, क्लिकहाउस में स्वयं तालिकाओं का बैकअप लेना। लेकिन लेन्या ने अपना समाधान स्वयं निकाला।

उन्होंने घोषणा की कि हमें दूसरे क्लिकहाउस क्लस्टर की आवश्यकता है। और अब से हम दो क्लस्टरों में डेटा लिखेंगे - मुख्य और बैकअप। मैं उससे कहता हूं, लेन्या, यह बैकअप नहीं, बल्कि एक सक्रिय प्रतिकृति होगी। और यदि उत्पादन में डेटा नष्ट होने लगे, तो आपके बैकअप पर भी ऐसा ही होगा।

लेकिन लेन्या ने स्टीयरिंग व्हील को कसकर पकड़ लिया और मेरी दलीलें सुनने से इनकार कर दिया। हमने चैट में उसके साथ काफी देर तक बातचीत की, लेकिन करने के लिए कुछ नहीं था - लेन्या परियोजना के प्रभारी थे, हम सिर्फ सड़क से काम पर रखे गए बच्चे थे।

हमने क्लस्टर की स्थिति की निगरानी की और केवल प्रशासकों के काम के लिए शुल्क लिया। डेटा में शामिल हुए बिना शुद्ध क्लिकहाउस प्रशासन। क्लस्टर उपलब्ध था, डिस्क ठीक थीं, नोड्स ठीक थे।

हमें नहीं पता था कि हमें यह आदेश उनकी टीम के भीतर एक भयानक गलतफहमी के कारण मिला है

प्रबंधक इस बात से नाखुश था कि क्लिकहाउस धीमा था और कभी-कभी डेटा खो जाता था। उन्होंने अपने सर्विस स्टेशन को इसका पता लगाने का काम सौंपा। उन्होंने यथासंभव सर्वोत्तम तरीके से इसका पता लगाया और निष्कर्ष निकाला कि हमें बस क्लिकहाउस को स्वचालित करने की आवश्यकता है - बस इतना ही। लेकिन जैसे ही यह स्पष्ट हो गया, उन्हें डेवोप्स की टीम की बिल्कुल भी आवश्यकता नहीं थी।

यह सब बहुत, बहुत दर्दनाक निकला। और सबसे आपत्तिजनक बात यह थी कि यह मेरे जन्मदिन पर था।

शुक्रवार की शाम। मैंने अपने पसंदीदा वाइन बार में आरक्षण कराया और घर वालों को आमंत्रित किया।

जाने से लगभग पहले, हमें परिवर्तन करने का कार्य मिलता है, हम उसे पूरा करते हैं, सब कुछ ठीक है। परिवर्तन पारित, क्लिकहाउस ने पुष्टि की। हम पहले से ही बार में जा रहे हैं, और वे हमें लिखते हैं कि पर्याप्त डेटा नहीं है। हमने गणना की कि सब कुछ पर्याप्त लगता है। और वे जश्न मनाने के लिए निकल पड़े.

शुक्रवार को रेस्तरां में शोर था। पेय और भोजन का ऑर्डर देने के बाद, हम सोफों पर आराम कर रहे थे। इस पूरे समय में, मेरा स्लैक धीरे-धीरे संदेशों से भर गया। उन्होंने डेटा की कमी के बारे में कुछ लिखा। मैंने सोचा - सुबह शाम से ज्यादा समझदार होती है। खासकर आज.

ग्यारह बजे के करीब उन्होंने फोन करना शुरू कर दिया। यह कंपनी का प्रमुख था... "शायद मुझे बधाई देने का फैसला किया है," मैंने बहुत झिझकते हुए सोचा और फोन उठा लिया।

और मैंने कुछ ऐसा सुना: “आपने हमारा डेटा खराब कर दिया! मैं तुम्हें भुगतान करता हूं, लेकिन कुछ भी काम नहीं करता! आप बैकअप के लिए ज़िम्मेदार थे, और आपने कोई बड़ा काम नहीं किया! चलो इसे ठीक करें!" - केवल और भी असभ्य।

- तुम्हें पता है क्या, भाड़ में जाओ बाहर! आज मेरा जन्मदिन है, और अब मैं शराब पीऊंगा, और आपके जून के घरेलू उत्पादों को बकवास और लाठी से नहीं खाऊंगा!

ये तो मैंने नहीं कहा. इसके बजाय, मैंने अपना लैपटॉप निकाला और काम पर लग गया।

नहीं, मैंने बमबारी की, मैंने नरक की तरह बमबारी की! उन्होंने चैट में तीखा "मैंने तुमसे कहा था" डाला - क्योंकि बैकअप, जो बिल्कुल भी बैकअप नहीं था - निश्चित रूप से, कुछ भी नहीं बचाया।

लड़कों और मैंने यह पता लगाया कि रिकॉर्डिंग को मैन्युअल रूप से कैसे रोका जाए और सब कुछ जांचा जाए। हमने वास्तव में यह सुनिश्चित किया कि कुछ डेटा लिखा नहीं गया था।

हमने रिकॉर्डिंग बंद कर दी और प्रतिदिन होने वाली घटनाओं की संख्या गिन ली। उन्होंने अधिक डेटा अपलोड किया, जिनमें से केवल एक तिहाई को रिकॉर्ड नहीं किया गया। 2 प्रतिकृतियों वाले तीन टुकड़े। आप 100.000 पंक्तियाँ सम्मिलित करते हैं - 33.000 रिकॉर्ड नहीं की जाती हैं।

पूरी तरह भ्रम की स्थिति थी. सभी ने एक-दूसरे को बारी-बारी से चुदाई करने के लिए कहा: सबसे पहले लेन्या वहां गए, उसके बाद मैं और कंपनी के संस्थापक गए। केवल शामिल हुए सर्विस स्टेशन ने हमारी चिल्लाती कॉलों और पत्राचार को समस्या का समाधान खोजने की दिशा में मोड़ने का प्रयास किया।

किसी को समझ नहीं आया कि असल में क्या हो रहा है

वे लोग और मैं तब आश्चर्यचकित रह गए जब हमें एहसास हुआ कि सभी डेटा का एक तिहाई न केवल रिकॉर्ड नहीं किया गया था, बल्कि खो गया था! यह पता चला कि कंपनी में आदेश इस प्रकार था: सम्मिलन के बाद, डेटा को अपरिवर्तनीय रूप से हटा दिया गया था, घटनाओं को बैचों में बर्बाद कर दिया गया था। मैंने कल्पना की कि सर्गेई इस सब को खोए हुए रूबल में कैसे बदल देगा।

मेरा जन्मदिन भी कूड़े में फेंक दिया गया. हम बार में बैठे और विचार उत्पन्न करते हुए उस पहेली को सुलझाने की कोशिश करने लगे जो हमारे सामने फेंकी गई थी। क्लिकहाउस के पतन का कारण स्पष्ट नहीं था। शायद यह नेटवर्क है, शायद यह लिनक्स सेटिंग्स है। हां, आप जो चाहें, पर्याप्त परिकल्पनाएं हो चुकी हैं।

मैंने डेवलपर की शपथ नहीं ली, लेकिन पंक्ति के दूसरे छोर पर मौजूद लोगों को छोड़ना बेईमानी थी - भले ही उन्होंने हर चीज़ के लिए हमें दोषी ठहराया हो। मैं 99% आश्वस्त था कि समस्या हमारे निर्णयों में नहीं, हमारे पक्ष में नहीं है। 1% संभावना जो हमने खराब कर दी थी वह चिंता से जल रही थी। लेकिन परेशानी चाहे किसी भी तरफ हो, उसे ठीक करना ही था। इतने भयानक डेटा लीक के बावजूद ग्राहकों को छोड़ना, चाहे वे कोई भी हों, बहुत क्रूर है।

हमने रेस्तरां की टेबल पर सुबह तीन बजे तक काम किया। हमने ईवेंट जोड़े, चयन सम्मिलित किया और फिर रिक्त स्थान भरने लगे। जब आप डेटा को खराब करते हैं, तो आप इसे इस तरह से करते हैं: आप पिछले दिनों का औसत डेटा लेते हैं और उन्हें खराब किए गए दिनों में डालते हैं।

सुबह तीन बजे के बाद, मैं और मेरा दोस्त मेरे घर गए और शराब बाज़ार से बीयर का ऑर्डर दिया। मैं लैपटॉप और क्लिकहाउस समस्याओं के साथ बैठा था, एक दोस्त मुझे कुछ बता रहा था। परिणामस्वरूप, एक घंटे के बाद वह नाराज हो गया कि मैं काम कर रहा था और उसके साथ बीयर नहीं पी रहा था, और चला गया। क्लासिक - मैं डेवॉप्स का मित्र था।

सुबह 6 बजे तक, मैंने तालिका को फिर से बनाया, और डेटा बाढ़ शुरू हो गया। सब कुछ बिना किसी नुकसान के काम करता रहा।

तब यह कठिन था. डेटा हानि के लिए सभी ने एक-दूसरे को जिम्मेदार ठहराया। यदि कोई नया बग हुआ होता, तो मुझे यकीन है कि गोलीबारी हुई होती

इन झगड़ों में, हमें अंततः समझ में आना शुरू हुआ - कंपनी ने सोचा कि हम वे लोग थे जो डेटा के साथ काम करते हैं और तालिकाओं की संरचना की निगरानी करते हैं। उन्होंने व्यवस्थापकों को डीलरों के साथ भ्रमित कर दिया। और वे हमसे व्यवस्थापकों से कुछ अलग पूछने आए थे।

उनकी मुख्य शिकायत है - आख़िर क्या बात है, आप बैकअप के लिए ज़िम्मेदार थे और आपने उसे ठीक से नहीं किया, आप डेटा बर्बाद करते रहे। और यह सब रिवाइंडिंग मैट के साथ।

मुझे न्याय चाहिए था. मैंने पत्राचार खोजा और सभी के स्क्रीनशॉट संलग्न किए, जहां लियोनिद अपनी पूरी ताकत से उन्हें बैकअप बनाने के लिए मजबूर करता है जो बनाया गया था। मेरे फ़ोन कॉल के बाद उनके सर्विस स्टेशन ने हमारा पक्ष लिया। बाद में लेन्या ने अपना अपराध स्वीकार कर लिया।

इसके विपरीत, कंपनी का मुखिया अपने ही लोगों को दोष नहीं देना चाहता था। स्क्रीनशॉट और शब्दों का उन पर कोई असर नहीं हुआ. उनका मानना ​​था कि चूंकि हम यहां विशेषज्ञ हैं, इसलिए हमें सभी को समझाना होगा और अपने निर्णय पर जोर देना होगा। जाहिरा तौर पर, हमारा काम लेन्या को पढ़ाना था और, इसके अलावा, उसे दरकिनार करना था, जिसे परियोजना प्रबंधक के रूप में नियुक्त किया गया था, मुख्य बात तक पहुंचने के लिए और व्यक्तिगत रूप से बैकअप की अवधारणा के बारे में हमारे सभी संदेह उसके सामने डालने के लिए।

चैट में नफरत, छुपी और अप्रकट आक्रामकता झलक रही थी। मुझे नहीं पता था कि क्या करना है. सब कुछ रुक गया है. और फिर उन्होंने मुझे सबसे आसान तरीका सुझाया - प्रबंधक को एक व्यक्तिगत संदेश लिखने और उसके साथ एक बैठक की व्यवस्था करने का। वास्या, वास्तविक जीवन में लोग चैट में जितने तेज़ होते हैं उतने तेज़ नहीं होते। बॉस ने मेरे संदेश का उत्तर दिया: आओ, कोई सवाल नहीं।

यह मेरे करियर की सबसे डरावनी मुलाकात थी।' मेरे ग्राहक सहयोगी - एसटीओ - को समय नहीं मिल सका। मैं बॉस और लीना के साथ मीटिंग में गया।

बार-बार मैंने हमारे संभावित संवाद को अपने दिमाग में दोहराया। मैं बहुत जल्दी, आधे घंटे पहले पहुंचने में कामयाब रहा। मुझे घबराहट होने लगी, मैंने 10 सिगरेटें पी लीं, मैं समझ गया, बस-अकेले ही चोद रहा हूँ। मैं उन्हें मना नहीं पाऊंगा. और वह लिफ्ट में चढ़ गया।

जब वह उठ रहा था तो उसने लाइटर पर इतनी जोर से प्रहार किया कि वह टूट गया।

परिणामस्वरूप, लेन्या बैठक में नहीं थीं। और हमने बॉस के साथ हर चीज़ पर बहुत अच्छी बातचीत की! सर्गेई ने मुझे अपने दर्द के बारे में बताया. वह "क्लिकहाउस को स्वचालित" नहीं करना चाहता था - वह "प्रश्नों को कार्यशील बनाना" चाहता था।

मैंने कोई बकरी नहीं देखी, लेकिन एक अच्छा लड़का देखा, जो अपने व्यवसाय के बारे में चिंतित था, चौबीसों घंटे काम में डूबा हुआ था। चैट अक्सर हमें खलनायक, बदमाश और बेवकूफ़ लोगों के रूप में चित्रित करती है। लेकिन जीवन में ये आपके जैसे ही लोग हैं।

सर्गेई को किराये के लिए कुछ डिवोप्स की आवश्यकता नहीं थी। उनकी जो समस्या थी वह बहुत बड़ी हो गई।

मैंने कहा कि मैं उसकी समस्याएं हल कर सकता हूं - यह बिल्कुल अलग काम है, और मेरा एक दोस्त है जो इसके लिए काम करता है। अगर हमें शुरू से पता होता कि यह उनके लिए एक सौदा है, तो हम बहुत कुछ टाल देते। देर हो चुकी है, लेकिन हमें एहसास हुआ कि समस्या बुनियादी ढांचे में नहीं, बल्कि खराब डेटा प्रबंधन में है।

हमने हाथ मिलाया, उन्होंने हमारा वेतन ढाई गुना बढ़ा दिया, लेकिन इस शर्त पर कि मैं उनके डेटा और क्लिकहाउस के साथ पूरी गड़बड़ी अपने ऊपर ले लूं। लिफ्ट में, मैंने उसी डीआई आदमी मैक्स से बात की और उसे काम से जोड़ा। पूरे समूह को फावड़ा से चलाना आवश्यक था।

अपनाए गए प्रोजेक्ट में बहुत सारा कचरा था। उल्लिखित "बैकअप" से शुरू करना। यह पता चला कि यह वही "बैकअप" क्लस्टर अलग नहीं था। उन्होंने इस पर हर चीज़ का परीक्षण किया, कभी-कभी इसे उत्पादन में भी डाला।

हमारे इन-हाउस डेवलपर्स ने अपना स्वयं का कस्टम डेटा इंसर्टर बनाया है। उन्होंने इस तरह काम किया: उन्होंने फाइलों को बैच किया, स्क्रिप्ट चलाई और डेटा को एक तालिका में मर्ज कर दिया। लेकिन मुख्य समस्या यह थी कि एक साधारण अनुरोध के लिए बड़ी मात्रा में डेटा स्वीकार कर लिया गया था। अनुरोध हर सेकंड डेटा में शामिल हो गया। सब एक नंबर के लिए - प्रति दिन की राशि.

इन-हाउस डेवलपर्स ने एनालिटिक्स टूल का गलत इस्तेमाल किया। वे ग्राफ़ाना गए और अपना शाही अनुरोध लिखा। उन्होंने 2 हफ्ते का डेटा अपलोड किया. यह एक सुंदर ग्राफ़ निकला। लेकिन वास्तव में, डेटा अनुरोध हर 10 सेकंड में होता था। यह सब कतार में जमा हो रहा था क्योंकि क्लिकहाउस ने प्रोसेसिंग नहीं की थी। यहीं पर मुख्य कारण छिपा हुआ था. ग्राफाना में कुछ भी काम नहीं कर रहा था, अनुरोध कतार में खड़े थे और पुराना, अप्रासंगिक डेटा लगातार आ रहा था।

हमने क्लस्टर को पुन: कॉन्फ़िगर किया, सम्मिलन को फिर से तैयार किया। इन-हाउस डेवलपर्स ने अपने "इन्सर्टर" को फिर से लिखा, और इसने डेटा को सही ढंग से साझा करना शुरू कर दिया।

मैक्स ने संपूर्ण बुनियादी ढांचे का ऑडिट किया। उन्होंने एक पूर्ण बैकएंड में परिवर्तन की योजना की रूपरेखा प्रस्तुत की। लेकिन कंपनी को ये रास नहीं आया. उन्हें मैक्स से एक जादुई रहस्य की उम्मीद थी जो उन्हें पुराने ढंग से काम करने की अनुमति देगा, लेकिन केवल कुशलता से। लेन्या अभी भी परियोजना के प्रभारी थे, और उन्होंने कुछ भी नहीं सीखा। जो कुछ भी पेश किया गया था, उसमें से उन्होंने फिर से अपना विकल्प चुना। हमेशा की तरह, यह सबसे चयनात्मक... साहसिक निर्णय था। लेन्या का मानना ​​था कि उनकी कंपनी का एक विशेष रास्ता है। कांटेदार और हिमखंडों से भरा हुआ.

दरअसल, यहीं हम अलग हुए - हमने वही किया जो हम कर सकते थे।

इस इतिहास के ज्ञान और बुद्धिमत्ता से भरपूर, हमने अपना खुद का व्यवसाय खोला और अपने लिए कई सिद्धांत बनाए। हम अब कभी भी उस तरह से काम शुरू नहीं करेंगे जैसा हमने तब किया था।

इस प्रोजेक्ट के बाद डीजे मैक्स हमारे साथ जुड़ गया और हम अब भी साथ मिलकर बहुत अच्छा काम करते हैं। क्लिकहाउस मामले ने मुझे सिखाया कि काम शुरू करने से पहले संपूर्ण बुनियादी ढांचे का ऑडिट कैसे किया जाए। हम समझते हैं कि सब कुछ कैसे काम करता है और उसके बाद ही कार्यों को स्वीकार करते हैं। और अगर पहले हम बुनियादी ढांचे को बनाए रखने के लिए तुरंत दौड़ पड़ते थे, तो अब हम पहले एक बार का प्रोजेक्ट करते हैं, जिससे हमें यह समझने में मदद मिलती है कि इसे काम करने की स्थिति में कैसे लाया जाए।

और हां, हम खराब बुनियादी ढांचे वाली परियोजनाओं से बचते हैं। भले ही ढेर सारे पैसे के लिए, भले ही दोस्ती के लिए। रुग्ण परियोजनाएँ चलाना लाभहीन है। इसे समझने से हमें आगे बढ़ने में मदद मिली। या तो बुनियादी ढांचे को व्यवस्थित करने के लिए एक बार की परियोजना और फिर एक रखरखाव अनुबंध, या हम बस उड़ जाते हैं। पिछले एक और हिमखंड.

PS इसलिए यदि आपके पास अपने बुनियादी ढांचे के बारे में प्रश्न हैं, एक अनुरोध सबमिट करने के लिए स्वतंत्र महसूस करें.

हमारे पास प्रति माह 2 निःशुल्क ऑडिट हैं, शायद आपका प्रोजेक्ट उनमें से एक होगा।

स्रोत: www.habr.com