प्रत्येकजण माझा वाढदिवस साजरा करत असताना, मी सकाळपर्यंत क्लस्टर दुरुस्त करत होतो - आणि विकासकांनी त्यांच्या चुका माझ्यावर फोडल्या.

ही एक कथा आहे ज्याने डेव्हॉप्सच्या कामाकडे पाहण्याचा माझा दृष्टीकोन कायमचा बदलला. प्री-कोविड काळात, त्यांच्या खूप आधी, जेव्हा मी आणि मुले आमच्या स्वतःच्या व्यवसायाची योजना आखत होतो आणि यादृच्छिक ऑर्डरवर फ्रीलांसिंग करत होतो, तेव्हा एक ऑफर माझ्या कार्टमध्ये आली.

हे लिहिणारी कंपनी डेटा अॅनालिटिक्स कंपनी होती. तिने दररोज हजारो विनंत्यांवर प्रक्रिया केली. ते आमच्याकडे या शब्दांसह आले: मित्रांनो, आमच्याकडे क्लिकहाऊस आहे आणि आम्हाला त्याचे कॉन्फिगरेशन आणि इंस्टॉलेशन स्वयंचलित करायचे आहे. आम्हाला Ansible, Terraform, Docker आणि ते सर्व Git मध्ये संग्रहित करायचे आहे. आम्हाला प्रत्येकी दोन प्रतिकृतींसह चार नोड्सचा क्लस्टर हवा आहे.

ही एक मानक विनंती आहे, त्यापैकी डझनभर आहेत आणि तुम्हाला तितकेच चांगले मानक समाधान आवश्यक आहे. आम्ही "ठीक आहे" म्हणालो, आणि 2-3 आठवड्यांनंतर सर्वकाही तयार झाले. त्यांनी नोकरी स्वीकारली आणि आमची उपयुक्तता वापरून नवीन क्लिकहाऊस क्लस्टरमध्ये जाण्यास सुरुवात केली.

क्लिकहाऊसमध्ये टिंकर कसा करायचा हे कोणालाही नको होते किंवा माहित नव्हते. मग आम्हाला वाटले की ही त्यांची मुख्य समस्या आहे, आणि म्हणूनच कंपनीच्या सर्व्हिस स्टेशनने माझ्या टीमला शक्य तितके काम स्वयंचलित करण्यासाठी पुढे जाण्याची परवानगी दिली, जेणेकरून स्वतः तिथे पुन्हा कधीही जाऊ नये.

आम्ही हलवा सोबत, इतर कार्ये उद्भवली - बॅकअप सेट करणे आणि देखरेख. त्याच क्षणी, या कंपनीचे सर्व्हिस स्टेशन दुसर्‍या प्रकल्पात विलीन झाले आणि आम्हाला आमच्या स्वतःच्या - लिओनिड - कमांडर म्हणून सोडले. लेन्या फार हुशार माणूस नव्हता. एक साधा विकासक ज्याला अचानक क्लिकहाऊसचा प्रभारी म्हणून नियुक्त केले गेले. असे दिसते की काहीतरी व्यवस्थापित करण्याची ही त्याची पहिली नियुक्ती होती आणि जबरदस्त सन्मानाने त्याला स्टारस्ट्रक वाटले.

एकत्रितपणे आम्ही बॅकअप बनवण्याबाबत सेट केले. मी लगेच मूळ डेटाचा बॅकअप घेण्याचा सल्ला दिला. फक्त ते घ्या, झिप करा आणि सुंदरपणे काही c3 मध्ये फेकून द्या. कच्चा डेटा सोने आहे. आणखी एक पर्याय होता - फ्रीझ आणि कॉपी वापरून क्लिकहाऊसमध्ये टेबल्सचा बॅकअप घेणे. पण लेनियाने स्वतःचे उपाय शोधून काढले.

त्याने जाहीर केले की आम्हाला दुसऱ्या क्लिकहाऊस क्लस्टरची गरज आहे. आणि आतापासून आम्ही दोन क्लस्टरवर डेटा लिहू - मुख्य आणि बॅकअप. मी त्याला सांगतो, लेन्या, तो बॅकअप नसून सक्रिय प्रतिकृती असेल. आणि उत्पादनामध्ये डेटा गमावला गेल्यास, तेच तुमच्या बॅकअपवर होईल.

पण लेनियाने स्टीयरिंग व्हील घट्ट पकडले आणि माझे युक्तिवाद ऐकण्यास नकार दिला. गप्पांमध्ये आम्ही त्याच्याशी बराच वेळ गप्पा मारल्या, पण करण्यासारखे काहीच नव्हते - लेन्या या प्रकल्पाची जबाबदारी होती, आम्ही फक्त रस्त्यावरून मुलांना कामावर घेतले होते.

आम्ही क्लस्टरच्या स्थितीचे निरीक्षण केले आणि केवळ प्रशासकांच्या कामासाठी शुल्क आकारले. डेटामध्ये न येता शुद्ध क्लिकहाऊस प्रशासन. क्लस्टर उपलब्ध होते, डिस्क ठीक होत्या, नोड्स ठीक होते.

त्यांच्या टीममधील भयंकर गैरसमजामुळे आम्हाला ही ऑर्डर मिळाली हे आम्हाला फारसे माहीत नव्हते

क्लिकहाऊस धीमा होता आणि काही वेळा डेटा गमावला गेल्याबद्दल व्यवस्थापक नाखूष होता. त्याने त्याचे सर्व्हिस स्टेशन हे शोधण्याचे काम सेट केले. त्याने ते शक्य तितके चांगले शोधून काढले आणि असा निष्कर्ष काढला की आम्हाला फक्त क्लिकहाऊस स्वयंचलित करणे आवश्यक आहे - इतकेच. परंतु हे लवकरच स्पष्ट झाले की, त्यांना डेव्हॉप्सच्या संघाची अजिबात गरज नाही.

हे सर्व खूप, खूप वेदनादायक असल्याचे दिसून आले. आणि सर्वात आक्षेपार्ह गोष्ट म्हणजे ती माझ्या वाढदिवशी होती.

शुक्रवारी संध्याकाळी. मी माझ्या आवडत्या वाईन बारमध्ये आरक्षण केले आणि घरातील लोकांना आमंत्रित केले.

जवळजवळ जाण्यापूर्वी, आम्हाला एक बदल तयार करण्यासाठी एक कार्य प्राप्त होते, आम्ही ते पूर्ण करतो, सर्व काही ठीक आहे. ऑल्टर पास झाले, क्लिकहाऊसची पुष्टी झाली. आम्ही आधीच बारमध्ये जात आहोत आणि ते आम्हाला लिहितात की पुरेसा डेटा नाही. आम्ही गणना केली की सर्वकाही पुरेसे आहे असे दिसते. आणि ते साजरे करायला निघाले.

शुक्रवारी रेस्टॉरंटमध्ये गोंगाट होता. पेय आणि खाण्याची ऑर्डर देऊन आम्ही सोफ्यावर बसलो. एवढ्या वेळात, माझ्या स्लॅकवर हळूहळू संदेशांचा पूर आला होता. त्यांनी डेटाच्या कमतरतेबद्दल काहीतरी लिहिले. मला वाटले - संध्याकाळपेक्षा सकाळ शहाणी आहे. विशेषतः आज.

अकराच्या जवळ ते फोन करू लागले. ते कंपनीचे प्रमुख होते... “कदाचित माझे अभिनंदन करायचे ठरवले आहे,” मी खूप संकोचून विचार केला आणि फोन उचलला.

आणि मी असे काहीतरी ऐकले: “तुम्ही आमचा डेटा खराब केला! मी तुम्हाला पैसे देतो, पण काहीही काम करत नाही! तुम्ही बॅकअपसाठी जबाबदार होता आणि तुम्ही काहीही केले नाही! चला ते दुरुस्त करूया!" - फक्त अगदी कठोर.

- तुम्हाला काय माहित आहे, बाहेर पडा! आज माझा वाढदिवस आहे, आणि आता मी पिईन, आणि बकवास आणि काड्यांपासून बनवलेल्या तुमच्या जूनच्या घरगुती उत्पादनांमध्ये गुंतणार नाही!

तेच मी बोललो नाही. त्याऐवजी, मी माझा लॅपटॉप काढला आणि कामाला लागलो.

नाही, मी बॉम्बस्फोट केला, मी नरकाप्रमाणे बॉम्बस्फोट केला! त्याने चॅटमध्ये “मी तुला तसे सांगितले” असे कॉस्टिक ओतले - कारण बॅकअप, जो अजिबात बॅकअप नव्हता, - अर्थातच, काहीही वाचवले नाही.

मी आणि मुलांनी रेकॉर्डिंग मॅन्युअली कसे थांबवायचे आणि सर्वकाही कसे तपासायचे ते शोधून काढले. आम्ही प्रत्यक्षात खात्री केली की काही डेटा लिहिलेला नाही.

आम्ही रेकॉर्डिंग थांबवलं आणि दररोज किती कार्यक्रम होते ते मोजले. त्यांनी अधिक डेटा अपलोड केला, त्यापैकी फक्त एक तृतीयांश रेकॉर्ड केला गेला नाही. प्रत्येकी 2 प्रतिकृती असलेले तीन शार्ड. तुम्ही 100.000 पंक्ती घाला - 33.000 रेकॉर्ड नाहीत.

पूर्ण गोंधळ झाला. प्रत्येकाने एकमेकांना आलटून पालटून जाण्यास सांगितले: लेन्या प्रथम तेथे गेली, त्यानंतर मी आणि कंपनीचे संस्थापक. फक्त सामील झालेल्या सर्व्हिस स्टेशनने आमचे ओरडणारे कॉल आणि पत्रव्यवहार समस्येचे निराकरण करण्याच्या दिशेने वळवण्याचा प्रयत्न केला.

नेमकं काय होतंय ते कोणालाच समजत नव्हतं

जेव्हा आम्हाला समजले की सर्व डेटापैकी एक तृतीयांश डेटा केवळ रेकॉर्ड केला गेला नाही, तर तो हरवला गेला आहे हे लक्षात आल्यावर मी आणि त्या मुलांचा गोंधळ उडाला! असे दिसून आले की कंपनीमधील ऑर्डर खालीलप्रमाणे आहे: समाविष्ट केल्यानंतर, डेटा अपरिवर्तनीयपणे हटविला गेला, घटना बॅचमध्ये वाया गेल्या. मी कल्पना केली की सर्गेई हे सर्व हरवलेल्या रूबलमध्ये कसे रूपांतरित करेल.

माझा वाढदिवसही कचऱ्यात फेकला गेला. आम्ही बारमध्ये बसलो आणि आमच्यावर टाकलेले कोडे सोडवण्याचा प्रयत्न करत कल्पना निर्माण केल्या. क्लिकहाऊस पडण्याचे कारण स्पष्ट नव्हते. कदाचित ते नेटवर्क आहे, कदाचित ते लिनक्स सेटिंग्ज आहे. होय, तुम्हाला जे हवे आहे, तेथे पुरेशी गृहितके आहेत.

मी विकसकाची शपथ घेतली नाही, परंतु ओळीच्या दुसऱ्या टोकावरील लोकांना सोडून देणे अप्रामाणिक होते - जरी त्यांनी प्रत्येक गोष्टीसाठी आम्हाला दोष दिला तरीही. मला 99% खात्री होती की समस्या आमच्या निर्णयांमध्ये नाही, आमच्या बाजूने नाही. आम्ही खराब होण्याची 1% शक्यता चिंतेने जळत होती. पण त्रास कुठल्या बाजूने असला तरी तो निश्चित करायचा होता. अशा भयंकर डेटा लीकसह ग्राहकांना सोडून देणे, मग ते कोणीही असोत.

पहाटे तीन वाजेपर्यंत आम्ही रेस्टॉरंटच्या टेबलावर काम केले. आम्ही इव्हेंट्स जोडले, सिलेक्ट घाला आणि आम्ही अंतर भरण्यासाठी गेलो. जेव्हा तुम्ही डेटा स्क्रू करता, तेव्हा तुम्ही हे असे करता: तुम्ही मागील दिवसांचा सरासरी डेटा घेता आणि तो खराब झालेल्यांमध्ये घाला.

पहाटे तीन नंतर, मी आणि माझा मित्र माझ्या घरी गेलो आणि दारू बाजारातून बिअर मागवली. मी लॅपटॉप आणि क्लिकहाऊस समस्या घेऊन बसलो होतो, एक मित्र मला काहीतरी सांगत होता. परिणामी, एक तासानंतर तो नाराज झाला की मी काम करतो आणि त्याच्याबरोबर बिअर पीत नाही आणि निघून गेला. क्लासिक - मी देवॉप्सचा मित्र होतो.

सकाळी 6 वाजता, मी पुन्हा टेबल पुन्हा तयार केले आणि डेटा भरू लागला. सर्व काही नुकसान न करता कार्य केले.

मग ते कठीण होते. डेटा गमावल्याबद्दल सर्वांनी एकमेकांना दोष दिला. जर नवीन बग झाला असता, तर मला खात्री आहे की गोळीबार झाला असता

या मारामारीत, आम्हाला शेवटी समजू लागले - कंपनीला वाटले की आम्ही असे लोक आहोत जे डेटासह कार्य करतात आणि टेबलच्या संरचनेचे निरीक्षण करतात. त्यांनी डीलर्ससह प्रशासकांना गोंधळात टाकले. आणि ते आम्हाला अॅडमिन्सपेक्षा काहीतरी वेगळे विचारायला आले होते.

त्यांची मुख्य तक्रार आहे - काय रे, तुम्ही बॅकअपसाठी जबाबदार होता आणि ते योग्यरित्या केले नाही, तुम्ही डेटा वाया घालवत राहिलात. आणि हे सर्व रिवाइंडिंग मॅट्ससह.

मला न्याय हवा होता. मी प्रत्येकाचा पत्रव्यवहार आणि संलग्न स्क्रीनशॉट्स काढले, जिथे लिओनिडने त्याच्या सर्व शक्तीनिशी त्यांना तयार केलेला बॅकअप बनवण्यास भाग पाडले. माझ्या फोन कॉलनंतर त्यांच्या सर्व्हिस स्टेशनने आमची बाजू घेतली. नंतर लेनियाने आपला अपराध कबूल केला.

त्याउलट कंपनीच्या प्रमुखाला स्वतःच्या लोकांना दोष द्यायचा नव्हता. स्क्रीनशॉट आणि शब्दांचा त्याच्यावर काहीही परिणाम झाला नाही. आपण इथले तज्ज्ञ असल्यामुळे आपल्याला सगळ्यांना पटवून आपल्या निर्णयावर ठाम राहावे लागेल, असे त्यांचे मत होते. वरवर पाहता, आमचे कार्य लेनियाला शिकवणे आणि त्याशिवाय, त्याला बायपास करणे, ज्याची प्रोजेक्ट मॅनेजर म्हणून नियुक्ती केली गेली होती, मुख्य गोष्टीकडे जाणे आणि त्याच्याकडे बॅकअपच्या संकल्पनेबद्दलच्या आमच्या सर्व शंका वैयक्तिकरित्या व्यक्त करणे.

गप्पा द्वेषाने, छुप्या आणि न लपवलेल्या आक्रमकतेने रंगल्या. मला काय करावं कळत नव्हतं. सर्व काही ठप्प झाले आहे. आणि मग त्यांनी मला सर्वात सोपा मार्ग सल्ला दिला - व्यवस्थापकाला वैयक्तिक संदेश लिहा आणि त्याच्याशी भेटीची व्यवस्था करा. वास्या, खऱ्या आयुष्यातली माणसं गप्पांमधली चटपटीत नसतात. बॉसने माझ्या संदेशाला उत्तर दिले: ये, प्रश्न नाही.

माझ्या कारकिर्दीतील ती सर्वात भयानक भेट होती. क्लायंटमधील माझा सहयोगी - STO - वेळ शोधू शकला नाही. मी बॉस आणि लीनाबरोबर मीटिंगला गेलो.

पुन्हा पुन्हा मी आमचा संभाव्य संवाद माझ्या डोक्यात रीप्ले केला. मी खूप लवकर पोहोचलो, अर्धा तास अगोदर. मी घाबरायला सुरुवात केली, मी 10 सिगारेट ओढल्या. मला समजले, तेच आहे - मी एकटाच चोदत आहे. मी त्यांना पटवून देऊ शकणार नाही. आणि तो लिफ्टमध्ये उतरला.

तो उठत असताना त्याने लायटरला इतका जोरात मारले की तो तुटला.

परिणामी, लेनिया मीटिंगमध्ये नव्हती. आणि आम्ही बॉसशी प्रत्येक गोष्टीबद्दल छान संभाषण केले! सर्गेईने मला त्याच्या वेदनाबद्दल सांगितले. त्याला "क्लिकहाऊस स्वयंचलित" करायचे नव्हते - त्याला "क्वेरी कार्यान्वित करायच्या आहेत."

मला बकरी दिसली नाही, पण एक चांगला माणूस, त्याच्या व्यवसायाबद्दल काळजीत, कामात 24/7 मग्न. चॅट अनेकदा आपल्याला खलनायक, निंदक आणि मूर्ख लोक बनवतात. पण आयुष्यात ही तुमच्यासारखीच माणसं असतात.

सेर्गेईला भाड्याने घेण्यासाठी काही डेव्हॉप्सची आवश्यकता नव्हती. त्यांची समस्या खूप मोठी होती.

मी म्हणालो की मी त्याच्या समस्या सोडवू शकतो - हे फक्त एक पूर्णपणे वेगळे काम आहे आणि माझा एक मित्र आहे जो त्यासाठी काम करतो. त्यांच्यासाठी हा करार आहे हे आम्हाला सुरुवातीपासूनच कळले असते तर आम्ही बरेच काही टाळले असते. उशीर झाला आहे, परंतु आम्हाला समजले की समस्या पायाभूत सुविधांमध्ये नाही तर चुकीच्या डेटा व्यवस्थापनात आहे.

आम्ही हस्तांदोलन केले, त्यांनी आमचे वेतन अडीच पट वाढवले, परंतु मी त्यांच्या डेटा आणि क्लिकहाऊसचा संपूर्ण गोंधळ माझ्यासाठी घेईन या अटीवर. लिफ्टमध्ये, मी त्याच DI माणूस मॅक्सशी संवाद साधला आणि त्याला कामाशी जोडले. संपूर्ण क्लस्टर फावडे करणे आवश्यक होते.

दत्तक प्रकल्पात मोठ्या प्रमाणात कचरा होता. नमूद केलेल्या "बॅकअप" सह प्रारंभ करत आहे. असे दिसून आले की हे समान "बॅकअप" क्लस्टर वेगळे नव्हते. त्यांनी त्यावर सर्व काही तपासले, कधीकधी ते उत्पादनातही टाकले.

आमच्या इन-हाउस डेव्हलपर्सने त्यांचे स्वतःचे कस्टम डेटा इन्सर्टर तयार केले आहेत. त्याने असे काम केले: त्याने फायली बॅच केल्या, स्क्रिप्ट चालवली आणि डेटा टेबलमध्ये विलीन केला. परंतु मुख्य समस्या अशी होती की एका साध्या विनंतीसाठी मोठ्या प्रमाणात डेटा स्वीकारला गेला. विनंती प्रत्येक सेकंदाला डेटामध्ये सामील झाली. सर्व एका संख्येच्या फायद्यासाठी - दररोजची रक्कम.

इन-हाउस डेव्हलपर्सनी विश्लेषण साधन चुकीच्या पद्धतीने वापरले. ते ग्राफाना गेले आणि त्यांची शाही विनंती लिहिली. त्याने 2 आठवड्यांचा डेटा अपलोड केला. तो एक सुंदर आलेख निघाला. परंतु प्रत्यक्षात, डेटा विनंती दर 10 सेकंदात होती. हे सर्व एका रांगेत जमा होत होते कारण क्लिकहाऊसने प्रक्रिया पूर्ण केली नाही. यातच मुख्य कारण दडले होते. ग्राफनामध्ये काहीही काम केले नाही, विनंत्या रांगेत उभ्या राहिल्या आणि जुना, असंबद्ध डेटा सतत येत होता.

आम्ही क्लस्टर पुन्हा कॉन्फिगर केले, इन्सर्शन पुन्हा केले. इन-हाऊस डेव्हलपर्सनी त्यांचे "इन्सर्टर" पुन्हा लिहिले आणि ते योग्यरित्या डेटा शार्डिंग करू लागले.

मॅक्सने संपूर्ण इन्फ्रास्ट्रक्चर ऑडिट केले. त्यांनी पूर्ण वाढ झालेल्या बॅकएंडमध्ये संक्रमणाची योजना आखली. पण हे कंपनीला शोभले नाही. त्यांना मॅक्सकडून एका जादुई रहस्याची अपेक्षा होती जी त्यांना जुन्या पद्धतीप्रमाणे कार्य करण्यास अनुमती देईल, परंतु केवळ कार्यक्षमतेने. लेन्या अजूनही या प्रकल्पाचा प्रभारी होता आणि तो काहीही शिकला नाही. ऑफर केलेल्या सर्वांमधून, त्याने पुन्हा आपला पर्याय निवडला. नेहमीप्रमाणे, हा सर्वात निवडक... धाडसी निर्णय होता. लेन्याचा असा विश्वास होता की त्याच्या कंपनीचा एक विशेष मार्ग आहे. काटेरी आणि हिमनगांनी भरलेले.

वास्तविक, तिथेच आम्ही वेगळे झालो - आम्ही जे करू शकलो ते केले.

या इतिहासातील ज्ञान आणि शहाणपणाने परिपूर्ण, आम्ही आमचा स्वतःचा व्यवसाय उघडला आणि स्वतःसाठी अनेक तत्त्वे तयार केली. आम्ही आता जसे काम सुरू केले तसे कधीही सुरू करणार नाही.

डीजे मॅक्स या प्रकल्पानंतर आमच्यात सामील झाला आणि आम्ही अजूनही एकत्र काम करतो. क्लिकहाऊस प्रकरणाने मला काम सुरू करण्यापूर्वी संपूर्ण आणि संपूर्ण पायाभूत सुविधांचे ऑडिट कसे करावे हे शिकवले. सर्वकाही कसे कार्य करते हे आम्हाला समजते आणि त्यानंतरच कार्ये स्वीकारतात. आणि जर पूर्वी आम्ही पायाभूत सुविधा राखण्यासाठी ताबडतोब घाई केली असेल, तर आता आम्ही प्रथम एक-वेळचा प्रकल्प करतो, जो आम्हाला कार्य स्थितीत कसा आणायचा हे समजण्यास मदत करतो.

आणि हो, आम्ही खराब पायाभूत सुविधा असलेले प्रकल्प टाळतो. भले खूप पैशासाठी, जरी मैत्रीच्या बाहेर. आजारी प्रकल्प चालवणे फायदेशीर नाही. हे लक्षात आल्याने आम्हाला वाढण्यास मदत झाली. पायाभूत सुविधा सुव्यवस्थित करण्यासाठी एकतर एक-वेळचा प्रकल्प आणि नंतर देखभाल करार, किंवा आम्ही फक्त उड्डाण करू. आणखी एक हिमखंड पार.

PS त्यामुळे तुमच्या पायाभूत सुविधांबद्दल तुम्हाला प्रश्न असल्यास, एक विनंती सोडण्यास मोकळ्या मनाने.

आमच्याकडे दरमहा 2 विनामूल्य ऑडिट आहेत, कदाचित तुमचा प्रकल्प त्यापैकी एक असेल.

स्त्रोत: www.habr.com