जब सबैले मेरो जन्मदिन मनाउँदै थिए, म बिहानसम्म क्लस्टर ठीक गर्दै थिएँ - र विकासकर्ताहरूले मलाई आफ्नो गल्ती दोष दिए।

यहाँ एउटा कथा छ जसले सधैंको लागि डेभप्स कामको लागि मेरो दृष्टिकोण परिवर्तन गर्यो। प्रि-कोविड समयमा, तिनीहरूको लामो, लामो समयसम्म, जब केटाहरू र म भर्खर हाम्रो आफ्नै व्यवसायको योजना बनाइरहेका थिए र अनियमित अर्डरहरूमा फ्रीलान्सिङ गर्दै थिए, एउटा प्रस्ताव मेरो कार्टमा पर्यो।

यो लेख्ने कम्पनी डाटा एनालिटिक्स कम्पनी थियो। उनले दैनिक हजारौं अनुरोधहरू प्रशोधन गरे। तिनीहरू शब्दहरू लिएर हामीकहाँ आए: साथीहरू, हामीसँग क्लिकहाउस छ र हामी यसको कन्फिगरेसन र स्थापना स्वचालित गर्न चाहन्छौं। हामी Ansible, Terraform, Docker र यो सबै Git मा भण्डारण गर्न चाहन्छौं। हामी दुई प्रतिकृतिहरू सहित चार नोडहरूको क्लस्टर चाहन्छौं।

यो एक मानक अनुरोध हो, त्यहाँ दर्जनौं छन्, र तपाईंलाई समान रूपमा राम्रो मानक समाधान चाहिन्छ। हामीले "ठीक छ" भन्यौं, र 2-3 हप्ता पछि सबै तयार भयो। तिनीहरूले काम स्वीकार गरे र हाम्रो उपयोगिता प्रयोग गरेर नयाँ क्लिकहाउस क्लस्टरमा जान थाले।

क्लिकहाउससँग कसरी टिंकर गर्ने भनेर कसैलाई चाहँदैन थियो वा थाहा थिएन। त्यसपछि हामीले सोचे कि यो उनीहरूको मुख्य समस्या हो, र त्यसैले कम्पनीको सर्भिस स्टेसनले मेरो टोलीलाई सम्भव भएसम्म कामलाई स्वचालित गर्न अनुमति दियो, ताकि त्यहाँ फेरि कहिल्यै नजानुहोस्।

हामी यस कदमको साथमा, अन्य कार्यहरू खडा भयो - ब्याकअप र निगरानी सेटअप। एकै समयमा, यस कम्पनीको सेवा स्टेशन अर्को परियोजना संग मर्ज भयो, हामीलाई हाम्रो आफ्नै - लियोनिद - कमाण्डरको रूपमा छोडेर। Lenya एक धेरै प्रतिभाशाली केटा थिएन। एक साधारण विकासकर्ता जो अचानक क्लिकहाउस को चार्ज मा राखिएको थियो। यस्तो देखिन्छ कि यो केहि प्रबन्ध गर्न को लागी उनको पहिलो असाइनमेन्ट थियो, र अत्यधिक सम्मानले उनलाई स्टारस्ट्रक महसुस गर्यो।

सँगै हामी ब्याकअपहरू बनाउने बारेमा सेट। मैले तुरुन्तै मूल डेटा जगेडा गर्न सुझाव दिए। बस यसलाई लिनुहोस्, यसलाई जिप गर्नुहोस् र सुन्दर ढंगले यसलाई केही c3 मा फाल्नुहोस्। कच्चा डाटा सुन हो। त्यहाँ अर्को विकल्प थियो - टेबलहरू आफैंलाई क्लिकहाउसमा ब्याकअप गर्न, फ्रिज र प्रतिलिपि प्रयोग गरेर। तर लेन्या आफ्नै समाधानको साथ आए।

उनले घोषणा गरे कि हामीलाई दोस्रो क्लिकहाउस क्लस्टर चाहिन्छ। र अब देखि हामी दुई क्लस्टरहरूमा डाटा लेख्नेछौं - मुख्य र ब्याकअप। म उसलाई भन्छु, लेन्या, यो ब्याकअप होइन, तर सक्रिय प्रतिकृति हुनेछ। र यदि उत्पादनमा डाटा हराउन थाल्छ भने, तपाईंको ब्याकअपमा पनि त्यस्तै हुनेछ।

तर लेन्याले स्टेयरिङ ह्वीललाई बलियोसँग समातिन् र मेरो तर्क सुन्न अस्वीकार गरिन्। हामीले उहाँसँग च्याटमा लामो समयसम्म च्याट गर्यौं, तर त्यहाँ गर्न केहि थिएन - लेन्या परियोजनाको प्रभारी थिए, हामी भर्खरै सडकबाट बच्चाहरूलाई काममा राख्यौं।

हामीले क्लस्टरको अवस्था अनुगमन गर्यौं र प्रशासकहरूको कामको लागि मात्र शुल्क लियौं। डाटा मा प्राप्त बिना शुद्ध क्लिकहाउस प्रशासन। क्लस्टर उपलब्ध थियो, डिस्कहरू ठीक थिए, नोडहरू ठीक थिए।

हामीलाई थोरै थाहा थियो कि हामीले उनीहरूको टोली भित्रको भयानक गलतफहमीको कारणले यो आदेश प्राप्त गर्यौं

प्रबन्धक दुखी थिए कि क्लिकहाउस ढिलो थियो र कहिलेकाहीं डाटा हराएको थियो। उसले आफ्नो सर्भिस स्टेसनलाई यो पत्ता लगाउने काम सेट गर्यो। उसले यसलाई सकेसम्म राम्रो निकाल्यो र निष्कर्ष निकाल्यो कि हामीले भर्खर क्लिकहाउसलाई स्वचालित गर्न आवश्यक छ - यो मात्र हो। तर यो चाँडै स्पष्ट भयो, उनीहरूलाई डेभप्सको टोली चाहिँदैन।

यी सबै धेरै, धेरै पीडादायी साबित भयो। र सबैभन्दा अपमानजनक कुरा यो मेरो जन्मदिनमा थियो।

शुक्रबार साँझ। मैले मेरो मनपर्ने वाइन बारमा रिजर्भेसन गरें र होमिजहरूलाई आमन्त्रित गरें।

लगभग छोड्नु अघि, हामीले परिवर्तन सिर्जना गर्न कार्य प्राप्त गर्छौं, हामी यसलाई पूरा गर्छौं, सबै ठीक छ। परिवर्तन पारित, क्लिकहाउस पुष्टि भयो। हामी पहिले नै बारमा जाँदैछौं, र तिनीहरूले हामीलाई लेख्छन् कि त्यहाँ पर्याप्त डेटा छैन। हामीले गणना गर्यौं कि सबै कुरा पर्याप्त छ। अनि उत्सव मनाउन निस्किए ।

शुक्रबार रेस्टुरेन्टमा कोलाहल थियो । पेय पदार्थ र खानाको अर्डर गरेर हामी सोफामा बस्यौं। यो सबै समय, मेरो ढिलो बिस्तारै सन्देशहरूले भरिएको थियो। तिनीहरूले डाटाको कमीको बारेमा केहि लेखे। मैले सोचेँ - साँझ भन्दा बिहान बुद्धिमानी छ। विशेष गरी आज।

एघार बजेतिर फोन गर्न थाले । यो कम्पनीको प्रमुख थियो ... "सायद मलाई बधाई दिने निर्णय गरे," मैले धेरै हिचकिचाउँदै सोचें, र फोन उठाए।

र मैले यस्तो कुरा सुने: "तपाईंले हाम्रो डाटालाई खराब गर्नुभयो! म तिमीलाई तिर्छु, तर केहि काम गर्दैन! तपाईं ब्याकअपहरूको लागि जिम्मेवार हुनुहुन्थ्यो, र तपाईंले कुनै पनि काम गर्नुभएन! यसलाई ठीक गरौं!" - केवल रडर पनि।

- तपाईलाई थाहा छ, बकवास बाहिर जानुहोस्! आज मेरो जन्मदिन हो, र अब म पिउनेछु, र बकवास र स्टिकहरू बाट जून घरेलु उत्पादनहरूमा संलग्न हुनेछैन!

त्यो मैले भनेको होइन । बरु, मैले मेरो ल्यापटप निकालें र काममा लागें।

होइन, मैले बम हाने, मैले नरक जस्तै बम हाने! उसले च्याटमा "मैले तिमीलाई त्यसो भनेको थिएँ" कास्टिक खन्यायो - किनभने ब्याकअप, जुन ब्याकअप थिएन, - अवश्य पनि, केहि पनि बचत भएन।

केटाहरू र मैले म्यानुअल रूपमा रेकर्डिङ कसरी रोक्ने र सबै कुरा जाँच गर्ने भनेर पत्ता लगायौं। हामीले वास्तवमा निश्चित गर्यौं कि केहि डाटा लेखिएको थिएन।

हामीले रेकर्डिङ रोक्यौं र त्यहाँ प्रतिदिन हुने घटनाहरूको सङ्ख्या गन्यौं। तिनीहरूले थप डाटा अपलोड गरे, जसमध्ये एक तिहाइ मात्र रेकर्ड गरिएको थिएन। प्रत्येक 2 प्रतिकृतिहरू सहित तीन शार्डहरू। तपाईंले 100.000 पङ्क्तिहरू घुसाउनुहोस् - 33.000 रेकर्ड गरिएको छैन।

पुरै अन्योल थियो । सबैले एकअर्कालाई पालैपालो बकवास गर्न भने: लेन्या पहिले त्यहाँ गए, त्यसपछि म र कम्पनीको संस्थापक। सामेल भएका सर्भिस स्टेसनले मात्र हाम्रो चिच्याउने कल र पत्राचारलाई समस्याको समाधान खोज्नेतर्फ मोड्ने प्रयास गर्‍यो।

वास्तवमा के भइरहेको थियो कसैले बुझेनन्

केटाहरू र म केवल उडाएका थियौं जब हामीले महसुस गर्यौं कि सबै डेटाको एक तिहाइ मात्र रेकर्ड गरिएको थिएन, हराएको थियो! यो बाहिर आयो कि कम्पनी मा आदेश निम्नानुसार थियो: सम्मिलित पछि, डाटा अपरिवर्तनीय रूपमा मेटाइएको थियो, घटनाहरू ब्याचहरूमा बर्बाद गरियो। मैले कल्पना गरें कि कसरी सर्गेईले यो सबैलाई हराएको रूबलमा रूपान्तरण गर्नेछ।

मेरो जन्मदिन पनि रद्दीटोकरीमा फालियो। हामी बारमा बस्यौं र विचारहरू उत्पन्न गर्यौं, हामीमा फ्याँकिएको पजल समाधान गर्ने प्रयास गर्यौं। क्लिकहाउसको पतनको कारण स्पष्ट थिएन। हुनसक्छ यो नेटवर्क हो, हुनसक्छ यो लिनक्स सेटिङहरू हो। हो, तपाई जे चाहानुहुन्छ, त्यहाँ पर्याप्त परिकल्पनाहरू छन्।

मैले विकासकर्ताको शपथ लिएको छैन, तर लाइनको अर्को छेउमा रहेका केटाहरूलाई त्याग्नु बेइमान थियो - तिनीहरूले हामीलाई सबै कुराको लागि दोष दिए पनि। म 99% पक्का थिएँ कि समस्या हाम्रो निर्णयहरूमा निहित छैन, हाम्रो पक्षमा होइन। हामीले खराब गरेको 1% मौका चिन्ताले जलिरहेको थियो। तर समस्या जुनसुकै पक्षमा किन नहोस्, त्यसलाई समाधान गर्नुपर्छ । ग्राहकहरूलाई छोड्नु, तिनीहरू जोसुकै भए पनि, यस्तो भयानक डेटा लीकको साथ धेरै क्रूर छ।

हामी बिहान तीन बजेसम्म रेस्टुरेन्टको टेबलमा काम गर्यौं। हामीले घटनाहरू थप्यौं, चयन सम्मिलित गर्यौं, र खाली ठाउँहरू भर्न गयौं। जब तपाइँ डाटा स्क्रू गर्नुहुन्छ, तपाइँ यो कसरी गर्नुहुन्छ: तपाइँ अघिल्लो दिनको लागि औसत डाटा लिनुहुन्छ र तिनीहरूलाई बिग्रिएको व्यक्तिहरूमा सम्मिलित गर्नुहुन्छ।

बिहान तीन बजेपछि, मेरो साथी र म मेरो घर गए र रक्सी बजारबाट बियर अर्डर गरे। म ल्यापटप र क्लिकहाउस समस्या लिएर बसिरहेको थिएँ, एकजना साथीले मलाई केही भन्दै थिए। नतिजाको रूपमा, एक घण्टा पछि उहाँलाई म काम गरिरहेको छु र उहाँसँग बियर पिउँदैन भनेर रिस उठ्यो र छोडियो। क्लासिक - म Devops को एक साथी थिए।

बिहान 6 बजे, मैले फेरि तालिका पुन: सिर्जना गरें, र डाटा बाढी सुरु भयो। कुनै हानि बिना सबै काम भयो।

त्यसपछि गाह्रो भयो। डाटा हराएकोमा सबैले एकअर्कालाई दोष दिए। यदि नयाँ बग भएको भए, म पक्का छु कि त्यहाँ गोलीबारी हुने थियो

यी झगडाहरूमा, हामीले अन्ततः बुझ्न थाल्यौं - कम्पनीले सोचे कि हामी केटाहरू हौं जसले डेटासँग काम गर्छ र तालिकाहरूको संरचनालाई निगरानी गर्छ। तिनीहरूले व्यापारीहरूसँग प्रशासकहरूलाई अलमल्लमा पारे। र तिनीहरू हामीलाई प्रशासकहरू भन्दा फरक कुरा सोध्न आए।

तिनीहरूको मुख्य गुनासो हो - के हो, तपाईं ब्याकअपहरूको लागि जिम्मेवार हुनुहुन्थ्यो र तिनीहरूलाई ठीकसँग गर्नुभएन, तपाईंले डाटा बर्बाद गर्न जारी राख्नुभयो। र यो सबै रिवाइन्डिङ म्याट संग।

मलाई न्याय चाहियो । मैले सबैको पत्राचार र संलग्न स्क्रिनसटहरू खने, जहाँ लियोनिदले आफ्नो सम्पूर्ण शक्तिले उनीहरूलाई बनाइएको ब्याकअप बनाउन बाध्य पारे। मेरो फोन कल पछि उनीहरूको सेवा स्टेशनले हाम्रो पक्ष लियो। पछि लेन्याले आफ्नो अपराध स्वीकार गरे।

कम्पनीको प्रमुख, यसको विपरीत, आफ्नै मानिसहरूलाई दोष दिन चाहँदैनन्। स्क्रिनसट र शब्दहरूले उनलाई कुनै असर गरेनन्। हामी यहाँ विज्ञ भएकाले सबैलाई बुझाएर आफ्नो निर्णयमा जोड दिनुपर्ने उनको धारणा थियो । स्पष्ट रूपमा, हाम्रो कार्य लेन्यालाई सिकाउनु थियो र, यसबाहेक, उसलाई बाइपास गर्न, जसलाई परियोजना प्रबन्धकको रूपमा नियुक्त गरिएको थियो, मुख्य कुरामा पुग्न र व्यक्तिगत रूपमा उहाँलाई ब्याकअपको अवधारणाको बारेमा हाम्रा सबै शंकाहरू खन्याउन।

च्याट घृणा, लुकेको र लुकेको आक्रामकताले भरिएको थियो। मलाई के गर्ने थाहा थिएन। सबै कुरा ठप्प भएको छ । र त्यसपछि तिनीहरूले मलाई सबैभन्दा सजिलो तरिका सल्लाह दिए - प्रबन्धकलाई व्यक्तिगत सन्देश लेख्न र उहाँसँग बैठकको व्यवस्था गर्न। Vasya, वास्तविक जीवनमा मानिसहरू च्याटमा जति छिटो हुँदैनन्। मालिकले मेरो सन्देशको जवाफ दिनुभयो: आउनुहोस्, कुनै प्रश्न छैन।

यो मेरो करियरको सबैभन्दा डरलाग्दो भेट थियो। ग्राहकबाट मेरो सहयोगी - STO - समय फेला पार्न सकेन। म मालिक र लीना संग बैठक मा गए।

बारम्बार मैले मेरो टाउकोमा हाम्रो सम्भावित संवाद दोहोर्याउँदै थिएँ। म धेरै चाँडो आइपुग्न सफल भएँ, आधा घण्टा अघि। म नर्भस हुन थाले, मैले 10 वटा चुरोट पिएँ। मैले बुझें, यो हो - म एक्लै चोक गर्दैछु। म तिनीहरूलाई मनाउन सक्षम हुनेछैन। अनि लिफ्टमा पस्यो ।

उठ्ने क्रममा उसले लाइटरलाई यति बलियो प्रहार गर्यो कि भाँचियो ।

नतिजाको रूपमा, Lenya बैठक मा थिएन। र हामीले मालिकसँग सबै कुराको बारेमा राम्रो कुराकानी गर्यौं! सर्गेईले मलाई आफ्नो पीडाको बारेमा बताए। उहाँ "क्लिकहाउस स्वचालित" गर्न चाहनुभएन - उहाँ "क्वेरीहरू काम गर्न" चाहन्थे।

मैले बाख्रा देखेको छैन, तर राम्रो केटा, आफ्नो व्यवसायको बारेमा चिन्तित, काममा 24/7 डुबेको। च्याटले अक्सर हामीलाई खलनायक, बदमास र मूर्ख मानिसहरूलाई तान्छ। तर जीवनमा यी तपाईं जस्तै मान्छे हुन्।

सर्गेईलाई भाडामा लिनको लागि केही डेभपहरू आवश्यक पर्दैन। उनीहरुको समस्या झनै ठूलो भयो ।

मैले उहाँका समस्याहरू समाधान गर्न सक्छु भनी भनेँ - यो पूर्णतया फरक काम हो, र मेरो एकजना साथी हुनुहुन्छ जसले यसको लागि काम गर्नुहुन्छ। यदि हामीले सुरुबाट थाहा पाएका थियौं कि यो उनीहरूको लागि सम्झौता हो, हामी धेरै बेवास्ता गर्ने थियौं। ढिलो भइसकेको छ, तर हामीले महसुस गर्यौं कि समस्या पूर्वाधारमा होइन, खराब डाटा व्यवस्थापनमा छ।

हामीले हात मिलायौं, उनीहरूले हाम्रो तलब साढे दुई गुणा बढाएका थियौं, तर मैले तिनीहरूको डाटा र क्लिकहाउसको सम्पूर्ण गडबड मेरो लागि लिने सर्तमा। लिफ्टमा, मैले त्यही DI केटा म्याक्ससँग कुराकानी गरें र उसलाई काममा जोडें। यो सम्पूर्ण क्लस्टर फाल्ने आवश्यक थियो।

ग्रहण गरिएको परियोजनामा ​​धेरै फोहोरहरू थिए। उल्लेखित "ब्याकअप" बाट सुरु गर्दै। यो उही "ब्याकअप" क्लस्टर पृथक थिएन कि बाहिर आयो। तिनीहरूले यसमा सबै कुरा परीक्षण गरे, कहिलेकाहीँ यसलाई उत्पादनमा पनि राखे।

हाम्रो इन-हाउस विकासकर्ताहरूले आफ्नै अनुकूलन डेटा इन्सर्टर सिर्जना गरेका छन्। उसले यसरी काम गर्यो: उसले फाइलहरू ब्याच गर्यो, स्क्रिप्ट चल्यो र डेटालाई तालिकामा मर्ज गर्यो। तर मुख्य समस्या यो थियो कि एक साधारण अनुरोधको लागि ठूलो मात्रामा डाटा स्वीकार गरियो। अनुरोध प्रत्येक सेकेन्ड डाटामा सामेल भयो। सबै एक नम्बरको लागि - प्रति दिन रकम।

इन-हाउस विकासकर्ताहरूले विश्लेषण उपकरण गलत रूपमा प्रयोग गरे। तिनीहरू ग्राफाना गए र आफ्नो शाही अनुरोध लेखे। उसले २ हप्ताको डाटा अपलोड गर्यो। यो एक सुन्दर ग्राफ देखिन्थ्यो। तर वास्तवमा, डाटा अनुरोध प्रत्येक 2 सेकेन्ड थियो। यो सबै लाममा जम्मा भएको थियो किनभने क्लिकहाउसले मात्र प्रशोधन गरेन। मुख्य कारण यहीँ लुकेको थियो । Grafana मा केहि पनि काम गरेन, अनुरोधहरू एक लाममा उभिए, र पुरानो, अप्रासंगिक डेटा लगातार आइपुग्यो।

हामीले क्लस्टरलाई पुन: कन्फिगर गर्यौं, सम्मिलनलाई पुन: प्राप्त गर्यौं। इन-हाउस विकासकर्ताहरूले तिनीहरूको "इन्सर्टर" लाई पुन: लेखे, र यसले सही रूपमा डेटा छेड्न थाल्यो।

म्याक्सले पूर्ण पूर्वाधार अडिट गर्यो। उनले पूर्ण ब्याकइन्डमा संक्रमणको लागि योजनाको रूपरेखा दिए। तर यो कम्पनीलाई उपयुक्त भएन । उनीहरूले म्याक्सबाट एउटा जादुई रहस्यको अपेक्षा गरे जसले उनीहरूलाई पुरानो तरिकाले काम गर्न अनुमति दिनेछ, तर मात्र कुशलतापूर्वक। Lenya अझै पनि परियोजना को चार्ज मा थियो, र उहाँले केहि सिक्न। प्रस्ताव गरिएको सबैबाट, उनले फेरि आफ्नो विकल्प रोजे। सधैं झैँ, यो सबैभन्दा छनौट... साहसी निर्णय थियो। Lenya विश्वास थियो कि उनको कम्पनी एक विशेष मार्ग थियो। काँडादार र हिमशिलाहरूले भरिएको।

वास्तवमा, हामी त्यहीँ बिछोडियौं - हामीले जे गर्न सक्छौं त्यही गर्यौं।

यस इतिहासबाट ज्ञान र बुद्धिले भरिएको, हामीले आफ्नै व्यवसाय खोल्यौं र आफ्नै लागि धेरै सिद्धान्तहरू गठन गर्यौं। हामीले पहिलेको जस्तो काम अहिले कहिल्यै सुरु गर्ने छैनौं।

DJ Max यस परियोजना पछि हामीसँग सामेल हुनुभयो, र हामी अझै पनि सँगै काम गर्छौं। क्लिकहाउस केसले मलाई काम सुरु गर्नु अघि पूर्ण र पूर्ण पूर्वाधार अडिट कसरी गर्ने भनेर सिकायो। हामी बुझ्छौं कि सबै कुरा कसरी काम गर्दछ र त्यसपछि मात्र कार्यहरू स्वीकार गर्नुहोस्। र यदि पहिले हामी तुरुन्तै पूर्वाधार मर्मत गर्न हतार गर्छौं भने, अब हामी पहिले एक पटकको परियोजना गर्छौं, जसले हामीलाई कसरी कामको अवस्थामा ल्याउने भनेर बुझ्न मद्दत गर्दछ।

र हो, हामी खराब पूर्वाधार भएका परियोजनाहरूलाई बेवास्ता गर्छौं। चाहे धेरै पैसाको लागि, चाहे मित्रता बाहिर। बिरामी आयोजनाहरू सञ्चालन गर्नु लाभदायक छैन। यो बुझेर हामीलाई बढ्न मद्दत गर्‍यो। या त पूर्वाधारलाई व्यवस्थित गर्न एक पटकको परियोजना र त्यसपछि मर्मत सम्झौता, वा हामी भर्खरै उड्छौं। अर्को आइसबर्ग पार।

P.S. त्यसैले यदि तपाइँसँग तपाइँको पूर्वाधारको बारेमा प्रश्नहरू छन् भने, अनुरोध पेश गर्न स्वतन्त्र महसुस गर्नुहोस्.

हामीसँग प्रति महिना २ नि:शुल्क अडिटहरू छन्, सायद तपाइँको परियोजना ती मध्ये एक हुनेछ।

स्रोत: www.habr.com