ओलेग Anastasyev संग मिनी-साक्षात्कार: Apache Cassandra मा दोष सहिष्णुता

Odnoklassniki RuNet मा Apache Cassandra को सबैभन्दा ठूलो प्रयोगकर्ता र संसारमा सबैभन्दा ठूलो मध्ये एक हो। हामीले 2010 मा फोटो मूल्याङ्कनहरू भण्डारण गर्न क्यासान्ड्रा प्रयोग गर्न थाल्यौं, र अब क्यासान्ड्राले हजारौं नोडहरूमा डाटाको पेटाबाइटहरू प्रबन्ध गर्छ, वास्तवमा, हामीले आफ्नै विकास पनि गर्यौं। NewSQL लेनदेन डाटाबेस.
सेप्टेम्बर 12 मा हाम्रो सेन्ट पीटर्सबर्ग कार्यालयमा हामी आयोजना गर्नेछौं दोस्रो भेट अपाचे क्यासान्ड्रालाई समर्पित। कार्यक्रमको मुख्य वक्ता Odnoklassniki ओलेग Anastasyev को प्रमुख ईन्जिनियर हुनेछ। ओलेग वितरित र गल्ती-सहिष्णु प्रणाली को क्षेत्र मा एक विशेषज्ञ हो; उहाँ 10 बर्ष भन्दा बढी र बारम्बार क्यासान्ड्रा संग काम गर्दै हुनुहुन्छ। सम्मेलनहरूमा यो उत्पादन प्रयोग गर्ने सुविधाहरूको बारेमा कुरा गर्नुभयो.

भेटघाटको पूर्वसन्ध्यामा, हामीले ओलेगसँग क्यासान्ड्रासँग वितरित प्रणालीहरूको त्रुटि सहिष्णुताको बारेमा कुरा गर्यौं, उनले भेटमा के कुरा गर्ने भनेर सोध्यौं र किन यो कार्यक्रममा उपस्थित हुन लायक छ।

ओलेगले आफ्नो प्रोग्रामिङ क्यारियर 1995 मा फिर्ता सुरु गरे। उनले बैंकिङ, टेलिकम र यातायातमा सफ्टवेयर विकास गरे। उहाँ प्लेटफर्म टोलीमा 2007 देखि Odnoklassniki मा एक अग्रणी विकासकर्ताको रूपमा काम गर्दै हुनुहुन्छ। उनका जिम्मेवारीहरूमा उच्च-लोड प्रणालीहरू, ठूला डाटा गोदामहरू, र पोर्टल प्रदर्शन र विश्वसनीयताका समस्याहरू समाधान गर्ने वास्तुकलाहरू र समाधानहरू विकास गर्ने समावेश छ। उसले कम्पनी भित्र विकासकर्ताहरूलाई प्रशिक्षण पनि दिन्छ।

- ओलेग, नमस्ते! वैशाखमा भयो पहिलो भेटघाट, Apache Cassandra लाई समर्पित, सहभागीहरू भन्छन् कि छलफलहरू राति अबेरसम्म चल्यो, कृपया मलाई भन्नुहोस्, पहिलो भेटअपको तपाईंको प्रभाव के छ?

विभिन्न कम्पनीहरूबाट विभिन्न पृष्ठभूमिका विकासकर्ताहरू आफ्नै पीडा, समस्याहरूको अप्रत्याशित समाधान र अद्भुत कथाहरू लिएर आएका थिए। हामीले धेरैजसो भेटघाटलाई छलफल ढाँचामा सञ्चालन गर्न व्यवस्थित गर्यौं, तर त्यहाँ यति धेरै छलफलहरू थिए कि हामीले योजनाबद्ध विषयहरूको एक तिहाइमा मात्र छुन सकेका थियौं। हामीले हाम्रो वास्तविक उत्पादन सेवाहरूको उदाहरण प्रयोग गरेर कसरी र के निगरानी गर्छौं भन्ने कुरामा हामीले धेरै ध्यान दिएका छौं।

मलाई चासो थियो र साँच्चै यो मनपर्यो।

- घोषणा द्वारा न्याय, दोस्रो भेट पूर्ण रूपमा दोष सहिष्णुतामा समर्पित हुनेछ, तपाईंले यो विषय किन रोज्नुभयो?

क्यासान्ड्रा एक विशिष्ट व्यस्त वितरण प्रणाली हो जसमा प्रयोगकर्ताका अनुरोधहरूलाई प्रत्यक्ष रूपमा सेवा गर्ने कार्यहरू भन्दा धेरै कार्यक्षमताहरू छन्: गपशप, असफलता पत्ता लगाउने, स्कीमा परिवर्तनहरूको प्रचार, क्लस्टर विस्तार/घटना, एन्टी-एन्ट्रोपी, ब्याकअप र रिकभरी, आदि। कुनै पनि वितरण प्रणालीमा जस्तै, हार्डवेयरको मात्रा बढ्दै जाँदा, विफलताको सम्भावना बढ्दै जान्छ, त्यसैले क्यासान्ड्रा उत्पादन क्लस्टरहरूको सञ्चालनलाई विफलता र अपरेटर कार्यहरूको अवस्थामा व्यवहारको भविष्यवाणी गर्न यसको संरचनाको गहिरो बुझाइ चाहिन्छ। धेरै वर्षको लागि क्यासान्ड्रा प्रयोग गरिसकेपछि, हामी महत्वपूर्ण विशेषज्ञता संचित गरेको छ, जुन हामी साझा गर्न तयार छौं, र हामी पसलका सहकर्मीहरूले सामान्य समस्याहरू कसरी समाधान गर्छन् भनेर छलफल गर्न चाहन्छौं।

- जब यो क्यासान्ड्राको कुरा आउँछ, तपाईले गल्ती सहिष्णुता भनेको के हो?

सबै भन्दा पहिले, पक्कै पनि, प्रणालीको विशिष्ट हार्डवेयर विफलताहरू बाँच्न सक्ने क्षमता: मेशिनहरू, डिस्कहरू, वा नोडहरू/डेटा केन्द्रहरूसँग नेटवर्क जडानको हानि। तर विषय आफैंमा धेरै फराकिलो छ र विशेष गरी असफलताहरूबाट पुन: प्राप्ति समावेश गर्दछ, जसका लागि मानिसहरू विरलै तयार हुन्छन्, उदाहरणका लागि, अपरेटर त्रुटिहरू।

— के तपाईं सबैभन्दा लोड भएको र सबैभन्दा ठूलो डाटा क्लस्टरको उदाहरण दिन सक्नुहुन्छ?

हाम्रो सबैभन्दा ठूलो क्लस्टर मध्ये एक उपहार क्लस्टर हो: 200 भन्दा बढी नोडहरू र सयौं TB डाटा। तर यो धेरै लोड गरिएको छैन, किनकि यो वितरित क्यास द्वारा कभर गरिएको छ। हाम्रा व्यस्त क्लस्टरहरूले लेख्नका लागि हजारौं RPS र पढ्नको लागि हजारौं RPS ह्यान्डल गर्छन्।

- वाह! कति पटक केहि बिग्रन्छ?

हो सबै समय! कुलमा, हामीसँग 6 हजार भन्दा बढी सर्भरहरू छन्, र प्रत्येक हप्ता दुईवटा सर्भरहरू र धेरै दर्जन डिस्कहरू प्रतिस्थापन गरिन्छ (मेसिन फ्लीटको अपग्रेड र विस्तारको समानान्तर प्रक्रियाहरूलाई ध्यान नदिई)। प्रत्येक प्रकारको विफलताको लागि, त्यहाँ के गर्ने र कुन क्रममा स्पष्ट निर्देशनहरू छन्, सम्भव भएसम्म सबै कुरा स्वचालित हुन्छ, त्यसैले विफलताहरू नियमित हुन्छन् र 99% केसहरूमा प्रयोगकर्ताहरूले ध्यान नदिने गर्छन्।

- तपाईं त्यस्ता अस्वीकारहरूसँग कसरी व्यवहार गर्नुहुन्छ?

क्यासान्ड्रा र पहिलो घटनाहरूको अपरेशनको शुरुवातदेखि नै, हामीले ब्याकअपहरू र तिनीहरूबाट पुनःप्राप्तिको लागि संयन्त्रहरूमा काम गर्यौं, क्यासान्ड्रा क्लस्टरहरूको अवस्थालाई ध्यानमा राख्ने डिप्लोइमेन्ट प्रक्रियाहरू निर्माण गर्‍यौं र, उदाहरणका लागि, नोडहरू पुन: सुरु गर्न अनुमति दिदैन। यदि डाटा हानि सम्भव छ। हामी बैठकमा यो सबै कुरा गर्ने योजना छ।

- तपाईले भन्नुभएझैं, त्यहाँ कुनै पूर्ण रूपमा भरपर्दो प्रणालीहरू छैनन्। तपाईं कस्ता प्रकारका असफलताहरूको लागि तयारी गर्नुहुन्छ र ह्यान्डल गर्न सक्षम हुनुहुन्छ?

यदि हामी क्यासान्ड्रा क्लस्टरहरूको हाम्रो स्थापनाहरूको बारेमा कुरा गर्छौं भने, हामीले एक DC वा एक पूरै DC (यो भएको छ) मा धेरै मेसिनहरू गुमाएमा प्रयोगकर्ताहरूले केही पनि याद गर्नेछैनन्। DC को संख्यामा वृद्धि संग, हामी दुई DC को विफलता को घटना मा अपरेटिबिलिटी सुनिश्चित गर्न सुरु गर्ने बारे सोचिरहेका छौं।

- गल्ती सहिष्णुताको सन्दर्भमा क्यासान्ड्रामा के कमी छ जस्तो लाग्छ?

क्यासान्ड्रा, धेरै अन्य प्रारम्भिक NoSQL स्टोरहरू जस्तै, यसको आन्तरिक संरचना र हुने गतिशील प्रक्रियाहरूको गहिरो बुझाइ चाहिन्छ। म भन्न चाहन्छु कि यसमा सादगी, भविष्यवाणी र अवलोकनको कमी छ। तर यो अन्य बैठक सहभागीहरूको राय सुन्न रोचक हुनेछ!

ओलेग, प्रश्नहरूको जवाफ दिन समय निकाल्नु भएकोमा धेरै धेरै धन्यवाद!

हामी हाम्रो सेन्ट पिटर्सबर्ग कार्यालयमा सेप्टेम्बर 12 मा हुने बैठकमा अपाचे क्यासान्ड्रा सञ्चालन गर्ने क्षेत्रका विशेषज्ञहरूसँग कुराकानी गर्न चाहने सबैको लागि पर्खिरहेका छौं।

आउनुहोस्, यो रोचक हुनेछ!

घटनाको लागि दर्ता गर्नुहोस्।

स्रोत: www.habr.com