उहाँ तिम्रो लागि राम्रो छैन

रुकको बढ्दो लोकप्रियताको सम्बन्धमा, म यसको समस्या र समस्याहरूको बारेमा कुरा गर्न चाहन्छु जुन तपाईंलाई बाटोमा पर्खिरहेको छ।

मेरो बारेमा: ह्यामर संस्करण, समुदाय संस्थापकबाट सेफ प्रशासनमा अनुभव t.me/ceph_ru टेलिग्राममा।

निराधार नहुनको लागि, म सेफको समस्याहरूको बारेमा Habr (रेटिंग द्वारा न्याय गर्दै) द्वारा स्वीकृत पोष्टहरू सन्दर्भ गर्नेछु। मैले यी पोष्टहरूमा धेरै समस्याहरू पनि सामना गरें। प्रयोग गरिएको सामग्रीको लिङ्कहरू पोस्टको अन्त्यमा छन्।

रुकको बारेमा पोष्टमा, हामीले एक कारणको लागि सेफलाई उल्लेख गर्छौं - रुक अनिवार्य रूपमा सेफ कुबर्नेट्समा बेरिएको हो, जसको मतलब यसले यसको सबै समस्याहरू वंशानुगत गर्दछ। ceph समस्याहरु संग सुरु गरौं।

क्लस्टर व्यवस्थापनलाई सरल बनाउनुहोस्

रुकको एउटा फाइदा कुबेरेन्टेस मार्फत सेफ प्रबन्ध गर्न सजिलो छ।

जे होस्, ceph ले कन्फिगरेसनका लागि 1000 भन्दा बढी प्यारामिटरहरू समावेश गर्दछ, जबकि एकै समयमा, rook मार्फत हामी तिनीहरूको अल्पसंख्यक मात्र सम्पादन गर्न सक्छौं।

उज्यालो मा उदाहरण
> ceph डेमन mon.a कन्फिगरेसन शो | wc -l
1401

Rook ceph स्थापना र अद्यावधिक गर्न एक सुविधाजनक तरिका को रूप मा स्थित छ
त्यहाँ रुक बिना ceph स्थापना गर्न कुनै समस्या छैन - उत्तरदायी प्लेबुक 30 मिनेटमा लेखिएको छ, तर अपडेट गर्दा धेरै समस्याहरू छन्।

Krok को पोस्टबाट उद्धरण

उदाहरण: क्रश ट्युनेबलले हम्मरबाट ज्वेलमा अद्यावधिक गरेपछि ठीकसँग काम गर्दैन

> ceph osd क्रश शो-ट्यूनेबल
{
...
"straw_calc_version": 1,
"allowed_bucket_algs": 22,
"profile": "अज्ञात",
"optimal_tunables": ०,
...
}

तर सानो संस्करण भित्र पनि समस्याहरू छन्।

उदाहरण: 12.2.6 अपडेट गर्नुहोस् क्लस्टरलाई स्वास्थ्य त्रुटि स्थितिमा ल्याउँदै र सशर्त रूपमा बिग्रिएको PG
ceph.com/releases/v12-2-8-released

अपडेट नगर्नुहोस्, पर्खनुहोस् र परीक्षण गर्नुहोस्? तर हामी अन्य चीजहरूको बीचमा अपडेटहरूको सुविधाको लागि रुक ​​प्रयोग गर्दछौं।

रुकमा प्रकोप रिकभरी क्लस्टरको जटिलता

उदाहरण: ओएसडी यसको खुट्टामा त्रुटिहरूको दानासँग खस्छ। तपाइँलाई शंका छ कि समस्या कन्फिगरेसन मा एक प्यारामिटर मा छ, तपाइँ एक विशिष्ट डेमन को लागी कन्फिगरेसन परिवर्तन गर्न चाहानुहुन्छ, तर तपाइँ सक्नुहुन्न किनभने तपाइँसँग kubernetes र DaemonSet छ।

यसको विकल्प छैन । ceph tell osd.Num injectargs ले काम गर्दैन - OSD झूट बोलिरहेको छ।

डिबग गर्न कठिनाई

केहि सेटअपहरू र प्रदर्शन परीक्षणहरू सिधै डेमनको ओएसडी सकेटमा जडान गर्न आवश्यक छ। रुकको मामलामा, तपाईंले पहिले इच्छित कन्टेनर फेला पार्न आवश्यक छ, त्यसपछि यसमा जानुहोस्, डिबगको लागि हराइरहेको टूलिङ फेला पार्नुहोस् र धेरै निराश हुनुहोस्।

OSD क्रमिक रूपमा उठाउन कठिनाई

उदाहरण: OSD OOM मा आउँछ, पुन: सन्तुलन सुरु हुन्छ, त्यसपछि निम्नहरू घट्छन्।

समाधान: एक पटकमा एक ओएसडी बढाउनुहोस्, क्लस्टरमा पूर्ण रूपमा समावेश नभएसम्म पर्खनुहोस् र अर्कोहरू बढाउनुहोस्। (सेफ रिपोर्टमा थप विवरणहरू। प्रकोपको शरीर रचना)।

एक baremetal स्थापना को मामला मा, यो केवल हात द्वारा गरिन्छ; Rook र प्रति नोड एक OSD को मामला मा, त्यहाँ कुनै विशेष समस्या छैन; वैकल्पिक लिफ्टिंग संग समस्या उत्पन्न हुनेछ यदि OSD > 1 प्रति नोड।

निस्सन्देह, तिनीहरू हल गर्न सकिन्छ, तर हामी चीजहरू सरल बनाउन रुक प्रयोग गर्छौं, तर थप जटिलता प्राप्त गर्दछौं।

सेफ राक्षसहरूको लागि सीमाहरू चयन गर्न कठिनाई

ceph को एक baremetal स्थापना को लागी, क्लस्टर को लागी आवश्यक स्रोतहरु को गणना गर्न को लागी एकदम सजिलो छ - त्यहाँ सूत्रहरु र अनुसन्धान उपलब्ध छ। यदि तपाइँ कमजोर CPU प्रयोग गर्दै हुनुहुन्छ भने, तपाइँ अझै पनि Numa के हो पत्ता लगाउन केहि प्रदर्शन परीक्षणहरू चलाउनु पर्नेछ, तर यो अझै पनि Rook भन्दा सजिलो छ।

Rook को मामला मा, गणना गर्न सकिने मेमोरी सीमा को अतिरिक्त, तपाईंसँग CPU सीमा सेट गर्ने प्रश्न छ।

र यहाँ तपाईंले प्रदर्शन परीक्षणको साथ कडा परिश्रम गर्नुपर्नेछ। यदि तपाईंले सीमाहरू घटाउनुभयो भने, तपाईंले ढिलो क्लस्टर प्राप्त गर्नुहुनेछ; यदि तपाईंले अनलिम सेट गर्नुभयो भने, तपाईंले पुन: सन्तुलनको क्रममा सक्रिय CPU प्रयोग प्राप्त गर्नुहुनेछ, जसले kubernetes मा तपाईंको अनुप्रयोगहरूमा नराम्रो प्रभाव पार्नेछ।

नेटवर्किङ समस्याहरू v1

ceph को लागि 2x10GB नेटवर्क प्रयोग गर्न सिफारिस गरिन्छ। एउटा ग्राहक ट्राफिकको लागि, अर्को ceph सेवा आवश्यकताहरूको लागि (पुनः सन्तुलन)। यदि तपाईं बेरेमेटलमा सेफसँग बस्नुहुन्छ भने, यो विभाजन सजिलैसँग कन्फिगर गरिएको छ, यदि तपाईं रुकसँग बस्नुहुन्छ भने, नेटवर्कहरूद्वारा विभाजनले तपाईंलाई समस्या निम्त्याउनेछ, किनभने प्रत्येक क्लस्टर कन्फिगरेसनले तपाईंलाई पोडमा दुई फरक नेटवर्कहरू फिड गर्न अनुमति दिँदैन। ।

नेटवर्किङ समस्याहरू v2

यदि तपाईंले नेटवर्कहरू अलग गर्न अस्वीकार गर्नुभयो भने, तब रिब्यालेन्स गर्दा, ceph ट्राफिकले सम्पूर्ण च्यानललाई बन्द गर्नेछ र kubernetes मा तपाईंको अनुप्रयोगहरू सुस्त वा क्र्यास हुनेछन्। तपाईंले सेफ रिब्यालेन्सिङको गति घटाउन सक्नुहुन्छ, तर लामो रिब्यालेन्सिङको कारणले तपाईंले डिस्क वा OOM मार्फत दोस्रो नोड क्लस्टरबाट बाहिर निस्कने जोखिम बढाउनुहुन्छ, र त्यहाँ क्लस्टरका लागि मात्र पढ्ने ग्यारेन्टी छ।

लामो पुन: सन्तुलन - लामो आवेदन ढिलाइ

Ceph को पोस्टबाट उद्धरण। एक प्रकोप को शरीर रचना।

परीक्षण क्लस्टर प्रदर्शन:

4 KB साइजको लेखन अपरेशनले 1 ms लिन्छ, प्रदर्शन 1000 थ्रेडमा 1 अपरेसन/सेकेन्ड हुन्छ।

4 MB (वस्तुको आकार) को एक अपरेशनले 22 ms लिन्छ, प्रदर्शन 45 अपरेशन / सेकेन्ड हो।

फलस्वरूप, जब तीन मध्ये एउटा डोमेन असफल हुन्छ, क्लस्टर केही समयको लागि डिग्रेडेड अवस्थामा हुन्छ, र आधा तातो वस्तुहरू विभिन्न संस्करणहरूमा वितरित हुन्छन्, त्यसपछि लेखन कार्यहरूको आधा जबर्जस्ती रिकभरीको साथ सुरु हुन्छ।

हामी जबरजस्ती रिकभरी समय लगभग गणना गर्छौं - अपरेशनहरू अपमानित वस्तुमा लेख्नुहोस्।

पहिले हामी 4 ms मा 22 MB पढ्छौं, 22 ms लेख्छौं, र त्यसपछि 1 ms मा 4 KB वास्तविक डाटा लेख्छौं। SSD मा एक डिग्रेडेड वस्तुमा प्रति लेखन अपरेशन कुल 45 ms, जब मानक प्रदर्शन 1 ms थियो - प्रदर्शनमा 45-गुना गिरावट।

हामीसँग अपमानित वस्तुहरूको प्रतिशत जति उच्च हुन्छ, सबै चीजहरू खराब हुन्छन्।

यो क्लस्टर को सही सञ्चालन को लागी पुन: सन्तुलन को गति महत्वपूर्ण छ भनेर बाहिर जान्छ।

ceph को लागि विशिष्ट सर्भर सेटिङहरू

ceph लाई विशिष्ट होस्ट ट्युनिङ आवश्यक हुन सक्छ।

उदाहरण: sysctl सेटिङहरू र उही जम्बोफ्रेम, यी सेटिङहरू मध्ये केहीले तपाईंको पेलोडलाई नकारात्मक रूपमा असर गर्न सक्छ।

रुकको वास्तविक आवश्यकता प्रश्नमा रहन्छ

यदि तपाइँ क्लाउडमा हुनुहुन्छ भने तपाइँसँग तपाइँको क्लाउड प्रदायकबाट भण्डारण छ, जुन धेरै सुविधाजनक छ।

यदि तपाईं आफ्नै सर्भरहरूमा हुनुहुन्छ भने, तब ceph को प्रबन्धन kubernetes बिना अधिक सुविधाजनक हुनेछ।

के तपाइँ केहि कम लागत होस्टिङबाट सर्भरहरू भाडामा लिनुहुन्छ? त्यसोभए तपाईले नेटवर्क, यसको ढिलाइ र ब्यान्डविथसँग धेरै रमाइलो गर्नुहुनेछ, जसले स्पष्ट रूपमा सेफलाई असर गर्छ।

कुल: kuberentes लागू गर्नु र भण्डारण कार्यान्वयन गर्नु विभिन्न इनपुटहरू र विभिन्न समाधान विकल्पहरू भएका फरक कार्यहरू हुन् - तिनीहरूलाई मिश्रण गर्नु भनेको एक वा अर्कोको खातिर सम्भवतः खतरनाक व्यापार-अफ गर्नु हो। डिजाइन चरणमा पनि यी समाधानहरू संयोजन गर्न धेरै गाह्रो हुनेछ, र त्यहाँ अझै सञ्चालनको अवधि छ।

प्रयुक्त साहित्य को सूची:

पोस्ट नम्बर १ तर तपाईं Ceph भन्नुहुन्छ ... के ऊ साँच्चै राम्रो छ?
पोस्ट नम्बर १ सेफ। एक प्रकोप को शरीर रचना

स्रोत: www.habr.com