Kubernetes मा भण्डारण: OpenEBS बनाम Rook (Ceph) बनाम Rancher Longhorn vs StorageOS vs Robin vs Portworx vs Linstor

अपडेट गर्नुहोस्!। टिप्पणीहरूमा, एक पाठकले प्रयास गर्न सुझाव दिए लिनस्टोर (हुनसक्छ उसले आफैंमा काम गरिरहेको छ) त्यसैले मैले यो समाधानको बारेमा एउटा खण्ड थपेको छु। मैले पनि लेखेँ यसलाई कसरी स्थापना गर्ने भन्ने बारे पोस्ट गर्नुहोस्, किनभने प्रक्रिया बाँकी भन्दा धेरै फरक छ।

इमानदारीपूर्वक भन्नुपर्दा, मैले हार खाएँ र त्यागे कुबर्नेट्स (कम से कम अहिलेको लागि)। म प्रयोग गर्नेछु हिरोकू। किन? भण्डारणको कारण! कसले सोचेको थियो कि म कुबेरनेटमा भन्दा भण्डारणमा बढी टिंकर गर्छु। म प्रयोग गर्छु Hetzner क्लाउडकिनभने यो सस्तो छ र प्रदर्शन राम्रो छ र सुरुदेखि नै मैले क्लस्टरहरू प्रयोग गर्दै आएको छु। Rancher। मैले Google/Amazon/Microsoft/DigitalOcean, आदि, आदि बाट व्यवस्थित Kubernetes सेवाहरू प्रयास गरिन, किनकि म आफैं सबै कुरा सिक्न चाहन्छु। म पनि मितव्ययी छु।

त्यसोभए, मैले सम्भावित Kubernetes स्ट्याकको मूल्याङ्कन गर्दा कुन भण्डारण छनौट गर्ने भनेर निर्णय गर्ने प्रयासमा मैले धेरै समय बिताएँ। म खुला स्रोत समाधानहरू रुचाउँछु, केवल मूल्यको कारणले मात्र होइन, तर मैले जिज्ञासाबाट केही सशुल्क विकल्पहरू हेरेको छु किनभने तिनीहरूसँग सीमितताहरूसँग निःशुल्क संस्करणहरू छन्। मैले विभिन्न विकल्पहरू तुलना गर्दा हालका परीक्षणहरूबाट केही संख्याहरू लेखेको छु, र तिनीहरू कुबेरनेट भण्डारणको बारेमा सिक्नेहरूका लागि चासोको हुन सक्छन्। यद्यपि मैले व्यक्तिगत रूपमा कुबेरनेटलाई अहिलेको लागि अलविदा भनेको छु। म पनि उल्लेख गर्न चाहन्छु CSI चालक, जसले प्रत्यक्ष रूपमा Hetzner क्लाउड भोल्युमहरू प्रावधान गर्न सक्छ, तर मैले अहिलेसम्म प्रयास गरेको छैन। मैले क्लाउड सफ्टवेयर-परिभाषित भण्डारणमा हेरेँ किनभने मलाई प्रतिकृति र कुनै पनि नोडमा द्रुत रूपमा निरन्तर भोल्युमहरू माउन्ट गर्ने क्षमता चाहिन्छ, विशेष गरी नोड विफलता र अन्य समान परिस्थितिहरूको अवस्थामा। केही समाधानहरूले पोइन्ट-इन-टाइम स्न्यापशटहरू र अफ-साइट ब्याकअपहरू प्रस्ताव गर्छन्, जुन सुविधाजनक छ।

मैले 6-7 भण्डारण समाधानहरू परीक्षण गरें:

OpenEBS

मैले भनें अघिल्लो पोस्टमासूचीबाट धेरैजसो विकल्पहरू परीक्षण गरिसकेपछि, म सुरुमा OpenEBS मा बसेँ। OpenEBS स्थापना गर्न र प्रयोग गर्न धेरै सजिलो छ, तर इमानदार हुन, लोड अन्तर्गत वास्तविक डाटाको साथ परीक्षण गरेपछि, म यसको प्रदर्शनबाट निराश भएँ। यो खुला स्रोत हो, र विकासकर्ताहरू आफ्नै मा छन् ढिलो च्यानल सधैं धेरै सहयोगी जब मलाई मद्दत चाहिन्छ। दुर्भाग्यवश, अन्य विकल्पहरूको तुलनामा यसको धेरै कमजोर प्रदर्शन छ, त्यसैले परीक्षणहरू पुन: चलाउनु पर्यो। OpenEBS मा हाल 3 भण्डारण इन्जिनहरू छन्, तर म cStor को लागि बेन्चमार्क परिणामहरू पोस्ट गर्दैछु। मसँग अझै Jiva र LocalPV को लागि नम्बर छैन।

संक्षेपमा, Jiva थोरै छिटो छ, र LocalPV सामान्यतया छिटो छ, सीधा डिस्क बेन्चमार्क भन्दा खराब छैन। LocalPV को समस्या यो हो कि भोल्युम नोडमा मात्र पहुँच गर्न सकिन्छ जहाँ यो तयार गरिएको थियो, र त्यहाँ कुनै प्रतिकृति छैन। मार्फत ब्याकअप पुनर्स्थापना गर्दा मलाई केही समस्याहरू थिए सेलबोट नयाँ क्लस्टरमा किनभने नोड नामहरू फरक थिए। यदि हामी ब्याकअपको बारेमा कुरा गर्छौं भने, cStor छ Velero को लागी प्लगइन, जसको साथ तपाईंले समयको एक बिन्दुमा स्न्यापशटहरूको अफ-साइट ब्याकअपहरू बनाउन सक्नुहुन्छ, जुन Velero-Restic सँग फाइल-स्तर ब्याकअपहरू भन्दा बढी सुविधाजनक छ। मैले लेखेँ धेरै लिपिहरू, यो प्लगइन संग ब्याकअप र पुनर्स्थापना व्यवस्थापन गर्न सजिलो बनाउन। समग्रमा, मलाई साँच्चै OpenEBS मन पर्छ, तर यसको प्रदर्शन ...

रोक

रुक पनि खुला स्रोत हो, र सूचीमा रहेका बाँकी विकल्पहरूबाट यसलाई अलग सेट गर्ने कुरा यो हो कि यो एक भण्डारण अर्केस्ट्रेटर हो जसले विभिन्न ब्याकएन्डहरूसँग जटिल भण्डारण व्यवस्थापन कार्यहरू ह्यान्डल गर्छ, उदाहरणका लागि। सेफ, EdgeFS र अन्य, जसले कामलाई धेरै सरल बनाउँछ। मैले केहि महिना पहिले यो प्रयास गर्दा EfgeFS सँग समस्या थियो, त्यसैले मैले मुख्य रूपमा Ceph सँग परीक्षण गरें। Ceph ले ब्लक भण्डारण मात्र प्रदान गर्दैन, तर S3/Swift र वितरित फाइल प्रणालीसँग उपयुक्त वस्तु भण्डारण पनि प्रदान गर्दछ। मलाई Ceph को बारेमा मनपर्ने कुरा भनेको धेरै डिस्कहरूमा भोल्युम डाटा फैलाउने क्षमता हो ताकि भोल्युमले एकल डिस्कमा फिट हुन सक्ने भन्दा बढी डिस्क स्पेस प्रयोग गर्न सक्छ। यो सहज छ। अर्को राम्रो विशेषता यो हो कि जब तपाइँ क्लस्टरमा डिस्कहरू थप्नुहुन्छ, यसले स्वचालित रूपमा सबै डिस्कहरूमा डेटा पुन: वितरण गर्दछ।

Ceph सँग स्न्यापशटहरू छन्, तर जहाँसम्म मलाई थाहा छ, तिनीहरू सीधा रुक/कुबर्नेट्समा प्रयोग गर्न सकिँदैन। साँचो, म यसमा गहिरो गएको छैन। तर त्यहाँ कुनै अफ-साइट ब्याकअपहरू छैनन्, त्यसैले तपाईंले भेलेरो/रेस्टिकसँग केहि प्रयोग गर्नुपर्नेछ, तर त्यहाँ केवल फाइल-स्तर ब्याकअपहरू छन्, पोइन्ट-इन-टाइम स्न्यापशटहरू होइन। मलाई रुकको बारेमा के मनपर्‍यो त्यो Ceph सँग काम गर्न कत्ति सजिलो छ - यसले लगभग सबै जटिल सामानहरू लुकाउँछ र समस्या निवारणको लागि Ceph सँग सीधा कुरा गर्न उपकरणहरू प्रदान गर्दछ। दुर्भाग्यवश, Ceph भोल्युमहरूको तनाव परीक्षणको क्रममा, मलाई समस्याहरू भइरहे यो समस्या, जसले सेफलाई अस्थिर बनाउँछ। यो अझै स्पष्ट छैन कि यो Ceph मा बग हो वा रुकले Ceph लाई व्यवस्थापन गर्ने तरिकामा समस्या हो। मैले मेमोरी सेटिङहरूसँग टिंकर गरें, र यो राम्रो भयो, तर समस्या पूर्ण रूपमा हल भएन। Ceph को सभ्य प्रदर्शन छ, तपाईले तल बेन्चमार्कमा देख्न सक्नुहुन्छ। यसमा राम्रो ड्यासबोर्ड पनि छ।

Rancher Longhorn

मलाई साँच्चै Longhorn मन पर्छ। मेरो विचारमा, यो एक आशाजनक समाधान हो। साँचो, विकासकर्ताहरू आफैं (रान्चर ल्याबहरू) स्वीकार्छन् कि यो अझै काम गर्ने वातावरणको लागि उपयुक्त छैन, र यो देखाउँछ। यो खुला स्रोत हो र यसको राम्रो प्रदर्शन छ (यद्यपि तिनीहरूले यसलाई अझै अप्टिमाइज गरेका छैनन्), तर भोल्युमहरूले पोडमा जडान हुन धेरै समय लिन्छ, र सबैभन्दा खराब अवस्थामा यसले 15-16 मिनेट लिन्छ, विशेष गरी ठूलो ब्याकअप पुनर्स्थापित गरेपछि वा कार्यभार अपग्रेड गर्दै। यसमा यी स्न्यापसटहरूको स्न्यापसटहरू र अफ-साइट ब्याकअपहरू छन्, तर तिनीहरू केवल भोल्युमहरूमा लागू हुन्छन्, त्यसैले तपाईंलाई अझै पनि अन्य स्रोतहरू ब्याकअप गर्न Velero जस्तै केहि चाहिन्छ। ब्याकअप र रिस्टोरहरू धेरै भरपर्दो छन्, तर अशोभनीय रूपमा ढिलो छन्। गम्भीरतापूर्वक, केवल अविश्वसनीय ढिलो। Longhorn मा डेटा को एक मध्यम मात्रा संग काम गर्दा CPU उपयोग र प्रणाली लोड अक्सर स्पाइक। Longhorn व्यवस्थापन गर्न एक सुविधाजनक ड्यासबोर्ड छ। मैले पहिले नै भनेको छु कि मलाई Longhorn मन पर्छ, तर यो केहि काम चाहिन्छ।

भण्डारण ओएस

StorageOS सूचीमा पहिलो सशुल्क उत्पादन हो। योसँग 500GB को सीमित व्यवस्थित भण्डारण आकारको साथ विकासकर्ता संस्करण छ, तर मलाई लाग्दैन कि नोडहरूको संख्यामा सीमा छ। बिक्री विभागले मलाई भन्यो कि लागत 125 TB को लागि प्रति महिना $ 1 मा सुरु हुन्छ, यदि मलाई सही रूपमा सम्झना छ। त्यहाँ एक आधारभूत ड्यासबोर्ड र एक सुविधाजनक CLI छ, तर प्रदर्शनको साथ केहि अनौठो भइरहेको छ: केहि बेन्चमार्कहरूमा यो एकदम सभ्य छ, तर भोल्युम तनाव परीक्षणमा मलाई गति मन परेन। सामान्यतया, मलाई के भन्ने थाहा छैन। त्यसैले मैले खासै बुझिन । यहाँ कुनै अफ-साइट ब्याकअपहरू छैनन् र तपाईंले ब्याकअप भोल्युमहरूमा रेस्टिकसँग भेलेरो प्रयोग गर्नुपर्नेछ। यो अनौठो छ, किनकि उत्पादन भुक्तान गरिएको छ। र विकासकर्ताहरू स्ल्याकमा सञ्चार गर्न उत्सुक थिएनन्।

रबिन

मैले उनीहरूको प्राविधिक निर्देशकबाट Reddit मा रोबिनको बारेमा सिके। मैले उसको बारेमा पहिले कहिल्यै सुनेको थिइनँ। हुनसक्छ किनभने म नि: शुल्क समाधानहरू खोज्दै थिएँ, तर रोबिनलाई भुक्तान गरिएको छ। तिनीहरूसँग 10TB भण्डारण र तीन नोडहरूको साथ राम्रो उदार नि: शुल्क संस्करण छ। समग्रमा, उत्पादन एकदम सभ्य छ र राम्रो सुविधाहरू छन्। त्यहाँ एक उत्कृष्ट CLI छ, तर सबैभन्दा राम्रो कुरा यो हो कि तपाइँ सम्पूर्ण अनुप्रयोगको स्न्यापसट र ब्याकअप गर्न सक्नुहुन्छ (संसाधन चयनकर्तामा यसलाई हेल्म रिलीज वा "फ्लेक्स एप्स" भनिन्छ), भोल्युम र अन्य स्रोतहरू सहित, त्यसैले तपाइँ Velero बिना गर्न सक्नुहुन्छ। र सबै कुरा अद्भुत हुनेछ यदि एक सानो विवरणको लागि होइन: यदि तपाइँ पुनर्स्थापना गर्नुहुन्छ (वा "आयात", जसरी यसलाई रोबिनमा भनिन्छ) नयाँ क्लस्टरमा अनुप्रयोग - उदाहरणका लागि, प्रकोपबाट पुन: प्राप्तिको अवस्थामा - पुनर्स्थापना, निस्सन्देह, काम गर्दछ, तर यो निषेध गरिएको अनुप्रयोग ब्याकअप गर्न जारी राख्नुहोस्। यो यस रिलीजमा सम्भव छैन, जस्तै विकासकर्ताहरूले पुष्टि गरेका छन्। यो हो, यसलाई हल्का, अनौठो, विशेष गरी अन्य फाइदाहरू विचार गर्दै (उदाहरणका लागि, अविश्वसनीय रूपमा छिटो ब्याकअपहरू र पुनर्स्थापनाहरू)। विकासकर्ताहरूले अर्को रिलीजमा सबै कुरा ठीक गर्ने वाचा गर्छन्। प्रदर्शन सामान्यतया राम्रो छ, तर मैले एउटा विचित्रता देखेँ: यदि मैले होस्टमा संलग्न भोल्युममा सीधा बेन्चमार्क चलाउँछु भने, पढ्ने गति पोड भित्रबाट उही भोल्युम चलाउनु भन्दा धेरै छिटो हुन्छ। अन्य सबै परिणामहरू समान छन्, तर सिद्धान्तमा कुनै भिन्नता हुनु हुँदैन। यद्यपि तिनीहरू यसमा काम गरिरहेका छन्, म पुनर्स्थापना र ब्याकअपको समस्याको बारेमा चिन्तित थिएँ - मैले सोचें कि मैले अन्ततः उपयुक्त समाधान फेला पारेको छु, र म यसको लागि तिर्न पनि इच्छुक थिएँ जब मलाई थप ठाउँ वा धेरै सर्भरहरू चाहिन्छ।

portworx

म यहाँ भन्न को लागी धेरै छैन। यो एक सशुल्क उत्पादन हो, समान रूपमा राम्रो र महँगो। प्रदर्शन मात्र अचम्मको छ। यो अहिलेसम्मको सबैभन्दा राम्रो सूचक हो। स्ल्याकले मलाई भन्यो कि मूल्य निर्धारण प्रति महिना $ 205 प्रति नोडबाट सुरु हुन्छ, जस्तै Google को GKE मार्केटप्लेसमा सूचीबद्ध। मलाई थाहा छैन यदि तपाईले सिधै किन्नु भयो भने यो सस्तो हुनेछ। म जे भए पनि त्यो वहन गर्न सक्दिन, त्यसैले म धेरै, धेरै निराश थिएँ कि विकासकर्ता इजाजतपत्र (१ TB र 1 नोडहरू सम्म) व्यावहारिक रूपमा कुबर्नेट्ससँग बेकार छ जबसम्म तपाईं स्थिर प्रावधानसँग सन्तुष्ट हुनुहुन्न। मलाई आशा थियो कि भोल्युम इजाजतपत्र स्वचालित रूपमा परीक्षण अवधिको अन्त्यमा विकासकर्तामा डाउनग्रेड हुनेछ, तर त्यो भएन। विकासकर्ता इजाजतपत्र केवल डकरसँग मात्र प्रयोग गर्न सकिन्छ, र Kubernetes मा कन्फिगरेसन धेरै बोझिलो र सीमित छ। अवश्य पनि, म खुला स्रोत रुचाउँछु, तर यदि मसँग पैसा थियो भने, म निश्चित रूपमा Portworx रोज्ने थिएँ। अहिलेसम्म, यसको प्रदर्शनले अन्य विकल्पहरूसँग तुलना गर्दैन।

लिनस्टोर

मैले पोस्टको प्रकाशन पछि यो खण्ड थपे, जब एक पाठकले Linstor प्रयास गर्न सुझाव दिए। मैले यो प्रयास गरे र मलाई यो मन पर्यो! तर हामीले अझै गहिरो खन्नुपर्छ। अब म भन्न सक्छु कि प्रदर्शन खराब छैन (मैले तल बेन्चमार्क परिणामहरू थपे)। अनिवार्य रूपमा, मैले कुनै ओभरहेड बिना, सीधा डिस्कको रूपमा समान प्रदर्शन पाएँ। (किन न सोध्नुहोस् किन Portworx सँग ड्राइभ बेन्चमार्क भन्दा राम्रो नम्बरहरू छन्। मलाई थाहा छैन। जादू, मलाई लाग्छ।) त्यसैले Linstor अहिलेसम्म धेरै प्रभावकारी देखिन्छ। यो स्थापना गर्न गाह्रो छैन, तर यो अन्य विकल्पहरू जस्तै सजिलो छैन। पहिले मैले Linstor (कर्नेल मोड्युल र उपकरणहरू/सेवाहरू) स्थापना गर्नुपर्‍यो र कुबेरनेटको बाहिर पातलो प्रावधान र स्न्यापसट समर्थनको लागि LVM कन्फिगर गर्नुपर्‍यो, सीधा होस्टमा, र त्यसपछि Kubernetes बाट भण्डारण प्रयोग गर्न आवश्यक स्रोतहरू सिर्जना गर्नुहोस्। मलाई मन परेन कि यसले CentOS मा काम गर्दैन र मैले Ubuntu प्रयोग गर्नुपर्‍यो। डरलाग्दो छैन, अवश्य पनि, तर थोरै कष्टप्रद, किनकि कागजात (जुन उत्कृष्ट छ, वैसे) ले धेरै प्याकेजहरू उल्लेख गर्दछ जुन निर्दिष्ट Epel भण्डारहरूमा फेला पार्न सकिँदैन। Linstor सँग स्न्यापशटहरू छन्, तर अफ-साइट ब्याकअपहरू छैनन्, त्यसैले यहाँ फेरि मैले ब्याकअप भोल्युमहरूमा रेस्टिकसँग भेलेरो प्रयोग गर्नुपर्‍यो। म फाइल-स्तर ब्याकअपको सट्टा स्न्यापशटहरू रुचाउँछु, तर यदि समाधान प्रदर्शनकारी र भरपर्दो छ भने यो सहन सकिन्छ। Linstor खुला स्रोत हो तर भुक्तान गरिएको समर्थन छ। यदि मैले सही रूपमा बुझें भने, यो प्रतिबन्ध बिना प्रयोग गर्न सकिन्छ, तपाईंसँग समर्थन सम्झौता नभए पनि, तर यो स्पष्ट गर्न आवश्यक छ। मलाई थाहा छैन Linstor कत्तिको परीक्षण गरिएको Kubernetes को लागि हो, तर भण्डारण तह आफै Kubernetes बाहिर छ र, स्पष्ट रूपमा, समाधान हिजो देखा परेन, त्यसैले यो पहिले नै वास्तविक अवस्थामा परीक्षण गरिएको छ। के यहाँ कुनै समाधान छ जसले मलाई मेरो मन परिवर्तन गर्न र कुबेरनेटमा फर्कन सक्छ? मलाई थाहा छैन। हामीले अझै गहिरो खन्ने र प्रतिकृति अध्ययन गर्न आवश्यक छ। हेरौं। तर पहिलो प्रभाव राम्रो छ। म पक्कै पनि अधिक स्वतन्त्रता पाउन र नयाँ कुराहरू सिक्न Heroku को सट्टा आफ्नै Kubernetes क्लस्टरहरू प्रयोग गर्न रुचाउँछु। किनकी Linstor अरूहरू जस्तै स्थापना गर्न सजिलो छैन, म यसको बारेमा छिट्टै एक पोस्ट लेख्नेछु।

बेन्चमार्कहरू

दुर्भाग्यवश, मैले तुलनाको बारेमा धेरै नोटहरू राखिनँ किनभने मैले यसको बारेमा लेख्ने सोचेको थिइनँ। मसँग आधारभूत फिओ बेन्चमार्कहरू र केवल एकल नोड क्लस्टरहरूको लागि मात्र परिणामहरू छन्, त्यसैले मसँग अझै प्रतिकृति कन्फिगरेसनहरूको लागि संख्याहरू छैनन्। तर यी नतिजाहरूबाट तपाईंले प्रत्येक विकल्पबाट के आशा गर्ने भन्ने बारे एक नराम्रो विचार प्राप्त गर्न सक्नुहुन्छ, किनकि मैले तिनीहरूलाई समान क्लाउड सर्भर, 4 कोर, 16 GB RAM, परीक्षण भोल्युमहरूको लागि अतिरिक्त 100 GB डिस्कको साथ तुलना गरें। मैले प्रत्येक समाधानको लागि तीन पटक बेन्चमार्कहरू चलाएँ र औसत परिणाम गणना गरें, साथै मैले प्रत्येक उत्पादनको लागि सर्भर सेटिङहरू रिसेट गरें। यो सबै पूर्णतया अवैज्ञानिक हो, तपाईलाई सामान्य विचार दिनको लागि। अन्य परीक्षणहरूमा, मैले पढ्ने र लेखन परीक्षण गर्न भोल्युमबाट 38 GB फोटो र भिडियोहरू प्रतिलिपि गरें, तर, अफसोस, मैले नम्बरहरू बचत गरेन। छोटोमा: Portworkx धेरै छिटो थियो।

भोल्युम बेन्चमार्कको लागि मैले यो manifest प्रयोग गरें:

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: dbench
spec:
  storageClassName: ...
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi
---
apiVersion: batch/v1
kind: Job
metadata:
  name: dbench
spec:
  template:
    spec:
      containers:
      - name: dbench
        image: sotoaster/dbench:latest
        imagePullPolicy: IfNotPresent
        env:
          - name: DBENCH_MOUNTPOINT
            value: /data
          - name: FIO_SIZE
            value: 1G
        volumeMounts:
        - name: dbench-pv
          mountPath: /data
      restartPolicy: Never
      volumes:
      - name: dbench-pv
        persistentVolumeClaim:
          claimName: dbench
  backoffLimit: 4

मैले पहिले उपयुक्त भण्डारण कक्षाको साथ भोल्युम सिर्जना गरें र त्यसपछि पर्दा पछाडि फिओको साथ काम चलाएँ। मैले प्रदर्शन अनुमान गर्न 1 GB लिएँ र धेरै लामो प्रतीक्षा नगरें। यहाँ परिणामहरू छन्:

मैले प्रत्येक मेट्रिकको लागि हरियो र सबैभन्दा खराब रातोमा हाइलाइट गरेको छु।

निष्कर्षमा

तपाईले देख्न सक्नुहुन्छ, धेरै जसो केसहरूमा Portworx ले अरू भन्दा राम्रो प्रदर्शन गर्यो। तर मेरो लागि यो महँगो छ। मलाई थाहा छैन रोबिनको लागत कति छ, तर तिनीहरूसँग उत्कृष्ट नि: शुल्क संस्करण छ, त्यसैले यदि तपाइँ सशुल्क उत्पादन चाहनुहुन्छ भने, तपाइँ यसलाई प्रयास गर्न सक्नुहुन्छ (आशा छ कि उनीहरूले छिट्टै पुनर्स्थापना र ब्याकअपको साथ समस्या समाधान गर्नेछन्)। तीनवटा नि: शुल्कहरू मध्ये, मलाई OpenEBS सँग कम्तिमा समस्याहरू थिए, तर यसको प्रदर्शन अत्यन्तै कमजोर छ। यो दुःखको कुरा हो कि मैले थप परिणामहरू बचत गरेन, तर मलाई आशा छ कि संख्याहरू र मेरा टिप्पणीहरूले तपाईंलाई मद्दत गर्नेछन्।

स्रोत: www.habr.com