कुबर्नेट्समधील स्टोरेज: ओपनईबीएस वि रुक ​​(सेफ) वि रॅन्चर लॉन्गहॉर्न वि स्टोरेजओएस वि रॉबिन वि पोर्टवॉर्क वि लिन्स्टर

अपडेट करा!. टिप्पण्यांमध्ये, वाचकांपैकी एकाने प्रयत्न करण्याचा सल्ला दिला लिनस्टोर (कदाचित तो स्वतः त्यावर काम करत असेल) म्हणून मी या उपायाबद्दल एक विभाग जोडला आहे. मी पण लिहिलं ते कसे स्थापित करावे याबद्दल पोस्ट करा, कारण ही प्रक्रिया इतरांपेक्षा खूप वेगळी आहे.

खरे सांगायचे तर मी हार मानली आणि सोडून दिले कुबेरनेट्स (किमान सध्या तरी). मी वापरेन हरोकू. का? स्टोरेजमुळे! कुबेरनेटेसपेक्षा मी स्टोरेजमध्ये अधिक टिंकर करेन असे कोणाला वाटले असेल. मी वापरतो Hetzner ढगकारण ते स्वस्त आहे आणि कामगिरी चांगली आहे आणि अगदी सुरुवातीपासूनच मी क्लस्टर्स वापरत आहे राचेर. मी Google/Amazon/Microsoft/DigitalOcean, इ. इ. वरून व्यवस्थापित केलेल्या Kubernetes सेवांचा प्रयत्न केला नाही, कारण मला स्वतःला सर्वकाही शिकायचे होते. मी पण काटकसरी आहे.

तर होय, मी संभाव्य कुबर्नेट्स स्टॅकचे मूल्यमापन करत असताना कोणते स्टोरेज निवडायचे हे ठरवण्याचा प्रयत्न करण्यात मी बराच वेळ घालवला. मी ओपन सोर्स सोल्यूशन्सला प्राधान्य देतो, केवळ किंमतीमुळेच नाही, परंतु मी उत्सुकतेपोटी काही सशुल्क पर्यायांकडे पाहिले आहे कारण त्यांच्याकडे मर्यादांसह विनामूल्य आवृत्त्या आहेत. जेव्हा मी वेगवेगळ्या पर्यायांची तुलना केली तेव्हा मी अलीकडील चाचण्यांमधून काही संख्या लिहून ठेवल्या आहेत आणि ते कुबर्नेट्स स्टोरेजबद्दल शिकणार्‍यांना स्वारस्य असू शकतात. जरी मी वैयक्तिकरित्या कुबर्नेट्सचा आत्तासाठी निरोप घेतला आहे. मलाही नमूद करावेसे वाटते CSI चालक, जे थेट Hetzner क्लाउड व्हॉल्यूमची तरतूद करू शकते, परंतु मी अद्याप प्रयत्न केला नाही. मी क्लाउड सॉफ्टवेअर-परिभाषित स्टोरेजमध्ये पाहिले कारण मला प्रतिकृती आणि कोणत्याही नोडवर सक्तीचे व्हॉल्यूम द्रुतपणे माउंट करण्याची क्षमता आवश्यक आहे, विशेषत: नोड अयशस्वी झाल्यास आणि इतर तत्सम परिस्थितींमध्ये. काही उपाय पॉइंट-इन-टाइम स्नॅपशॉट्स आणि ऑफ-साइट बॅकअप देतात, जे सोयीस्कर आहे.

मी 6-7 स्टोरेज सोल्यूशन्सची चाचणी केली:

OpenEBS

मी आधीच म्हटल्याप्रमाणे मागील पोस्ट मध्येसूचीतील बहुतेक पर्यायांची चाचणी घेतल्यानंतर, मी सुरुवातीला OpenEBS वर स्थायिक झालो. OpenEBS स्थापित करणे आणि वापरणे खूप सोपे आहे, परंतु प्रामाणिकपणे, लोड अंतर्गत वास्तविक डेटासह चाचणी केल्यानंतर, मी त्याच्या कार्यक्षमतेबद्दल निराश झालो. हे ओपन सोर्स आहे आणि डेव्हलपर स्वतःच आहेत स्लॅक चॅनेल जेव्हा मला मदतीची आवश्यकता असते तेव्हा नेहमीच खूप उपयुक्त. दुर्दैवाने, इतर पर्यायांच्या तुलनेत त्याची कामगिरी खूपच खराब आहे, त्यामुळे चाचण्या पुन्हा चालवाव्या लागल्या. OpenEBS मध्ये सध्या 3 स्टोरेज इंजिन आहेत, परंतु मी cStor साठी बेंचमार्क परिणाम पोस्ट करत आहे. माझ्याकडे अजून Jiva आणि LocalPV साठी नंबर नाहीत.

थोडक्यात, जिवा थोडा वेगवान आहे, आणि लोकलपीव्ही साधारणपणे वेगवान आहे, थेट डिस्क बेंचमार्कपेक्षा वाईट नाही. LocalPV ची समस्या अशी आहे की व्हॉल्यूम फक्त नोडवर प्रवेश केला जाऊ शकतो जेथे तो तयार केला गेला होता आणि तेथे कोणतीही प्रतिकृती नाही. द्वारे बॅकअप पुनर्संचयित करताना मला काही समस्या आल्या जहाजे नवीन क्लस्टरवर कारण नोडची नावे वेगळी होती. जर आपण बॅकअपबद्दल बोललो तर, cStor आहे वेलेरोसाठी प्लगइन, ज्याच्या सहाय्याने तुम्ही वेळोवेळी स्नॅपशॉट्सचे ऑफ-साइट बॅकअप घेऊ शकता, जे Velero-Restic सह फाइल-स्तरीय बॅकअपपेक्षा अधिक सोयीचे आहे. मी लिहिले अनेक स्क्रिप्ट, या प्लगइनसह बॅकअप आणि पुनर्संचयित करणे व्यवस्थापित करणे सोपे करण्यासाठी. एकंदरीत, मला खरोखर OpenEBS आवडते, परंतु त्याचे कार्यप्रदर्शन...

रुक

रुक हे मुक्त स्रोत देखील आहे आणि सूचीतील उर्वरित पर्यायांपेक्षा वेगळे आहे कारण तो एक स्टोरेज ऑर्केस्ट्रेटर आहे जो वेगवेगळ्या बॅकएंडसह जटिल स्टोरेज व्यवस्थापन कार्ये करतो, उदा. केफ, EdgeFS आणि इतर, जे काम मोठ्या प्रमाणात सुलभ करते. काही महिन्यांपूर्वी जेव्हा मी EfgeFS चा प्रयत्न केला तेव्हा मला समस्या होत्या, म्हणून मी मुख्यतः Ceph सोबत चाचणी केली. Ceph केवळ ब्लॉक स्टोरेजच देत नाही तर S3/Swift आणि वितरित फाइल सिस्टमशी सुसंगत ऑब्जेक्ट स्टोरेज देखील देते. मला Ceph बद्दल जे आवडते ते एकाधिक डिस्कवर व्हॉल्यूम डेटा पसरवण्याची क्षमता आहे जेणेकरून व्हॉल्यूम एका डिस्कवर बसण्यापेक्षा जास्त डिस्क स्पेस वापरू शकेल. ते आरामदायी आहे. आणखी एक छान वैशिष्ट्य म्हणजे जेव्हा तुम्ही क्लस्टरमध्ये डिस्क्स जोडता, तेव्हा ते सर्व डिस्कवर आपोआप डेटाचे पुनर्वितरण करते.

Ceph कडे स्नॅपशॉट आहेत, परंतु माझ्या माहितीनुसार, ते Rook/Kubernetes मध्ये थेट वापरले जाऊ शकत नाहीत. खरे आहे, मी यात खोलवर गेलो नाही. परंतु कोणतेही ऑफ-साइट बॅकअप नाहीत, त्यामुळे तुम्हाला वेलेरो/रेस्टिकसह काहीतरी वापरावे लागेल, परंतु केवळ फाइल-स्तरीय बॅकअप आहेत, पॉइंट-इन-टाइम स्नॅपशॉट नाहीत. मला रुक बद्दल जे खरोखर आवडले ते म्हणजे Ceph सह काम करणे किती सोपे आहे - ते जवळजवळ सर्व क्लिष्ट सामग्री लपवते आणि समस्यानिवारणासाठी थेट Ceph शी बोलण्यासाठी साधने ऑफर करते. दुर्दैवाने, सेफ व्हॉल्यूमच्या तणाव चाचणी दरम्यान, मला समस्या येत राहिल्या ही समस्या, ज्यामुळे Ceph अस्थिर होते. हे Ceph मध्येच एक बग आहे की Rook ने Ceph चे व्यवस्थापन करताना समस्या आहे हे अद्याप स्पष्ट झालेले नाही. मी मेमरी सेटिंग्जसह टिंकर केले, आणि ते चांगले झाले, परंतु समस्या पूर्णपणे सोडवली गेली नाही. Ceph ची कामगिरी चांगली आहे, जसे आपण खालील बेंचमार्कमध्ये पाहू शकता. यात एक चांगला डॅशबोर्ड देखील आहे.

Rancher Longhorn

मला खरोखर लॉंगहॉर्न आवडते. माझ्या मते, हा एक आशादायक उपाय आहे. खरे आहे, विकासक स्वतः (रॅन्चर लॅब्स) कबूल करतात की ते अद्याप कार्यरत वातावरणासाठी योग्य नाही आणि हे दर्शविते. हे ओपन सोर्स आहे आणि त्याची कार्यक्षमता चांगली आहे (जरी त्यांनी अद्याप ते ऑप्टिमाइझ केलेले नाही), परंतु व्हॉल्यूमला पॉडशी कनेक्ट होण्यासाठी खूप वेळ लागतो आणि सर्वात वाईट परिस्थितीत 15-16 मिनिटे लागतात, विशेषत: मोठा बॅकअप पुनर्संचयित केल्यानंतर किंवा वर्कलोड अपग्रेड करणे. यात या स्नॅपशॉट्सचे स्नॅपशॉट आणि ऑफ-साइट बॅकअप आहेत, परंतु ते फक्त व्हॉल्यूमवर लागू होतात, त्यामुळे इतर संसाधनांचा बॅकअप घेण्यासाठी तुम्हाला वेलेरोसारखे काहीतरी आवश्यक असेल. बॅकअप आणि पुनर्संचयित करणे खूप विश्वासार्ह आहेत, परंतु अशोभनीयपणे मंद आहेत. गंभीरपणे, फक्त आश्चर्यकारकपणे हळू. लॉंगहॉर्नमध्ये मध्यम प्रमाणात डेटासह काम करताना CPU वापर आणि सिस्टम लोड अनेकदा वाढतात. लॉंगहॉर्न व्यवस्थापित करण्यासाठी एक सोयीस्कर डॅशबोर्ड आहे. मी आधीच सांगितले आहे की मला लाँगहॉर्न आवडते, परंतु त्यासाठी काही काम आवश्यक आहे.

स्टोरेजओएस

StorageOS हे सूचीतील पहिले सशुल्क उत्पादन आहे. यात 500GB च्या मर्यादित व्यवस्थापित स्टोरेज आकारासह विकसक आवृत्ती आहे, परंतु मला वाटत नाही की नोड्सच्या संख्येवर मर्यादा आहे. विक्री विभागाने मला सांगितले की 125 TB साठी दरमहा $1 पासून खर्च सुरू होतो, जर मला योग्यरित्या आठवत असेल. एक मूलभूत डॅशबोर्ड आणि एक सोयीस्कर CLI आहे, परंतु कार्यप्रदर्शनासह काहीतरी विचित्र चालले आहे: काही बेंचमार्कमध्ये ते अगदी सभ्य आहे, परंतु व्हॉल्यूम स्ट्रेस चाचणीमध्ये मला गती अजिबात आवडली नाही. सर्वसाधारणपणे, मला काय बोलावे हे माहित नाही. त्यामुळे मला फार काही समजले नाही. येथे कोणतेही ऑफ-साइट बॅकअप नाहीत आणि तुम्हाला रेस्टिक टू बॅकअप व्हॉल्यूमसह वेलेरो देखील वापरावे लागेल. हे विचित्र आहे, कारण उत्पादन दिले जाते. आणि विकासक स्लॅकवर संवाद साधण्यास उत्सुक नव्हते.

रॉबिन

मी रॉबिन बद्दल त्यांच्या तांत्रिक दिग्दर्शकाकडून Reddit वर शिकलो. मी त्याच्याबद्दल कधीच ऐकले नव्हते. कदाचित मी विनामूल्य उपाय शोधत असल्यामुळे, परंतु रॉबिनला पैसे दिले आहेत. त्यांच्याकडे 10TB स्टोरेज आणि तीन नोड्ससह एक सुंदर उदार विनामूल्य आवृत्ती आहे. एकूणच, उत्पादन खूपच सभ्य आहे आणि त्यात छान वैशिष्ट्ये आहेत. एक उत्तम CLI आहे, परंतु सर्वात छान गोष्ट म्हणजे तुम्ही संपूर्ण ऍप्लिकेशनचा स्नॅपशॉट आणि बॅकअप घेऊ शकता (रिसोर्स सिलेक्टरमध्ये याला हेल्म रिलीझ किंवा "फ्लेक्स अॅप्स" म्हणतात), व्हॉल्यूम आणि इतर संसाधनांसह, जेणेकरून तुम्ही वेलेरोशिवाय करू शकता. आणि एका छोट्या तपशीलासाठी नसल्यास सर्व काही आश्चर्यकारक असेल: जर तुम्ही नवीन क्लस्टरवर अनुप्रयोग पुनर्संचयित केला (किंवा "आयात", जसे की त्याला रॉबिन म्हणतात) - उदाहरणार्थ, आपत्तीतून पुनर्प्राप्ती झाल्यास - जीर्णोद्धार, अर्थात, कार्य करते, परंतु निषिद्ध असलेल्या अनुप्रयोगाचा बॅकअप घेणे सुरू ठेवा. विकसकांनी पुष्टी केल्याप्रमाणे, या प्रकाशनात हे शक्य नाही. हे, सौम्यपणे सांगायचे तर, विचित्र, विशेषत: इतर फायद्यांचा विचार करता (उदाहरणार्थ, अविश्वसनीयपणे वेगवान बॅकअप आणि पुनर्संचयित). डेव्हलपर पुढच्या रिलीझपर्यंत सर्वकाही ठीक करण्याचे वचन देतात. कार्यप्रदर्शन सामान्यतः चांगले असते, परंतु मला एक विचित्रता लक्षात आली: जर मी थेट होस्टला जोडलेल्या व्हॉल्यूमवर बेंचमार्क चालवला, तर वाचण्याची गती पॉडमधून समान व्हॉल्यूम चालवण्यापेक्षा खूप वेगवान असते. इतर सर्व परिणाम सारखेच आहेत, परंतु सिद्धांतामध्ये कोणताही फरक नसावा. जरी ते त्यावर काम करत असले तरी, मी पुनर्संचयित आणि बॅकअपच्या समस्येबद्दल नाराज होतो - मला वाटले की मला शेवटी एक योग्य उपाय सापडला आहे आणि जेव्हा मला अधिक जागा किंवा अधिक सर्व्हरची आवश्यकता असेल तेव्हा मी त्यासाठी पैसे देण्यासही तयार होतो.

portworx

मला इथे फार काही सांगायचे नाही. हे एक सशुल्क उत्पादन आहे, तितकेच थंड आणि महाग आहे. कामगिरी फक्त आश्चर्यकारक आहे. हे आतापर्यंतचे सर्वोत्तम सूचक आहे. स्लॅकने मला सांगितले की Google च्या GKE मार्केटप्लेसमध्ये सूचीबद्ध केल्याप्रमाणे किंमत प्रति नोड प्रति महिना $205 पासून सुरू होते. आपण थेट खरेदी केल्यास ते स्वस्त होईल की नाही हे मला माहित नाही. तरीही मला ते परवडत नाही, म्हणून मी खूप निराश झालो की डेव्हलपर परवाना (1 TB आणि 3 नोड्स पर्यंत) कुबर्नेट्ससाठी व्यावहारिकरित्या निरुपयोगी आहे जोपर्यंत तुम्ही स्थिर तरतूदीमध्ये समाधानी नसाल. मला आशा होती की चाचणी कालावधीच्या शेवटी व्हॉल्यूम परवाना स्वयंचलितपणे विकसकाकडे डाउनग्रेड होईल, परंतु तसे झाले नाही. डेव्हलपर परवाना फक्त डॉकरसह थेट वापरला जाऊ शकतो आणि कुबर्नेट्समधील कॉन्फिगरेशन खूप त्रासदायक आणि मर्यादित आहे. अर्थात, मी ओपन सोर्सला प्राधान्य देतो, परंतु माझ्याकडे पैसे असल्यास, मी नक्कीच पोर्टवॉर्क्स निवडतो. आतापर्यंत, त्याची कार्यक्षमता इतर पर्यायांशी तुलना करत नाही.

लिनस्टोर

पोस्ट प्रकाशित झाल्यानंतर, एका वाचकाने लिन्स्टर वापरून पाहण्याचा सल्ला दिल्यावर मी हा विभाग जोडला. मी ते वापरून पाहिले आणि मला ते आवडले! पण मला अजून थोडे संशोधन करण्याची गरज आहे. सध्या, मी एवढेच म्हणू शकतो की त्याची कामगिरी बरीच चांगली आहे (मी खाली बेंचमार्कचे निकाल जोडले आहेत). खरं तर, मला कोणत्याही अतिरिक्त भाराशिवाय, थेट डिस्क बेंचमार्कसारखीच कामगिरी मिळाली. (पोर्टवॉर्क्सचे आकडे थेट डिस्क बेंचमार्कपेक्षा चांगले का आहेत हे विचारू नका. मला काही कल्पना नाही. जादूच असावी.) तर, आतापर्यंत तरी लिन्स्टर खूप प्रभावी वाटत आहे. ते सेट करणे तसे अवघड नाही, पण इतर पर्यायांइतके सोपेही नाही. सर्वप्रथम, मला लिन्स्टर (कर्नेल मॉड्यूल आणि टूल्स/सर्व्हिसेस) इन्स्टॉल करावे लागले आणि कुबेरनेट्सच्या बाहेर, थेट होस्टवर, थिन प्रोव्हिजनिंग आणि स्नॅपशॉट सपोर्टसाठी LVM सेट करावे लागले, आणि त्यानंतर कुबेरनेट्समधील स्टोरेज वापरण्यासाठी आवश्यक संसाधने तयार करावी लागली. ते चालले नाही याचा मला आनंद झाला नाही. CentOS आणि वापरावे लागले Ubuntuअर्थात, ही काही मोठी गोष्ट नाही, पण हे थोडे त्रासदायक आहे कारण डॉक्युमेंटेशनमध्ये (जे तसे उत्कृष्ट आहे) अशा अनेक पॅकेजेसचा उल्लेख आहे जे नमूद केलेल्या Epel रिपॉझिटरीजमध्ये उपलब्ध नाहीत. Linstor मध्ये स्नॅपशॉट्स आहेत, पण ऑफ-साइट बॅकअप नाहीत, त्यामुळे मला व्हॉल्यूम बॅकअपसाठी पुन्हा Restic सोबत Velero वापरावे लागले. मला फाइल-लेव्हल बॅकअपपेक्षा स्नॅपशॉट्स अधिक पसंत आहेत, पण जर सोल्यूशन कार्यक्षम आणि विश्वसनीय असेल तर ही गोष्ट स्वीकारार्ह आहे. Linstor ओपन सोर्स आहे, पण त्यासाठी सशुल्क सपोर्ट आहे. माझ्या माहितीनुसार, तुमच्याकडे सपोर्ट कॉन्ट्रॅक्ट नसला तरीही तुम्ही ते निर्बंधांशिवाय वापरू शकता, पण मला ते तपासावे लागेल. Kubernetes साठी Linstor ची किती चाचणी झाली आहे हे मला माहीत नाही, पण स्टोरेज लेयर स्वतः Kubernetes च्या बाहेर आहे, आणि ते बऱ्याच काळापासून अस्तित्वात असल्याचे दिसते, त्यामुळे कदाचित त्याची प्रत्यक्ष वापराच्या परिस्थितीत आधीच चाचणी झाली असेल. यावर असा काही उपाय आहे का ज्यामुळे मी माझा विचार बदलेन आणि पुन्हा Kubernetes कडे वळेन? मला माहीत नाही. मला रेप्लिकेशनबद्दल अधिक माहिती मिळवण्यासाठी थोडा शोध घ्यावा लागेल. बघूया. पण पहिला प्रभाव चांगला आहे. अधिक स्वातंत्र्यासाठी आणि नवीन गोष्टी शिकण्यासाठी, मी हेरोकूऐवजी माझे स्वतःचे कुबरनेटीस क्लस्टर्स वापरण्यास नक्कीच प्राधान्य देईन. लिन्स्टर इतरांप्रमाणे इन्स्टॉल करायला सोपे नसल्यामुळे, मी लवकरच त्यावर एक पोस्ट लिहीन.

बेंचमार्क

दुर्दैवाने, मी तुलनेबद्दल अनेक नोट्स ठेवल्या नाहीत कारण मी त्याबद्दल लिहू असे मला वाटले नव्हते. माझ्याकडे फक्त मूलभूत फिओ बेंचमार्कचे परिणाम आहेत आणि फक्त सिंगल नोड क्लस्टरसाठी आहेत, त्यामुळे माझ्याकडे अद्याप प्रतिकृती कॉन्फिगरेशनसाठी संख्या नाहीत. परंतु या निकालांवरून तुम्हाला प्रत्येक पर्यायाकडून काय अपेक्षा करावी याची अंदाजे कल्पना येऊ शकते, कारण मी त्यांची तुलना त्याच क्लाउड सर्व्हरवर, 4 कोर, 16 जीबी रॅम, चाचणी केलेल्या व्हॉल्यूमसाठी अतिरिक्त 100 जीबी डिस्कसह केली आहे. मी प्रत्येक सोल्यूशनसाठी तीन वेळा बेंचमार्क चालवले आणि सरासरी निकालाची गणना केली, तसेच मी प्रत्येक उत्पादनासाठी सर्व्हर सेटिंग्ज रीसेट केली. हे सर्व पूर्णपणे अवैज्ञानिक आहे, फक्त तुम्हाला सामान्य कल्पना देण्यासाठी. इतर चाचण्यांमध्ये, वाचन आणि लेखन चाचणी करण्यासाठी मी व्हॉल्यूममधून 38 जीबी फोटो आणि व्हिडिओ कॉपी केले, परंतु, अरेरे, मी संख्या जतन केली नाहीत. थोडक्यात: Portworkx खूप वेगवान होते.

व्हॉल्यूम बेंचमार्कसाठी मी हे मॅनिफेस्ट वापरले:

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: dbench
spec:
  storageClassName: ...
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi
---
apiVersion: batch/v1
kind: Job
metadata:
  name: dbench
spec:
  template:
    spec:
      containers:
      - name: dbench
        image: sotoaster/dbench:latest
        imagePullPolicy: IfNotPresent
        env:
          - name: DBENCH_MOUNTPOINT
            value: /data
          - name: FIO_SIZE
            value: 1G
        volumeMounts:
        - name: dbench-pv
          mountPath: /data
      restartPolicy: Never
      volumes:
      - name: dbench-pv
        persistentVolumeClaim:
          claimName: dbench
  backoffLimit: 4

मी प्रथम योग्य स्टोरेज क्लाससह व्हॉल्यूम तयार केला आणि नंतर पडद्यामागे fio सोबत काम केले. मी कामगिरीचा अंदाज घेण्यासाठी 1 GB घेतला आणि जास्त वेळ थांबलो नाही. येथे परिणाम आहेत:

मी प्रत्येक मेट्रिकसाठी सर्वोत्तम मूल्य हिरव्या आणि सर्वात वाईट लाल रंगात हायलाइट केले आहे.

निष्कर्ष

जसे आपण पाहू शकता, बहुतेक प्रकरणांमध्ये Portworx ने इतरांपेक्षा चांगले प्रदर्शन केले. पण माझ्यासाठी ते महाग आहे. रॉबिनची किंमत किती आहे हे मला माहित नाही, परंतु त्यांच्याकडे एक उत्तम विनामूल्य आवृत्ती आहे, म्हणून जर तुम्हाला सशुल्क उत्पादन हवे असेल तर तुम्ही ते वापरून पाहू शकता (आशा आहे की ते लवकरच पुनर्संचयित आणि बॅकअपसह समस्या सोडवतील). तीन विनामूल्य असलेल्यांपैकी, मला OpenEBS सह सर्वात कमी समस्या होत्या, परंतु त्याची कामगिरी अत्यंत कमी आहे. ही खेदाची गोष्ट आहे की मी अधिक परिणाम जतन केले नाहीत, परंतु मला आशा आहे की संख्या आणि माझ्या टिप्पण्या तुम्हाला मदत करतील.

स्त्रोत: www.habr.com