युनिटी स्टोरेजमध्ये फास्ट व्हीपी: ते कसे कार्य करते

आज आपण युनिटी/युनिटी एक्सटी स्टोरेज सिस्टीममध्ये लागू केलेल्या एका मनोरंजक तंत्रज्ञानाबद्दल बोलू - FAST VP. युनिटीबद्दल तुम्ही पहिल्यांदाच ऐकत असाल, तर तुम्ही लेखाच्या शेवटी दिलेल्या लिंकचा वापर करून सिस्टमची वैशिष्ट्ये तपासू शकता. मी डेल EMC प्रोजेक्ट टीमवर FAST VP वर एक वर्षापेक्षा जास्त काळ काम केले. आज मला या तंत्रज्ञानाबद्दल अधिक तपशीलवार बोलायचे आहे आणि त्याच्या अंमलबजावणीचे काही तपशील प्रकट करायचे आहेत. अर्थात, ज्यांना उघड करण्याची परवानगी आहे. जर तुम्हाला कार्यक्षम डेटा स्टोरेजच्या समस्यांमध्ये स्वारस्य असेल किंवा कागदपत्रे पूर्णपणे समजली नसतील, तर हा लेख नक्कीच उपयुक्त आणि मनोरंजक असेल.

सामग्रीमध्ये काय नसेल ते मी लगेच सांगेन. प्रतिस्पर्ध्यांचा शोध आणि त्यांच्याशी तुलना होणार नाही. ओपन सोर्सवरून तत्सम तंत्रज्ञानाबद्दल बोलण्याचा माझा विचारही नाही, कारण जिज्ञासू वाचकाला त्यांच्याबद्दल आधीच माहिती आहे. आणि, अर्थातच, मी काहीही जाहिरात करणार नाही.

स्टोरेज टियरिंग. FAST VP चे ध्येय आणि उद्दिष्टे

FAST VP म्हणजे व्हर्च्युअल पूलसाठी पूर्णपणे स्वयंचलित स्टोरेज टियरिंग. थोडे कठीण? काही हरकत नाही, आम्ही आता ते शोधून काढू. टायरिंग हा डेटा स्टोरेज आयोजित करण्याचा एक मार्ग आहे ज्यामध्ये अनेक स्तर (टियर) आहेत जेथे हा डेटा संग्रहित केला जातो. प्रत्येकाची स्वतःची वैशिष्ट्ये आहेत. सर्वात महत्वाचे: माहितीचे एकक संचयित करण्याची कार्यक्षमता, खंड आणि किंमत. अर्थात, त्यांच्यात एक संबंध आहे.

टायरींगचे एक महत्त्वाचे वैशिष्ट्य म्हणजे डेटाचा प्रवेश तो सध्या कोणत्या स्टोरेज स्तरावर आहे याची पर्वा न करता समान रीतीने प्रदान केला जातो आणि पूलचा आकार त्यात समाविष्ट केलेल्या संसाधनांच्या आकारांच्या बेरजेइतका असतो. कॅशेमधील फरक येथेच आहेत: संसाधनाच्या एकूण व्हॉल्यूममध्ये कॅशेचा आकार जोडला जात नाही (या प्रकरणात पूल), आणि कॅशे डेटा मुख्य मीडिया डेटाच्या काही तुकड्यांची डुप्लिकेट करतो (किंवा डुप्लिकेट होईल जर कॅशेमधील डेटा अद्याप लिहिलेला नाही). तसेच, स्तरांनुसार डेटाचे वितरण वापरकर्त्यापासून लपलेले आहे. म्हणजेच, प्रत्येक स्तरावर नेमका कोणता डेटा आहे हे तो पाहत नाही, जरी तो धोरणे सेट करून अप्रत्यक्षपणे यावर प्रभाव टाकू शकतो (त्यावर नंतर अधिक).

आता युनिटीमध्ये स्टोरेज टायरिंगच्या अंमलबजावणीची वैशिष्ट्ये पाहू. युनिटीमध्ये 3 स्तर किंवा स्तर आहेत:

• अत्यंत कार्यप्रदर्शन (एसएसडी)
• कार्यप्रदर्शन (SAS HDD 10k/15k RPM)
• क्षमता (NL-SAS HDD 7200 RPM)

ते कामगिरी आणि किंमतीच्या उतरत्या क्रमाने सादर केले जातात. अत्यंत कार्यक्षमतेमध्ये फक्त सॉलिड स्टेट ड्राइव्ह (एसएसडी) समाविष्ट आहेत. इतर दोन स्तरांमध्ये चुंबकीय डिस्क ड्राइव्ह समाविष्ट आहेत, जे रोटेशन गतीमध्ये भिन्न आहेत आणि त्यानुसार, कार्यप्रदर्शन.

समान स्तरावरील आणि समान आकाराचे स्टोरेज मीडिया RAID अॅरेमध्ये एकत्र केले जातात, एक RAID गट तयार करतात (RAID गट, RG म्हणून संक्षिप्त); तुम्ही अधिकृत दस्तऐवजात उपलब्ध आणि शिफारस केलेल्या RAID स्तरांबद्दल वाचू शकता. RAID गटांमधून एक किंवा अधिक स्तरांवरून स्टोरेज पूल तयार केले जातात, ज्यामधून नंतर मोकळी जागा वितरीत केली जाते. आणि पूलमधून जागा फाईल सिस्टीम आणि LUN साठी दिली जाते.

मला टायरिंगची आवश्यकता का आहे?

थोडक्यात आणि अमूर्त: किमान संसाधने वापरून मोठे परिणाम साध्य करण्यासाठी. अधिक विशिष्टपणे, परिणाम सहसा स्टोरेज सिस्टम वैशिष्ट्यांचा संच म्हणून समजला जातो - वेग आणि प्रवेश वेळ, स्टोरेज खर्च आणि इतर. किमान संसाधने म्हणजे कमीत कमी खर्च: पैसा, ऊर्जा इ. FAST VP युनिटी/युनिटी एक्सटी स्टोरेज सिस्टीममध्ये विविध स्तरांवर डेटाचे पुनर्वितरण करण्यासाठी यंत्रणा लागू करते. तुमचा माझ्यावर विश्वास असल्यास, तुम्ही पुढील परिच्छेद वगळू शकता. उर्वरित, मी तुम्हाला थोडे अधिक सांगेन.

स्टोरेज टियर्समध्ये डेटाचे योग्य वितरण तुम्हाला काही क्वचित वापरल्या जाणार्‍या माहितीच्या ऍक्सेस स्पीडचा त्याग करून स्टोरेजच्या एकूण खर्चावर बचत करण्यास आणि वारंवार वापरल्या जाणार्‍या डेटाला वेगवान मीडियावर हलवून कार्यप्रदर्शन सुधारण्यास अनुमती देते. येथे कोणीतरी असा युक्तिवाद करू शकतो की टायरिंग न करता देखील, सामान्य प्रशासकाला माहित असते की कोणता डेटा कुठे ठेवावा, त्याच्या कार्यासाठी स्टोरेज सिस्टमची इष्ट वैशिष्ट्ये काय आहेत इ. हे निःसंशयपणे सत्य आहे, परंतु व्यक्तिचलितपणे डेटा वितरीत करण्यात त्याच्या कमतरता आहेत:

• प्रशासकाची वेळ आणि लक्ष आवश्यक आहे;
• बदलत्या परिस्थितीनुसार स्टोरेज संसाधने "पुन्हा काढणे" नेहमीच शक्य नसते;
• एक महत्त्वाचा फायदा नाहीसा होतो: विविध स्टोरेज स्तरांवर असलेल्या संसाधनांमध्ये एकत्रित प्रवेश.

स्टोरेज अ‍ॅडमिनिस्ट्रेटरना नोकरीच्या सुरक्षेबद्दल कमी चिंता निर्माण करण्यासाठी, मी येथेही सक्षम संसाधन नियोजन आवश्यक आहे हे जोडेन. आता टायरींगची कार्ये थोडक्यात सांगितली आहेत, FAST VP कडून तुम्ही काय अपेक्षा करू शकता ते पाहू या. आता व्याख्येकडे परत जाण्याची वेळ आली आहे. पहिले दोन शब्द - पूर्णपणे स्वयंचलित - शब्दशः "पूर्ण स्वयंचलित" म्हणून भाषांतरित केले जातात आणि याचा अर्थ असा होतो की स्तरांमधील वितरण स्वयंचलितपणे होते. बरं, व्हर्च्युअल पूल हा एक डेटा पूल आहे ज्यामध्ये विविध स्टोरेज स्तरावरील संसाधनांचा समावेश आहे. हे असे दिसते:

पुढे पाहताना, मी म्हणेन की FAST VP डेटा फक्त एका पूलमध्ये हलवतो, अनेक पूलमध्ये नाही.

FAST VP द्वारे समस्या सोडवल्या

प्रथम अमूर्त बोलूया. आमच्याकडे एक पूल आणि काही यंत्रणा आहे जी या पूलमध्ये डेटाचे पुनर्वितरण करू शकते. जास्तीत जास्त उत्पादकता प्राप्त करणे हे आमचे ध्येय आहे हे लक्षात ठेवून, चला स्वतःला विचारूया: आपण ते कोणत्या मार्गांनी साध्य करू शकतो? त्यापैकी बरेच असू शकतात, आणि येथे FAST VP कडे वापरकर्त्याला ऑफर करण्यासाठी काहीतरी आहे, कारण तंत्रज्ञान हे फक्त स्टोरेज टायरिंगपेक्षा काहीतरी अधिक आहे. FAST VP पूल कार्यप्रदर्शन वाढवू शकतो असे काही मार्ग येथे आहेत:

• विविध प्रकारच्या डिस्क, स्तरांवर डेटाचे वितरण
• समान प्रकारच्या डिस्कमध्ये डेटा वितरित करणे
• पूल विस्तृत करताना डेटा वितरण

ही कार्ये कशी सोडवली जातात हे पाहण्यापूर्वी, FAST VP कसे कार्य करते याबद्दल काही आवश्यक तथ्ये जाणून घेणे आवश्यक आहे. फास्ट व्हीपी विशिष्ट आकाराच्या ब्लॉक्ससह कार्य करते - 256 मेगाबाइट्स. हा डेटाचा सर्वात लहान संलग्न "खंड" आहे जो हलविला जाऊ शकतो. दस्तऐवजीकरणात याला ते म्हणतात: स्लाइस. FAST VP च्या दृष्टिकोनातून, सर्व RAID गटांमध्ये अशा "तुकड्या" चा संच असतो. त्यानुसार, अशा डेटा ब्लॉक्ससाठी सर्व I/O आकडेवारी जमा केली जाते. हा ब्लॉक आकार का निवडला गेला आणि तो कमी केला जाईल? ब्लॉक बराच मोठा आहे, परंतु डेटाची ग्रॅन्युलॅरिटी (लहान ब्लॉक आकार म्हणजे अधिक अचूक वितरण) आणि उपलब्ध संगणकीय संसाधने यांच्यातील ही तडजोड आहे: RAM आणि मोठ्या संख्येने ब्लॉक्सवरील विद्यमान कठोर मर्यादा लक्षात घेता, आकडेवारी डेटा लागू शकतो. खूप जास्त, आणि गणनांची संख्या प्रमाणानुसार वाढेल.

FAST VP पूलला डेटा कसा वाटप करतो. राजकारणी

FAST VP सक्षम असलेल्या पूलमध्ये डेटाचे प्लेसमेंट नियंत्रित करण्यासाठी, खालील धोरणे अस्तित्वात आहेत:

• सर्वोच्च उपलब्ध टियर
• ऑटो-टियर
• उच्च नंतर ऑटो-टियर (डीफॉल्ट) प्रारंभ करा
• सर्वात कमी उपलब्ध टियर

ते प्रारंभिक ब्लॉक वाटप (डेटा प्रथम लिहिलेले) आणि त्यानंतरचे पुनर्वाटप दोन्ही प्रभावित करतात. जेव्हा डेटा आधीपासूनच डिस्कवर स्थित असेल, तेव्हा पुनर्वितरण शेड्यूलनुसार किंवा व्यक्तिचलितपणे सुरू केले जाईल.

सर्वोच्च उपलब्ध श्रेणी सर्वोच्च कामगिरी करणाऱ्या स्तरावर नवीन ब्लॉक ठेवण्याचा प्रयत्न करते. त्यावर पुरेशी जागा नसल्यास, तो पुढील सर्वात उत्पादक स्तरावर ठेवला जातो, परंतु नंतर डेटा अधिक उत्पादक स्तरावर हलविला जाऊ शकतो (जर जागा असेल किंवा इतर डेटा विस्थापित करून). ऑटो-टियर उपलब्ध जागेच्या प्रमाणानुसार नवीन डेटा वेगवेगळ्या स्तरांवर ठेवतो आणि मागणी आणि मोकळ्या जागेवर अवलंबून त्याचे पुनर्वितरण केले जाते. स्टार्ट हाई नंतर ऑटो-टियर हे डीफॉल्ट धोरण आहे आणि त्याची शिफारस देखील केली जाते. सुरुवातीला ठेवल्यावर, ते सर्वोच्च उपलब्ध टियर म्हणून कार्य करते आणि नंतर डेटा त्याच्या वापराच्या आकडेवारीवर अवलंबून हलविला जातो. सर्वात कमी उपलब्ध टियर धोरण कमीत कमी उत्पादक टियरमध्ये डेटा ठेवण्याचा प्रयत्न करते.

डेटा ट्रान्सफर कमी प्राधान्याने होते जेणेकरुन स्टोरेज सिस्टमच्या उपयुक्त ऑपरेशनमध्ये व्यत्यय आणू नये, तथापि, "डेटा रिलोकेशन रेट" सेटिंग आहे जे प्राधान्य बदलते. येथे एक वैशिष्ठ्य आहे: सर्व डेटा ब्लॉक्समध्ये समान पुनर्वितरण क्रम नाही. उदाहरणार्थ, मेटाडेटा म्हणून चिन्हांकित केलेले ब्लॉक्स प्रथम जलद स्तरावर हलवले जातील. मेटाडेटा म्हणजे, “डेटा बद्दलचा डेटा”, काही अतिरिक्त माहिती जी वापरकर्ता डेटा नाही, परंतु त्याचे वर्णन संग्रहित करते. उदाहरणार्थ, विशिष्ट फाइल कोणत्या ब्लॉकमध्ये स्थित आहे याबद्दल फाइल सिस्टममधील माहिती. याचा अर्थ डेटाच्या प्रवेशाची गती मेटाडेटामध्ये प्रवेश करण्याच्या गतीवर अवलंबून असते. मेटाडेटा सामान्यत: आकाराने खूपच लहान असतो हे लक्षात घेता, ते उच्च-कार्यक्षमता डिस्कवर हलवण्याचे फायदे जास्त असणे अपेक्षित आहे.

फास्ट व्हीपी त्याच्या कामात वापरत असलेले निकष

प्रत्येक ब्लॉकसाठी मुख्य निकष, अगदी ढोबळपणे, डेटाच्या "मागणी" चे वैशिष्ट्य आहे, जे डेटा खंडाच्या वाचन आणि लेखन ऑपरेशन्सच्या संख्येवर अवलंबून असते. या वैशिष्ट्याला आपण "तापमान" म्हणतो. दावा न केलेल्या डेटापेक्षा "गरम" डेटा मागणी केलेला (गरम) आहे. हे एका तासाच्या अंतराने डीफॉल्टनुसार ठराविक काळाने मोजले जाते.

तापमान गणना फंक्शनमध्ये खालील गुणधर्म आहेत:

• I/O च्या अनुपस्थितीत, डेटा कालांतराने “कूल डाउन” होतो.
• कालांतराने अधिक किंवा कमी समान भाराखाली, तापमान प्रथम वाढते आणि नंतर एका विशिष्ट श्रेणीत स्थिर होते.

पुढे, वर वर्णन केलेली धोरणे आणि प्रत्येक स्तरावरील मोकळी जागा विचारात घेतली जाते. स्पष्टतेसाठी, मी कागदपत्रांमधून एक चित्र प्रदान करेन. येथे लाल, पिवळे आणि निळे रंग अनुक्रमे उच्च, मध्यम आणि कमी तापमान असलेले ब्लॉक दर्शवतात.

पण कामांकडे परत जाऊया. म्हणून, आम्ही FAST VP समस्यांचे निराकरण करण्यासाठी काय केले जात आहे याचे विश्लेषण करणे सुरू करू शकतो.

A. विविध प्रकारच्या डिस्क, स्तरांवर डेटाचे वितरण

वास्तविक, हे फास्ट व्हीपीचे मुख्य कार्य आहे. बाकीचे, एका अर्थाने, त्याचे व्युत्पन्न आहेत. निवडलेल्या धोरणावर अवलंबून, डेटा वेगवेगळ्या स्टोरेज स्तरांवर वितरित केला जाईल. सर्व प्रथम, प्लेसमेंट धोरण विचारात घेतले जाते, नंतर ब्लॉक तापमान आणि RAID गटांचा आकार/गती.

सर्वोच्च/सर्वोच्च उपलब्ध टियर पॉलिसींसाठी सर्वकाही अगदी सोपे आहे. इतर दोघांसाठी ही स्थिती आहे. RAID गटांचा आकार आणि कार्यप्रदर्शन लक्षात घेऊन डेटा वेगवेगळ्या स्तरांवर वितरीत केला जातो: जेणेकरून ब्लॉक्सच्या एकूण "तापमान" आणि प्रत्येक RAID गटाच्या "सशर्त कमाल कार्यप्रदर्शन" चे गुणोत्तर अंदाजे समान असेल. अशा प्रकारे, भार कमी-अधिक प्रमाणात समान प्रमाणात वितरीत केला जातो. अधिक मागणी असलेला डेटा वेगवान मीडियामध्ये हलविला जातो आणि क्वचितच वापरला जाणारा डेटा स्लो मीडियावर हलविला जातो. आदर्शपणे, वितरण असे काहीतरी दिसले पाहिजे:

B. समान प्रकारच्या डिस्क्समध्ये डेटाचे वितरण

लक्षात ठेवा, सुरुवातीला मी ते स्टोरेज मीडिया वरून लिहिले होते एक किंवा अधिक स्तर एका पूलमध्ये एकत्र केले जातात? एका लेव्हलच्या बाबतीत, FAST VP ला देखील काम करावे लागते. कोणत्याही स्तरावर जास्तीत जास्त कार्यप्रदर्शन साध्य करण्यासाठी, डिस्क्स दरम्यान समान रीतीने डेटा वितरित करणे उचित आहे. हे (सिद्धांतात) तुम्हाला IOPS ची जास्तीत जास्त रक्कम मिळविण्यास अनुमती देईल. RAID गटातील डेटा डिस्कवर समान रीतीने वितरित केला जाऊ शकतो, परंतु हे नेहमी RAID गटांमध्ये होत नाही. असंतुलन झाल्यास, FAST VP RAID गटांमधील डेटा त्यांच्या व्हॉल्यूमच्या प्रमाणात आणि "सशर्त कामगिरी" (संख्यात्मक दृष्टीने) हलवेल. स्पष्टतेसाठी, मी तीन RAID गटांमध्ये एक पुनर्संतुलन योजना दर्शवेन:

B. पूल विस्तृत करताना डेटा वितरण

हे कार्य मागील एक विशेष प्रकरण आहे आणि जेव्हा पूलमध्ये RAID गट जोडला जातो तेव्हा ते केले जाते. नवीन जोडलेला RAID गट निष्क्रिय राहणार नाही याची खात्री करण्यासाठी, काही डेटा त्यात हस्तांतरित केला जाईल, याचा अर्थ लोड सर्व RAID गटांमध्ये पुनर्वितरित केला जाईल.

SSD वेअर लेव्हलिंग

वेअर लेव्हलिंग वापरून, FAST VP SSD चे आयुष्य वाढवू शकते, जरी हे वैशिष्ट्य थेट स्टोरेज टियरिंगशी संबंधित नाही. तापमान डेटा आधीच उपलब्ध असल्याने, लेखन ऑपरेशन्सची संख्या देखील विचारात घेतली जाते आणि डेटा ब्लॉक्स कसे हलवायचे हे आम्हाला माहित आहे, या समस्येचे निराकरण करणे FAST VP साठी तर्कसंगत असेल.

जर एका RAID गटातील नोंदींची संख्या दुसर्‍यामधील नोंदींच्या संख्येपेक्षा लक्षणीयरीत्या जास्त असेल, तर FAST VP लेखन ऑपरेशन्सच्या संख्येनुसार डेटाचे पुनर्वितरण करेल. एकीकडे, हे भार कमी करते आणि काही डिस्कचे संसाधन वाचवते, दुसरीकडे, ते कमी लोड केलेल्यांसाठी "कार्य" जोडते, एकूण कामगिरी वाढवते.

अशाप्रकारे, फास्ट व्हीपी स्टोरेज टायरिंगच्या पारंपारिक आव्हानांचा सामना करते आणि त्यापेक्षा थोडे अधिक करते. हे सर्व तुम्हाला युनिटी स्टोरेज सिस्टममध्ये अत्यंत कार्यक्षमतेने डेटा संचयित करण्यास अनुमती देते.

काही टिपा

1. कागदपत्रे वाचण्याकडे दुर्लक्ष करू नका. सर्वोत्तम पद्धती आहेत आणि त्या चांगल्या प्रकारे कार्य करतात. आपण त्यांचे अनुसरण केल्यास, नियम म्हणून, कोणतीही गंभीर समस्या उद्भवणार नाही. उर्वरित सल्ले मुळात पुनरावृत्ती करतात किंवा त्यांना पूरक आहेत.
2. जर तुम्ही FAST VP कॉन्फिगर आणि सक्षम केले असेल, तर ते चालू ठेवणे चांगले. तो डेटा त्याच्या दिलेल्या वेळेत वितरित करू द्या आणि वर्षातून एकापेक्षा कमी वेळा आणि इतर कार्यांच्या कामगिरीवर गंभीर परिणाम करू द्या. अशा प्रकरणांमध्ये, डेटा पुनर्वितरणास बराच वेळ लागू शकतो.
3. रिलोकेशन विंडो निवडताना काळजी घ्या. हे स्पष्ट असले तरी, युनिटीवर कमीत कमी भार असलेली वेळ निवडण्याचा प्रयत्न करा आणि पुरेसा कालावधी द्या.
4. तुमच्या स्टोरेज सिस्टमचा विस्तार करण्याची योजना करा, ते वेळेवर करा. ही एक सामान्य शिफारस आहे जी FAST VP साठी देखील महत्वाची आहे. जर मोकळ्या जागेचे प्रमाण खूपच कमी असेल, तर डेटाची हालचाल कमी होईल किंवा अशक्य होईल. विशेषतः जर तुम्ही मुद्दा २ कडे दुर्लक्ष केले असेल.
5. FAST VP सक्षम असलेल्या पूलचा विस्तार करताना, तुम्ही सर्वात हळू असलेल्या डिस्कसह प्रारंभ करू नये. म्हणजेच, आम्ही एकतर सर्व नियोजित RAID गट एकाच वेळी जोडतो, किंवा सर्वात वेगवान डिस्क प्रथम जोडतो. या प्रकरणात, नवीन "जलद" डिस्कवर डेटा पुनर्वितरण केल्याने पूलचा एकूण वेग वाढेल. अन्यथा, "स्लो" डिस्कसह प्रारंभ केल्याने एक अतिशय अप्रिय परिस्थिती उद्भवू शकते. प्रथम, डेटा नवीन, तुलनेने धीमे डिस्कवर हस्तांतरित केला जाईल आणि नंतर, जेव्हा वेगवान जोडला जाईल, तेव्हा उलट दिशेने. येथे वेगवेगळ्या FAST VP धोरणांशी संबंधित बारकावे आहेत, परंतु सर्वसाधारणपणे, एक समान परिस्थिती शक्य आहे.

तुम्ही हे उत्पादन पाहत असाल, तर तुम्ही Unity VSA व्हर्च्युअल अप्लायन्स डाउनलोड करून युनिटी मोफत वापरून पाहू शकता.

सामग्रीच्या शेवटी, मी अनेक उपयुक्त दुवे सामायिक करतो:

• पृष्ठ युनिटी स्टोरेज सिस्टम
• डेल ईएमसी युनिटी: फास्ट व्हीपी थिअरी ऑफ ऑपरेशन - कार्याचे संक्षिप्त वर्णन
• अधिक संपूर्ण आणि तपशीलवार वर्णन, pdf स्वरूप
• युनिटी व्हीएसए/क्लाउड संस्करण

निष्कर्ष

मला बरेच काही लिहायचे आहे, परंतु मला समजले आहे की सर्व तपशील वाचकांसाठी मनोरंजक नसतील. उदाहरणार्थ, FAST VP डेटा ट्रान्सफरबाबत, I/O आकडेवारीचे विश्लेषण करण्याच्या प्रक्रियेबद्दल ज्या निकषांद्वारे निर्णय घेते त्याबद्दल तुम्ही अधिक तपशीलवार बोलू शकता. तसेच, यांच्याशी संवाद साधण्याचा विषय डायनॅमिक पूल, आणि हे एका स्वतंत्र लेखास पात्र आहे. आपण या तंत्रज्ञानाच्या विकासाबद्दल कल्पना देखील करू शकता. मला आशा आहे की ते कंटाळवाणे नव्हते आणि मी तुम्हाला कंटाळले नाही. पुन्हा भेटू!

स्त्रोत: www.habr.com