OceanStor Dorado 18000 V6 ஆனது வரவிருக்கும் ஆண்டுகளில் ஒரு நல்ல இருப்புடன் உண்மையான உயர்தர தரவு சேமிப்பக அமைப்பை உருவாக்குகிறது என்று நாங்கள் முழுமையாக வாதிடுகிறோம். அதே நேரத்தில், ஆல்-ஃப்ளாஷ் சேமிப்பகத்தைப் பற்றிய பொதுவான கவலைகளை நாங்கள் அகற்றி, ஹவாய் அவற்றிலிருந்து அதிகப் பலன்களை எவ்வாறு பெறுகிறது என்பதைக் காட்டுகிறோம்: என்ட்-டு-எண்ட் NVMe, SCM இல் கூடுதல் கேச்சிங் மற்றும் பிற தீர்வுகள்.
புதிய தரவு நிலப்பரப்பு - புதிய தரவு சேமிப்பு
அனைத்து தொழில்களிலும் தரவு தீவிரம் அதிகரித்து வருகிறது. மேலும் வங்கித் துறை இதற்கு ஒரு தெளிவான எடுத்துக்காட்டு. கடந்த சில ஆண்டுகளில், வங்கி பரிவர்த்தனைகளின் எண்ணிக்கை பத்து மடங்குக்கு மேல் அதிகரித்துள்ளது. காட்டப்பட்டுள்ளபடி
ஒரு கடன் நிறுவனத்தின் தகவல் தொழில்நுட்ப உள்கட்டமைப்பு அத்தகைய சவாலுக்கு தயாராக இருக்க வேண்டும். மேலும் இது உண்மையில் ஒரு சவால். மற்றவற்றுடன், வங்கி அதன் வணிக நேரத்தில் மட்டுமே தரவு கிடைப்பதை உறுதி செய்ய வேண்டும் என்றால், இப்போது அது 24/7 கிடைக்க வேண்டும். சமீப காலம் வரை, 5 எம்எஸ் ஏற்றுக்கொள்ளக்கூடிய தாமத தரநிலையாகக் கருதப்பட்டது, ஆனால் என்ன? இப்போது 1 எம்எஸ் கூட அதிகமாக உள்ளது. நவீன சேமிப்பக அமைப்பிற்கு, இலக்கு மதிப்பு 0,5 எம்.எஸ்.
அதே விஷயம் நம்பகத்தன்மையுடன் உள்ளது: 2010 களில், அதன் அளவை "ஐந்து பத்துகள்" - 99,999% க்கு கொண்டு வர போதுமானது என்று ஒரு அனுபவ புரிதல் உருவாக்கப்பட்டது. உண்மை, இந்தப் புரிதல் காலாவதியாகிவிட்டது. 2020 ஆம் ஆண்டில், வணிகங்கள் சேமிப்பிற்காக 99,9999% மற்றும் ஒட்டுமொத்த கட்டிடக்கலை தீர்வுக்கு 99,99999% தேவைப்படுவது முற்றிலும் இயல்பானது. இது ஒரு விருப்பம் அல்ல, ஆனால் அவசரத் தேவை: உள்கட்டமைப்பு பராமரிப்புக்கான நேர சாளரம் இல்லை, அல்லது அது சிறியது.
தெளிவுக்காக, இந்த குறிகாட்டிகளை பணத்தின் விமானத்தில் திட்டமிடுவது வசதியானது. நிதி நிறுவனங்களின் உதாரணத்தைப் பயன்படுத்துவதே எளிதான வழி. உலகின் முதல் 10 வங்கிகள் ஒவ்வொன்றும் ஒரு மணி நேரத்திற்கு எவ்வளவு சம்பாதிக்கின்றன என்பதை மேலே உள்ள விளக்கப்படம் காட்டுகிறது. சீனாவின் தொழில்துறை மற்றும் வணிக வங்கிக்கு மட்டும், இது $5 மில்லியனுக்கும் குறையாது. சீனாவில் உள்ள மிகப்பெரிய கடன் நிறுவனமான IT உள்கட்டமைப்பின் ஒரு மணிநேர வேலையில்லா நேரத்துக்கு எவ்வளவு செலவாகும் (மற்றும் கணக்கீடு இழந்த லாபத்தை மட்டுமே கணக்கில் எடுத்துக்கொள்கிறது!). இந்த கண்ணோட்டத்தில், வேலையில்லா நேரத்தைக் குறைப்பது மற்றும் நம்பகத்தன்மையை அதிகரிப்பது, ஒரு சில சதவிகிதம் மட்டுமல்ல, ஒரு சதவிகிதத்தின் ஒரு பகுதியாலும் கூட, முற்றிலும் நியாயமானவை என்பது தெளிவாகிறது. போட்டித்தன்மையை அதிகரிப்பதற்கான காரணங்களுக்காக மட்டுமல்ல, சந்தை நிலைகளை தக்கவைத்துக்கொள்வதற்காகவும்.
மற்ற தொழில்களில் ஒப்பிடக்கூடிய மாற்றங்கள் நிகழ்கின்றன. எடுத்துக்காட்டாக, விமானப் போக்குவரத்தில்: தொற்றுநோய்க்கு முன்பு, விமானப் பயணம் ஆண்டுதோறும் வேகத்தை அதிகரித்து வந்தது, மேலும் பலர் அதை டாக்ஸியைப் போலவே பயன்படுத்தத் தொடங்கினர். நுகர்வோர் முறைகளைப் பொறுத்தவரை, சேவைகளின் மொத்தக் கிடைக்கும் பழக்கம் சமூகத்தில் வேரூன்றியுள்ளது: விமான நிலையத்திற்கு வந்தவுடன், எங்களுக்கு Wi-Fi இணைப்பு, கட்டணச் சேவைகளுக்கான அணுகல், பகுதியின் வரைபடம் போன்றவை தேவை. இதன் விளைவாக, பொது இடங்களில் உள்கட்டமைப்பு மற்றும் சேவைகளின் சுமை பல மடங்கு அதிகரித்துள்ளது. உள்கட்டமைப்பு மற்றும் கட்டுமானத்திற்கான அந்த அணுகுமுறைகள் ஒரு வருடத்திற்கு முன்பு கூட ஏற்றுக்கொள்ளத்தக்கவை என்று நாங்கள் கருதினோம், அவை விரைவாக காலாவதியாகி வருகின்றன.
ஆல்-ஃப்ளாஷுக்கு மாறுவதற்கு இது மிகவும் சீக்கிரமா?
மேலே குறிப்பிட்டுள்ள சிக்கல்களைத் தீர்க்க, செயல்திறனின் அடிப்படையில், AFA - அனைத்து-ஃபிளாஷ் வரிசைகள், அதாவது, ஃபிளாஷில் முழுமையாகக் கட்டமைக்கப்பட்ட வரிசைகள் - சிறந்த பொருத்தம். சமீப காலம் வரை, அவை HDDகள் மற்றும் கலப்பினங்களின் அடிப்படையில் கூடியிருந்தவற்றுடன் நம்பகத்தன்மையுடன் ஒப்பிடப்படுமா என்பது குறித்து இன்னும் சந்தேகம் இருந்தது. எல்லாவற்றிற்கும் மேலாக, திட-நிலை ஃபிளாஷ் நினைவகம் தோல்விகளுக்கு இடையிலான சராசரி நேரம் அல்லது MTBF (தோல்விகளுக்கு இடையிலான சராசரி நேரம்) எனப்படும் மெட்ரிக் உள்ளது. I/O செயல்பாடுகளின் காரணமாக செல் சிதைவு, ஐயோ, கொடுக்கப்பட்டதாகும்.
எனவே SSD இறந்துவிட்டால் தரவு இழப்பை எவ்வாறு தடுப்பது என்ற கேள்வியால் ஆல்-ஃப்ளாஷிற்கான வாய்ப்புகள் மங்கலாகிவிட்டன. காப்புப்பிரதி ஒரு பொதுவான விருப்பமாகும், ஆனால் நவீன தேவைகளின் அடிப்படையில் மீட்பு நேரம் ஏற்றுக்கொள்ள முடியாத அளவுக்கு நீண்டதாக இருக்கும். மற்றொரு வழி ஸ்பிண்டில் டிரைவ்களில் இரண்டாவது நிலை சேமிப்பகத்தை அமைப்பதாகும், ஆனால் இந்த திட்டத்துடன் "கண்டிப்பாக ஃபிளாஷ்" அமைப்பின் சில நன்மைகள் இழக்கப்படுகின்றன.
இருப்பினும், எண்கள் வேறுவிதமாகக் கூறுகின்றன: சமீபத்திய ஆண்டுகளில் கூகிள் உட்பட டிஜிட்டல் பொருளாதாரத்தின் ராட்சதர்களின் புள்ளிவிவரங்கள் ஹார்ட் டிரைவ்களை விட ஃபிளாஷ் பல மடங்கு நம்பகமானது என்பதைக் காட்டுகிறது. மேலும், குறுகிய காலத்திற்கும் நீண்ட காலத்திற்கும்: சராசரியாக, ஃபிளாஷ் டிரைவ்கள் தோல்வியடைவதற்கு நான்கு முதல் ஆறு ஆண்டுகள் கடந்து செல்கின்றன. தரவு சேமிப்பகத்தின் நம்பகத்தன்மையைப் பொறுத்தவரை, அவை சுழல் காந்த வட்டுகளில் இயக்கிகளை விட எந்த வகையிலும் தாழ்ந்தவை அல்ல, மேலும் அவற்றை மிஞ்சும்.
ஸ்பிண்டில் டிரைவ்களுக்கு ஆதரவாக மற்றொரு பாரம்பரிய வாதம் அவற்றின் மலிவு. ஹார்ட் டிரைவில் டெராபைட்டை சேமிப்பதற்கான செலவு இன்னும் குறைவாக உள்ளது என்பதில் சந்தேகமில்லை. வன்பொருளின் விலையை மட்டும் நீங்கள் கணக்கில் எடுத்துக் கொண்டால், ஒரு டெராபைட்டை SSD ஐ விட ஸ்பிண்டில் டிரைவில் சேமிப்பது மலிவானது. இருப்பினும், நிதித் திட்டமிடலின் பின்னணியில், ஒரு குறிப்பிட்ட சாதனம் எவ்வளவு வாங்கப்பட்டது என்பது மட்டுமல்ல, நீண்ட காலமாக அதை வைத்திருப்பதற்கான மொத்த செலவு என்ன என்பதும் முக்கியமானது - மூன்று முதல் ஏழு ஆண்டுகள் வரை.
இந்த கோணத்தில் இருந்து, எல்லாம் முற்றிலும் வேறுபட்டது. ஃபிளாஷ் வரிசைகளில் வழக்கமாகப் பயன்படுத்தப்படும் டியூப்ளிகேஷன் மற்றும் கம்ப்ரஷனை எடுத்துக் கொண்டாலும், அவற்றின் செயல்பாட்டை பொருளாதார ரீதியாக அதிக லாபம் ஈட்டினாலும், ரேக்கில் மீடியாவால் ஆக்கிரமிக்கப்பட்ட இடம், வெப்பச் சிதறல் மற்றும் மின் நுகர்வு போன்ற பண்புகள் இருக்கும். மேலும் அவர்களைப் பொறுத்தவரை, பறிப்பு அதன் முன்னோடிகளை விட சிறப்பாக செயல்படுகிறது. இதன் விளைவாக, ஃபிளாஷ் சேமிப்பக அமைப்புகளின் TCO, அனைத்து அளவுருக்களையும் கணக்கில் எடுத்துக்கொள்வது, ஸ்பிண்டில் டிரைவ்கள் அல்லது ஹைப்ரிட்களில் உள்ள வரிசைகளின் விஷயத்தில் கிட்டத்தட்ட பாதி குறைவாக இருக்கும்.
ESG ஏஜென்சியின் அறிக்கைகளின்படி, Dorado V6 ஆல்-ஃப்ளாஷ் சேமிப்பக அமைப்புகளில் ஐந்து வருட இடைவெளியில் 78% வரையிலான உரிமைச் செலவைக் குறைக்க முடியும் - பயனுள்ள துப்பறிதல் மற்றும் சுருக்கம் மற்றும் குறைந்த சக்தி காரணமாக நுகர்வு மற்றும் வெப்பச் சிதறல். ஜேர்மன் பகுப்பாய்வு நிறுவனமான டிசிஐஜியும் டிசிஓவின் அடிப்படையில் இன்று கிடைக்கும் உகந்தவையாக அவற்றைப் பயன்படுத்த பரிந்துரைக்கிறது.
திட-நிலை இயக்கிகளின் பயன்பாடு பயன்படுத்தக்கூடிய இடத்தை சேமிக்கவும், தோல்விகளின் எண்ணிக்கையை குறைக்கவும், தீர்வுக்கு சேவை செய்வதற்கான நேரத்தை குறைக்கவும், ஆற்றல் நுகர்வு மற்றும் சேமிப்பு அமைப்புகளின் வெப்பச் சிதறலைக் குறைக்கவும் செய்கிறது. AFA ஆனது பொருளாதார ரீதியாக குறைந்தபட்சம் ஸ்பிண்டில் டிரைவ்களில் உள்ள பாரம்பரிய வரிசைகளுடன் ஒப்பிடத்தக்கது, மேலும் பெரும்பாலும் அவற்றை மிஞ்சும்.
Huawei இலிருந்து ராயல் ஃப்ளஷ்
எங்களின் ஆல்-ஃப்ளாஷ் சேமிப்பகங்களில், உயர்நிலை அமைப்பான OceanStor Dorado 18000 V6க்கு முதலிடம் உள்ளது. எங்களிடையே மட்டுமல்ல: ஒட்டுமொத்த தொழில்துறையிலும், இது வேகப் பதிவைக் கொண்டுள்ளது - அதிகபட்ச உள்ளமைவில் 20 மில்லியன் ஐபிஓஎஸ் வரை. கூடுதலாக, இது மிகவும் நம்பகமானது: இரண்டு கட்டுப்படுத்திகள் ஒரே நேரத்தில் பறந்தாலும், அல்லது ஏழு கட்டுப்படுத்திகள் ஒன்றன் பின் ஒன்றாக அல்லது முழு இயந்திரமும் ஒரே நேரத்தில் பறந்தாலும், தரவு உயிர்வாழும். அதில் கட்டமைக்கப்பட்ட AI ஆனது "பதினெட்டாயிரத்தில்" கணிசமான நன்மைகளை வழங்குகிறது, உள் செயல்முறைகளை நிர்வகிப்பதற்கான நெகிழ்வுத்தன்மை உட்பட. இதையெல்லாம் எப்படி சாதிக்கிறார்கள் என்று பார்ப்போம்.
பெருமளவிற்கு, Huawei ஒரு தொடக்கத்தைக் கொண்டுள்ளது, ஏனெனில் இது சந்தையில் தரவு சேமிப்பக அமைப்புகளை தானே உருவாக்கும் ஒரே உற்பத்தியாளர் - முழுமையாகவும் முழுமையாகவும். எங்களிடம் எங்கள் சொந்த சுற்று, எங்கள் சொந்த மைக்ரோகோட் மற்றும் எங்கள் சொந்த சேவை உள்ளது.
OceanStor Dorado அமைப்புகளில் உள்ள கன்ட்ரோலர் Huawei இன் சொந்த வடிவமைப்பு மற்றும் உற்பத்தியின் செயலியில் கட்டமைக்கப்பட்டுள்ளது - Kunpeng 920. இது நுண்ணறிவு பேஸ்போர்டு மேனேஜ்மென்ட் கன்ட்ரோலரை (iBMC) பயன்படுத்துகிறது. AI சில்லுகள், அதாவது Ascend 310, தோல்வி கணிப்புகளை மேம்படுத்தும் மற்றும் அமைப்புகளில் பரிந்துரைகளை செய்யும், I/O போர்டுகளைப் போலவே Huawei இலிருந்து வந்தவை - Smart I/O தொகுதி. இறுதியாக, சாலிட்-ஸ்டேட் டிரைவ்களில் உள்ள கன்ட்ரோலர்கள் உள்நாட்டிலேயே வடிவமைக்கப்பட்டு தயாரிக்கப்படுகின்றன. இவை அனைத்தும் ஒருங்கிணைந்த சீரான மற்றும் உயர் செயல்திறன் தீர்வை உருவாக்குவதற்கான அடிப்படையை வழங்கின.
கடந்த ஆண்டில், பெரிய ரஷ்ய வங்கிகளில் ஒன்றில், எங்கள் டாப்-ஆஃப்-லைன் சேமிப்பக அமைப்பைச் செயல்படுத்துவதற்கான திட்டத்தை நாங்கள் செயல்படுத்தியுள்ளோம். இதன் விளைவாக, மெட்ரோ கிளஸ்டரில் உள்ள OceanStor Dorado 40 V18000 இன் 6 க்கும் மேற்பட்ட அலகுகள் நிலையான செயல்திறனைக் காட்டுகின்றன: ஒவ்வொரு அமைப்பிலிருந்தும் ஒரு மில்லியனுக்கும் அதிகமான IOPS அகற்றப்படலாம், மேலும் இது தொலைவு காரணமாக ஏற்படும் தாமதங்களைக் கணக்கில் எடுத்துக்கொள்கிறது.
எண்ட்-டு-எண்ட் NVMe
சமீபத்திய Huawei சேமிப்பக அமைப்புகள் எண்ட்-டு-எண்ட் NVMe ஐ ஆதரிக்கின்றன, இது ஒரு காரணத்திற்காக நாங்கள் கவனம் செலுத்துகிறது. பாரம்பரியமாகப் பயன்படுத்தப்படும் சேமிப்பக அணுகல் நெறிமுறைகள் ஐடியின் ஹார் நாட்களில் உருவாக்கப்பட்டன: அவை எஸ்சிஎஸ்ஐ கட்டளைகளை அடிப்படையாகக் கொண்டவை (ஹலோ, 1980கள்!), இது பின்தங்கிய இணக்கத்தன்மையை உறுதிப்படுத்த பல செயல்பாடுகளை உள்ளடக்கியது. நீங்கள் எந்த அணுகல் முறையைத் தேர்வுசெய்தாலும், இந்த விஷயத்தில் நெறிமுறை மேல்நிலையானது மிகப்பெரியது. இதன் விளைவாக, SCSI-அடிப்படையிலான நெறிமுறைகளைப் பயன்படுத்தும் சேமிப்பக சாதனங்களுக்கு, I/O தாமதமானது 0,4–0,5 ms ஐ விடக் குறைவாக இருக்கக்கூடாது. இதையொட்டி, ஃபிளாஷ் நினைவகத்துடன் வேலை செய்ய உருவாக்கப்பட்ட ஒரு நெறிமுறை மற்றும் மோசமான பின்தங்கிய பொருந்தக்கூடிய தன்மைக்காக ஊன்றுகோல்களிலிருந்து விடுபடுவது, NVMe - நிலையற்ற மெமரி எக்ஸ்பிரஸ் - தாமதத்தை 0,1 ms ஆகக் குறைக்கிறது, ஆனால் சேமிப்பக அமைப்பில் அல்ல, ஆனால் முழுவதுமாக. ஸ்டாக், ஹோஸ்ட் முதல் டிரைவ்கள் வரை. NVMe ஆனது எதிர்காலத்தில் தரவு சேமிப்பகங்களின் வளர்ச்சிப் போக்குகளுடன் ஒத்துப் போவதில் ஆச்சரியமில்லை. நாமும் NVMe இல் பந்தயம் கட்டியுள்ளோம், மேலும் படிப்படியாக SCSI இலிருந்து விலகிச் செல்கிறோம். இன்று தயாரிக்கப்பட்ட அனைத்து Huawei சேமிப்பக அமைப்புகளும், Dorado லைன் உட்பட, NVMe ஐ ஆதரிக்கின்றன (இருப்பினும், இது இறுதி முதல் இறுதி வரை Dorado V6 தொடரின் மேம்பட்ட மாடல்களில் மட்டுமே செயல்படுத்தப்படுகிறது).
FlashLink: ஒரு சில தொழில்நுட்பங்கள்
முழு OceanStor Dorado வரிசைக்கான மூலக்கல்லான தொழில்நுட்பம் FlashLink ஆகும். இன்னும் துல்லியமாக, இது உயர் செயல்திறன் மற்றும் நம்பகத்தன்மையை உறுதிப்படுத்த உதவும் தொழில்நுட்பங்களின் ஒருங்கிணைந்த தொகுப்பை ஒருங்கிணைக்கிறது. இதில் குறைப்பு மற்றும் சுருக்க தொழில்நுட்பங்கள், RAID 2.0+ தரவு விநியோக அமைப்பின் செயல்பாடு, "குளிர்" மற்றும் "சூடான" தரவுகளைப் பிரித்தல், அனைத்து-கோடு வரிசை தரவுப் பதிவுகள் (புதிய மற்றும் மாற்றப்பட்ட தரவுகளுடன், சீரற்ற பதிவுகள், ஒருங்கிணைக்கப்படுகின்றன. பெரிய அடுக்கு மற்றும் வரிசையாக எழுதப்பட்டது, இது படிக்க-எழுத வேகத்தை அதிகரிக்கிறது).
மற்றவற்றுடன், FlashLink இரண்டு முக்கிய கூறுகளை உள்ளடக்கியது - Wear Leveling மற்றும் Global குப்பை சேகரிப்பு. அவை தனித்தனியாக வாழ்வது மதிப்பு.
உண்மையில், எந்தவொரு திட-நிலை இயக்ககமும் மினியேச்சரில் ஒரு சேமிப்பக அமைப்பாகும், அதிக எண்ணிக்கையிலான தொகுதிகள் மற்றும் தரவு கிடைப்பதை உறுதி செய்யும் ஒரு கட்டுப்படுத்தி. மற்றவற்றுடன், "கொல்லப்பட்ட" கலங்களிலிருந்து தரவு "கொல்லப்படாத" கலங்களுக்கு மாற்றப்படுகிறது என்பதன் மூலம் இது உறுதி செய்யப்படுகிறது. அவர்கள் படிக்க முடியும் என்பதை இது உறுதி செய்கிறது. அத்தகைய பரிமாற்றத்திற்கான பல்வேறு வழிமுறைகள் உள்ளன. பொதுவாக, கட்டுப்படுத்தி அனைத்து சேமிப்பு கலங்களின் உடைகளை சமப்படுத்த முயற்சிக்கிறது. இந்த அணுகுமுறையில் ஒரு குறைபாடு உள்ளது. ஒரு SSDக்குள் தரவு நகரும் போது, அது செய்யும் I/O செயல்பாடுகளின் எண்ணிக்கை வெகுவாகக் குறைக்கப்படுகிறது. இந்த நேரத்தில் அது அவசியமான தீமை.
எனவே, ஒரு கணினியில் நிறைய திட நிலை இயக்கிகள் இருந்தால், அதன் செயல்திறன் வரைபடம் கூர்மையான ஏற்ற தாழ்வுகளுடன் "சா-பல்" வடிவத்தைக் காண்பிக்கும். சிக்கல் என்னவென்றால், பூலில் இருந்து எந்த ஒரு இயக்ககமும் எந்த நேரத்திலும் தரவு நகர்வைத் தொடங்கலாம், மேலும் ஒட்டுமொத்த செயல்திறன் வரிசையில் உள்ள அனைத்து SSDகளிலிருந்தும் ஒரே நேரத்தில் அகற்றப்படும். ஆனால் Huawei பொறியாளர்கள் "பார்வை" எவ்வாறு தவிர்ப்பது என்பதைக் கண்டுபிடித்தனர்.
அதிர்ஷ்டவசமாக, டிரைவ்களில் உள்ள கன்ட்ரோலர்கள், ஸ்டோரேஜ் கன்ட்ரோலர் மற்றும் மைக்ரோகோட் ஆகியவை ஹுவாய்க்கு சொந்தமானவை; ஓஷன்ஸ்டோர் டொராடோ 18000 வி6 இல் உள்ள இந்த செயல்முறைகள் வரிசையில் உள்ள அனைத்து டிரைவ்களிலும் மையமாக, ஒத்திசைவாக தொடங்கப்படுகின்றன. மேலும், ஸ்டோரேஜ் கன்ட்ரோலரின் கட்டளைப்படி மற்றும் துல்லியமாக அதிக I/O சுமை இல்லாத போது.
செயற்கை நுண்ணறிவு சிப் தரவு பரிமாற்றத்திற்கான சரியான தருணத்தைத் தேர்ந்தெடுப்பதிலும் ஈடுபட்டுள்ளது: முந்தைய சில மாதங்களில் கோரிக்கைகளின் புள்ளிவிவரங்களின் அடிப்படையில், இது எதிர்காலத்தில் செயலில் உள்ள I/O ஐ எதிர்பார்க்கலாமா என்பதை மிக உயர்ந்த நிகழ்தகவுடன் கணிக்க முடியும், மேலும் பதில் எதிர்மறையாக இருந்தால், இந்த நேரத்தில் கணினியில் சுமை சிறியதாக இருந்தால், கட்டுப்படுத்தி அனைத்து இயக்கிகளுக்கும் கட்டளையிடுகிறது: Wear Leveling தேவைப்படுபவர்கள் அதை ஒரே நேரத்தில் மற்றும் ஒத்திசைவுடன் செய்ய வேண்டும்.
கூடுதலாக, கணினி கட்டுப்படுத்தி, போட்டியிடும் உற்பத்தியாளர்களிடமிருந்து சேமிப்பக அமைப்புகளைப் போலல்லாமல், ஒவ்வொரு சேமிப்பக கலத்திலும் என்ன நடக்கிறது என்பதைப் பார்க்கிறது: அவர்கள் மூன்றாம் தரப்பு விற்பனையாளர்களிடமிருந்து திட-நிலை மீடியாவை வாங்க வேண்டிய கட்டாயத்தில் உள்ளனர், அதனால்தான் செல்-நிலை விவரங்கள் கட்டுப்படுத்திகளுக்கு கிடைக்கவில்லை. அத்தகைய சேமிப்புகள்.
இதன் விளைவாக, OceanStor Dorado 18000 V6 ஆனது Wear Leveling செயல்பாட்டின் போது மிகக் குறுகிய கால செயல்திறன் இழப்பைக் கொண்டுள்ளது, மேலும் இது வேறு எந்த செயல்முறைகளிலும் தலையிடாதபோது முக்கியமாகச் செய்யப்படுகிறது. இது தொடர்ச்சியான அடிப்படையில் உயர், நிலையான செயல்திறனை வழங்குகிறது.
OceanStor Dorado 18000 V6 நம்பகமானதாக்குவது எது?
நவீன தரவு சேமிப்பக அமைப்புகள் நம்பகத்தன்மையின் நான்கு நிலைகளைக் கொண்டுள்ளன:
- வன்பொருள், இயக்கி மட்டத்தில்;
- கட்டடக்கலை, உபகரணங்கள் மட்டத்தில்;
- மென்பொருள் பகுதியுடன் கட்டடக்கலை;
- ஒட்டுமொத்த முடிவோடு தொடர்புடையது.
எங்கள் நிறுவனம் சேமிப்பக அமைப்பின் அனைத்து கூறுகளையும் வடிவமைத்து உற்பத்தி செய்வதால், நான்கு நிலைகளில் ஒவ்வொன்றிலும் நம்பகத்தன்மையை உறுதிசெய்கிறோம், இந்த நேரத்தில் அவற்றில் என்ன நடக்கிறது என்பதை முழுமையாகக் கண்காணிக்கும் திறனுடன்.
டிரைவ்களின் நம்பகத்தன்மை முதன்மையாக முன்னர் விவரிக்கப்பட்ட Wear Leveling மற்றும் Global குப்பை சேகரிப்பு மூலம் உத்தரவாதம் அளிக்கப்படுகிறது. கணினிக்கு ஒரு SSD ஒரு கருப்புப் பெட்டியாகத் தோன்றும்போது, அதில் உள்ள செல்கள் எவ்வாறு சரியாகத் தேய்ந்து போகின்றன என்பது தெரியவில்லை. OceanStor Dorado 18000 V6க்கு, டிரைவ்கள் வெளிப்படையானவை, வரிசையில் உள்ள அனைத்து டிரைவ்களிலும் சீரான சமநிலையை அனுமதிக்கிறது. இந்த வழியில், SSD களின் ஆயுளை கணிசமாக நீட்டிக்கவும், அவற்றின் செயல்பாட்டின் உயர் மட்ட நம்பகத்தன்மையை உறுதிப்படுத்தவும் முடியும்.
டிரைவின் நம்பகத்தன்மையும் அதில் உள்ள கூடுதல் தேவையற்ற செல்களால் பாதிக்கப்படுகிறது. ஒரு எளிய இருப்புடன், சேமிப்பக அமைப்பு DIF செல்கள் என்று அழைக்கப்படுவதைப் பயன்படுத்துகிறது, இதில் செக்சம்கள் உள்ளன, மேலும் RAID வரிசை மட்டத்தில் பாதுகாப்போடு கூடுதலாக ஒவ்வொரு தொகுதியையும் ஒரு பிழையிலிருந்து பாதுகாக்கும் கூடுதல் குறியீடுகள் உள்ளன.
கட்டடக்கலை நம்பகத்தன்மைக்கு முக்கியமானது SmartMatrix தீர்வு. சுருக்கமாக, இவை ஒரு இயந்திரத்தின் ஒரு பகுதியாக செயலற்ற பின்தளத்தில் அமர்ந்திருக்கும் நான்கு கட்டுப்படுத்திகள். அத்தகைய இரண்டு இயந்திரங்கள் - முறையே, எட்டு கட்டுப்படுத்திகளுடன் - டிரைவ்களுடன் பொதுவான அலமாரிகளுடன் இணைக்கப்பட்டுள்ளன. SmartMatrix க்கு நன்றி, எட்டு கன்ட்ரோலர்களில் ஏழு செயல்படுவதை நிறுத்தினாலும், எல்லா தரவையும் படிக்கவும் எழுதவும் அணுகும். மேலும் எட்டு கன்ட்ரோலர்களில் ஆறு தொலைந்துவிட்டால், கேச்சிங் செயல்பாடுகளைத் தொடரவும் முடியும்.
அதே செயலற்ற பின்தளத்தில் உள்ள I/O பலகைகள் அனைத்து கன்ட்ரோலர்களுக்கும், முன்-இறுதி மற்றும் பின்-இறுதியில் கிடைக்கும். இந்த முழு-மெஷ் இணைப்புத் திட்டத்தில், என்ன தவறு நடந்தாலும், டிரைவ்களுக்கான அணுகல் எப்போதும் பராமரிக்கப்படும்.
ஒரு கட்டிடக்கலையின் நம்பகத்தன்மையை தோல்விக் காட்சிகளின் பின்னணியில் பேசுவது மிகவும் பொருத்தமானது, அதற்கு எதிராக தரவு சேமிப்பக அமைப்பு பாதுகாப்பை வழங்க முடியும்.
ஒரே நேரத்தில் இரண்டு கட்டுப்படுத்திகள் "விழுந்தால்" சேமிப்பு இழப்பு இல்லாமல் நிலைமையைத் தக்கவைக்கும். எந்தவொரு கேச் தொகுதியும் வெவ்வேறு கட்டுப்படுத்திகளில் நிச்சயமாக மேலும் இரண்டு நகல்களைக் கொண்டிருப்பதால் இத்தகைய நிலைத்தன்மை அடையப்படுகிறது, அதாவது மொத்தத்தில் இது மூன்று பிரதிகளில் உள்ளது. மேலும், குறைந்தபட்சம் ஒன்று வேறு எஞ்சினில் உள்ளது. எனவே, முழு இயந்திரமும் வேலை செய்வதை நிறுத்தினாலும் - அதன் நான்கு கட்டுப்படுத்திகளுடன் - கேச் நினைவகத்தில் இருந்த அனைத்து தகவல்களையும் பாதுகாப்பது உத்தரவாதம், ஏனென்றால் மீதமுள்ள எஞ்சினிலிருந்து குறைந்தது ஒரு கட்டுப்படுத்தியில் கேச் நகலெடுக்கப்படும். இறுதியாக, டெய்சி-செயின் இணைப்புடன், நீங்கள் ஏழு கன்ட்ரோலர்களை இழக்கலாம், மேலும் அவை இரண்டு தொகுதிகளில் அகற்றப்பட்டாலும், மீண்டும் அனைத்து I/O மற்றும் கேச் நினைவகத்திலிருந்து அனைத்து தரவுகளும் பாதுகாக்கப்படும்.
மற்ற உற்பத்தியாளர்களிடமிருந்து வரும் ஹை-எண்ட் சேமிப்பகத்துடன் ஒப்பிடும் போது, இரண்டு கட்டுப்படுத்திகள் அல்லது முழு எஞ்சின் இறந்த பிறகும் ஹவாய் மட்டுமே முழுமையான தரவுப் பாதுகாப்பையும் முழு கிடைக்கும் தன்மையையும் வழங்குகிறது என்பது தெளிவாகிறது. பெரும்பாலான விற்பனையாளர்கள் டிரைவ்கள் இணைக்கப்பட்டுள்ள கன்ட்ரோலர் ஜோடிகள் என்று அழைக்கப்படும் ஒரு திட்டத்தைப் பயன்படுத்துகின்றனர். துரதிர்ஷ்டவசமாக, இந்த கட்டமைப்பில், இரண்டு கட்டுப்படுத்திகள் தோல்வியுற்றால், இயக்ககத்திற்கான I/O அணுகலை இழக்கும் அபாயம் உள்ளது.
ஐயோ, ஒரு கூறுகளின் தோல்வியை புறநிலையாக நிராகரிக்க முடியாது. இந்த வழக்கில், செயல்திறன் சில காலத்திற்கு பாதிக்கப்படும்: எழுதுவதற்கு வந்த, ஆனால் இன்னும் எழுதப்படாத அல்லது கோரப்பட்ட தொகுதிகள் தொடர்பாக மீண்டும் கட்டமைக்கப்பட்ட பாதைகள் மற்றும் I/O செயல்பாடுகளுக்கான அணுகல் அவசியம். வாசிப்பு. OceanStor Dorado 18000 V6 ஆனது, சராசரியாக ஒரு வினாடி பாதையை மாற்றும் நேரத்தைக் கொண்டுள்ளது - தொழில்துறையின் மிக நெருக்கமான அனலாக் (4 வினாடிகள்) விட கணிசமாகக் குறைவு. அதே செயலற்ற பேக்ப்ளே மூலம் இது அடையப்படுகிறது: கட்டுப்படுத்தி தோல்வியுற்றால், மற்றவர்கள் உடனடியாக அதன் உள்ளீடு-வெளியீட்டைப் பார்க்கிறார்கள், குறிப்பாக எந்த தரவுத் தொகுதி பதிவு செய்யப்படவில்லை; இதன் விளைவாக, அருகிலுள்ள கட்டுப்படுத்தி செயல்முறையை எடுக்கும். எனவே உற்பத்தித்திறனை ஒரு நொடியில் மீட்டெடுக்கும் திறன். இடைவெளி நிலையானது என்பதைச் சேர்க்க வேண்டும்: ஒரு கட்டுப்படுத்திக்கு ஒரு வினாடி, மற்றொன்றுக்கு இரண்டாவது, முதலியன.
OceanStor Dorado 18000 V6 செயலற்ற பின்தளத்தில், அனைத்து பலகைகளும் கூடுதல் முகவரி இல்லாமல் அனைத்து கட்டுப்படுத்திகளுக்கும் அணுகக்கூடியதாக இருக்கும். இதன் பொருள், எந்தவொரு கட்டுப்படுத்தியும் எந்த போர்ட்டிலும் I/O ஐ எடுக்க முடியும். I/O எந்த ஃபிரண்ட்எண்ட் போர்ட்டிற்கு வந்தாலும், கட்டுப்படுத்தி அதைச் செயல்படுத்தத் தயாராக இருக்கும். இதன் விளைவாக குறைந்தபட்ச எண்ணிக்கையிலான உள் இடமாற்றங்கள் மற்றும் சமநிலையின் குறிப்பிடத்தக்க எளிமைப்படுத்தல்.
மல்டிபாதிங் டிரைவரைப் பயன்படுத்தி முன்பக்க சமநிலைப்படுத்தல் செய்யப்படுகிறது, மேலும் அனைத்துக் கட்டுப்படுத்திகளும் அனைத்து I/O போர்ட்களையும் பார்ப்பதால், அமைப்பிலேயே சமநிலைப்படுத்துதல் மேற்கொள்ளப்படுகிறது.
பாரம்பரியமாக, அனைத்து Huawei வரிசைகளும் தோல்வியின் ஒரு புள்ளி கூட இல்லாத வகையில் வடிவமைக்கப்பட்டுள்ளன. கணினியை மறுதொடக்கம் செய்யாமல் அனைத்து கூறுகளும் சூடாக மாற்றப்படலாம்: கட்டுப்படுத்திகள், சக்தி தொகுதிகள், குளிரூட்டும் தொகுதிகள், I/O பலகைகள் போன்றவை.
RAID-TP போன்ற தொழில்நுட்பம் ஒட்டுமொத்த அமைப்பின் நம்பகத்தன்மையையும் அதிகரிக்கிறது. இது ஒரு RAID குழுவின் பெயர், இது மூன்று இயக்கிகள் வரை ஒரே நேரத்தில் தோல்வியுற்றால் உங்களை காப்பீடு செய்ய அனுமதிக்கிறது. மேலும் 1 TB மறுகட்டமைப்பிற்கு தொடர்ந்து 30 நிமிடங்களுக்கும் குறைவாகவே ஆகும். ஸ்பிண்டில் டிரைவில் உள்ள அதே அளவு டேட்டாவை விட எட்டு மடங்கு வேகமாக பதிவுசெய்யப்பட்ட முடிவு. எனவே, 7,68 அல்லது 15 TB என்று சொல்லக்கூடிய மிகவும் திறன் கொண்ட டிரைவ்களைப் பயன்படுத்த முடியும், மேலும் கணினி நம்பகத்தன்மையைப் பற்றி கவலைப்பட வேண்டாம்.
மறுகட்டமைப்பு உதிரி இயக்ககத்தில் அல்ல, ஆனால் உதிரி இடத்தில் - இருப்பு திறன் மேற்கொள்ளப்படுவது முக்கியம். ஒவ்வொரு இயக்ககத்திலும் பிரத்யேக இடம் உள்ளது, இது தோல்விக்குப் பிறகு தரவை மீட்டெடுக்கப் பயன்படுகிறது. எனவே, மறுசீரமைப்பு “பலருக்கு ஒன்று” திட்டத்தின் படி அல்ல, ஆனால் “பலருக்கு பல” திட்டத்தின் படி மேற்கொள்ளப்படுகிறது, இதன் காரணமாக செயல்முறையை கணிசமாக விரைவுபடுத்த முடியும். இலவச திறன் இருக்கும் வரை, மறுசீரமைப்பு தொடரலாம்.
தனித்தனியாக, பல சேமிப்பகங்களிலிருந்து தீர்வின் நம்பகத்தன்மையைக் குறிப்பிடுவது மதிப்பு - ஒரு மெட்ரோ கிளஸ்டரில், அல்லது, ஹவாய் சொற்களில், ஹைப்பர்மெட்ரோ. இத்தகைய திட்டங்கள் எங்கள் தரவு சேமிப்பக அமைப்புகளின் முழு வரம்பிலும் ஆதரிக்கப்படுகின்றன மற்றும் கோப்பு மற்றும் பிளாக் அணுகல் இரண்டிலும் வேலை செய்ய அனுமதிக்கின்றன. மேலும், ஒரு தொகுதி அடிப்படையில் இது ஃபைபர் சேனல் மற்றும் ஈதர்நெட் (iSCSI உட்பட) வழியாக செயல்படுகிறது.
சாராம்சத்தில், ஒரு சேமிப்பக அமைப்பிலிருந்து மற்றொரு சேமிப்பக அமைப்பிற்கு இருதரப்புப் பிரதியெடுப்பு பற்றிப் பேசுகிறோம், இதில் பிரதியமைக்கப்பட்ட LUNக்கு அதே LUN-ID பிரதானமாக வழங்கப்படுகிறது. இரண்டு வெவ்வேறு அமைப்புகளின் தற்காலிக சேமிப்புகளின் நிலைத்தன்மையின் காரணமாக தொழில்நுட்பம் முதன்மையாக செயல்படுகிறது. எனவே, ஹோஸ்டுக்கு அது எந்தப் பக்கத்தில் உள்ளது என்பதில் எந்த வித்தியாசமும் இல்லை: இங்கேயும் அங்கேயும் அது ஒரே தருக்க இயக்கத்தைக் காண்கிறது. இதன் விளைவாக, இரண்டு தளங்களில் பரவியிருக்கும் ஃபெயில்ஓவர் கிளஸ்டரை வரிசைப்படுத்துவதிலிருந்து எதுவும் உங்களைத் தடுக்காது.
கோரத்திற்கு, இயற்பியல் அல்லது மெய்நிகர் லினக்ஸ் இயந்திரம் பயன்படுத்தப்படுகிறது. இது மூன்றாவது தளத்தில் அமைந்திருக்கலாம், மேலும் அதன் வளங்களுக்கான தேவைகள் சிறியதாக இருக்கும். கோரம் VM ஐ ஹோஸ்ட் செய்வதற்கு மட்டுமே ஒரு மெய்நிகர் தளத்தை வாடகைக்கு எடுப்பது ஒரு பொதுவான காட்சியாகும்.
தொழில்நுட்பம் விரிவாக்க அனுமதிக்கிறது: ஒரு மெட்ரோ கிளஸ்டரில் இரண்டு சேமிப்பு வசதிகள், ஒத்திசைவற்ற பிரதியமைப்புடன் கூடிய கூடுதல் தளம்.
வரலாற்று ரீதியாக, பல வாடிக்கையாளர்கள் "சேமிப்பு மிருகக்காட்சிசாலையை" உருவாக்கியுள்ளனர்: வெவ்வேறு உற்பத்தியாளர்கள், வெவ்வேறு மாதிரிகள், வெவ்வேறு தலைமுறைகள், வெவ்வேறு செயல்பாடுகளுடன் சேமிப்பு அமைப்புகள். அதே நேரத்தில், ஹோஸ்ட்களின் எண்ணிக்கை சுவாரஸ்யமாக இருக்கும், மேலும் அவை பெரும்பாலும் மெய்நிகராக்கப்படுகின்றன. இத்தகைய நிலைமைகளில், நிர்வாகத்தின் முன்னுரிமைப் பணிகளில் ஒன்று, விரைவாகவும், சீராகவும் மற்றும் வசதியாகவும் தருக்க வட்டுகளை ஹோஸ்ட்களுக்கு வழங்குவது, முன்னுரிமை இந்த வட்டுகள் எங்கு அமைந்துள்ளன என்பதை ஆராயாமல். எங்கள் மென்பொருள் தீர்வு OceanStor DJ வடிவமைக்கப்பட்டுள்ளது, இது பல்வேறு தரவு சேமிப்பக அமைப்புகளை ஒருங்கிணைத்து நிர்வகிக்கலாம் மற்றும் குறிப்பிட்ட சேமிப்பக மாதிரியுடன் இணைக்கப்படாமல் அவற்றிலிருந்து சேவைகளை வழங்க முடியும்.
AI உடன் அதே
ஏற்கனவே குறிப்பிட்டுள்ளபடி, OceanStor Dorado 18000 V6 ஆனது செயற்கை நுண்ணறிவு வழிமுறைகளுடன் உள்ளமைக்கப்பட்ட செயலிகளைக் கொண்டுள்ளது - Ascend. முதலில், தோல்விகளைக் கணிக்கவும், இரண்டாவதாக, உள்ளமைவு பரிந்துரைகளை உருவாக்கவும் அவை பயன்படுத்தப்படுகின்றன, இது சேமிப்பகத்தின் செயல்திறன் மற்றும் நம்பகத்தன்மையையும் அதிகரிக்கிறது.
முன்கணிப்பு அடிவானம் இரண்டு மாதங்கள்: AI இன்ஜின் இந்த நேரத்தில் பெரும்பாலும் என்ன நடக்கும் என்று கருதுகிறது, இது விரிவாக்கம், அணுகல் கொள்கைகளை மாற்றுவது போன்றவை. பரிந்துரைகள் முன்கூட்டியே வழங்கப்படுகின்றன, இது சாளரங்களை திட்டமிட உங்களை அனுமதிக்கிறது. கணினி பராமரிப்பு நேரத்திற்கு முன்பே.
Huawei இலிருந்து AI இன் வளர்ச்சியின் அடுத்த கட்டம் அதை உலக அளவில் எடுத்துச் செல்வதை உள்ளடக்கியது. சேவை பராமரிப்பு-தோல்வி கையாளுதல் அல்லது பரிந்துரைகளின் போது- Huawei எங்கள் வாடிக்கையாளர்களின் அனைத்து சேமிப்பக வசதிகளிலிருந்தும் பதிவு செய்யும் அமைப்புகளிலிருந்து தகவல்களை ஒருங்கிணைக்கிறது. சேகரிக்கப்பட்டவற்றின் அடிப்படையில், ஏற்பட்ட அல்லது சாத்தியமான தோல்விகளின் பகுப்பாய்வு செய்யப்பட்டு உலகளாவிய பரிந்துரைகள் செய்யப்படுகின்றன - ஒரு குறிப்பிட்ட சேமிப்பக அமைப்பு அல்லது ஒரு டஜன் கூட செயல்படவில்லை, ஆனால் என்ன நடக்கிறது மற்றும் இதுபோன்ற ஆயிரக்கணக்கான சாதனங்களுக்கு என்ன நடந்தது என்பதன் அடிப்படையில். . மாதிரி மிகப்பெரியது, அதன் அடிப்படையில், AI வழிமுறைகள் மிக விரைவாகக் கற்றுக்கொள்ளத் தொடங்குகின்றன, அதனால்தான் கணிப்புகளின் துல்லியம் கணிசமாக அதிகரிக்கிறது.
இணக்கத்தன்மை
2019-2020 ஆம் ஆண்டில், VMware தயாரிப்புகளுடன் எங்கள் சாதனங்களின் தொடர்பு குறித்து பல தூண்டுதல்கள் இருந்தன. இறுதியாக அவற்றைத் தடுக்க, நாங்கள் பொறுப்புடன் அறிவிக்கிறோம்: VMware Huawei இன் பங்குதாரர். எங்களுடைய வன்பொருளின் மென்பொருளின் பொருந்தக்கூடிய தன்மையைத் தீர்மானிக்க ஒவ்வொரு கற்பனையான சோதனையும் மேற்கொள்ளப்பட்டது, இதன் விளைவாக, VMware இணையதளத்தில், வன்பொருள் பொருந்தக்கூடிய தாள் எந்த முன்பதிவுமின்றி எங்கள் தயாரிப்பின் தற்போது கிடைக்கும் சேமிப்பக அமைப்புகளை பட்டியலிடுகிறது. வேறு வார்த்தைகளில் கூறுவதானால், VMware மென்பொருள் சூழலில் நீங்கள் முழு ஆதரவுடன் Dorado V6 உட்பட Huawei சேமிப்பகத்தைப் பயன்படுத்தலாம்.
Brocade உடனான எங்கள் ஒத்துழைப்புக்கும் இதுவே செல்கிறது. நாங்கள் தொடர்ந்து ஒத்துழைத்து, எங்கள் தயாரிப்புகளின் இணக்கத்தன்மையை சோதித்து வருகிறோம் - மேலும் அவற்றின் முடிவுகளின் அடிப்படையில், எங்கள் சேமிப்பக அமைப்புகள் சமீபத்திய Brocade FC சுவிட்சுகளுடன் முழுமையாக இணங்குகின்றன என்பதை நாங்கள் நம்பிக்கையுடன் கூறலாம்.
அடுத்து என்ன?
எங்கள் செயலிகளை நாங்கள் தொடர்ந்து உருவாக்கி மேம்படுத்துகிறோம்: அவை வேகமாகவும், நம்பகத்தன்மையுடனும், அவற்றின் செயல்திறன் அதிகரிக்கிறது. நாங்கள் AI சில்லுகளையும் மேம்படுத்தி வருகிறோம் - அவற்றின் அடிப்படையில் மாட்யூல்கள் தயாரிக்கப்படுகின்றன, அவை குறைத்தல் மற்றும் சுருக்கத்தை விரைவுபடுத்துகின்றன. எங்கள் கன்ஃபிகரேட்டரை அணுகுபவர்கள், டொராடோ வி6 மாடல்களில் இந்த கார்டுகள் ஏற்கனவே ஆர்டருக்குக் கிடைப்பதைக் கவனித்திருக்கலாம்.
ஸ்டோரேஜ் கிளாஸ் மெமரியில் கூடுதல் தேக்ககத்தை நோக்கி நகர்கிறோம் - குறிப்பாக குறைந்த தாமதத்துடன், ஒரு வாசிப்புக்கு சுமார் பத்து மைக்ரோ விநாடிகள் கொண்ட நிலையற்ற நினைவகம். மற்றவற்றுடன், SCM ஒரு செயல்திறன் ஊக்கத்தை வழங்குகிறது, முதன்மையாக பெரிய தரவுகளுடன் பணிபுரியும் போது மற்றும் OLTP சிக்கல்களைத் தீர்க்கும் போது. அடுத்த புதுப்பித்தலுக்குப் பிறகு, ஆர்டருக்கு SCM கார்டுகள் கிடைக்கும்.
நிச்சயமாக, கோப்பு அணுகல் செயல்பாடு Huawei தரவு சேமிப்பக மாதிரிகளின் முழு வரம்பிலும் விரிவுபடுத்தப்படும் - எங்கள் புதுப்பிப்புகளுக்கு காத்திருங்கள்.
ஆதாரம்: www.habr.com