እባካችሁ ወደ ርዕሱ መደምደሚያ አትግቡ! እሱን ለመደገፍ ክብደት ያላቸው ክርክሮች አሉን፣ እና በተቻለን መጠን ጥቅጥቅ አድርገናቸው ጠቅለናል። በጃንዋሪ 2020 ስለተለቀቀው አዲሱ የማከማቻ ስርዓታችን ፅንሰ-ሀሳብ እና የአሠራር መርሆች አንድ ልጥፍ ወደ እርስዎ ትኩረት እናመጣለን።
በእኛ አስተያየት, የዶራዶ ቪ 6 ማከማቻ ቤተሰብ ዋነኛው የውድድር ጠቀሜታ በአርዕስቱ ውስጥ በተጠቀሰው አፈፃፀም እና አስተማማኝነት ይቀርባል. አዎ ፣ አዎ ፣ በጣም ቀላል ነው ፣ ግን ይህንን “ቀላል” ለማሳካት ምን አይነት ተንኮለኛ እና በጣም አስቸጋሪ ያልሆኑ ውሳኔዎች ፣ ዛሬ እንነጋገራለን ።
የአዲሱ ትውልድ ስርዓቶችን አቅም በተሻለ ሁኔታ ለመልቀቅ, ስለ ሞዴል ክልል (ሞዴሎች 8000, 18000) ስለ አሮጌዎቹ ተወካዮች እንነጋገራለን. በሌላ መልኩ ካልተገለጸ በቀር፣ እንዲሆኑ የታሰቡ ናቸው።
ስለ ገበያው ጥቂት ቃላት
የHuawei መፍትሄዎችን በገበያ ውስጥ ያለውን ቦታ በተሻለ ለመረዳት ወደ የተረጋገጠ መለኪያ እንሸጋገር - "
እ.ኤ.አ. በ 2019 ጋርትነር በጥናቱ ውስጥ ሁለቱንም ከላይ የተጠቀሱትን ዘርፎች በአንድ - "ዋና ማከማቻ" አጣምሯል ። በውጤቱም፣ Huawei እንደ IBM፣ Hitachi Vantara እና Infinidat ካሉ አቅራቢዎች ቀጥሎ በመሪ ኳድራንት ውስጥ በድጋሚ ነበር።
ምስሉን ለማጠናቀቅ Gartner በአሜሪካ ገበያ ውስጥ ለመተንተን 80% መረጃን እንደሚሰበስብ እና ይህ በዩኤስ ውስጥ በደንብ ለሚወክሉት ኩባንያዎች ትልቅ አድልዎ እንደሚፈጥር እናስተውላለን። ይህ በእንዲህ እንዳለ፣ ወደ አውሮፓ እና እስያ ገበያዎች ያቀኑ አቅራቢዎች እራሳቸውን በጣም ጠቃሚ በሆነ ቦታ ላይ ይገኛሉ። ይህም ሆኖ፣ ባለፈው ዓመት የHuawei ምርቶች በቀኝ በኩል ባለው ኳድራንት ውስጥ ትክክለኛ ቦታቸውን ወስደዋል እና በጋርትነር ብይን መሰረት "ለአጠቃቀም ሊመከር ይችላል"።
በዶራዶ ቪ6 ውስጥ ምን አዲስ ነገር አለ?
የዶራዶ ቪ6 ምርት መስመር በተለይ በመግቢያ ደረጃ 3000 ተከታታይ ሲስተሞች ይወከላል።በመጀመሪያ በሁለት ተቆጣጣሪዎች የተገጠመላቸው በአግድም ወደ 16 ተቆጣጣሪዎች፣ 1200 ድራይቮች እና 192 ጂቢ መሸጎጫ ሊሰፋ ይችላል። እንዲሁም ስርዓቱ ውጫዊ የፋይበር ቻናል (8/16/32 Gb/s) እና ኤተርኔት (1/10/25/40/100 Gb/s) ወደቦች ይሟላል።
የንግድ ስኬት የሌላቸው የፕሮቶኮሎች አጠቃቀም አሁን እየተቋረጠ መሆኑን ልብ ይበሉ፣ስለዚህ ሲጀመር ለፋይበር ቻናል በኤተርኔት (FCoE) እና Infiniband (IB) የሚደረገውን ድጋፍ ለመተው ወስነናል። በኋላ የጽኑ ትዕዛዝ ስሪቶች ውስጥ ይታከላሉ. ለNVMe በጨርቃጨርቅ (NVMe-oF) ድጋፍ በፋይበር ቻናል ላይ ካለው ሳጥን ውስጥ ይገኛል። በጁን ውስጥ ለመልቀቅ የታቀደው ቀጣዩ firmware NVMeን በኤተርኔት ሁነታ ለመደገፍ መርሐግብር ተይዞለታል። በኛ አስተያየት፣ ከላይ ያለው ስብስብ የአብዛኛውን ሁዋዌ ደንበኞችን ፍላጎት ከመሸፈን በላይ ይሆናል።
የፋይል መዳረሻ አሁን ባለው የጽኑ ትዕዛዝ ስሪት ውስጥ አይገኝም እና በዓመቱ መጨረሻ ላይ በሚቀጥሉት ዝማኔዎች በአንዱ ላይ ይታያል። ተጨማሪ መሣሪያዎችን ሳይጠቀሙ በተቆጣጣሪዎቹ ራሳቸው በኤተርኔት ወደቦች ትግበራው በአገርኛ ደረጃ ይታሰባል።
በዶራዶ V6 3000 ተከታታይ ሞዴል እና በአሮጌዎቹ መካከል ያለው ዋነኛው ልዩነት በጀርባው ላይ አንድ ፕሮቶኮልን ይደግፋል - SAS 3.0. በዚህ መሠረት እዚያ ያሉ አሽከርካሪዎች በተሰየመው በይነገጽ ብቻ ጥቅም ላይ ሊውሉ ይችላሉ. ከኛ እይታ አንጻር በዚህ የቀረበው አፈፃፀም ለዚህ አይነት መሳሪያ በቂ ነው.
የዶራዶ V6 5000 እና 6000 ተከታታይ ስርዓቶች መካከለኛ ደረጃ መፍትሄዎች ናቸው. እንዲሁም በቅጽ 2 ዩ ውስጥ የተሰሩ እና በሁለት መቆጣጠሪያዎች የተገጠሙ ናቸው. እርስ በእርሳቸው በአፈፃፀም, በአቀነባባሪዎች ብዛት, ከፍተኛው የዲስክ ብዛት እና የመሸጎጫ መጠን ይለያያሉ. ሆኖም፣ በሥነ ሕንፃ እና ምህንድስና፣ ዶራዶ V6 5000 እና 6000 ተመሳሳይ እና ተመሳሳይ ናቸው።
የ hi-end ክፍል ዶራዶ V6 8000 እና 18000 ተከታታይ ሲስተሞችን ያካትታል።በ4U መጠን የተሰሩ፣ በነባሪ የተለየ አርክቴክቸር አላቸው፣በዚህም ተቆጣጣሪዎች እና አሽከርካሪዎች ተለያይተዋል። ምንም እንኳን ደንበኞቻቸው አራት ወይም ከዚያ በላይ ቢጠይቁም በትንሹም ቢሆን ከሁለት ተቆጣጣሪዎች ጋር ሊመጡ ይችላሉ።
ዶራዶ V6 8000 ወደ 16 ተቆጣጣሪዎች ፣ እና ዶራዶ V6 18000 ሚዛን እስከ 32. እነዚህ ስርዓቶች የተለያዩ የኮሮች እና የመሸጎጫ መጠኖች ያላቸው የተለያዩ ፕሮሰሰሮች አሏቸው። በተመሳሳይ ጊዜ, የምህንድስና መፍትሄዎች ማንነት ተጠብቆ ይቆያል, ልክ እንደ መካከለኛ ክፍል ሞዴሎች.
2U ማከማቻ መደርደሪያዎች በ RDMA በኩል በ100 Gb/s የመተላለፊያ ይዘት ተያይዘዋል። የድሮው Dorado V6 backend SAS 3.0 ን ይደግፋል፣ ነገር ግን ይህ በይነገጽ ያላቸው ኤስኤስዲዎች ብዙ ዋጋ ቢቀንስባቸው። ከዚያም ዝቅተኛ ምርታማነትን ከግምት ውስጥ በማስገባት አጠቃቀማቸው ኢኮኖሚያዊ አዋጭነት ይኖረዋል። በአሁኑ ጊዜ በኤስኤስዲዎች መካከል ያለው የዋጋ ልዩነት ከኤስኤኤስ እና ከ NVMe በይነገጽ ጋር በጣም ትንሽ ስለሆነ እንዲህ ዓይነቱን መፍትሄ ለመምከር ዝግጁ አይደለንም ።
በመቆጣጠሪያው ውስጥ
የዶራዶ ቪ6 ተቆጣጣሪዎች በራሳችን ኤለመንቶች መሰረት የተሰሩ ናቸው። ከኢንቴል ምንም ፕሮሰሰር የለም፣ ከብሮድኮም የመጣ ASIC የለም። ስለዚህ, እያንዳንዱ የእናትቦርዱ አካል, እንዲሁም ማዘርቦርዱ ራሱ, ከአሜሪካ ኩባንያዎች የማዕቀብ ጫና ጋር ተያይዘው ከሚመጡ አደጋዎች ተጽእኖ ሙሉ በሙሉ ይወገዳሉ. ማናቸውንም መሳሪያዎቻችንን በዓይናቸው ያዩ ምናልባት ከሎጎው ስር ቀይ ቀለም ያለው ጋሻ ሳያስተውሉ አልቀረም። ምርቱ የአሜሪካን አካላት አልያዘም ማለት ነው. ይህ የHuawei ኦፊሴላዊ አካሄድ ነው - ወደ የራሱ ምርት ክፍሎች የሚደረግ ሽግግር ወይም በማንኛውም ሁኔታ የአሜሪካን ፖሊሲ በማይከተሉ አገሮች ውስጥ ይዘጋጃል።
በመቆጣጠሪያ ሰሌዳው ላይ ማየት የሚችሉት እዚህ አለ።
- ከፋይበር ቻናል ወይም ኢተርኔት ጋር የመገናኘት ኃላፊነት ያለው ሁለንተናዊ የአውታረ መረብ በይነገጽ (Hisilicon 1822 ቺፕ)።
- የስርዓቱን BMC ቺፕ ማለትም ሂሲሊኮን 1710 የርቀት ተደራሽነትን መስጠት ለስርዓቱ ሙሉ የርቀት መቆጣጠሪያ እና ቁጥጥር። ተመሳሳይ የሆኑት በእኛ አገልጋዮች እና በሌሎች መፍትሄዎች ውስጥም ጥቅም ላይ ይውላሉ።
- በHuawei የተሰራው በአርኤም አርክቴክቸር ላይ የተገነባው የኩንፔንግ 920 ቺፕ ማእከላዊ ማቀነባበሪያ ክፍል ነው። ከላይ ባለው ሥዕላዊ መግለጫ ላይ የሚታየው እሱ ነው, ምንም እንኳን ሌሎች ተቆጣጣሪዎች የተለያዩ የኮሮች ብዛት, የተለያየ የሰዓት ፍጥነት, ወዘተ ያላቸው የተለያዩ ሞዴሎች ሊኖራቸው ይችላል.በአንድ መቆጣጠሪያ ውስጥ ያሉ የአቀነባባሪዎች ብዛትም ከሞዴል ወደ ሞዴል ይቀየራል. ለምሳሌ, በአሮጌው ዶራዶ ቪ6 ተከታታይ ውስጥ, በአንድ ሰሌዳ ላይ አራቱ አሉ.
- ሁለቱንም SAS እና NVMe ድራይቮች የሚደግፍ የኤስኤስዲ መቆጣጠሪያ (Hisilicon 1812e ቺፕ)። በተጨማሪም የሁዋዌ ራሱን የቻለ ኤስኤስዲዎችን ያመርታል ነገርግን ኤንኤንድ ህዋሶችን በራሱ አያመርትም ከአለም አራቱ ትልልቅ አምራቾች ባልተቆረጠ የሲሊኮን ዋይፈር መግዛት ይመርጣል። Huawei ራሱን ችሎ የሚያመርተውን ቺፕስ ውስጥ መቁረጥ፣ መሞከር እና ማሸግ፣ ከዚያ በኋላ በራሱ ብራንድ ይለቀቃል።
- አርቴፊሻል ኢንተለጀንስ ቺፕ Ascend 310. በነባሪነት በመቆጣጠሪያው ላይ የለም እና በተለየ ካርድ የተገጠመ ሲሆን ይህም ለኔትወርክ አስማሚዎች ከተቀመጡት ቦታዎች አንዱን ይይዛል. ቺፑ የማሰብ ችሎታ ያለው የመሸጎጫ ባህሪ፣ የአፈጻጸም አስተዳደር ወይም መቀነስ እና የመጨመቅ ሂደቶችን ለማቅረብ ያገለግላል። እነዚህ ሁሉ ተግባራት በማዕከላዊው ፕሮሰሰር እርዳታ ሊፈቱ ይችላሉ, ነገር ግን AI ቺፕ ይህን የበለጠ በብቃት እንዲያደርጉ ይፈቅድልዎታል.
ስለ Kunpeng ፕሮሰሰሮች በተናጠል
የኩንፔንግ ፕሮሰሰር በቺፕ (ሶሲ) ላይ ያለ ሲስተም ከኮምፒዩቲንግ ዩኒት በተጨማሪ የተለያዩ ሂደቶችን የሚያፋጥኑ ሃርድዌር ሞጁሎች አሉ ለምሳሌ ቼኮችን ማስላት ወይም የመደምሰስ ኮድ ማድረግ። እንዲሁም ለSAS፣ Ethernet፣ DDR4 (ከስድስት እስከ ስምንት ቻናሎች) ወዘተ የሃርድዌር ድጋፍን ተግባራዊ ያደርጋል።ይህ ሁሉ ሁዋዌ በአፈጻጸም ከጥንታዊ የኢንቴል መፍትሄዎች ያላነሱ የማከማቻ መቆጣጠሪያዎችን እንዲፈጥር ያስችለዋል።
በተጨማሪም በኤአርኤም አርክቴክቸር ላይ የተመሰረቱ የባለቤትነት መፍትሄዎች የሁዋዌ የተሟላ የአገልጋይ መፍትሄዎችን እንዲፈጥር እና ለደንበኞቹ እንደ x86 አማራጭ እንዲያቀርብ ያስችለዋል።
አዲስ ዶራዶ ቪ6 አርክቴክቸር…
የድሮው ተከታታይ የማከማቻ ስርዓት Dorado V6 ውስጣዊ አርክቴክቸር በአራት ዋና ንዑስ ጎራዎች (ፋብሪካዎች) ይወከላል.
የመጀመሪያው ፋብሪካ የጋራ ግንባር ነው (ከ SAN ፋብሪካ ወይም አስተናጋጆች ጋር ለመግባባት ኃላፊነት ያላቸው የአውታረ መረብ በይነገጾች)።
ሁለተኛው የመቆጣጠሪያዎች ስብስብ ነው, እያንዳንዱም በ RDMA ፕሮቶኮል በኩል ወደ ማንኛውም የፊት-መጨረሻ ኔትወርክ ካርድ እና ወደ ጎረቤት "ሞተር" ማለትም አራት መቆጣጠሪያዎች ያሉት ሳጥን, እንዲሁም ኃይል እና ማቀዝቀዣ "መድረስ" ይችላሉ. ለእነሱ የተለመዱ ክፍሎች. አሁን ሃይ-መጨረሻ ክፍል Dorado V6 ሞዴሎች ሁለት እንደዚህ ዓይነት "ሞተሮች" (በቅደም ተከተል, ስምንት መቆጣጠሪያዎች) ሊታጠቁ ይችላሉ.
ሶስተኛው ፋብሪካ ለጀርባው ሃላፊነት ያለው እና RDMA 100G ኔትወርክ ካርዶችን ያካትታል.
በመጨረሻም, አራተኛው ፋብሪካ "በሃርድዌር ውስጥ" በ plug-in የማሰብ ችሎታ ያላቸው የማከማቻ መደርደሪያዎች.
ይህ የተመጣጠነ መዋቅር የ NVMe ቴክኖሎጂን ሙሉ አቅም ያስወጣል እና ከፍተኛ አፈፃፀም እና አስተማማኝነትን ያረጋግጣል። የI/O ሂደት በአቀነባባሪዎች እና በኮርሮች ላይ ከፍተኛ ትይዩ ነው፣ ይህም በአንድ ጊዜ ማንበብ እና መጻፍ ለብዙ ክሮች ነው።
… እና የሰጠችን
የዶራዶ ቪ6 መፍትሄዎች ከፍተኛ አፈፃፀም ከቀድሞው ትውልድ ስርዓቶች (ተመሳሳይ ክፍል) በግምት በሦስት እጥፍ ከፍ ያለ እና 20 ሚሊዮን IOPS ሊደርስ ይችላል።
ይህ የሆነበት ምክንያት ባለፈው የመሣሪያዎች ትውልድ ውስጥ የ NVMe ድጋፍ ከአሽከርካሪዎች ጋር መደርደሪያዎችን ለመሳብ ብቻ በመስፋፋቱ ነው። አሁን ከአስተናጋጁ እስከ ኤስኤስዲ ድረስ በሁሉም ደረጃዎች ይገኛል። የኋላ አውታረመረብ እንዲሁ ለውጦችን አድርጓል፡ SAS/PCIe ለRoCEv2 በ100 Gb/s ፍሰት መንገድ ሰጥቷል።
የኤስኤስዲ ቅርጸት ሁኔታም ተለውጧል። ቀደም ብሎ በ2U መደርደሪያ 25 ድራይቮች ከነበሩ አሁን እስከ 36 የፓልም መጠን ያላቸው ፊዚካል ዲስኮች አምጥቷል። በተጨማሪም መደርደሪያዎቹ "ጥበበኞች" ሆነዋል. እያንዳንዳቸው አሁን በማዕከላዊ ተቆጣጣሪዎች ውስጥ ከተጫኑት ጋር ተመሳሳይነት ባለው በ ARM ቺፕስ ላይ የተመሰረቱ ሁለት ተቆጣጣሪዎች ስህተት-ታጋሽ ስርዓት አላቸው.
እስካሁን ድረስ በመረጃ መልሶ ማደራጀት ላይ ብቻ የተሰማሩ ናቸው, ነገር ግን አዲስ firmware ሲለቀቁ, መጭመቂያ እና ማጥፋት ኮድ በእሱ ላይ ይጨምራሉ, ይህም በዋና ተቆጣጣሪዎች ላይ ያለውን ጭነት ከ 15 ወደ 5% ይቀንሳል. አንዳንድ ስራዎችን ወደ መደርደሪያው በተመሳሳይ ጊዜ ማስተላለፍ የውስጥ አውታረመረብ የመተላለፊያ ይዘትን ነፃ ያደርገዋል. እና ይህ ሁሉ የስርዓቱን የመለጠጥ አቅም በከፍተኛ ሁኔታ ይጨምራል።
በቀድሞው ትውልድ ማከማቻ ስርዓት ውስጥ መጨናነቅ እና ማባዛት በቋሚ-ርዝመት እገዳዎች ተካሂዷል። አሁን፣ ከተለዋዋጭ ርዝማኔ ብሎኮች ጋር የመስራት ዘዴ ተጨምሯል፣ ይህም እስካሁን በግዳጅ ማብራት አለበት። ተከታይ ማሻሻያዎች ይህንን ሁኔታ ሊለውጡ ይችላሉ።
እንዲሁም ስለ ውድቀቶች መቻቻል በአጭሩ። ከሁለቱ ተቆጣጣሪዎች አንዱ ካልተሳካ ዶራዶ ቪ3 ስራውን እንደቀጠለ ነው። ዶራዶ ቪ6 ከስምንቱ ተቆጣጣሪዎች ሰባቱ በተከታታይ ቢወድቁ ወይም ከአንድ ሞተር አራቱ በአንድ ጊዜ ቢወድቁ እንኳን የመረጃ መገኘቱን ያረጋግጣል።
በኢኮኖሚክስ ረገድ አስተማማኝነት
በቅርብ ጊዜ፣ ኩባንያው ተቀባይነት አለው ብሎ ስለሚገምተው የግለሰብ የአይቲ መሠረተ ልማት አካላት ምን ያህል ጊዜ መቀነስ በHuawei ደንበኞች መካከል የዳሰሳ ጥናት ተካሄዷል። በአብዛኛው, ምላሽ ሰጪዎች መተግበሪያው በጥቂት መቶ ሰከንዶች ውስጥ ምላሽ የማይሰጥበትን ግምታዊ ሁኔታ ታግሰዋል. ለስርዓተ ክወናው ወይም ለአስተናጋጅ አውቶቡስ አስማሚ፣ አስር ሰከንዶች (በዋናነት ዳግም የማስነሳት ጊዜ) ወሳኝ የእረፍት ጊዜ ነበሩ። ደንበኞች በኔትወርኩ ላይ የበለጠ ከፍተኛ ፍላጎቶችን ያስቀምጣሉ: የመተላለፊያ ይዘት ከ10-20 ሰከንድ በላይ መጥፋት የለበትም. እርስዎ እንደሚገምቱት፣ በጣም ወሳኝ የሆኑት ምላሽ ሰጪዎች የማከማቻ ስርዓት ውድቀቶችን ግምት ውስጥ ያስገባሉ። ከንግድ ተወካዮች እይታ አንጻር ቀላል ማከማቻ በዓመት ከጥቂት ሰከንዶች መብለጥ የለበትም!
በሌላ አነጋገር፣ የባንኩ ደንበኛ ማመልከቻ ለ100 ሰከንድ ምላሽ ካልሰጠ፣ ይህ ምናልባት አስከፊ መዘዝን አያመጣም። ነገር ግን የማከማቻ ስርዓቱ ለተመሳሳይ መጠን የማይሰራ ከሆነ, የንግድ ሥራ ማቆም እና ከፍተኛ የገንዘብ ኪሳራዎች ሊኖሩ ይችላሉ.
ከላይ ያለው ሰንጠረዥ ለአሥሩ ትላልቅ ባንኮች (የፎርብስ መረጃ ለ 2017) የአንድ ሰዓት ሥራ ዋጋ ያሳያል. ይስማሙ, ኩባንያዎ የቻይና ባንኮችን መጠን እየቀረበ ከሆነ, ለብዙ ሚሊዮን ዶላር የማከማቻ ስርዓቶችን መግዛት አስፈላጊ መሆኑን ማረጋገጥ በጣም አስቸጋሪ አይሆንም. የተገላቢጦሽ መግለጫው ትክክል ነው፡ አንድ የንግድ ሥራ በእረፍት ጊዜ ከፍተኛ ኪሳራ ካላስከተለ፣ ታዲያ ሃይ-መጨረሻ የማከማቻ ስርዓቶችን መግዛት አይቀርም። በማንኛውም ሁኔታ የስርዓት አስተዳዳሪው ለመስራት ፈቃደኛ ካልሆነው የማከማቻ ስርዓት ጋር በሚገናኝበት ጊዜ አንድ ቀዳዳ ምን ያህል መጠን በኪስ ቦርሳዎ ውስጥ ሊፈጠር እንደሚችል መገመት አስፈላጊ ነው።
በአንድ ውድቀት ሁለተኛ
ከላይ ባለው ስእል ውስጥ በ መፍትሄ A ውስጥ, የእኛን የቀድሞ ትውልድ Dorado V3 ስርዓትን ማወቅ ይችላሉ. የእሱ አራቱ ተቆጣጣሪዎች ጥንድ ሆነው ይሠራሉ, እና ሁለት ተቆጣጣሪዎች ብቻ የመሸጎጫ ቅጂዎችን ይይዛሉ. በአንድ ጥንድ ውስጥ ያሉ ተቆጣጣሪዎች ጭነቱን እንደገና ማከፋፈል ይችላሉ. በተመሳሳይ ጊዜ, እንደሚመለከቱት, እዚህ ምንም የፊት-መጨረሻ እና የኋላ-መጨረሻ "ፋብሪካዎች" የሉም, ስለዚህ እያንዳንዱ የማከማቻ መደርደሪያዎች ከተወሰነ ተቆጣጣሪ ጥንድ ጋር የተገናኙ ናቸው.
የመፍትሄው B ዲያግራም በአሁኑ ጊዜ በገበያ ላይ ያለውን መፍትሄ ከሌላ ሻጭ (እውቅና ያለው?) ያሳያል። ቀደም ሲል የፊት-መጨረሻ እና የኋላ-መጨረሻ ፋብሪካዎች እዚህ አሉ, እና አሽከርካሪዎች በአንድ ጊዜ ከአራት መቆጣጠሪያዎች ጋር ይገናኛሉ. እውነት ነው, በስርዓቱ ውስጣዊ ስልተ ቀመሮች ሥራ ውስጥ በመጀመሪያዎቹ ግምቶች ውስጥ ግልጽ ያልሆኑ ጥቃቅን ነገሮች አሉ.
በቀኝ በኩል ከሙሉ የውስጥ አካላት ጋር የአሁኑ የዶራዶ ቪ6 ማከማቻ አርክቴክቸር ነው። እነዚህ ስርዓቶች ከተለመደው ሁኔታ እንዴት እንደሚተርፉ አስቡ - የአንድ ተቆጣጣሪ ውድቀት.
Dorado V3 ን የሚያካትቱ ክላሲካል ስርዓቶች, ውድቀት በሚከሰትበት ጊዜ ጭነቱን እንደገና ለማሰራጨት የሚፈጀው ጊዜ አራት ሰከንድ ይደርሳል. በዚህ ጊዜ I/O ሙሉ በሙሉ ይቆማል። ከባልደረቦቻችን የተገኘው መፍትሔ ለ፣ ምንም እንኳን ዘመናዊው የሕንፃ ጥበብ ቢሆንም፣ በስድስት ሰከንድ ውድቀት ላይ እንኳን ከፍ ያለ ጊዜ አለው።
ማከማቻ ዶራዶ ቪ6 ከተሳካ በኋላ በአንድ ሰከንድ ውስጥ ስራውን ወደነበረበት ይመልሳል። ይህ ውጤት የተገኘው ተቆጣጣሪው "የውጭ" ማህደረ ትውስታን እንዲደርስ በሚያስችለው ተመሳሳይ በሆነ ውስጣዊ የ RDMA አካባቢ ምክንያት ነው። ሁለተኛው አስፈላጊ ሁኔታ የፊት ለፊት ፋብሪካ መኖር ነው, ለዚህም ምስጋና ይግባውና የአስተናጋጁ መንገድ አይለወጥም. ወደቡ አንድ አይነት ሆኖ ይቆያል, እና ጭነቱ በቀላሉ ወደ ጤናማ ተቆጣጣሪዎች በበርካታ አሽከርካሪዎች ይላካል.
በዶራዶ ቪ 6 ውስጥ ያለው የሁለተኛው መቆጣጠሪያ አለመሳካቱ በአንድ ሰከንድ ውስጥ በተመሳሳይ እቅድ መሰረት ይሠራል. ዶራዶ ቪ 3 ስድስት ሰከንድ ያህል ይወስዳል ፣ እና የሌላ ሻጭ መፍትሄ ዘጠኝ ይወስዳል። ለብዙ ዲቢኤምኤስ እንደዚህ ያሉ ክፍተቶች ከአሁን በኋላ ተቀባይነት እንዳላቸው ሊቆጠሩ አይችሉም, ምክንያቱም በዚህ ጊዜ ስርዓቱ ወደ ተጠባባቂ ሞድ ተቀይሯል እና መስራት ያቆማል. ይህ በመጀመሪያ ብዙ ክፍሎችን ያቀፈውን DBMS ይመለከታል።
የሶስተኛው ተቆጣጣሪ መፍትሔ A ውድቀት በሕይወት መቆየት አልቻለም. በቀላሉ የውሂብ ዲስኮች ከፊል መዳረሻ በመጥፋቱ ምክንያት. በምላሹ, መፍትሄ B በእንደዚህ ዓይነት ሁኔታ ውስጥ የመሥራት አቅሙን ያድሳል, ይህም እንደ ቀድሞው ሁኔታ ዘጠኝ ሰከንዶች ይወስዳል.
በዶራዶ V6 ውስጥ ምን አለ? አንድ ሰከንድ.
በሰከንድ ውስጥ ምን ማድረግ ይቻላል
ምንም ማለት ይቻላል, ግን አያስፈልገንም. በድጋሜ በሃይ-መጨረሻ ክፍል Dorado V6 ውስጥ የፊት-መጨረሻ ፋብሪካ ከመቆጣጠሪያው ፋብሪካ ተቆርጧል. ይህ ማለት የአንድ የተወሰነ ተቆጣጣሪ ንብረት የሆኑ ሃርድ-ኮድ ወደቦች የሉም ማለት ነው። አለመሳካቱ አማራጭ መንገዶችን መፈለግ ወይም መልቲ ማለፊያን እንደገና ማስጀመርን አያካትትም። ስርዓቱ እንደ ቀድሞው መስራቱን ቀጥሏል።
ባለብዙ ውድቀት መቻቻል
የድሮው የዶራዶ ቪ6 ሞዴሎች ከማንኛውም "ሞተሮች" ተቆጣጣሪዎች የሁለቱም (!) ተቆጣጣሪዎች በአንድ ጊዜ ውድቀት በቀላሉ ሊተርፉ ይችላሉ. ይህ ሊሆን የቻለው መፍትሔው አሁን የመሸጎጫውን ሶስት ቅጂዎች በመያዙ ነው። ስለዚህ, በድርብ ውድቀት እንኳን, ሁልጊዜ አንድ ሙሉ ቅጂ ይኖራል.
ሦስቱም የመሸጎጫ ቅጂዎች በማንኛውም ጊዜ በ "ሞተሮች" መካከል ስለሚሰራጩ የአራቱም ተቆጣጣሪዎች የተመሳሰለ ውድቀት ከ "ሞተሮች" ውስጥ ገዳይ ውጤት አያስከትልም። ስርዓቱ ራሱ ከእንደዚህ አይነት የስራ አመክንዮዎች ጋር መጣጣምን ይቆጣጠራል.
በመጨረሻም፣ በጣም የማይመስል ሁኔታ ከስምንቱ ተቆጣጣሪዎች የሰባት ተከታታይ ውድቀት ነው። በተጨማሪም በነጠላ ውድቀቶች መካከል ያለውን አሠራር ለመጠበቅ የሚፈቀደው ዝቅተኛው የጊዜ ክፍተት 15 ደቂቃ ነው። በዚህ ጊዜ የማከማቻ ስርዓቱ ለመሸጎጫ ፍልሰት አስፈላጊ የሆኑትን ስራዎች ለማከናወን ጊዜ አለው.
የመጨረሻው የተረፈው ተቆጣጣሪ የውሂብ ማከማቻውን ያካሂዳል እና መሸጎጫውን ለአምስት ቀናት ያቆያል (በቅንብሮች ውስጥ በቀላሉ ሊለወጥ የሚችል ነባሪ እሴት)። ከዚያ በኋላ, መሸጎጫው ይሰናከላል, ነገር ግን የማከማቻ ስርዓቱ መስራቱን ይቀጥላል.
የማይረብሹ ዝማኔዎች
አዲሱ የስርዓተ ክወና ዶራዶ ቪ6 ተቆጣጣሪዎቹን እንደገና ሳያስነሱ የማከማቻውን firmware እንዲያዘምኑ ይፈቅድልዎታል።
የስርዓተ ክወናው ልክ እንደ ቀደምት መፍትሄዎች, በሊኑክስ ላይ የተመሰረተ ነው, ሆኖም ግን, ብዙ የአሰራር ሂደቶች ከከርነል ወደ ተጠቃሚው ሁነታ ተወስደዋል. እንደ ማባዛት እና መጭመቅ ተጠያቂ የሆኑት አብዛኛዎቹ ተግባራት አሁን ከበስተጀርባ የሚሰሩ መደበኛ ዳሞኖች ናቸው። በውጤቱም, ነጠላ ሞጁሎችን ለማዘመን ሙሉውን ስርዓተ ክወና መቀየር አስፈላጊ አይደለም. ለአዲስ ፕሮቶኮል ድጋፍን ለመጨመር ተጓዳኝ የሶፍትዌር ሞጁሉን ማጥፋት እና አዲስ መጀመር ብቻ አስፈላጊ ይሆናል እንበል።
ስርዓቱን በአጠቃላይ የማዘመን ጉዳዮች አሁንም እንደሚቀሩ ግልጽ ነው, ምክንያቱም በከርነል ውስጥ መዘመን የሚያስፈልጋቸው ንጥረ ነገሮች ሊኖሩ ስለሚችሉ ነው. ነገር ግን እነዚያ እንደ እኛ ምልከታ ከጠቅላላው ከ 6% ያነሱ ናቸው. ይህ ተቆጣጣሪዎችን ከበፊቱ አሥር እጥፍ ያነሰ ጊዜ እንደገና እንዲጭኑ ያስችልዎታል.
ለአደጋ መቋቋም የሚችል እና ከፍተኛ ተደራሽነት (HA/DR) መፍትሄዎች
ከሳጥኑ ውስጥ ዶራዶ ቪ 6 ወደ ጂኦ-ተከፋፈሉ መፍትሄዎች ፣ የከተማ ደረጃ ስብስቦች (ሜትሮ) እና "ሦስትዮሽ" የመረጃ ማዕከሎች ለመዋሃድ ዝግጁ ነው።
ከላይ ባለው ስእል በግራ በኩል ለብዙዎች የታወቀ የሜትሮ ክላስተር አለ። ሁለት የማጠራቀሚያ ስርዓቶች እርስ በርስ እስከ 100 ኪ.ሜ ርቀት ላይ በንቃት / ንቁ ሁነታ ይሰራሉ. እንደዚህ አይነት መሠረተ ልማት ከአንድ ወይም ከዛ በላይ ምልአተ ጉባኤዎች ያሉት የኛን FusionSphere ደመና ኦፕሬቲንግ ሲስተምን ጨምሮ ከተለያዩ ኩባንያዎች በተገኙ መፍትሄዎች ሊደገፍ ይችላል። በእንደዚህ ያሉ ፕሮጀክቶች ውስጥ ልዩ ጠቀሜታ በጣቢያዎች መካከል ያለው የሰርጡ ባህሪያት ናቸው, በእኛ ሁኔታ ውስጥ ያሉ ሁሉም ሌሎች ተግባራት በ HyperMetro ተግባር ተወስደዋል, ይገኛሉ, እንደገና, ከሳጥኑ ውስጥ. ውህደት በፋይበር ቻናል ላይ እንዲሁም በአይፒ አውታረ መረቦች ውስጥ በ iSCSI ላይ እንደዚህ ያለ ፍላጎት ካጋጠመው ይቻላል ። ስርዓቱ አሁን ባሉት ቻናሎች መገናኘት ስለሚችል የወሰኑ “ጨለማ” ኦፕቲክስ የግዴታ መኖር አያስፈልግም።
እንደነዚህ ያሉ ስርዓቶችን በሚገነቡበት ጊዜ ለማከማቻው ብቸኛው የሃርድዌር መስፈርት ለማባዛት ወደቦች መመደብ ነው. ፈቃድ መግዛት በቂ ነው, የኮረም አገልጋዮችን - አካላዊ ወይም ምናባዊ - እና የአይፒ ግንኙነትን ለተቆጣጣሪዎች (10 ሜጋ ባይት, 50 ms) ያቅርቡ.
ይህ አርክቴክቸር በቀላሉ ሶስት የመረጃ ማእከላት ወዳለው ስርዓት ሊተላለፍ ይችላል (በምሳሌው በቀኝ በኩል ይመልከቱ)። ለምሳሌ ሁለት የመረጃ ማእከሎች በሜትሮ ክላስተር ሁነታ ሲሰሩ እና ከ 100 ኪሎ ሜትር በላይ ርቀት ላይ የሚገኘው ሶስተኛው ሳይት የማይመሳሰል ማባዛትን ይጠቀማል.
ስርዓቱ ከፍተኛ መጠን ያለው ትርፍ ሲኖር የሚተገበሩ የተለያዩ የንግድ ሁኔታዎችን በቴክኖሎጂ ይደግፋል።
ከብዙ ውድቀቶች ጋር የሜትሮ ክላስተር መትረፍ
ከላይ እና ከታች ያለው ደግሞ ሁለት የማከማቻ ስርዓቶችን እና ምልአተ ጉባኤ አገልጋይን ያካተተ ክላሲክ የሜትሮ ክላስተር ያሳያሉ። እንደሚመለከቱት፣ ከዘጠኙ ውስጥ ስድስት ሊሆኑ ከሚችሉ በርካታ ውድቀቶች ውስጥ፣ የእኛ መሠረተ ልማት ሥራ ላይ ይውላል።
ለምሳሌ፣ በሁለተኛው ሁኔታ፣ ምልአተ ጉባኤው ካልተሳካ እና በጣቢያዎች መካከል ማመሳሰል ካልተሳካ፣ ሁለተኛው ጣቢያ መስራት ስላቆመ ስርዓቱ ፍሬያማ ይሆናል። ይህ ባህሪ አስቀድሞ አብሮ በተሰራው ስልተ ቀመሮች ውስጥ ተገንብቷል።
ከሶስት ውድቀቶች በኋላ እንኳን, በመካከላቸው ያለው የጊዜ ክፍተት ቢያንስ 15 ሴኮንድ ከሆነ የመረጃ መዳረሻ ሊቆይ ይችላል.
የተለመደው መለከት ካርድ ከእጅጌው
ሁዋዌ የማጠራቀሚያ ስርዓቶችን ብቻ ሳይሆን ሙሉ የኔትወርክ መሳሪያዎችን እንደሚያመርት አስታውስ። የመረጡት የትኛውንም የማከማቻ አቅራቢ፣ የWDM አውታረመረብ በጣቢያዎች መካከል ጥቅም ላይ ከዋለ በ 90% ጉዳዮች ውስጥ በኩባንያችን መፍትሄዎች ላይ ይገነባል። አመክንዮአዊ ጥያቄ የሚነሳው፡- ሁሉም ሃርድዌር እርስ በርስ የሚጣጣሙ ሲሆኑ ከአንድ አቅራቢ ማግኘት ሲቻል ለምን የዙር አራዊት ስርዓቶችን መሰብሰብ ለምን አስፈለገ?
ወደ አፈጻጸም ጥያቄ
ምናልባት ወደ ሁሉም ፍላሽ ማከማቻ የሚደረግ ሽግግር የመሠረተ ልማት ጥገና ወጪዎችን በእጅጉ እንደሚቀንስ ማንም ማመን አያስፈልገውም ምክንያቱም ሁሉም መደበኛ ስራዎች ብዙ ጊዜ በፍጥነት ይከናወናሉ. ሁሉም የዚህ አይነት መሳሪያ አቅራቢዎች ይመሰክራሉ። ይህ በእንዲህ እንዳለ፣ የተለያዩ የማጠራቀሚያ ሁነታዎች ሲነቁ ብዙ አቅራቢዎች ወደ አፈጻጸም ውድቀት ሲመጣ ተንኮለኛ መሆን ጀምረዋል።
በእኛ ኢንዱስትሪ ውስጥ ለአንድ ወይም ለሁለት ቀናት ለሙከራ ሥራ የማጠራቀሚያ ስርዓቶችን ለማውጣት በሰፊው ይሠራል. ሻጩ የ20 ደቂቃ ሙከራን በባዶ ስርዓት ይሰራል፣የጠፈር አፈጻጸም አሃዞችን ያገኛል። እና በእውነተኛው ቀዶ ጥገና "የውሃ ውስጥ ራኮች" በፍጥነት ይሳባሉ. ከአንድ ቀን በኋላ የሚያምሩ የ IOPS ዋጋዎች በግማሽ ወይም በሦስት እጥፍ ይቀንሳሉ, እና የማከማቻ ስርዓቱ በ 80% ከተሞላ, እነሱ ያነሰ ይሆናሉ. ከRAID 5 ይልቅ RAID 10 ሲነቃ ሌላ 10-15% ይጠፋል፣ እና በሜትሮ ክላስተር ሁነታ፣ አፈፃፀሙ በግማሽ ይቀንሳል።
ከላይ የተዘረዘሩት ሁሉ ስለ ዶራዶ ቪ 6 አይደለም. ደንበኞቻችን በሳምንቱ መጨረሻ ወይም ቢያንስ በአንድ ሌሊት የአፈጻጸም ፈተናን የማካሄድ እድል አላቸው። ከዚያ የቆሻሻ አሰባሰብ እራሱን ያሳያል፣ እንዲሁም የተለያዩ አማራጮችን ማግበር - እንደ ቅጽበተ-ፎቶዎች እና ማባዛት - በተገኘው IOPS መጠን ላይ እንዴት እንደሚጎዳ ግልፅ ይሆናል።
በዶራዶ ቪ6፣ ቅጽበተ-ፎቶዎች እና RAID በአፈጻጸም ላይ ማለት ይቻላል ምንም ተጽእኖ አይኖራቸውም (ከ3-5% ይልቅ 10-15%)። የቆሻሻ መጣያ (የድራይቭ ሴሎችን በዜሮ መሙላት)፣ መጭመቅ፣ 80% ሙሉ በሆነው የማከማቻ ስርዓት ላይ ማባዛት ሁል ጊዜ አጠቃላይ የጥያቄ ሂደቱን ፍጥነት ይነካል። ነገር ግን በዚያ ውስጥ የሚስብ ዶራዶ V6 ነው ፣ ምንም አይነት የተግባር እና የመከላከያ ዘዴዎች ቢያነቁ ፣ የመጨረሻው የማከማቻ አፈፃፀም ያለ ጭነት ከተገኘው ምስል 80% በታች አይወድቅም።
ጭነት ማመጣጠን
የዶራዶ ቪ 6 ከፍተኛ አፈፃፀም በእያንዳንዱ ደረጃ ላይ በማመጣጠን የተገኘ ነው-
- ብዙ ማለፍ;
- ከአንድ አስተናጋጅ ብዙ ግንኙነቶችን መጠቀም;
- የፊት ለፊት ፋብሪካ መገኘት;
- የማከማቻ ተቆጣጣሪዎች አሠራር ትይዩ;
- በRAID 2.0+ ደረጃ በሁሉም ድራይቮች ላይ የመጫን ስርጭት።
በመሠረቱ, ይህ የተለመደ አሠራር ነው. በእነዚህ ቀናት፣ ጥቂት ሰዎች ሁሉንም መረጃዎች በአንድ ሉን ላይ ያስቀምጣሉ፡ ሁሉም ሰው ስምንት፣ አርባ ወይም እንዲያውም የበለጠ ለማግኘት እየሞከረ ነው። ይህ ግልጽ እና ትክክለኛ አቀራረብ ነው, እኛ የምንጋራው. ነገር ግን ተግባርዎ አንድ ሉን ብቻ የሚፈልግ ከሆነ፣ ለማቆየት ቀላል ከሆነ፣ የእኛ የስነ-ህንፃ መፍትሄዎች ከበርካታ LUNs ጋር ያለውን አፈፃፀም 80% እንዲያሳካ ያስችለዋል።
ተለዋዋጭ የሲፒዩ መርሐግብር
አንድ LUN ሲጠቀሙ በአቀነባባሪዎች ላይ ያለው ጭነት ስርጭት በሚከተለው መንገድ ይተገበራል-በ LUN ደረጃ ላይ ያሉ ተግባራት በተለየ ትናንሽ "ሻርዶች" የተከፋፈሉ ናቸው, እያንዳንዳቸው በ "ሞተሩ" ውስጥ ለአንድ የተወሰነ ተቆጣጣሪ በጥብቅ ይመደባሉ. ይህ የሚደረገው ስርዓቱ በተለያዩ ተቆጣጣሪዎች ላይ በዚህ የውሂብ ቁራጭ "ሲዘል" እያለ አፈፃፀሙን እንዳያጣ ነው.
ከፍተኛ አፈፃፀምን ለመጠበቅ ሌላው ዘዴ ተለዋዋጭ የጊዜ ሰሌዳ ነው ፣ በዚህ ውስጥ የተወሰኑ ፕሮሰሰር ኮሮች ለተለያዩ የሥራ ገንዳዎች ሊመደቡ ይችላሉ። ለምሳሌ ፣ ስርዓቱ አሁን በዲዲዲፕሽን እና በመጨመቅ ደረጃ ስራ ፈት ከሆነ ፣ አንዳንድ ኮሮች I / Oን በማገልገል ሂደት ውስጥ ሊሳተፉ ይችላሉ። ወይም በተቃራኒው። ይህ ሁሉ በራስ-ሰር እና በግልፅ ለተጠቃሚው ይከናወናል.
በእያንዳንዱ የዶራዶ V6 ኮሮች ወቅታዊ ጭነት ላይ ያለው መረጃ በግራፊክ በይነገጽ ውስጥ አይታይም ፣ ግን በትእዛዝ መስመር በኩል የመቆጣጠሪያውን OS ማግኘት እና የተለመደውን የሊኑክስ ትዕዛዝ መጠቀም ይችላሉ ። ጫፍ.
NVMe እና RoCE ድጋፍ
ቀደም ሲል እንደተገለፀው ዶራዶ ቪ6 በአሁኑ ጊዜ NVMeን በፋይበር ቻናል ከሳጥኑ ውጭ ሙሉ በሙሉ ይደግፋል እና ምንም ፈቃድ አያስፈልገውም። በዓመቱ አጋማሽ ላይ ለNVMe በኤተርኔት ሁነታ ድጋፍ ይታያል። ለሙሉ አጠቃቀሙ፣ ለኤተርኔት ቀጥታ ማህደረ ትውስታ መዳረሻ (ዲኤምኤ) ስሪት v2.0 ከማከማቻ ስርዓቱ እራሱ እና ከስዊች እና ከአውታረ መረብ አስማሚዎች ድጋፍ ያስፈልግዎታል። ለምሳሌ, እንደ Mellanox ConnectX-4 ወይም ConnectX-5. እንዲሁም በእኛ ቺፕስ መሰረት የተሰሩ የኔትወርክ ካርዶችን መጠቀም ይችላሉ. እንዲሁም የ RoCE ድጋፍ በስርዓተ ክወና ደረጃ መተግበር አለበት።
በአጠቃላይ፣ ዶራዶ V6 NVMe-ማዕከላዊ ስርዓት እንደሆነ እንቆጥረዋለን። ለፋይበር ቻናል እና ለአይኤስሲሲአይ ያለው ድጋፍ ቢኖርም ወደፊት በ RDMA ወደ ከፍተኛ ፍጥነት ኤተርኔት ለመቀየር ታቅዷል።
የግብይት ቁንጮ
የዶራዶ ቪ 6 ስርዓት በጣም ስህተትን የሚቋቋም ፣ በጥሩ ሁኔታ የሚለካ ፣ የተለያዩ የፍልሰት ቴክኖሎጂዎችን የሚደግፍ ፣ ወዘተ በመኖሩ ምክንያት የማከማቻ ስርዓቶችን በከፍተኛ ሁኔታ መጠቀም ሲጀምር የማግኘት ኢኮኖሚያዊ ተፅእኖ ግልፅ ይሆናል። ምንም እንኳን በመጀመሪያ ደረጃ ላይ ባይሆንም የስርዓቱን ባለቤትነት በተቻለ መጠን ትርፋማ ለማድረግ መሞከሩን እንቀጥላለን።
በተለይም የማከማቻ ሲስተሞችን የህይወት ኡደት ከማራዘም ጋር የተያያዘውን FLASH EVER ፕሮግራም መስርተናል እና በተቻለ መጠን በማሻሻያ ወቅት ደንበኛውን ለማውረድ የተቀየሰ ነው።
ይህ ፕሮግራም በርካታ እርምጃዎችን ያካትታል:
- ቀስ በቀስ የመቆጣጠሪያዎችን እና የዲስክ መደርደሪያዎችን በአዲስ ስሪቶች የመተካት ችሎታ ሙሉውን መሳሪያ ሳይተካ (ለዶራዶ ቪ 6 ሃይ-መጨረሻ ስርዓቶች);
- የፌዴራል ማከማቻ ዕድል (የተለያዩ የዶራዶ ስሪቶችን እንደ አንድ ድብልቅ ማከማቻ ክላስተር አካል በማጣመር);
- ስማርት ቨርችዋል (የሶስተኛ ወገን ሃርድዌር እንደ ዶራዶ መፍትሄ አካል የመጠቀም ችሎታ)።
በዓለም ላይ ያለው አስቸጋሪ ሁኔታ በአዲሱ ሥርዓት የንግድ ተስፋ ላይ ብዙም ተጽእኖ እንዳልነበረው ልብ ሊባል የሚገባው ጉዳይ ነው። የዶራዶ ቪ 6 በይፋ የተለቀቀው በጥር ወር ብቻ ቢሆንም ፣ በቻይና ውስጥ ለእሱ ከፍተኛ ፍላጎት ፣ እንዲሁም ከሩሲያ እና ከአለም አቀፍ አጋሮች የፋይናንስ እና የመንግስት ዘርፎች ከፍተኛ ፍላጎት እናያለን።
ከሌሎች ነገሮች በተጨማሪ፣ ከወረርሽኙ ጋር በተያያዘ፣ ምንም ያህል ጊዜ ቢቆዩ፣ የርቀት ሰራተኞችን በቨርቹዋል ዴስክቶፕ የማቅረብ ጉዳይ በተለይ አሳሳቢ ነው። በዚህ ሂደት ዶራዶ ቪ6 ብዙ ጥያቄዎችን ያስወግዳል። ለዚህም, በ VMware ተኳሃኝነት ዝርዝር ውስጥ አዲሱን ስርዓት ለማካተት በተግባር መስማማትን ጨምሮ ሁሉንም አስፈላጊ ጥረቶች እያደረግን ነው.
***
በነገራችን ላይ በሩሲያኛ ተናጋሪው ክፍል ውስጥ ብቻ ሳይሆን በአለም አቀፍ ደረጃም ስለተያዙት በርካታ ዌብናሮችዎ አይርሱ። የኤፕሪል የዌብናሮች ዝርዝር በ ላይ ይገኛል።
ምንጭ: hab.com