የውሂብ ማዕከሎችን እንዴት እንደሚመዘን. የ Yandex ሪፖርት

ከ100ሺህ በላይ የሚበልጡ የኮምፒዩተር ክላስተሮችን ለማሰማራት የሚያስችል የመረጃ ማእከል ኔትወርክ ዲዛይን አዘጋጅተናል በአንድ ሴኮንድ ከአንድ ፔታባይት በላይ የሆነ ከፍተኛ ባለ ሁለት ክፍል ባንድዊድዝ።

ከዲሚትሪ አፋናሲዬቭ ዘገባ ስለ አዲሱ ዲዛይን መሰረታዊ መርሆች ፣ የመለኪያ ቶፖሎጂዎች ፣ በዚህ ላይ ስለሚነሱ ችግሮች ፣ እነሱን ለመፍታት አማራጮች ፣ የዘመናዊ አውታረ መረብ መሳሪያዎችን የማስተላለፊያ እና የማስተላለፊያ ባህሪዎችን በ “ጥቅጥቅ በተገናኘ” ውስጥ ይማራሉ ። ቶፖሎጂዎች ብዙ ቁጥር ያላቸው የ ECMP መንገዶች . በተጨማሪም ዲማ ስለ ውጫዊ ግንኙነት አደረጃጀት ፣ ስለ አካላዊ ሽፋን ፣ ስለ ኬብሊንግ ሲስተም እና አቅምን የበለጠ ለማሳደግ መንገዶችን በአጭሩ ተናግሯል ።

- ደህና ከሰዓት ሁላችሁም! ስሜ ዲሚትሪ አፋናሲዬቭ እባላለሁ ፣ እኔ በ Yandex ውስጥ የአውታረ መረብ አርክቴክት ነኝ እና በዋነኝነት የዲዛይን ዳታ ማእከል አውታረ መረቦች።



የእኔ ታሪክ ስለ የተሻሻለው የ Yandex የውሂብ ማእከሎች አውታረ መረብ ይሆናል። እኛ የነበረን የንድፍ ዝግመተ ለውጥ ነው፣ ግን በተመሳሳይ ጊዜ አንዳንድ አዳዲስ አካላት አሉ። በትንሽ ጊዜ ውስጥ የሚታሸጉ ብዙ መረጃዎች ስለነበሩ ይህ የአጠቃላይ እይታ አቀራረብ ነው። አመክንዮአዊ ቶፖሎጂን በመምረጥ እንጀምራለን. ከዚያ የመቆጣጠሪያው አውሮፕላን አጠቃላይ እይታ እና በመረጃ አውሮፕላን መስፋፋት ላይ ያሉ ችግሮች, በአካላዊ ደረጃ ምን እንደሚፈጠር ምርጫ, እና የመሳሪያዎቹን አንዳንድ ባህሪያት እንመለከታለን. ከተወሰነ ጊዜ በፊት ስለ ተነጋገርነው በ MPLS በመረጃ ማእከል ውስጥ ምን እየሆነ እንዳለ ትንሽ እንንካ።

ስለዚህ Yandex ከጭነቶች እና አገልግሎቶች አንፃር ምንድነው? Yandex የተለመደ hyperscaler ነው. ተጠቃሚዎቹን ከተመለከትን በዋናነት የተጠቃሚ ጥያቄዎችን እናስኬዳለን። እንዲሁም የተለያዩ የዥረት አገልግሎቶች እና የውሂብ ማስተላለፍ፣ ምክንያቱም እኛ የማከማቻ አገልግሎቶችም ስላለን። ከጀርባው ቅርብ ከሆነ የመሠረተ ልማት ጭነቶች እና አገልግሎቶች እንደ የተከፋፈለ ነገር ማከማቻ ፣ የውሂብ ማባዛት እና በእርግጥ የማያቋርጥ ወረፋዎች ያሉ እዚያ ይታያሉ። ከዋና ዋና የሥራ ጫና ዓይነቶች አንዱ MapReduce እና ተመሳሳይ ሥርዓቶች፣ የዥረት ማቀነባበሪያ፣ የማሽን መማር፣ ወዘተ.

ይህ ሁሉ የሚሆነው መሠረተ ልማት እንዴት ነው? እንደገና፣ እኛ በጣም ቆንጆ ዓይነተኛ hyperscaler ነን፣ ምንም እንኳን ምናልባት ወደ ስፔክትረም ዝቅተኛው የከፍተኛ መጠነ-ሰፊ ጎን ትንሽ ቀርበናል። እኛ ግን ሁሉም ባህሪያት አሉን. በተቻለ መጠን የሸቀጦች ሃርድዌር እና አግድም ልኬትን እንጠቀማለን። ሙሉ የሃብት ማሰባሰብያ አለን፡ ከእያንዳንዱ ማሽን፣ ከግለሰብ መደርደሪያ ጋር አንሰራም ነገር ግን ወደ ተለዋዋጭ ሀብቶች ትልቅ ገንዳ በማዋሃድ ከእቅድ እና ምደባ ጋር የተያያዙ ተጨማሪ አገልግሎቶችን እና ከዚህ ሙሉ ገንዳ ጋር እንሰራለን።

ስለዚህ ቀጣዩ ደረጃ አለን - ኦፕሬቲንግ ሲስተም በኮምፒዩተር ክላስተር ደረጃ። የምንጠቀመውን የቴክኖሎጂ ቁልል ሙሉ በሙሉ መቆጣጠር በጣም አስፈላጊ ነው። የመጨረሻ ነጥቦችን (አስተናጋጆችን)፣ ኔትወርክን እና የሶፍትዌር ቁልልን እንቆጣጠራለን።

በሩሲያ እና በውጭ አገር በርካታ ትላልቅ የመረጃ ማዕከሎች አሉን. የ MPLS ቴክኖሎጂን በሚጠቀም የጀርባ አጥንት አንድ ሆነዋል. የእኛ የውስጥ መሠረተ ልማት ከሞላ ጎደል የተገነባው በIPv6 ነው፣ ነገር ግን በዋነኛነት በIPv4 ላይ የሚመጣውን የውጭ ትራፊክ ማገልገል ስለምንፈልግ፣ ከIPv4 በላይ የሚመጡ ጥያቄዎችን ለግንባር አገልጋዮች እንደምንም ማድረስ አለብን፣ እና ትንሽ ተጨማሪ ወደ ውጫዊ IPv4- በይነመረብ ይሂዱ - ለ ለምሳሌ, ለመጠቆም.

የመጨረሻዎቹ ጥቂት የዳታ ሴንተር ኔትወርክ ዲዛይኖች ባለብዙ ንብርብር ክሎ ቶፖሎጂዎችን ተጠቅመዋል እና L3-ብቻ ናቸው። ከትንሽ ጊዜ በፊት L2 ን ትተን በእፎይታ ትንፋሽ ተነፈስን። በመጨረሻም፣ የእኛ መሠረተ ልማት በመቶ ሺዎች የሚቆጠሩ የኮምፒዩተር (አገልጋይ) አጋጣሚዎችን ያካትታል። ከተወሰነ ጊዜ በፊት ከፍተኛው የክላስተር መጠን 10 ሺህ ያህል አገልጋዮች ነበር። ይህ በአብዛኛው ምክንያቱ እነዚያ ተመሳሳይ የክላስተር ደረጃ ኦፕሬቲንግ ሲስተሞች፣ መርሐግብር አውጪዎች፣ የግብዓት ድልድል ወዘተ እንዴት ሊሠሩ እንደሚችሉ ነው። በመሰረተ ልማት ሶፍትዌሮች በኩል መሻሻል ስለታየ በአሁኑ ጊዜ የታለመው መጠን በአንድ የኮምፒዩተር ክላስተር ውስጥ ወደ 100 ሺህ የሚጠጉ አገልጋዮች እና እና እኛ አንድ ተግባር አለን - በእንደዚህ ዓይነት ክላስተር ውስጥ ቀልጣፋ የሃብት ማሰባሰብን የሚፈቅዱ የኔትወርክ ፋብሪካዎችን መገንባት መቻል።

ከዳታ ሴንተር ኔትወርክ ምን እንፈልጋለን? በመጀመሪያ ደረጃ, ብዙ ርካሽ እና ፍትሃዊ በሆነ መልኩ የተከፋፈለ የመተላለፊያ ይዘት አለ. ምክንያቱም ኔትወርኩ ሀብታችንን ማሰባሰብ የምንችልበት የጀርባ አጥንት ነው። አዲሱ የዒላማ መጠን በአንድ ክላስተር ውስጥ ወደ 100 ሺህ ያህል አገልጋዮች ነው.

እኛ ደግሞ ፣ እኛ በእርግጥ ፣ ሊሰፋ የሚችል እና የተረጋጋ መቆጣጠሪያ አውሮፕላን እንፈልጋለን ፣ ምክንያቱም በእንደዚህ ዓይነት ትልቅ መሠረተ ልማት ላይ ብዙ ራስ ምታት በቀላሉ በዘፈቀደ ክስተቶች እንኳን ይነሳሉ ፣ እና የመቆጣጠሪያው አውሮፕላኑም ራስ ምታት እንዲያመጣብን አንፈልግም። በተመሳሳይ ጊዜ, በውስጡ ያለውን ግዛት መቀነስ እንፈልጋለን. ትንሽ ሁኔታ, የተሻለ እና የተረጋጋ ሁሉም ነገር ይሰራል, እና ለመመርመር ቀላል ነው.

እርግጥ ነው, አውቶሜትድ ያስፈልገናል, ምክንያቱም እንዲህ ዓይነቱን መሠረተ ልማት በእጅ ማስተዳደር የማይቻል ስለሆነ እና ለተወሰነ ጊዜ የማይቻል ነው. በተቻለ መጠን የተግባር ድጋፍ እና የ CI / ሲዲ ድጋፍ በሚሰጠው መጠን እንፈልጋለን.

እንደነዚህ ባሉ የመረጃ ማዕከሎች እና ስብስቦች መጠን ያለ አገልግሎት መቆራረጥ ተጨማሪ ማሰማራት እና መስፋፋት የመደገፍ ተግባር በጣም ከባድ ሆኗል። በሺህ የሚቆጠሩ ማሽኖች ፣ ምናልባትም ወደ አስር ሺህ የሚጠጉ ማሽኖች ፣ አሁንም እንደ አንድ ኦፕሬሽን ሊዘረጉ ቢችሉ - ማለትም ፣ የመሠረተ ልማት ግንባታን ለማስፋፋት እያቀድን ነው ፣ እና በሺዎች የሚቆጠሩ ማሽኖች እንደ አንድ ኦፕሬሽን ተጨምረዋል ። ከዚያ የመቶ ሺህ ማሽኖች መጠን ያለው ክላስተር ወዲያውኑ እንደዚህ አይነሳም, በተወሰነ ጊዜ ውስጥ ይገነባል. እናም በዚህ ጊዜ ሁሉ ወደ ውጭ የሚወጣውን ፣ የተዘረጋው መሠረተ ልማት እንዲኖር ይመከራል ።

የነበረን እና የተውነው አንድ መስፈርት፡ ለብዙ ጊዜ መኖር፣ ማለትም ቨርቹዋልላይዜሽን ወይም የአውታረ መረብ ክፍፍል ድጋፍ። አሁን ይህንን በኔትወርኩ የጨርቅ ደረጃ ላይ ማድረግ አያስፈልገንም, ምክንያቱም ሻርዲንግ ወደ አስተናጋጆች ሄዷል, እና ይህ ልኬቱን በጣም ቀላል አድርጎልናል. ለIPv6 እና ለትልቅ የአድራሻ ቦታ ምስጋና ይግባውና በውስጣዊ መሠረተ ልማት ውስጥ የተባዙ አድራሻዎችን መጠቀም አያስፈልገንም, ሁሉም አድራሻዎች ቀድሞውኑ ልዩ ነበሩ. እና ማጣሪያን እና የአውታረ መረብ ክፍፍልን ወደ አስተናጋጆች ስለወሰድን ምስጋና ይግባውና በመረጃ ማእከል አውታረ መረቦች ውስጥ ምንም ምናባዊ አውታረ መረብ አካላት መፍጠር አያስፈልገንም።

በጣም አስፈላጊው ነገር የማንፈልገው ነገር ነው. አንዳንድ ተግባራት ከአውታረ መረቡ ሊወገዱ የሚችሉ ከሆነ, ይህ ህይወትን በጣም ቀላል ያደርገዋል, እና እንደ አንድ ደንብ, ያሉትን መሳሪያዎች እና ሶፍትዌሮች ምርጫን ያሰፋዋል, ምርመራዎችን በጣም ቀላል ያደርገዋል.

እንግዲያው, እኛ የማንፈልገው ምንድን ነው, ምን መተው ቻልን, በተከሰተበት ጊዜ ሁልጊዜ በደስታ ሳይሆን, ሂደቱ ሲጠናቀቅ በታላቅ እፎይታ?

በመጀመሪያ L2 መተው. እውነተኛም ሆነ የተመሰለው L2 አያስፈልገንም። በአብዛኛው ጥቅም ላይ ያልዋለው የመተግበሪያውን ቁልል በመቆጣጠር ነው። አፕሊኬሽኖቻችን በአግድም ሊለወጡ የሚችሉ ናቸው፣ ከ L3 አድራሻ ጋር ይሰራሉ፣ አንዳንድ ግለሰብ ምሳሌ መውጣቱን ብዙም አይጨነቁም፣ በቀላሉ አዲስ ያሰራጫሉ፣ በአሮጌው አድራሻ መልቀቅ አያስፈልግም፣ ምክንያቱም አለ በክላስተር ውስጥ የሚገኙ ማሽኖች የተለየ የአገልግሎት ግኝት እና ክትትል . ይህንን ተግባር ለአውታረ መረቡ አንሰጥም። የኔትወርኩ ስራ ፓኬጆችን ከ ነጥብ A እስከ ነጥብ ቢ ማድረስ ነው።

እንዲሁም አድራሻዎች በአውታረ መረቡ ውስጥ የሚንቀሳቀሱበት ሁኔታዎች የሉንም, እና ይህ ክትትል ሊደረግበት ይገባል. በብዙ ዲዛይኖች ይህ በተለምዶ የቪኤም ተንቀሳቃሽነትን ለመደገፍ ያስፈልጋል። በትልቁ Yandex ውስጣዊ መሠረተ ልማት ውስጥ የቨርቹዋል ማሽኖችን ተንቀሳቃሽነት አንጠቀምም, እና ከዚህም በላይ, ይህ ቢደረግም, በኔትወርክ ድጋፍ መከሰት እንደሌለበት እናምናለን. ይህንን በእውነት ማድረግ ከፈለጉ በአስተናጋጅ ደረጃ ላይ ማድረግ ያስፈልግዎታል እና ወደ ተደራቢዎች የሚሸጋገሩ አድራሻዎችን በመግፋት በራሱ ስር ስር ባለው የማዞሪያ ስርዓት ላይ (የትራንስፖርት አውታር) እንዳይነኩ ወይም ብዙ ተለዋዋጭ ለውጦችን እንዳያደርጉ። .

ሌላው ያልተጠቀምንበት ቴክኖሎጂ መልቲካስት ነው። ከፈለግክ ምክንያቱን በዝርዝር ልነግርህ እችላለሁ። ይህ ህይወትን በጣም ቀላል ያደርገዋል, ምክንያቱም አንድ ሰው ከእሱ ጋር ከተገናኘ እና የመልቲካስት መቆጣጠሪያ አውሮፕላኑ በትክክል ምን እንደሚመስል ከተመለከተ, ከሁሉም ቀላል ጭነቶች በስተቀር, ይህ ትልቅ ራስ ምታት ነው. እና የበለጠ፣ በደንብ የሚሰራ የክፍት ምንጭ አተገባበር ማግኘት አስቸጋሪ ነው፣ ለምሳሌ።

በመጨረሻም ኔትወርኮቻችን ብዙ እንዳይለወጡ እንቀርጻለን። በመተላለፊያ ስርዓቱ ውስጥ የውጫዊ ክስተቶች ፍሰት ትንሽ መሆኑን ልንቆጥረው እንችላለን.

የመረጃ ማእከል አውታረመረብ ስንገነባ ምን ችግሮች ይነሳሉ እና ምን ገደቦች ግምት ውስጥ መግባት አለባቸው? በእርግጥ ወጪ. መጠነ-ሰፊነት, እኛ ማደግ የምንፈልገው ደረጃ. አገልግሎቱን ሳያቋርጡ የማስፋት አስፈላጊነት. የመተላለፊያ ይዘት ፣ ተገኝነት። ለክትትል ስርዓቶች በአውታረ መረቡ ላይ ምን እየተከናወነ እንዳለ ታይነት, ለተግባራዊ ቡድኖች. አውቶማቲክ ድጋፍ - እንደገና, በተቻለ መጠን, የተለያዩ ስራዎች በተለያዩ ደረጃዎች ሊፈቱ ስለሚችሉ, ተጨማሪ ንብርብሮችን ማስተዋወቅን ጨምሮ. ደህና፣ [ምናልባት] በአቅራቢዎች ላይ ጥገኛ አይደለም። ምንም እንኳን በተለያዩ የታሪክ ወቅቶች፣ እንደየትኛው ክፍል እንደሚመለከቱት፣ ይህ ነፃነት ለማግኘት ቀላል ወይም የበለጠ ከባድ ነበር። እኛ የአውታረ መረብ መሣሪያ ቺፕስ መስቀል-ክፍል ከወሰድን, ከዚያም እስከ ቅርብ ጊዜ ድረስ, እኛ ደግሞ ከፍተኛ throughput ጋር ቺፕስ ፈልጎ ከሆነ, ሻጮች ከ ነፃነት ማውራት በጣም ሁኔታዊ ነበር.

ኔትወርክን ለመገንባት ምን ዓይነት አመክንዮአዊ ቶፖሎጂ እንጠቀማለን? ይህ ባለብዙ ደረጃ Clos ይሆናል. እንደ እውነቱ ከሆነ በአሁኑ ጊዜ እውነተኛ አማራጮች የሉም. እና የክሎስ ቶፖሎጂ በጣም ጥሩ ነው ፣ ምንም እንኳን አሁን በአካዳሚክ ፍላጎት ውስጥ ካሉት ከተለያዩ የላቁ ቶፖሎጂዎች ጋር ሲነፃፀር ፣ ትልቅ ራዲክስ መቀየሪያዎች ካሉን።

ባለብዙ-ደረጃ የ Clos አውታረ መረብ በግምት እንዴት የተዋቀረ ነው እና በውስጡ ያሉት የተለያዩ አካላት ምን ይባላሉ? በመጀመሪያ ነፋሱ ተነሳ ፣ ወደ ሰሜን ፣ ደቡብ ፣ ምስራቅ ፣ ምዕራብ ። የዚህ አይነት ኔትወርኮች በአብዛኛው የሚገነቡት በጣም ትልቅ የምእራብ-ምስራቅ ትራፊክ ባላቸው ሰዎች ነው። የቀሩትን ንጥረ ነገሮች በተመለከተ፣ ከላይ ከትንንሽ ማብሪያ / ማጥፊያዎች የተሰበሰበ ምናባዊ ማብሪያ / ማጥፊያ አለ። ይህ የክሎስ አውታረ መረቦች ተደጋጋሚ ግንባታ ዋና ሀሳብ ነው። ኤለመንቶችን በአንድ ዓይነት ራዲክስ ወስደን እናገናኛቸዋለን ስለዚህም ያገኘነው ነገር ትልቅ ራዲክስ ያለው መቀየሪያ ተደርጎ ሊወሰድ ይችላል። ተጨማሪ ከፈለጉ, አሰራሩ ሊደገም ይችላል.

በሁኔታዎች, ለምሳሌ, ባለ ሁለት-ደረጃ ክሎስ, በሥዕላዊ መግለጫዬ ውስጥ ቀጥ ያሉ ክፍሎችን በግልፅ መለየት በሚቻልበት ጊዜ, ብዙውን ጊዜ አውሮፕላኖች ይባላሉ. ክሎስን በሦስት ደረጃ የአከርካሪ ማብሪያ / ማጥፊያ / ማጥፊያዎችን ብንገነባ (ሁሉም ድንበር ወይም ቶአር ማብሪያ / ማጥፊያ ያልሆኑ እና ለመሸጋገሪያ ብቻ የሚያገለግሉ) ፣ ከዚያ አውሮፕላኖቹ የበለጠ ውስብስብ ይመስላሉ ፣ ባለ ሁለት ደረጃ በትክክል እንደዚህ ይመስላል። የቶር ወይም የቅጠል መቀየሪያዎች ብሎክ እና ከነሱ ጋር የተቆራኙትን የመጀመሪያ ደረጃ የአከርካሪ ማብሪያ ማጥፊያዎችን ፖድ ብለን እንጠራዋለን። የአከርካሪ አጥንት መቀየሪያዎች -1 በፖድ አናት ላይ ያለው የፖድ አናት ፣ የፖድ አናት ናቸው። በጠቅላላው ፋብሪካው አናት ላይ የሚገኙት ማብሪያ / ማጥፊያዎች የፋብሪካው የላይኛው ሽፋን, ከፍተኛ የጨርቃ ጨርቅ ናቸው.

በእርግጥ ጥያቄው የሚነሳው የክሎስ ኔትወርኮች ለተወሰነ ጊዜ ተገንብተዋል ፣ ሀሳቡ ራሱ በአጠቃላይ የመጣው ከጥንታዊ የቴሌፎን ፣ የቲዲኤም አውታረ መረቦች ነው። ምናልባት የተሻለ ነገር ታይቷል, ምናልባት አንድ ነገር የተሻለ ሊሠራ ይችላል? አዎ እና አይደለም. በንድፈ ሀሳቡ አዎ፣ በተግባር በቅርብ ጊዜ ውስጥ በእርግጠኝነት አይሆንም። በርካታ ሳቢ topologies አሉ ምክንያቱም, ከእነርሱም አንዳንዶቹ እንኳ ምርት ውስጥ ጥቅም ላይ ይውላሉ, ለምሳሌ, Dragonfly HPC መተግበሪያዎች ውስጥ ጥቅም ላይ ይውላል; እንደ Xpander, FatClique, Jellyfish የመሳሰሉ አስደሳች ቶፖሎጂዎችም አሉ. በቅርብ ጊዜ እንደ SIGCOMM ወይም NSDI ባሉ ኮንፈረንሶች ላይ ሪፖርቶችን ከተመለከቱ፣ ከክሎስ የተሻሉ ንብረቶች (አንድ ወይም ሌላ) ባላቸው አማራጭ ቶፖሎጂዎች ላይ እጅግ በጣም ብዙ ስራዎችን ማግኘት ይችላሉ።

ግን እነዚህ ሁሉ ቶፖሎጂዎች አንድ አስደሳች ንብረት አላቸው። እኛ በሸቀጦች ሃርድዌር ላይ ለመገንባት እየሞከርን ያለነው እና በጣም ምክንያታዊ በሆነ ገንዘብ በመረጃ ማእከል አውታረ መረቦች ውስጥ መተግበራቸውን ይከለክላል። በእነዚህ ሁሉ አማራጭ ቶፖሎጂዎች፣ አብዛኛው የመተላለፊያ ይዘት በሚያሳዝን ሁኔታ በአጫጭር መንገዶች ተደራሽ አይደሉም። ስለዚህ, ወዲያውኑ ባህላዊውን የመቆጣጠሪያ አውሮፕላን ለመጠቀም እድሉን እናጣለን.

በንድፈ ሀሳብ, ለችግሩ መፍትሄው ይታወቃል. እነዚህ ለምሳሌ የ k-shortest መንገድን በመጠቀም የአገናኝ ሁኔታ ማሻሻያዎች ናቸው, ነገር ግን, በድጋሚ, በምርት ውስጥ የሚተገበሩ እና በመሳሪያዎች ላይ በስፋት የሚገኙ እንደዚህ ያሉ ፕሮቶኮሎች የሉም.

ከዚህም በላይ አብዛኛው አቅም በአጭር መንገዶች የማይደረስ በመሆኑ ሁሉንም መንገዶች ለመምረጥ ከመቆጣጠሪያው አውሮፕላኑ በላይ ማሻሻያ ማድረግ አለብን (በነገራችን ላይ ይህ በመቆጣጠሪያ አውሮፕላን ውስጥ የበለጠ ሁኔታ ነው). አሁንም የማስተላለፊያውን አውሮፕላን ማስተካከል አለብን, እና እንደ አንድ ደንብ, ቢያንስ ሁለት ተጨማሪ ባህሪያት ያስፈልጋሉ. ይህ ፓኬትን ለአንድ ጊዜ ማስተላለፍን በተመለከተ ሁሉንም ውሳኔዎችን የማድረግ ችሎታ ነው, ለምሳሌ በአስተናጋጁ ላይ. በእውነቱ፣ ይህ የምንጭ ማዘዋወር ነው፣ አንዳንድ ጊዜ በግንኙነት አውታረ መረቦች ላይ ባሉ ጽሑፎች ውስጥ ይህ በአንድ ጊዜ የማስተላለፊያ ውሳኔዎች ይባላል። እና adaptive routing በአውታረ መረብ አካላት ላይ የምንፈልገው ተግባር ነው ፣ እሱም ወደ ታች የሚፈላ ፣ ለምሳሌ ፣ በወረፋው ላይ ስላለው ትንሹ ጭነት መረጃ ላይ በመመርኮዝ ቀጣዩን ሆፕ እንመርጣለን ። እንደ ምሳሌ, ሌሎች አማራጮች ይቻላል.

ስለዚህ, መመሪያው አስደሳች ነው, ግን, ወዮ, አሁን ተግባራዊ ማድረግ አንችልም.

እሺ፣ በክሎስ ሎጂካዊ ቶፖሎጂ ላይ ተቀመጥን። እንዴት እንለካው? እንዴት እንደሚሰራ እና ምን ማድረግ እንደሚቻል እንይ.

በ Clos አውታረመረብ ውስጥ እኛ እንደምንም መለዋወጥ እና የተወሰኑ ውጤቶችን ማግኘት የምንችላቸው ሁለት ዋና መለኪያዎች አሉ-የኤለመንቶች ራዲክስ እና በኔትወርኩ ውስጥ ያሉ የደረጃዎች ብዛት። ሁለቱም መጠኑን እንዴት እንደሚነኩ የሚያሳይ ንድፍ አለኝ። በሐሳብ ደረጃ, ሁለቱንም እናጣምራለን.

የ Clos አውታረ መረብ የመጨረሻው ስፋት የደቡባዊ ራዲክስ የአከርካሪ መቀየሪያ ደረጃዎች ሁሉ ውጤት ነው ፣ ምን ያህል አገናኞች እንዳለን ፣ እንዴት ቅርንጫፎች እንደሚሆኑ ማየት ይቻላል ። የኔትወርኩን መጠን የምንለካው በዚህ መንገድ ነው።

አቅምን በተመለከተ በተለይም በ ToR ማብሪያ / ማጥፊያዎች ላይ, ሁለት የመጠን አማራጮች አሉ. ወይ አጠቃላይ ቶፖሎጂን እየጠበቅን ፈጣን አገናኞችን መጠቀም እንችላለን ወይም ተጨማሪ አውሮፕላኖችን ማከል እንችላለን።

የተስፋፋውን የክሎስ ኔትወርክ (በታችኛው ቀኝ ጥግ ላይ) ከተመለከቱ እና ከታች ባለው የክሎስ ኔትወርክ ወደዚህ ምስል ይመለሱ...

... ከዚያም ይህ በትክክል ተመሳሳይ ቶፖሎጂ ነው, ነገር ግን በዚህ ስላይድ ላይ ይበልጥ የታመቀ ወድቆ እና የፋብሪካው አውሮፕላኖች እርስ በርስ ተደራራቢ ናቸው. ያው ነው።

የ Clos አውታረ መረብን ማመጣጠን በቁጥር ምን ይመስላል? እዚህ እኔ አንድ አውታረ መረብ ምን ያህል ከፍተኛ ስፋት ሊገኝ እንደሚችል መረጃ አቀርባለሁ, ምን ያህል ከፍተኛው የመደርደሪያዎች ብዛት, የቶአር ማብሪያ ወይም ቅጠል መቀየሪያዎች, በመደርደሪያዎች ውስጥ ከሌሉ, ለአከርካሪ -ደረጃዎች የምንጠቀመው በየትኛው ራዲክስ ራዲክስ ላይ በመመስረት, እና ምን ያህል ደረጃዎችን እንጠቀማለን.

እዚህ ምን ያህል መደርደሪያ ሊኖረን እንደምንችል፣ ስንት ሰርቨሮች እና በግምት ይህ ሁሉ በመደርደሪያ ላይ በ20 ኪ.ወ. ትንሽ ቀደም ብሎ ወደ 100 ሺህ የሚጠጉ ሰርቨሮችን የያዘ የክላስተር መጠን እንዳለን ጠቅሼ ነበር።

በዚህ ሙሉ ንድፍ ውስጥ ሁለት ተኩል አማራጮች ትኩረት የሚስቡ መሆናቸውን ማየት ይቻላል. ሁለት የአከርካሪ ሽፋን እና 64-ወደብ መቀየሪያዎች ያለው አማራጭ አለ, ይህም ትንሽ አጭር ነው. ከዚያ ለ 128-ወደብ (ከራዲክስ 128 ጋር) የአከርካሪ አጥንቶች በሁለት ደረጃዎች ወይም ራዲክስ 32 ከሶስት ደረጃዎች ጋር ፍጹም ተስማሚ አማራጮች አሉ። እና በሁሉም ሁኔታዎች, ብዙ ራዲክስ እና ተጨማሪ ንብርብሮች ባሉበት, በጣም ትልቅ አውታረመረብ መስራት ይችላሉ, ነገር ግን የሚጠበቀውን ፍጆታ ከተመለከቱ, በተለምዶ ጊጋዋትስ አሉ. ኬብል መዘርጋት ይቻላል፣ ግን በአንድ ጣቢያ ላይ ያን ያህል የኤሌክትሪክ ኃይል አናገኝም። በመረጃ ማእከሎች ላይ ስታትስቲክስ እና የህዝብ መረጃን ከተመለከቱ, ከ 150 ሜጋ ዋት በላይ አቅም ያላቸው በጣም ጥቂት የመረጃ ማእከሎች ማግኘት ይችላሉ. ትላልቆቹ ብዙውን ጊዜ የመረጃ ማእከል ካምፓሶች ናቸው ፣ ብዙ ትላልቅ የመረጃ ማእከሎች እርስ በእርስ በጣም ቅርብ ናቸው።

ሌላ አስፈላጊ መለኪያ አለ. የግራውን ዓምድ ከተመለከቱ፣ ሊጠቅም የሚችል የመተላለፊያ ይዘት እዚያ ተዘርዝሯል። በ Clos አውታረመረብ ውስጥ ጉልህ የሆነ የወደቦች ክፍል መቀየሪያዎችን እርስ በርስ ለማገናኘት ጥቅም ላይ እንደሚውል በቀላሉ መረዳት ይቻላል. ጥቅም ላይ ሊውል የሚችል የመተላለፊያ ይዘት, ጠቃሚ ጥቅጥቅ, ውጭ ሊሰጥ የሚችል ነገር ነው, ወደ አገልጋዮች. በተፈጥሮ፣ ስለ ሁኔታዊ ወደቦች እና በተለይም ስለ ባንድ ነው። እንደ ደንቡ በኔትወርኩ ውስጥ ያሉ አገናኞች ወደ ሰርቨሮች ከሚወስዱት አገናኞች የበለጠ ፈጣን ናቸው ነገር ግን በእያንዳንዱ የመተላለፊያ ይዘት ወደ አገልጋይ መሳሪያችን መላክ የምንችለውን ያህል አሁንም በኔትወርኩ ውስጥ የተወሰነ የመተላለፊያ ይዘት አለ። እና ብዙ ደረጃዎችን በሠራን ቁጥር ይህንን ፈትል ወደ ውጭ ለማቅረብ ልዩ ወጪው ይጨምራል።

ከዚህም በላይ ይህ ተጨማሪ ባንድ እንኳን በትክክል አንድ አይነት አይደለም. ርዝመቶቹ አጭር ሲሆኑ፣ እንደ DAC (ቀጥታ መዳብን ማለትም twinax cables) ወይም መልቲ ሞድ ኦፕቲክስን መጠቀም እንችላለን፣ ይህም የበለጠ ወይም ያነሰ ምክንያታዊ ገንዘብ ያስወጣል። ልክ ወደ ረዥም ስፋቶች እንደሄድን - እንደ አንድ ደንብ, እነዚህ ነጠላ ሞድ ኦፕቲክስ ናቸው, እና የዚህ ተጨማሪ የመተላለፊያ ይዘት ዋጋ በከፍተኛ ሁኔታ ይጨምራል.

እና እንደገና ፣ ወደ ቀድሞው ስላይድ ስንመለስ ፣ የ Clos አውታረ መረብ ያለ ምዝገባ ከፈጠርን ፣ ከዚያ ስዕሉን ለመመልከት ቀላል ነው ፣ አውታረ መረቡ እንዴት እንደተገነባ ይመልከቱ - እያንዳንዱን የአከርካሪ ማብሪያ / ማጥፊያዎች ደረጃ በመጨመር ፣ በ ከታች. የፕላስ ደረጃ - ሲደመር ተመሳሳይ ባንድ ፣ በቀድሞው ደረጃ እንደነበረው በስዊች ላይ ያሉ ተመሳሳይ ወደቦች ፣ እና ተመሳሳይ የመተላለፊያዎች ብዛት። ስለዚህ, የአከርካሪ መቀየሪያዎችን ብዛት ለመቀነስ በጣም የሚፈለግ ነው.

በዚህ ሥዕል መሠረት፣ እንደ ማብሪያ / ማጥፊያ/ 128 ራዲክስ ባለው ነገር ላይ መገንባት እንደምንፈልግ ግልጽ ነው።

እዚህ ፣ በመርህ ደረጃ ፣ ሁሉም ነገር አሁን ከተናገርኩት ጋር አንድ ነው ፣ ይህ በኋላ ሊታሰብበት የሚገባ ስላይድ ነው።

እንደ ማብሪያ / ማጥፊያዎች የምንመርጣቸው ምን አማራጮች አሉ? አሁን እንደዚህ አይነት ኔትወርኮች በመጨረሻ በነጠላ ቺፕ መቀየሪያዎች ላይ መገንባት መቻላችን ለእኛ በጣም ደስ የሚል ዜና ነው። እና ይሄ በጣም ጥሩ ነው, ብዙ ጥሩ ባህሪያት አሏቸው. ለምሳሌ, ምንም አይነት ውስጣዊ መዋቅር የላቸውም. ይህ ማለት በቀላሉ ይሰበራሉ ማለት ነው. በሁሉም ዓይነት መንገዶች ይሰበራሉ, ግን እንደ እድል ሆኖ ሙሉ በሙሉ ይሰበራሉ. በሞዱል መሳሪያዎች ውስጥ ብዙ ቁጥር ያላቸው ጥፋቶች (በጣም ደስ የማይል) አሉ, ከጎረቤቶች እይታ እና ከመቆጣጠሪያው አውሮፕላን አንጻር ሲሰራ, ነገር ግን ለምሳሌ, የጨርቁ ክፍል ጠፍቷል እና አይሰራም. በሙሉ አቅም. እና ወደ እሱ የሚሄደው ትራፊክ ሙሉ በሙሉ የሚሰራ በመሆኑ ሚዛናዊ ነው, እና ከመጠን በላይ መጫን እንችላለን.

ወይም ፣ ለምሳሌ ፣ ከጀርባው አውሮፕላን ጋር ችግሮች ይነሳሉ ፣ ምክንያቱም በሞጁል መሳሪያው ውስጥ ከፍተኛ ፍጥነት ያለው SerDesም አሉ - በእውነቱ በውስጡ ውስብስብ ነው። በማስተላለፍ አካላት መካከል ያሉት ምልክቶች ተመሳስለዋል ወይም አልተመሳሰሉም። በአጠቃላይ ብዙ ቁጥር ያላቸውን ንጥረ ነገሮች ያቀፈ ማንኛውም አምራች ሞዱል መሳሪያ እንደ ደንቡ በራሱ ውስጥ አንድ አይነት የክሎስ አውታር ይይዛል ነገርግን ለመመርመር በጣም ከባድ ነው። ብዙውን ጊዜ ለሻጩ ራሱ እንኳን ለመመርመር አስቸጋሪ ነው.

እና መሳሪያው የሚቀንስባቸው ብዙ ቁጥር ያላቸው ውድቀቶች አሉት ፣ ግን ከቶፖሎጂ ሙሉ በሙሉ አይወድቅም። የእኛ አውታረመረብ ትልቅ ስለሆነ ፣ በተመሳሳዩ አካላት መካከል ማመጣጠን በንቃት ጥቅም ላይ ይውላል ፣ አውታረ መረቡ በጣም መደበኛ ነው ፣ ማለትም ፣ ሁሉም ነገር በሥርዓት የሚገኝበት አንዱ መንገድ ከሌላው መንገድ የተለየ አይደለም ፣ የተወሰኑትን በቀላሉ ማጣት ለእኛ የበለጠ ትርፋማ ነው። መሳሪያዎች ከቶፖሎጂ አንዳንዶቹ የሚሰሩ በሚመስሉበት ሁኔታ ውስጥ ከመጨረስ ይልቅ አንዳንዶቹ ግን አይሰሩም.

የነጠላ ቺፕ መሳሪያዎች ቀጣዩ ጥሩ ባህሪ በተሻለ እና በፍጥነት መሻሻል ነው። እነሱም የተሻለ አቅም ይኖራቸዋል። በክበብ ላይ ያሉትን ትላልቅ የተገጣጠሙ መዋቅሮችን ከወሰድን, በአንድ የመደርደሪያ ክፍል ተመሳሳይ ፍጥነት ላላቸው ወደቦች ያለው አቅም ከሞዱል መሳሪያዎች በእጥፍ ሊበልጥ ይችላል. በአንድ ቺፕ ዙሪያ የተገነቡ መሳሪያዎች ከሞዱል ይልቅ ርካሽ ናቸው እና አነስተኛ ኃይል ይጠቀማሉ።

ግን ፣ በእርግጥ ፣ ይህ ሁሉ በምክንያት ነው ፣ ጉዳቶችም አሉ። በመጀመሪያ ራዲክስ ሁልጊዜ ከሞዱል መሳሪያዎች ያነሰ ነው. 128 ወደቦች ያሉት በአንድ ቺፕ ዙሪያ የተሰራ መሳሪያ ማግኘት ከቻልን ብዙ መቶ ወደቦች ያሉት ሞዱላር ያለ ምንም ችግር አሁን ማግኘት እንችላለን።

ይህ በሚያስደንቅ ሁኔታ አነስተኛ መጠን ያለው የማስተላለፊያ ሰንጠረዦች እና እንደ ደንቡ ከውሂብ አውሮፕላን መስፋፋት ጋር የተያያዙ ሁሉም ነገሮች ናቸው። ጥልቀት የሌላቸው መያዣዎች. እና እንደ አንድ ደንብ, ይልቁንም የተገደበ ተግባር. ግን እነዚህን ገደቦች ካወቁ እና እነሱን ለማለፍ ወይም በቀላሉ ከግምት ውስጥ ካስገቡ ፣ ይህ በጣም አስፈሪ አይደለም ። ራዲክስ አነስተኛ መሆኑ በመጨረሻ በቅርብ ጊዜ በታዩት የ 128 ራዲክስ ባላቸው መሳሪያዎች ላይ ችግር አይደለም ። በሁለት የአከርካሪ ሽፋኖች መገንባት እንችላለን ። ግን አሁንም ለእኛ የሚስቡትን ከሁለት ያነሰ ነገር መገንባት አይቻልም. በአንድ ደረጃ, በጣም ትንሽ ስብስቦች ይገኛሉ. የቀድሞ ዲዛይኖቻችን እና መስፈርቶቻችን እንኳን አሁንም አልፈዋል።

እንደ እውነቱ ከሆነ, በድንገት መፍትሄው አፋፍ ላይ የሆነ ቦታ ከሆነ, አሁንም የመጠን መንገድ አለ. የመጨረሻው (ወይም የመጀመሪያው) ዝቅተኛው ደረጃ አገልጋዮች የሚገናኙበት የቶአር መቀየሪያ ወይም ቅጠል መቀየሪያዎች ስለሆኑ አንድ መደርደሪያን ከእነሱ ጋር ማገናኘት አይጠበቅብንም። ስለዚህ, መፍትሄው በግማሽ ያህል አጭር ከሆነ, በቀላሉ በዝቅተኛ ደረጃ ላይ ካለው ትልቅ ራዲክስ ጋር መቀያየርን በመጠቀም እና ለምሳሌ ሁለት ወይም ሶስት መደርደሪያዎችን ወደ አንድ ማብሪያ / ማብሪያ / ማገናኘት ማሰብ ይችላሉ. ይህ ደግሞ አማራጭ ነው, ወጪዎቹ አሉት, ነገር ግን በጥሩ ሁኔታ ይሰራል እና መጠኑን ሁለት ጊዜ መድረስ ሲፈልጉ ጥሩ መፍትሄ ሊሆን ይችላል.

ለማጠቃለል ያህል, በሁለት ደረጃ የአከርካሪ አጥንት, በስምንት የፋብሪካ ንብርብሮች ላይ በቶፖሎጂ ላይ እንገነባለን.

ፊዚክስ ምን ይሆናል? በጣም ቀላል ስሌቶች. ሁለት የአከርካሪ ደረጃዎች ካሉን ሶስት የመቀየሪያ ደረጃዎች ብቻ አሉን እና በኔትወርኩ ውስጥ ሶስት የኬብል ክፍሎች ይኖራሉ ብለን እንጠብቃለን-ከአገልጋይ ወደ ቅጠል መቀየሪያ ፣ ወደ አከርካሪ 1 ፣ ወደ አከርካሪ 2. የምንችላቸው አማራጮች። ጥቅም ላይ የሚውሉት - እነዚህ twinax, multimode, ነጠላ ሁነታ ናቸው. እና እዚህ ምን ዓይነት ንጣፍ እንዳለ ፣ ምን ያህል ወጪ እንደሚያስወጣ ፣ አካላዊ ልኬቶች ምን እንደሆኑ ፣ ምን መሸፈን እንደምንችል እና እንዴት እንደምናሻሽል ግምት ውስጥ ማስገባት አለብን።

ከዋጋ አንጻር ሁሉም ነገር ሊደረደር ይችላል. Twinaxes ከአክቲቭ ኦፕቲክስ በእጅጉ የረከሰ ነው፣ ከመልቲሞድ ትራንስሰቨሮች ርካሽ ነው፣ በአንድ በረራ ከመጨረሻው ከወሰዱት፣ ከ100-ጊጋቢት መቀየሪያ ወደብ በመጠኑ በርካሽ ናቸው። እና እባክዎን ያስተውሉ ፣ ዋጋው ከአንድ ሞድ ኦፕቲክስ ያነሰ ነው ፣ ምክንያቱም ነጠላ ሁነታ በሚያስፈልግባቸው በረራዎች ፣ በመረጃ ማእከሎች ውስጥ በብዙ ምክንያቶች CWDM ን መጠቀም ምክንያታዊ ነው ፣ ትይዩ ነጠላ ሞድ (PSM) ለመስራት በጣም ምቹ አይደለም ። በ, በጣም ትላልቅ ፓኮች የተገኙት ፋይበርዎች ናቸው, እና በእነዚህ ቴክኖሎጂዎች ላይ ካተኮርን, በግምት የሚከተለውን የዋጋ ተዋረድ እናገኛለን.

አንድ ተጨማሪ ማስታወሻ: በሚያሳዝን ሁኔታ, የተበታተኑ ከ 100 እስከ 4x25 ባለ ብዙ ሞድ ወደቦችን መጠቀም በጣም አይቻልም. በ SFP28 ትራንስፎርሜሽን ዲዛይን ባህሪያት ከ 28 Gbit QSFP100 ብዙ ርካሽ አይደለም. እና ይህ ለ መልቲሞድ መበታተን በጣም ጥሩ አይሰራም።

ሌላው ገደብ በኮምፒውቲንግ ክላስተር መጠን እና በሰርቨሮች ብዛት ምክንያት የመረጃ ማዕከሎቻችን በአካል ትልቅ ሆነው ይገኛሉ። ይህ ማለት ቢያንስ አንድ በረራ በነጠላ ሞድ መደረግ አለበት። በድጋሚ፣ በፖዳዎቹ አካላዊ መጠን ምክንያት፣ ሁለት ስፔን ዊንክስ (የመዳብ ኬብሎች) ማስኬድ አይቻልም።

በውጤቱም, ለዋጋ ብናሻሽል እና የዚህን ንድፍ ጂኦሜትሪ ከግምት ውስጥ ካስገባን, CWDM ን በመጠቀም አንድ ጊዜ twinax, አንድ span of multimode እና አንድ span of singlemode እናገኛለን. ይህ ሊሆኑ የሚችሉ የማሻሻያ መንገዶችን ግምት ውስጥ ያስገባል።

በቅርብ ጊዜ የሚመስለው ይህ ነው ወዴት እያመራን ነው እና የሚቻለው። ለሁለቱም መልቲሞድ እና ነጠላ ሞድ እንዴት ወደ 50-Gigabit SerDes እንደሚሄድ ግልፅ ነው፣ ቢያንስ። በተጨማሪም ፣ በነጠላ ሞድ ትራንስፎርሜሽን ውስጥ አሁን እና ለወደፊቱ ለ 400G ፣ ብዙ ጊዜ 50G SerDes ከኤሌክትሪክ ጎን ሲደርሱ ፣ በአንድ መስመር 100 Gbps ቀድሞውኑ ወደ ኦፕቲክስ መሄድ ይችላል። ስለዚህ ወደ 50 ከመሄድ ይልቅ በአንድ መስመር ወደ 100 Gigabit SerDes እና 100 Gbps ሽግግር ሊኖር ይችላል ምክንያቱም ብዙ ሻጮች በገቡት ቃል መሰረት የእነርሱ አቅርቦት በቅርቡ ይጠበቃል። 50G SerDes በጣም ፈጣኑ የነበረበት ጊዜ በጣም ረጅም አይመስልም ምክንያቱም የ100G SerDes የመጀመሪያ ቅጂዎች በሚቀጥለው ዓመት ገደማ እየወጡ ነው። እና ከዚያ በኋላ ከተወሰነ ጊዜ በኋላ ምናልባት ተመጣጣኝ ገንዘብ ዋጋ ይኖራቸዋል.

ስለ ፊዚክስ ምርጫ አንድ ተጨማሪ ልዩነት። በመርህ ደረጃ፣ 400G SerDes ን በመጠቀም 200 ወይም 50 Gigabit ወደቦችን መጠቀም እንችላለን። ግን ይህ ብዙ ትርጉም አይሰጥም ፣ ምክንያቱም ቀደም ሲል እንደተናገርኩት ፣ በእውነቱ ፣ በእውነቱ ፣ በመጠምዘዝ ላይ ትልቅ ራዲክስ እንፈልጋለን። እንፈልጋለን 128. እና የተገደበ የቺፕ አቅም ካለን እና የሊንኩን ፍጥነት ከጨመርን, ከዚያም ራዲክስ በተፈጥሮው ይቀንሳል, ምንም ተአምር የለም.

እና አውሮፕላኖችን በመጠቀም አጠቃላይ አቅምን ማሳደግ እንችላለን, እና ምንም ልዩ ወጪዎች የሉም, የአውሮፕላኖችን ቁጥር መጨመር እንችላለን. እና ራዲክስ ከጠፋን, ተጨማሪ ደረጃን ማስተዋወቅ አለብን, ስለዚህ አሁን ባለው ሁኔታ, አሁን ባለው ከፍተኛ አቅም በአንድ ቺፕ, 100-ጊጋቢት ወደቦችን መጠቀም የበለጠ ቀልጣፋ ነው, ምክንያቱም ስለሚፈቅዱልዎት. ትልቅ ራዲክስ ለማግኘት.

የሚቀጥለው ጥያቄ ፊዚክስ እንዴት እንደሚደራጅ ነው, ነገር ግን ከኬብል መሠረተ ልማት አንጻር. በጣም አስቂኝ በሆነ መንገድ የተደራጀ መሆኑ ተገለጸ። በቅጠሎች-ስዊች እና በአንደኛ ደረጃ እሾህ መካከል ያለው ኬብሊንግ - እዚያ ብዙ ማገናኛዎች የሉም, ሁሉም ነገር በአንፃራዊነት በቀላሉ የተገነባ ነው. ነገር ግን አንድ አውሮፕላን ከወሰድን, በውስጣችን የሚፈጠረውን ሁሉንም የአንደኛ ደረጃ አከርካሪዎችን ከሁለተኛ ደረጃ አከርካሪዎች ጋር ማገናኘት አለብን.

በተጨማሪም ፣ እንደ አንድ ደንብ ፣ በመረጃ ማእከል ውስጥ እንዴት እንደሚታይ አንዳንድ ምኞቶች አሉ። ለምሳሌ ኬብሎችን ወደ ጥቅል በማዋሃድ እና በመጎተት አንድ ባለ ከፍተኛ ጥግግት ፓነል ሙሉ በሙሉ ወደ አንድ ጠጋኝ ፓነል እንዲገባ ስለፈለግን ከርዝመት አንፃር ምንም መካነ አራዊት አልነበረም። ይህንን ችግር ለመፍታት ችለናል. መጀመሪያ ላይ ሎጂካዊ ቶፖሎጂን ከተመለከቱ, አውሮፕላኖቹ እራሳቸውን የቻሉ መሆናቸውን ማየት ይችላሉ, እያንዳንዱ አውሮፕላን በራሱ ሊገነባ ይችላል. ነገር ግን እንዲህ ዓይነቱን ጥቅል ስንጨምር እና ሙሉውን የ patch ፓነል ወደ ፕላስተር ፓነል ለመጎተት ስንፈልግ በአንድ ጥቅል ውስጥ የተለያዩ አውሮፕላኖችን በማቀላቀል በኦፕቲካል ማቋረጫ መልክ መካከለኛ መዋቅር ማስተዋወቅ አለብን ። በአንድ ክፍል ላይ, በሌላ ክፍል ላይ እንዴት እንደሚሰበሰቡ. ለዚህም ምስጋና ይግባውና ጥሩ ባህሪን እናገኛለን: ሁሉም ውስብስብ መቀያየር ከመደርደሪያዎች በላይ አያልፍም. አንድን ነገር በጠንካራ ሁኔታ መቀላቀል ሲያስፈልግ “አውሮፕላኖቹን ግለጡ”፣ አንዳንዴ በክሎስ ኔትወርኮች እንደሚጠራው፣ ሁሉም በአንድ መደርደሪያ ውስጥ ያተኮረ ነው። በጣም የተበታተኑ፣ እስከ ግለሰባዊ አገናኞች፣ በመደርደሪያዎች መካከል መቀያየር የለንም።

ከኬብል መሠረተ ልማት አመክንዮአዊ ድርጅት እይታ አንጻር ሲታይ ይህ ይመስላል. በግራ በኩል ባለው ሥዕል ላይ ባለ ብዙ ቀለም ብሎኮች የአንደኛ ደረጃ የአከርካሪ ማብሪያ ማጥፊያዎችን፣ እያንዳንዳቸው ስምንት ቁርጥራጮች እና ከነሱ የሚመጡ አራት ጥቅል ኬብሎች የሚያሳዩ ሲሆን እነሱም ከአከርካሪው ብሎኮች ከሚመጡት እሽጎች ጋር ይገናኛሉ -2 መቀየሪያዎች .

ትናንሽ ካሬዎች መገናኛዎችን ያመለክታሉ. ከላይ በግራ በኩል የእያንዳንዱ መስቀለኛ መንገድ ብልሽት አለ ፣ ይህ በእውነቱ 512 በ 512 ወደብ ማቋረጫ ሞጁል ነው ፣ ኬብሎቹ ሙሉ በሙሉ ወደ አንድ መደርደሪያ እንዲገቡ የሚያደርግ አከርካሪ-2 አውሮፕላን ብቻ ነው። እና በቀኝ በኩል ፣ የዚህ ሥዕል ቅኝት በአከርካሪ-1 ደረጃ ላይ ካሉት በርካታ ፖዶች ጋር በተያያዘ እና እንዴት በመስቀል-ግንኙነት ውስጥ እንደታሸገ ፣ ወደ አከርካሪ-2 ደረጃ እንዴት እንደሚመጣ ትንሽ ተጨማሪ ዝርዝር ነው ።

ይሄ ነው የሚመስለው። ገና ሙሉ በሙሉ ያልተሰበሰበ አከርካሪ-2 መቆሚያ (በግራ በኩል) እና የመስቀል-ግንኙነት ማቆሚያ. እንደ አለመታደል ሆኖ እዚያ ብዙ የሚታይ ነገር የለም። ይህ ሙሉ መዋቅር በአሁኑ ጊዜ እየተስፋፋ ባለው ትልቅ የመረጃ ማዕከሎቻችን ውስጥ እየተዘረጋ ነው። ይህ በሂደት ላይ ያለ ስራ ነው, የበለጠ ቆንጆ ይሆናል, በተሻለ ሁኔታ ይሞላል.

አንድ አስፈላጊ ጥያቄ-ሎጂካዊ ቶፖሎጂን መርጠናል እና ፊዚክስን ገንብተናል። የመቆጣጠሪያው አውሮፕላን ምን ይሆናል? ከአሰራር ልምድ በጣም የታወቀ ነው ፣ የስቴት ፕሮቶኮሎችን ማገናኘት ጥሩ እንደሆነ የሚገልጹ ሪፖርቶች አሉ ፣ ከእነሱ ጋር አብሮ መሥራት አስደሳች ነው ፣ ግን በሚያሳዝን ሁኔታ ፣ እነሱ ጥቅጥቅ ባለው በተገናኘ ቶፖሎጂ ላይ በጥሩ ሁኔታ አይመዘኑም። እና ይህንን የሚከለክለው አንድ ዋና ነገር አለ - ይህ በአገናኝ ግዛት ፕሮቶኮሎች ውስጥ የውኃ መጥለቅለቅ እንዴት እንደሚሰራ ነው. የጎርፍ መጥለቅለቅ አልጎሪዝምን ብቻ ከወሰዱ እና የእኛ አውታረመረብ እንዴት እንደተዋቀረ ከተመለከቱ በእያንዳንዱ እርምጃ በጣም ትልቅ አድናቂ እንደሚኖር እና በቀላሉ የቁጥጥር አውሮፕላኑን በዝማኔዎች ያጥለቀልቃል። በተለይም፣ እንደዚህ አይነት ቶፖሎጂዎች ከባህላዊ የጎርፍ መጥለቅለቅ ስልተ-ቀመር በአገናኝ ግዛት ፕሮቶኮሎች ውስጥ በጣም ደካማ ናቸው።

ምርጫው BGPን መጠቀም ነው። እንዴት በትክክል ማዘጋጀት እንደሚቻል በ RFC 7938 ስለ BGP አጠቃቀም በትልቅ የመረጃ ቋቶች ውስጥ ተገልጿል. መሰረታዊ ሐሳቦች ቀላል ናቸው፡ በአንድ አስተናጋጅ ዝቅተኛው ቅድመ ቅጥያ እና በአጠቃላይ በኔትወርኩ ላይ ያለው አነስተኛ ቅድመ ቅጥያ፣ ከተቻለ ድምርን ተጠቀም እና ዱካ አደንን ማጥፋት። በጣም ጠንቃቃ፣ በጣም ቁጥጥር የሚደረግበት የዝማኔዎች ስርጭት እንፈልጋለን፣ ሸለቆ ነፃ የሚባለው። በአውታረ መረቡ ውስጥ በሚያልፉበት ጊዜ ዝማኔዎች በትክክል አንድ ጊዜ እንዲሰማሩ እንፈልጋለን። መነሻቸው ከታች ከሆነ፣ ከአንድ ጊዜ በላይ ሳይገለጡ ወደ ላይ ይወጣሉ። ምንም zigzags መኖር የለበትም. ዚግዛጎች በጣም መጥፎ ናቸው።

ይህንን ለማድረግ, መሰረታዊ የ BGP ስልቶችን ለመጠቀም ቀላል የሆነ ንድፍ እንጠቀማለን. ማለትም ኢቢጂፒን በአገናኝ አካባቢያዊ ላይ እንጠቀማለን ፣ እና ራስ ገዝ ስርዓቶች እንደሚከተለው ይመደባሉ፡ በቶር ላይ ራሱን የቻለ ስርዓት፣ በጠቅላላው የአከርካሪ አጥንት 1 ማብሪያ / ማጥፊያ እና አጠቃላይ የራስ ገዝ ስርዓት በጠቅላላው ከፍተኛ ላይ። የጨርቅ. የBGP መደበኛ ባህሪ እንኳን የምንፈልገውን የዝማኔዎች ስርጭት እንደሚሰጠን ለማየት እና ለማየት ከባድ አይደለም።

በተፈጥሮ የአድራሻ እና የአድራሻ ማሰባሰብ የመቆጣጠሪያው አውሮፕላኑ መረጋጋትን ለማረጋገጥ ከራውቲንግ አሠራር ጋር ተኳሃኝ ሆኖ መቅረጽ አለበት። በትራንስፖርት ውስጥ የ L3 አድራሻ ከቶፖሎጂ ጋር የተሳሰረ ነው ፣ ምክንያቱም ያለዚህ ውህደትን ለማሳካት የማይቻል ነው ፣ ያለዚህ ፣ ነጠላ አድራሻዎች ወደ ማዞሪያ ስርዓቱ ውስጥ ዘልቀው ይገባሉ። እና አንድ ተጨማሪ ነገር ማሰባሰብ, በሚያሳዝን ሁኔታ, ከብዙ መንገድ ጋር በደንብ አይጣመርም, ምክንያቱም ብዙ መንገድ ሲኖረን እና ድምር ሲኖረን, ሁሉም ነገር ጥሩ ነው, አጠቃላይ አውታረመረብ ጤናማ ሲሆን, በውስጡ ምንም ውድቀቶች የሉም. እንደ አለመታደል ሆኖ በኔትወርኩ ውስጥ ውድቀቶች እንደታዩ እና የቶፖሎጂው ዘይቤ ሲጠፋ ፣ ክፍሉ ወደታወጀበት ደረጃ ልንደርስ እንችላለን ፣ ከዚያ የበለጠ ወደምንሄድበት መሄድ አንችልም። ስለዚህ, ተጨማሪ ባለብዙ-መንገድ በሌለበት ቦታ ላይ መሰብሰብ ይሻላል, በእኛ ሁኔታ እነዚህ የ ToR ማብሪያዎች ናቸው.

እንደ እውነቱ ከሆነ, መሰብሰብ ይቻላል, ግን በጥንቃቄ. የአውታረ መረብ ብልሽቶች ሲከሰቱ ቁጥጥር የሚደረግበት መለያየትን ማድረግ ከቻልን. ግን ይህ በጣም ከባድ ስራ ነው ፣ ይህንን ማድረግ ይቻል እንደሆነ ፣ ተጨማሪ አውቶማቲክ እና የተፈለገውን ባህሪ ለማግኘት ቢጂፒን በትክክል የሚረጩ ውሱን የመንግስት ማሽኖችን ማከል ይቻል እንደሆነ አስበን ነበር። እንደ አለመታደል ሆኖ የማዕዘን ጉዳዮችን ማካሄድ በጣም ግልጽ ያልሆነ እና ውስብስብ ነው, እና ይህ ተግባር ውጫዊ አባሪዎችን ከ BGP ጋር በማያያዝ በደንብ አልተፈታም.

በዚህ ረገድ በጣም አስደሳች ሥራ በ RIFT ፕሮቶኮል ማዕቀፍ ውስጥ ተከናውኗል, በሚቀጥለው ዘገባ ውስጥ ይብራራል.

ሌላው አስፈላጊ ነገር የውሂብ አውሮፕላኖች ጥቅጥቅ ባሉ ቶፖሎጂዎች ውስጥ እንዴት እንደሚመዘኑ ነው, ብዙ ቁጥር ያላቸው አማራጭ መንገዶች አሉን. በዚህ ሁኔታ, በርካታ ተጨማሪ የውሂብ አወቃቀሮች ጥቅም ላይ ይውላሉ-ECMP ቡድኖች, እሱም በተራው የሚቀጥለው ሆፕ ቡድኖችን ይገልፃል.

በተለምዶ በሚሰራ አውታረመረብ ውስጥ ፣ ያለ ውድቀት ፣ ወደ ክሎስ ቶፖሎጂ ስንወጣ ፣ አንድ ቡድን ብቻ ​​መጠቀም በቂ ነው ፣ ምክንያቱም አካባቢያዊ ያልሆነ ነገር ሁሉ በነባሪነት ይገለጻል ፣ ወደ ላይ መውጣት እንችላለን ። ከላይ ወደ ታች ወደ ደቡብ ስንሄድ ሁሉም መንገዶች ECMP ሳይሆኑ ነጠላ ዱካዎች ናቸው። ሁሉ ነገር ጥሩ ነው. ችግሩ ያለው፣ እና የክላሲክ ክሎስ ቶፖሎጂ ልዩነት የጨርቁን የላይኛው ክፍል ከተመለከትን፣ በማንኛውም አካል፣ ከታች ወደ ማንኛውም አካል አንድ መንገድ ብቻ አለ። በዚህ መንገድ ላይ አለመሳካቶች ከተከሰቱ፣ በፋብሪካው አናት ላይ ያለው ይህ ልዩ አካል ከተሰበረው መንገድ በስተጀርባ ላሉ ቅድመ ቅጥያዎች በትክክል ልክ ያልሆነ ይሆናል። ለቀሪው ግን ልክ ነው፣ እና የECMP ቡድኖችን መተንተን እና አዲስ ግዛት ማስተዋወቅ አለብን።

በዘመናዊ መሣሪያዎች ላይ የውሂብ አውሮፕላን ማመጣጠን ምን ይመስላል? LPM (ረጅሙ ቅድመ ቅጥያ ግጥሚያ) ካደረግን፣ ሁሉም ነገር በጣም ጥሩ ነው፣ ከ100k በላይ ቅድመ ቅጥያዎች። ስለ ቀጣይ ሆፕ ቡድኖች እየተነጋገርን ከሆነ, ሁሉም ነገር የከፋ ነው, 2-4 ሺህ. እየተነጋገርን ከሆነ ስለ ቀጣይ ሆፕስ (ወይም አጃቢዎች) መግለጫ ስላለው ሰንጠረዥ እየተነጋገርን ከሆነ ይህ ከ 16k ወደ 64k የሆነ ቦታ ነው. እና ይሄ ችግር ሊሆን ይችላል. እና እዚህ ወደ አንድ አስደሳች ውጤት ደርሰናል-በመረጃ ማእከሎች ውስጥ MPLS ምን ሆነ? በመርህ ደረጃ, እኛ ማድረግ እንፈልጋለን.

ሁለት ነገሮች ተከሰቱ። በአስተናጋጆች ላይ ማይክሮ-ክፍል አደረግን፤ ከአሁን በኋላ በአውታረ መረቡ ላይ ማድረግ አያስፈልገንም። ከተለያዩ አቅራቢዎች ድጋፍ ጋር በጣም ጥሩ አልነበረም, እና እንዲያውም በ MPLS ላይ ባሉ ነጭ ሳጥኖች ላይ ክፍት ትግበራዎች. እና MPLS፣ ቢያንስ ተለምዷዊ አተገባበሩ፣ በሚያሳዝን ሁኔታ፣ በጣም ደካማ ከ ECMP ጋር ይጣመራል። እና ለዚህ ነው.

ለአይፒ የ ECMP ማስተላለፊያ መዋቅር ይህን ይመስላል። ብዙ ቁጥር ያላቸው ቅድመ ቅጥያዎች አንድ አይነት ቡድን እና ተመሳሳይ ቀጣይ ሆፕስ ብሎክ ሊጠቀሙ ይችላሉ (ወይም አጃቢዎች ፣ ይህ ለተለያዩ መሳሪያዎች በተለያዩ ሰነዶች ውስጥ በተለየ መንገድ ሊጠራ ይችላል)። ነጥቡ ይህ እንደ ወጭ ወደብ እና ወደ ትክክለኛው ቀጣይ ሆፕ ለመድረስ የ MAC አድራሻን እንደገና ለመፃፍ ነው. ለአይፒ ሁሉም ነገር ቀላል ይመስላል፣ ለተመሳሳይ ቡድን፣ ተመሳሳይ ቀጣይ ሆፕስ ብሎክ በጣም ብዙ ቁጥር ያላቸውን ቅድመ ቅጥያዎች መጠቀም ይችላሉ።

ክላሲክ MPLS አርክቴክቸር እንደሚያመለክተው በወጪ በይነገጽ ላይ በመመስረት መለያው ወደ ተለያዩ እሴቶች እንደገና ሊፃፍ ይችላል። ስለዚህ ለእያንዳንዱ የግቤት መለያ ቡድን እና ቀጣይ ሆፕስ ብሎክ ማቆየት አለብን። እና ይሄ, ወዮ, አይለካም.

በእኛ ንድፍ ውስጥ ወደ 4000 ToR ማብሪያ / ማጥፊያዎች እንደሚያስፈልገን ማየት ቀላል ነው ፣ ከፍተኛው ስፋት 64 ECMP መንገዶች ነበር ፣ ከአከርካሪ -1 ወደ አከርካሪ -2 ከሄድን ። ወደ አንድ የECMP ቡድኖች ሠንጠረዥ ውስጥ የምንገባበት ጊዜ የለም፣ አንድ ቅድመ ቅጥያ ከToR ጋር ብቻ ከሄደ እና ወደ ቀጣይ ሆፕስ ሰንጠረዥ በጭራሽ አንገባም።

እንደ ክፍል ራውቲንግ ያሉ አርክቴክቸር አለማቀፋዊ መለያዎችን ስለሚያካትቱ ሁሉም ተስፋ ቢስ አይደሉም። በመደበኛነት፣ እነዚህን ሁሉ ቀጣይ ሆፕስ ብሎኮች እንደገና ማፍረስ ይቻል ነበር። ይህንን ለማድረግ የዱር ካርድ አይነት ክዋኔ ያስፈልግዎታል: መለያ ውሰድ እና የተወሰነ እሴት ሳይኖር ወደ ተመሳሳይ ተመሳሳይ እንደገና ጻፍ. ግን በሚያሳዝን ሁኔታ, ይህ በሚገኙ አተገባበር ውስጥ በጣም አይገኝም.

እና በመጨረሻም የውጭ ትራፊክ ወደ የውሂብ ማእከል ማምጣት አለብን. እንዴት ማድረግ ይቻላል? ከዚህ ቀደም ትራፊክ ከላይ ወደ ክሎስ ኔትወርክ ገብቷል። ያም ማለት በጨርቁ አናት ላይ ከሁሉም መሳሪያዎች ጋር የተገናኙ የጠርዝ ራውተሮች ነበሩ. ይህ መፍትሄ በትንሽ እና መካከለኛ መጠን ላይ በደንብ ይሰራል. እንደ አለመታደል ሆኖ ትራፊክን ወደ አውታረ መረቡ በሙሉ በዚህ መንገድ ለመላክ በአንድ ጊዜ በሁሉም የጨርቅ ንጥረ ነገሮች ላይ መድረስ አለብን ፣ እና ከመቶ በላይ በሚሆኑበት ጊዜ ፣ ​​እንዲሁም ትልቅ ራዲክስ እንፈልጋለን። የጠርዝ ራውተሮች. በአጠቃላይ ይህ ገንዘብ ያስወጣል, ምክንያቱም የጠርዝ ራውተሮች የበለጠ የሚሰሩ ናቸው, በእነሱ ላይ ያሉት ወደቦች የበለጠ ውድ ይሆናሉ, እና ዲዛይኑ በጣም የሚያምር አይደለም.

ሌላው አማራጭ ከታች ጀምሮ እንዲህ ያለውን ትራፊክ መጀመር ነው. የክሎስ ቶፖሎጂ የተገነባው ከታች የሚመጣውን ትራፊክ ማለትም ከቶር ጎን በየደረጃው በጠቅላላው የጨርቅ ጫፍ ላይ በሁለት ድግግሞሽ ተከፋፍሎ ሙሉ ኔትወርክን በሚጭንበት መንገድ መሆኑን ማረጋገጥ ቀላል ነው። ስለዚህ, ውጫዊ ግንኙነትን የሚያቀርበውን ልዩ የፖድ, Edge Pod እናስተዋውቃለን.

አንድ ተጨማሪ አማራጭ አለ. ለምሳሌ ፌስቡክ የሚያደርገው ይህንኑ ነው። Fabric Aggregator ወይም HGRID ብለው ይጠሩታል። ብዙ የመረጃ ማዕከሎችን ለማገናኘት ተጨማሪ የአከርካሪ ደረጃ እየቀረበ ነው. ይህ ንድፍ የሚቻለው ተጨማሪ ተግባራት ከሌለን ወይም በመገናኛዎች ላይ የመቀየሪያ ለውጦች ከሌለን ነው. ተጨማሪ የመዳሰሻ ነጥቦች ከሆኑ፣ አስቸጋሪ ነው። በተለምዶ ተጨማሪ ተግባራት እና የመረጃ ማእከሉን የተለያዩ ክፍሎችን የሚለይ አንድ አይነት ሽፋን አለ። እንዲህ ዓይነቱን ሽፋን ትልቅ ማድረጉ ምንም ፋይዳ የለውም ፣ ግን በሆነ ምክንያት በእውነቱ አስፈላጊ ከሆነ እሱን ለመውሰድ ፣ በተቻለ መጠን ሰፊ በማድረግ እና ወደ አስተናጋጆች ለማስተላለፍ እድሉን ማጤን ተገቢ ነው። ይህ ለምሳሌ በብዙ የደመና ኦፕሬተሮች ይከናወናል። ተደራቢዎች አሏቸው, ከአስተናጋጆች ይጀምራሉ.

ምን ዓይነት የልማት እድሎችን እናያለን? በመጀመሪያ ደረጃ ለ CI / ሲዲ የቧንቧ መስመር ድጋፍን ማሻሻል. በምንፈተንበት መንገድ መብረር እና የምንበርበትን መንገድ መፈተሽ እንፈልጋለን። ይህ በጣም ጥሩ አይሰራም, ምክንያቱም መሠረተ ልማቱ ትልቅ ስለሆነ እና ለሙከራዎች ማባዛት የማይቻል ነው. የሙከራ ክፍሎችን ወደ ምርት መሠረተ ልማት ሳይጥሉ እንዴት ማስተዋወቅ እንዳለቦት መረዳት ያስፈልግዎታል።

የተሻለ መሳሪያ እና የተሻለ ክትትል በጭራሽ ሊበዛ አይችልም። አጠቃላይ ጥያቄው የጥረትና መመለሻ ሚዛን ነው። በተመጣጣኝ ጥረት ማከል ከቻሉ, በጣም ጥሩ.

ለአውታረ መረብ መሳሪያዎች ስርዓተ ክወናዎችን ክፈት. እንደ RIFT ያሉ የተሻሉ ፕሮቶኮሎች እና የተሻሉ የማዞሪያ ስርዓቶች። በተጨማሪም የተሻሉ መጨናነቅ መቆጣጠሪያ ዘዴዎችን እና ምናልባትም በአንዳንድ ቦታዎች የ RDMA ድጋፍ በክላስተር ውስጥ ያለውን መግቢያ ለመጠቀም ምርምር ያስፈልጋል።

ስለወደፊቱ የበለጠ ስንመለከት፣ የላቁ ቶፖሎጂዎች እና ምናልባትም አነስተኛ ትርፍ የሚጠቀሙ አውታረ መረቦች ያስፈልጉናል። ከትኩስ ነገሮች ውስጥ፣ በቅርብ ጊዜ ስለ HPC Cray Slingshot የጨርቅ ቴክኖሎጂ ህትመቶች አሉ፣ እሱም በሸቀጦች ኤተርኔት ላይ የተመሰረተ፣ ነገር ግን በጣም አጭር አርዕስቶችን የመጠቀም አማራጭ። በውጤቱም, የትርፍ መጠን ይቀንሳል.

ሁሉም ነገር በተቻለ መጠን ቀላል መሆን አለበት, ግን ቀላል አይደለም. ውስብስብነት የመለጠጥ ጠላት ነው. ቀላልነት እና መደበኛ መዋቅሮች ጓደኞቻችን ናቸው. የሆነ ቦታ ልኬት ማውጣት ከቻሉ ያድርጉት። እና በአጠቃላይ አሁን በኔትወርክ ቴክኖሎጂዎች ውስጥ መሳተፍ በጣም ጥሩ ነው. ብዙ አስደሳች ነገሮች እየተከናወኑ ነው። አመሰግናለሁ.

ምንጭ: hab.com