በሞስኮ ቢሮ የሁዋዌ ላይ አዲስ ኔትወርክ እንዴት ነድፈን ተግባራዊ እንዳደረግን ክፍል 1

ዛሬ ለድርጅታችን አዲስ የውስጥ አውታረመረብ የመፍጠር ሀሳብ እንዴት እንደመጣ እና እንደተተገበረ እነግርዎታለሁ። የአስተዳደር አቀማመጥ ለደንበኛው ልክ እንደ አንድ አይነት ሙሉ ፕሮጀክት ለራስዎ ማድረግ ያስፈልግዎታል. ለራሳችን ጥሩ ካደረግን, ደንበኛውን ጋብዘን እና ለእሱ የምናቀርበው ነገር እንዴት እንደሚሰራ እና እንደሚሰራ ማሳየት እንችላለን. ስለዚህ ሙሉ የምርት ዑደትን በመጠቀም ለሞስኮ ጽ / ቤት አዲስ አውታረ መረብ ጽንሰ-ሀሳብ ለማዳበር ቀርበናል-የመምሪያ ፍላጎቶች ትንተና → የቴክኒካዊ መፍትሄ ምርጫ → ንድፍ → አተገባበር → ሙከራ። ስለዚህ እንጀምር።

ቴክኒካል መፍትሔ መምረጥ፡ ሙታንት መቅደስ

ውስብስብ በሆነ አውቶማቲክ ስርዓት ላይ የመሥራት ሂደት በአሁኑ ጊዜ በተሻለ ሁኔታ በ GOST 34.601-90 "አውቶሜትድ ስርዓቶች ውስጥ ተገልጿል. የፍጥረት ደረጃዎች”፣ ስለዚህ በእሱ መሠረት ሠርተናል። እና አስቀድሞ መስፈርቶች ምስረታ እና ጽንሰ ልማት ደረጃዎች ላይ, እኛ የመጀመሪያ ችግሮች አጋጥሞታል. የተለያዩ መገለጫዎች ድርጅቶች - ባንኮች ፣ የኢንሹራንስ ኩባንያዎች ፣ የሶፍትዌር ገንቢዎች ፣ ወዘተ - ለተግባራቸው እና ደረጃቸው የተወሰኑ የአውታረ መረብ ዓይነቶች ያስፈልጋሉ ፣ ልዩነታቸው ግልጽ እና ደረጃውን የጠበቀ። ሆኖም ይህ ከእኛ ጋር አይሰራም።

ለምን?

Jet Infosystems ትልቅ የተለያየ የአይቲ ኩባንያ ነው። በተመሳሳይ ጊዜ, የእኛ የውስጥ ድጋፍ ክፍል ትንሽ ነው (ነገር ግን ኩሩ), የመሠረታዊ አገልግሎቶችን እና ስርዓቶችን ተግባራዊነት ያረጋግጣል. ኩባንያው የተለያዩ ተግባራትን የሚያከናውን ብዙ ክፍሎችን ይይዛል-እነዚህ በርካታ ኃይለኛ የውጪ ቡድኖች እና የንግድ ስርዓቶች ገንቢዎች, እና የመረጃ ደህንነት, እና የኮምፒዩተር ስርዓቶች አርክቴክቶች - በአጠቃላይ, ማንም ቢሆን. በዚህም መሰረት፣ ተግባራቸው፣ ስርዓታቸው እና የደህንነት ፖሊሲዎቻቸው እንዲሁ የተለያዩ ናቸው። ይህም እንደተጠበቀው በፍላጎት ትንተና እና ደረጃ አሰጣጥ ሂደት ላይ ችግሮች ፈጥሯል።

እዚህ, ለምሳሌ, የልማት ክፍል ነው: ሰራተኞቹ ለብዙ ደንበኞች ኮድ ይጽፋሉ እና ይፈትሹ. ብዙውን ጊዜ የፈተና አካባቢዎችን በፍጥነት ማደራጀት ያስፈልጋል, እና እውነቱን ለመናገር, ለእያንዳንዱ ፕሮጀክት መስፈርቶችን ማዘጋጀት, መገልገያዎችን መጠየቅ እና በሁሉም የውስጥ ደንቦች መሰረት የተለየ የሙከራ አካባቢ መገንባት ሁልጊዜ አይቻልም. ይህ አስገራሚ ሁኔታዎችን ይፈጥራል፡ አንድ ቀን ትሁት አገልጋይህ የገንቢዎቹን ክፍል ተመለከተ እና ከጠረጴዛው ስር በትክክል የሚሰራ የሃዱፕ ክላስተር 20 ዴስክቶፖች አገኘ። የኩባንያው የአይቲ ዲፓርትመንት ስለ ሕልውናው እንደማያውቅ ግልጽ ማድረግ ጠቃሚ አይመስለኝም. ይህ ሁኔታ, ልክ እንደሌሎች ብዙ, በፕሮጀክቱ እድገት ወቅት, ለረጅም ጊዜ የሚቆይ የቢሮ መሠረተ ልማት ሁኔታን የሚገልጽ "የመቀየሪያ መጠባበቂያ" የሚለው ቃል ተወለደ.

ወይም ሌላ ምሳሌ እዚህ አለ። በየጊዜው, የሙከራ አግዳሚ ወንበር በመምሪያው ውስጥ ይዘጋጃል. በአንዳንድ ፕሮጀክቶች በሶፍትዌር ልማት ማእከል በተወሰነ ደረጃ ጥቅም ላይ የዋለው የጂራ እና ኮንፍሉንስ ሁኔታ ይህ ነበር። ከተወሰነ ጊዜ በኋላ ሌሎች ዲፓርትመንቶች ስለእነዚህ ጠቃሚ ሀብቶች ተረድተው ገምግመዋል እና በ 2018 መገባደጃ ላይ ጂራ እና ኮንፍሉንስ ከ "አካባቢያዊ ፕሮግራመሮች መጫወቻ" ሁኔታ ወደ "የኩባንያ ሀብቶች" ደረጃ ተንቀሳቅሰዋል. አሁን አንድ ባለቤት ለእነዚህ ስርዓቶች መመደብ አለበት፣ SLAዎች፣ የመዳረሻ/መረጃ ደህንነት ፖሊሲዎች፣ የመጠባበቂያ ፖሊሲዎች፣ ክትትል፣ ችግሮችን ለማስተካከል ጥያቄዎችን የማዘዋወር ህጎች መገለጽ አለባቸው - በአጠቃላይ የሙሉ መረጃ ስርዓት ሁሉም ባህሪዎች መገኘት አለባቸው። .
እያንዳንዳችን ክፍሎቻችንም የራሱን ምርት የሚያመርት ኢንኩቤተር ነው። አንዳንዶቹ በዕድገት ደረጃ ይሞታሉ፣ አንዳንዶቹ በፕሮጀክቶች ላይ ስንሠራ እንጠቀማለን፣ ሌሎች ደግሞ ሥር ሰድደው የተባዙ መፍትሔዎች ሆነው እራሳችንን መጠቀም እንጀምራለን እና ለደንበኞች እንሸጣለን። ለእያንዳንዱ እንደዚህ አይነት ስርዓት የራሱ የሆነ የኔትወርክ አከባቢ እንዲኖር የሚፈለግ ነው, እሱም ከሌሎች ስርዓቶች ጋር ጣልቃ ሳይገባ የሚዳብርበት እና በተወሰነ ጊዜ ወደ ኩባንያው መሠረተ ልማት ውስጥ ሊገባ ይችላል.

ከልማት በተጨማሪ በጣም ትልቅ አለን። የአገልግሎት ማዕከል ከ 500 በላይ ሰራተኞች ያሉት, ለእያንዳንዱ ደንበኛ በቡድን ተፈጥረዋል. አውታረ መረቦችን እና ሌሎች ስርዓቶችን, የርቀት መቆጣጠሪያን, የይገባኛል ጥያቄዎችን በመፍታት እና በመሳሰሉት ውስጥ ይሳተፋሉ. ያም ማለት የ SC መሠረተ ልማት በእውነቱ በአሁኑ ጊዜ እየሰሩ ያሉት የደንበኞች መሠረተ ልማት ነው. ከዚህ የአውታረ መረብ ክፍል ጋር የመሥራት ልዩነቱ ለድርጅታችን የሥራ ቦታዎቻቸው በከፊል ውጫዊ እና ከፊል ውስጣዊ ናቸው. ስለዚህ ለ SC እኛ የሚከተለውን አካሄድ ተግባራዊ አደረግን - ኩባንያው የእነዚህን ክፍሎች የሥራ ቦታዎች እንደ ውጫዊ ግንኙነቶች (ከቅርንጫፎች እና ከርቀት ተጠቃሚዎች ጋር በማነፃፀር) በመቁጠር ተጓዳኝ ዲፓርትመንቱን ከኔትወርክ እና ከሌሎች ሀብቶች ጋር ያቀርባል.

የሀይዌይ ዲዛይን፡ እኛ ኦፕሬተር ነን (አስገራሚ)

ሁሉንም ወጥመዶች ከገመገምን በኋላ, በአንድ ቢሮ ውስጥ የቴሌኮሙኒኬሽን ኦፕሬተር ኔትወርክ እያገኘን እንደሆነ ተገነዘብን, እና በዚህ መሰረት እርምጃ መውሰድ ጀመርን.

ማንኛውም የውስጥ እና ወደፊት ደግሞ ውጫዊ, ሸማቾች አስፈላጊውን አገልግሎት L2 VPN, L3 VPN ወይም መደበኛ L3 ማዞሪያ ጋር የቀረበ ነው ጋር አንድ ኮር አውታረ መረብ ፈጠርን. አንዳንድ ዲፓርትመንቶች ደህንነቱ የተጠበቀ የኢንተርኔት አገልግሎት ያስፈልጋቸዋል፣ ሌሎች ደግሞ ያለ ፋየርዎል ንፁህ መዳረሻ ያስፈልጋቸዋል፣ ነገር ግን በተመሳሳይ ጊዜ የድርጅት ሃብቶቻችንን እና ዋና አውታረ መረቦችን ከትራፊክዎቻቸው እንጠብቃለን።

ከእያንዳንዱ ክፍል ጋር መደበኛ ባልሆነ መንገድ “SLA ደመደምን። በእሱ መሠረት, ሁሉም የሚከሰቱ ክስተቶች በተወሰነ, አስቀድሞ ስምምነት ባለው ጊዜ ውስጥ መወገድ አለባቸው. የኩባንያው የኔትወርክ መስፈርቶች ጥብቅ ሆኖ ተገኝቷል. የስልክ እና የኢሜል ብልሽት ሲከሰት ከፍተኛው የምላሽ ጊዜ 5 ደቂቃ ነበር። በተለመደው ውድቀቶች ወቅት የአውታረ መረብ ተግባራትን ወደነበረበት ለመመለስ ጊዜው ከአንድ ደቂቃ ያልበለጠ ነው.

የድምጸ ተያያዥ ሞደም-ደረጃ ኔትወርክ ስላለን በህጎቹ መሰረት ብቻ ከእሱ ጋር መገናኘት ይችላሉ። የአገልግሎት ክፍሎች ፖሊሲዎችን ያዘጋጃሉ እና አገልግሎቶችን ይሰጣሉ. ስለተወሰኑ አገልጋዮች፣ ቨርቹዋል ማሽኖች እና የስራ ቦታዎች ግንኙነት መረጃ እንኳን አያስፈልጋቸውም። ግን በተመሳሳይ ጊዜ የመከላከያ ዘዴዎች ያስፈልጋሉ, ምክንያቱም አንድ ነጠላ ግንኙነት አውታረ መረቡን ማሰናከል የለበትም. በድንገት አንድ ዑደት ከተፈጠረ, ሌሎች ተጠቃሚዎች ይህንን ሊያስተውሉ አይገባም, ማለትም, ከአውታረ መረቡ በቂ ምላሽ መስጠት አስፈላጊ ነው. ማንኛውም የቴሌኮም ኦፕሬተር በዋናው ኔትወርኩ ውስጥ ተመሳሳይ ውስብስብ የሚመስሉ ችግሮችን በየጊዜው ይፈታል። ለተለያዩ ፍላጎቶች እና ትራፊክ ለብዙ ደንበኞች አገልግሎት ይሰጣል። በተመሳሳይ ጊዜ, የተለያዩ ተመዝጋቢዎች የሌሎችን ትራፊክ ችግር ሊያጋጥማቸው አይገባም.
በቤት ውስጥ, ይህንን ችግር በሚከተለው መንገድ ፈትነናል-የ IS-IS ፕሮቶኮልን በመጠቀም የጀርባ አጥንት L3 ኔትወርክን ሙሉ በሙሉ ከመድገም ጋር ገንብተናል. በቴክኖሎጂ ላይ የተመሰረተ ተደራቢ አውታር ከዋናው ላይ ተሠርቷል ኢቪፒኤን/VXLAN፣ የማዞሪያ ፕሮቶኮልን በመጠቀም MP-BGP. የማስተላለፊያ ፕሮቶኮሎችን መገጣጠም ለማፋጠን የ BFD ቴክኖሎጂ ጥቅም ላይ ውሏል።

የአውታረ መረብ መዋቅር

በፈተናዎች ውስጥ, ይህ እቅድ እራሱን በጣም ጥሩ መሆኑን አሳይቷል - ማንኛውም ቻናል ወይም ማብሪያ / ማጥፊያ ሲቋረጥ, የመገናኘት ጊዜ ከ 0.1-0.2 ሰከንድ ያልበለጠ, ቢያንስ ፓኬቶች ጠፍተዋል (ብዙውን ጊዜ የለም), የ TCP ክፍለ ጊዜዎች አልተቀደዱም, የስልክ ውይይቶች አይቋረጡም።

Underlay Layer - ማዞሪያ

ተደራቢ ንብርብር - መስመር

የHuawei CE6870 መቀየሪያዎች ከVXLAN ፍቃድ ጋር እንደ ማከፋፈያ መቀየሪያዎች ጥቅም ላይ ውለዋል። ይህ መሳሪያ በጣም ጥሩ ዋጋ/ጥራት ሬሾ አለው፣ ተመዝጋቢዎችን በ10 Gbit/s ፍጥነት እንዲያገናኙ እና ከጀርባ አጥንት ጋር በ40-100 Gbit/s ፍጥነት እንዲገናኙ ይፈቅድልዎታል፣ ይህም እንደ ተጠቀሚዎቹ ትራንስሰቨሮች ይለያያል።

Huawei CE6870 መቀየሪያዎች

የሁዋዌ CE8850 መቀየሪያዎች እንደ ዋና መቀየሪያዎች ጥቅም ላይ ውለው ነበር። ግቡ ትራፊክ በፍጥነት እና በአስተማማኝ ሁኔታ ማስተላለፍ ነው። ከስርጭት ማብሪያ / ማጥፊያዎች በስተቀር ምንም መሳሪያዎች ከነሱ ጋር አልተገናኙም, ስለ VXLAN ምንም አያውቁም, ስለዚህ 32 40/100 Gbps ወደቦች ያለው ሞዴል ተመርጧል, መሰረታዊ ፍቃድ ያለው L3 ራውቲንግ እና ለ IS-IS እና MP-BGP ድጋፍ ይሰጣል. ፕሮቶኮሎች .

የታችኛው የ Huawei CE8850 ኮር ማብሪያ / ማጥፊያ ነው።

በንድፍ ደረጃ፣ ከዋናው የአውታረ መረብ ኖዶች ጋር ስህተትን መቋቋም ስለሚቻልባቸው ቴክኖሎጂዎች በቡድኑ ውስጥ ውይይት ተጀመረ። የእኛ የሞስኮ ቢሮ በሶስት ህንፃዎች ውስጥ ይገኛል, 7 ማከፋፈያ ክፍሎች አሉን, በእያንዳንዳቸው ውስጥ ሁለት ሁዋዌ CE6870 ማከፋፈያ ቁልፎች ተጭነዋል (በብዙ ማከፋፈያ ክፍሎች ውስጥ የመዳረሻ ቁልፎች ብቻ ተጭነዋል). የአውታረ መረብ ፅንሰ-ሀሳብን በሚፈጥሩበት ጊዜ ሁለት የድጋሚ አማራጮች ግምት ውስጥ ገብተዋል-

• የማከፋፈያ ማጠናከሪያ በእያንዳንዱ የግንኙነቶች ክፍል ውስጥ ወደ ስህተት-ታጋሽ ቁልል ይቀየራል። ጥቅሞች: ቀላልነት እና የማዋቀር ቀላልነት. ጉዳቶች-በአውታረ መረብ መሳሪያዎች firmware ("የማህደረ ትውስታ መፍሰስ" እና የመሳሰሉት) ውስጥ ስህተቶች ሲከሰቱ የጠቅላላው ቁልል ውድቀት ከፍተኛ ዕድል አለ።
• መሳሪያዎችን ከስርጭት መቀየሪያዎች ጋር ለማገናኘት M-LAG እና Anycast ጌትዌይ ቴክኖሎጂዎችን ይተግብሩ።

በመጨረሻ, በሁለተኛው አማራጭ ላይ ተቀመጥን. ለማዋቀር በተወሰነ ደረጃ አስቸጋሪ ነው, ነገር ግን በተግባር አፈጻጸም እና ከፍተኛ አስተማማኝነት አሳይቷል.
መጀመሪያ የመጨረሻ መሳሪያዎችን ከስርጭት መቀየሪያዎች ጋር ማገናኘት እናስብ፡

መስቀል

የመዳረሻ ማብሪያ / ማጥፊያ ፣ አገልጋይ ወይም ሌላ ማንኛውም ጥፋትን የሚቋቋም ግንኙነት የሚፈልግ መሳሪያ በሁለት የስርጭት ቁልፎች ውስጥ ይካተታል። የM-LAG ቴክኖሎጂ በመረጃ ማገናኛ ደረጃ ላይ ድግግሞሽ ይሰጣል። ሁለት የማከፋፈያ ማብሪያ / ማጥፊያዎች ለተገናኙት መሳሪያዎች እንደ አንድ መሳሪያ እንደሚታዩ ይገመታል. ድግግሞሽ እና ጭነት ማመጣጠን የሚከናወነው የLACP ፕሮቶኮልን በመጠቀም ነው።

የAnycast ጌትዌይ ቴክኖሎጂ በኔትወርኩ ደረጃ ተደጋጋሚነት ይሰጣል። በእያንዳንዱ የስርጭት መቀየሪያዎች ላይ በጣም ብዙ ቁጥር ያላቸው VRFዎች ተዋቅረዋል (እያንዳንዱ VRF ለራሱ ዓላማዎች የታሰበ ነው - ለ “መደበኛ” ተጠቃሚዎች ፣ ለብቻው ለቴሌፎን ፣ ለብቻው ለተለያዩ የሙከራ እና የልማት አካባቢዎች ፣ ወዘተ) እና በእያንዳንዱ ውስጥ። VRF የተዋቀሩ በርካታ VLANs አሉት። በእኛ አውታረመረብ ውስጥ የስርጭት መቀየሪያዎች ከነሱ ጋር ለተገናኙት ሁሉም መሳሪያዎች ነባሪ መግቢያዎች ናቸው። ከ VLAN መገናኛዎች ጋር የሚዛመዱ የአይፒ አድራሻዎች ለሁለቱም የስርጭት መቀየሪያዎች ተመሳሳይ ናቸው. ትራፊክ በአቅራቢያው ባለው ማብሪያ / ማጥፊያ በኩል ይጓዛል።

አሁን የስርጭት መቀየሪያዎችን ከከርነል ጋር ማገናኘት እንይ፡-
የስህተት መቻቻል በ IS-IS ፕሮቶኮል በመጠቀም በኔትወርኩ ደረጃ ይሰጣል። እባክዎን በ 3G ፍጥነት የተለየ የኤል 100 የመገናኛ መስመር በመቀየሪያዎቹ መካከል መሰጠቱን ልብ ይበሉ። በአካል፣ ይህ የመገናኛ መስመር ቀጥታ የመዳረሻ ገመድ ነው፤ በ Huawei CE6870 ማብሪያና ማጥፊያዎች ፎቶ ላይ በቀኝ በኩል ይታያል።

አንድ አማራጭ "ሐቀኛ" ሙሉ በሙሉ የተገናኘ ባለ ሁለት ኮከብ ቶፖሎጂን ማደራጀት ነው, ነገር ግን, ከላይ እንደተጠቀሰው, በሶስት ህንፃዎች ውስጥ 7 ማቋረጫ ክፍሎች አሉን. በዚህ መሰረት፣ የ"ድርብ ኮከብ" ቶፖሎጂን ብንመርጥ ኖሮ፣ በትክክል ሁለት እጥፍ የ"ረጅም ርቀት" 40G ትራንስሰተሮች ያስፈልጉን ነበር። እዚህ ያለው ቁጠባ በጣም ጠቃሚ ነው።

VXLAN እና Anycast gateway ቴክኖሎጂዎች እንዴት አብረው እንደሚሰሩ ጥቂት ቃላት መናገር ያስፈልጋል። VXLAN፣ ወደ ዝርዝሮች ሳይገባ፣ የኤተርኔት ፍሬሞችን በ UDP ፓኬቶች ውስጥ ለማጓጓዝ ዋሻ ነው። የማከፋፈያ መቀየሪያዎች loopback በይነገጾች እንደ VXLAN ዋሻ መድረሻ አይፒ አድራሻ ያገለግላሉ። እያንዳንዱ መሻገሪያ አንድ አይነት የሎፕባክ በይነገጽ አድራሻ ያላቸው ሁለት ማብሪያ ማጥፊያዎች ስላሉት አንድ ፓኬት በማንኛቸውም ላይ ሊደርስ ይችላል፣ እና የኢተርኔት ፍሬም ከእሱ ሊወጣ ይችላል።

ማብሪያው ስለተመለሰው ፍሬም መድረሻ MAC አድራሻ የሚያውቅ ከሆነ ክፈፉ በትክክል ወደ መድረሻው ይደርሳል። በተመሳሳይ መስቀለኛ ግንኙነት ውስጥ የተጫኑ ሁለቱም የስርጭት መቀየሪያዎች ስለ ሁሉም MAC አድራሻዎች ከመድረሻ ቁልፎች "እንደሚመጡ" ወቅታዊ መረጃ እንዳላቸው ለማረጋገጥ የ M-LAG ዘዴ የ MAC አድራሻ ጠረጴዛዎችን (እንዲሁም ARP) የማመሳሰል ሃላፊነት አለበት. ጠረጴዛዎች) በሁለቱም መቀየሪያዎች M-LAG ጥንዶች ላይ.

የትራፊክ ሚዛኑን የጠበቀ የስርጭት መቀየሪያዎችን ወደ loopback በይነገጾች በርካታ መንገዶችን በስርጭት አውታር ውስጥ በመገኘቱ ነው።

ከዚህ ይልቅ አንድ መደምደሚያ

ከላይ እንደተጠቀሰው, በሙከራ እና በሚሠራበት ጊዜ አውታረ መረቡ ከፍተኛ አስተማማኝነት አሳይቷል (ለተለመዱ ውድቀቶች የማገገሚያ ጊዜ ከመቶ ሚሊሰከንዶች አይበልጥም) እና ጥሩ አፈፃፀም - እያንዳንዱ የመስቀል ግንኙነት በሁለት 40 Gbit / s ሰርጦች ከዋናው ጋር ተገናኝቷል. በእኛ አውታረመረብ ውስጥ ያሉ የመዳረሻ ቁልፎች ተቆልለው ከስርጭት መቀየሪያዎች ጋር በLACP/M-LAG በኩል በሁለት 10 Gbit/s ቻናሎች ተገናኝተዋል። አንድ ቁልል አብዛኛውን ጊዜ እያንዳንዳቸው 5 ወደቦች ያላቸው 48 ማብሪያና ማጥፊያዎችን ይይዛል፣ እና በእያንዳንዱ መስቀለኛ መንገድ ውስጥ እስከ 10 የመዳረሻ ቁልሎች ከስርጭቱ ጋር የተገናኙ ናቸው። ስለዚህ, የጀርባ አጥንት በከፍተኛው የንድፈ ሃሳባዊ ጭነት እንኳን ለአንድ ተጠቃሚ 30 Mbit / s ይሰጣል, ይህም በሚጽፉበት ጊዜ ለሁሉም ተግባራዊ አፕሊኬሽኖቻችን በቂ ነው.

አውታረ መረቡ ማንኛውንም የዘፈቀደ የተገናኙ መሳሪያዎችን በሁለቱም በኤል 2 እና ኤል 3 በኩል ማጣመርን እንዲያቀናጁ ይፈቅድልዎታል ፣ ይህም የትራፊክ መገለልን (የመረጃ ደህንነት አገልግሎት የሚወደውን) እና የተሳሳቱ ጎራዎችን (የኦፕሬሽን ቡድኑ የሚወዱትን) ያቀርባል።

በሚቀጥለው ክፍል ወደ አዲሱ ኔትወርክ እንዴት እንደተሰደድን እንነግራችኋለን። ይከታተሉ!

ማክስም ክሎክኮቭ
ከፍተኛ አማካሪ፣ የአውታረ መረብ ኦዲት እና ውስብስብ ፕሮጀክቶች ቡድን
የአውታረ መረብ መፍትሄዎች ማዕከል
"የጄት መረጃ ስርዓቶች"

ምንጭ: hab.com