Манай компанид шинэ дотоод сүлжээ бий болгох санаа хэрхэн үүсч, хэрэгжсэн талаар өнөөдөр би танд хэлэх болно. Удирдлагын байр суурь бол үйлчлүүлэгчтэй адил бүрэн хэмжээний төслийг өөртөө хийх хэрэгтэй. Хэрэв бид өөрсдөө үүнийг сайн хийвэл үйлчлүүлэгчээ урьж, түүнд санал болгож буй зүйл нь хэр сайн ажиллаж, үр дүнтэй болохыг харуулж чадна. Тиймээс бид Москвагийн оффисын шинэ сүлжээний үзэл баримтлалыг боловсруулахдаа үйлдвэрлэлийн бүрэн мөчлөгийг ашиглан маш нухацтай хандсан: хэлтсийн хэрэгцээнд дүн шинжилгээ хийх → техникийн шийдлийг сонгох → дизайн → хэрэгжилт → туршилт. Ингээд эхэлцгээе.
Техникийн шийдлийг сонгох нь: Мутантын дархан цаазат газар
Нарийн төвөгтэй автоматжуулсан систем дээр ажиллах журмыг одоогоор ГОСТ 34.601-90 “Автоматжуулсан системүүд. Бүтээлийн үе шатууд” гэж бичсэн тул бид үүний дагуу ажилласан. Шаардлага, үзэл баримтлалыг боловсруулах үе шатанд бид эхний бэрхшээлтэй тулгарсан. Төрөл бүрийн профайлтай байгууллагууд - банкууд, даатгалын компаниуд, програм хангамж хөгжүүлэгчид гэх мэт - өөрсдийн даалгавар, стандартын хувьд тодорхой төрлийн сүлжээг шаарддаг бөгөөд тэдгээрийн онцлог нь тодорхой, стандартчилагдсан байдаг. Гэсэн хэдий ч энэ нь бидэнтэй ажиллахгүй.
Яагаад?
Jet Infosystems бол мэдээллийн технологийн төрөлжсөн томоохон компани юм. Үүний зэрэгцээ манай дотоод дэмжлэгийн хэлтэс нь жижиг (гэхдээ бардам), үндсэн үйлчилгээ, системийн ажиллагааг хангадаг. Тус компани нь өөр өөр чиг үүргийг гүйцэтгэдэг олон хэлтэсүүдийг агуулдаг: эдгээр нь хэд хэдэн хүчирхэг аутсорсингийн баг, бизнесийн системийг дотоод хөгжүүлэгчид, мэдээллийн аюулгүй байдал, тооцоолох системийн архитекторууд юм - ерөнхийдөө хэн ч байсан. Үүний дагуу тэдний даалгавар, систем, аюулгүй байдлын бодлого нь өөр өөр байдаг. Энэ нь хүлээгдэж буйчлан хэрэгцээний дүн шинжилгээ, стандартчиллын явцад хүндрэл учруулсан.
Жишээлбэл, хөгжлийн хэлтэс энд байна: түүний ажилтнууд олон тооны үйлчлүүлэгчдэд зориулсан код бичиж, туршиж үздэг. Ихэнхдээ туршилтын орчныг хурдан зохион байгуулах шаардлагатай байдаг бөгөөд ний нуугүй хэлэхэд төсөл тус бүрд тавигдах шаардлагыг томъёолох, нөөцийг хүсэх, бүх дотоод журмын дагуу туршилтын тусдаа орчин бүрдүүлэх боломжгүй байдаг. Энэ нь хачирхалтай нөхцөл байдлыг бий болгодог: нэг өдөр таны даруухан үйлчлэгч хөгжүүлэгчдийн өрөөг хараад ширээн доороос нийтлэг сүлжээнд ойлгомжгүй холбогдсон 20 ширээний компьютер бүхий зөв ажиллаж байгаа Hadoop кластерийг олж харав. Компанийн мэдээллийн технологийн хэлтэс оршин тогтнох талаар мэдэхгүй байсан гэдгийг тодруулах нь зүйтэй гэж би бодож байна. Энэ нөхцөл байдал нь бусад олон хүмүүсийн нэгэн адил төслийг боловсруулах явцад "мутантын нөөц" гэсэн нэр томъёо гарч ирсэн бөгөөд энэ нь оффисын дэд бүтцийн байдлыг тодорхойлсон юм.
Эсвэл өөр нэг жишээ энд байна. Үе үе тэнхим дотроо туршилтын вандан байгуулдаг. Энэ нь Jira болон Confluence-тэй холбоотой байсан бөгөөд Програм хангамжийн хөгжлийн төвөөс зарим төслүүдэд хязгаарлагдмал хэмжээгээр ашигласан. Хэсэг хугацааны дараа бусад хэлтсүүд эдгээр ашигтай нөөцийн талаар мэдэж, тэдгээрийг үнэлж, 2018 оны сүүлээр Жира болон Конфлюэнс нар "орон нутгийн програмистуудын тоглоом" статусаас "компанийн нөөц" статус руу шилжсэн. Одоо эдгээр системүүдэд эзэмшигчийг томилсон байх ёстой, SLA, хандалт/мэдээллийн аюулгүй байдлын бодлого, нөөцлөх бодлого, хяналт, асуудлыг засах хүсэлтийг чиглүүлэх дүрмийг тодорхойлсон байх ёстой - ерөнхийдөө мэдээллийн бүрэн эрхт системийн бүх шинж чанарууд байх ёстой. .
Манай хэлтэс бүр өөрийн гэсэн бүтээгдэхүүнээ тарьдаг инкубатор юм. Тэдгээрийн зарим нь хөгжлийн шатандаа үхдэг, зарим нь төсөл дээр ажиллаж байхдаа ашигладаг бол зарим нь үндэслэж, хуулбарласан шийдэл болж, бид өөрсдөө ашиглаж, үйлчлүүлэгчдэдээ зарж эхэлдэг. Ийм систем бүрийн хувьд өөрийн гэсэн сүлжээний орчинтой байх нь зүйтэй бөгөөд энэ нь бусад системд саад учруулахгүйгээр хөгжиж, хэзээ нэгэн цагт компанийн дэд бүтцэд нэгтгэгдэж болно.
Хөгжилөөс гадна бид маш том 500 гаруй ажилтантай, үйлчлүүлэгч тус бүрээр баг болгон бүрдүүлсэн. Тэд сүлжээ болон бусад системийг арчлах, алсаас хянах, нэхэмжлэлийг шийдвэрлэх гэх мэт ажилд оролцдог. Өөрөөр хэлбэл, SC-ийн дэд бүтэц нь үнэндээ тэдний одоо ажиллаж байгаа үйлчлүүлэгчийн дэд бүтэц юм. Сүлжээний энэ хэсэгтэй ажиллахын онцлог нь манай компанид зориулсан ажлын станцууд нь зарим талаараа гаднах, зарим нь дотоодод байдаг. Тиймээс, SC-ийн хувьд бид дараахь аргыг хэрэгжүүлсэн - компани нь эдгээр хэлтсийн ажлын станцуудыг гадаад холболт гэж үздэг (салбарууд болон алсын хэрэглэгчидтэй адилтгаж) харгалзах хэлтсийг сүлжээ болон бусад нөөцөөр хангадаг.
Хурдны замын дизайн: бид оператор (гайхшрал)
Бүх бэрхшээлийг үнэлсний дараа бид харилцаа холбооны операторын сүлжээг нэг оффисын хүрээнд авч байгааг олж мэдээд, бид үүний дагуу ажиллаж эхэлсэн.
Бид үндсэн сүлжээг бий болгосон бөгөөд үүний тусламжтайгаар дотоод болон ирээдүйд гадаад, хэрэглэгчдэд шаардлагатай үйлчилгээг үзүүлдэг: L2 VPN, L3 VPN эсвэл ердийн L3 чиглүүлэлт. Зарим хэлтэс нь аюулгүй интернетэд нэвтрэх шаардлагатай байхад зарим нь галт ханагүй цэвэр хандалт шаарддаг боловч үүний зэрэгцээ манай компанийн нөөц, үндсэн сүлжээг тэдний урсгалаас хамгаалах хэрэгтэй.
Бид хэлтэс тус бүртэй албан бусаар "ҮЗХ-г байгуулсан". Үүний дагуу үүссэн бүх зөрчлийг тодорхой, урьдчилан тохиролцсон хугацаанд арилгах ёстой. Компанийн сүлжээнд тавих шаардлага нь хатуу байсан. Утасны болон цахим шуудангийн доголдлоос гарсан тохиолдолд хамгийн их хариу өгөх хугацаа 5 минут байв. Ердийн эвдрэлийн үед сүлжээний ажиллагааг сэргээх хугацаа нэг минутаас ихгүй байна.
Бид операторын түвшний сүлжээтэй тул та зөвхөн дүрэм журмын дагуу холбогдох боломжтой. Үйлчилгээний нэгжүүд бодлогоо тогтоож, үйлчилгээ үзүүлдэг. Тэдэнд тодорхой сервер, виртуал машин, ажлын станцуудын холболтын талаарх мэдээлэл ч хэрэггүй. Гэхдээ үүнтэй зэрэгцэн хамгаалалтын механизм шаардлагатай байдаг, учир нь нэг ч холболт сүлжээг идэвхгүй болгох ёсгүй. Хэрэв гогцоо санамсаргүйгээр үүссэн бол бусад хэрэглэгчид үүнийг анзаарах ёсгүй, өөрөөр хэлбэл сүлжээнээс зохих хариу арга хэмжээ авах шаардлагатай. Аливаа харилцаа холбооны оператор үндсэн сүлжээндээ ижил төстэй төвөгтэй мэт санагдах асуудлуудыг байнга шийддэг. Энэ нь өөр өөр хэрэгцээ, ачаалалтай олон үйлчлүүлэгчдэд үйлчилгээ үзүүлдэг. Үүний зэрэгцээ өөр өөр захиалагчид бусдын урсгалаас болж таагүй байдлыг мэдрэх ёсгүй.
Гэртээ бид энэ асуудлыг дараах байдлаар шийдсэн: бид IS-IS протоколыг ашиглан бүрэн нөөцтэй L3 үндсэн сүлжээг барьсан. Технологийн үндсэн дээр үндсэн дээр давхарласан сүлжээг барьсан /, чиглүүлэлтийн протокол ашиглан . Чиглүүлэлтийн протоколуудыг нэгтгэхийг хурдасгахын тулд BFD технологийг ашигласан.
Сүлжээний бүтэц
Туршилтын явцад энэ схем нь маш сайн болохыг харуулсан - ямар ч суваг эсвэл унтраалга тасарсан үед нэгдэх хугацаа 0.1-0.2 секундээс ихгүй, хамгийн бага багц алдагддаг (ихэвчлэн байхгүй), TCP сессүүд тасардаггүй, утасны яриа тасалддаггүй.
Underlay Layer - Routing
Давхардсан давхарга - Чиглүүлэлт
VXLAN лицензтэй Huawei CE6870 свичийг түгээлтийн унтраалга болгон ашигласан. Энэ төхөөрөмж нь үнэ/чанарын оновчтой харьцаатай бөгөөд хэрэглэгчдийг 10 Гбит/с хурдтай холбож, ашигласан дамжуулагчаас хамааран 40-100 Гбит/с хурдтайгаар үндсэн сүлжээнд холбогдох боломжтой.
Huawei CE6870 унтраалга
Huawei CE8850 шилжүүлэгчийг үндсэн унтраалга болгон ашигласан. Зорилго нь урсгалыг хурдан, найдвартай дамжуулах явдал юм. Түгээлтийн свичээс өөр ямар ч төхөөрөмж тэдгээрт холбогдоогүй, тэд VXLAN-ийн талаар юу ч мэдэхгүй тул L32 чиглүүлэлт, IS-IS болон MP-BGP-ийг дэмждэг 40 100/3 Gbps порттой, үндсэн лицензтэй загварыг сонгосон. протоколууд.
Доод тал нь Huawei CE8850 үндсэн шилжүүлэгч юм
Дизайны үе шатанд үндсэн сүлжээний зангилаанд гэмтэлд тэсвэртэй холболтыг хэрэгжүүлэхэд ашиглаж болох технологийн талаар багийн дотор хэлэлцүүлэг өрнөв. Манай Москва дахь оффис гурван байранд байрладаг бөгөөд бид 7 түгээлтийн өрөөтэй бөгөөд тус бүрдээ Huawei CE6870-ийн хоёр түгээлтийн унтраалга суурилуулсан (хэд хэдэн түгээлтийн өрөөнд зөвхөн нэвтрэх унтраалга суурилуулсан). Сүлжээний үзэл баримтлалыг боловсруулахдаа нөөцлөх хоёр сонголтыг авч үзсэн.
- Хөндлөн холболтын өрөө болгонд түгээлтийн шилжүүлэгчийг эвдрэлд тэсвэртэй стек болгон нэгтгэх. Давуу тал: энгийн байдал, суулгахад хялбар байдал. Сул талууд: сүлжээний төхөөрөмжүүдийн програм хангамжид алдаа гарсан тохиолдолд бүх стек бүтэлгүйтэх магадлал өндөр байдаг ("санах ой алдагдах" гэх мэт).
- Төхөөрөмжүүдийг түгээлтийн унтраалгатай холбохын тулд M-LAG болон Anycast гарцын технологийг ашигла.
Эцэст нь бид хоёр дахь хувилбар дээр тогтлоо. Үүнийг тохируулах нь арай илүү төвөгтэй боловч практикт түүний гүйцэтгэл, өндөр найдвартай байдлыг харуулсан.
Эхлээд эцсийн төхөөрөмжүүдийг түгээлтийн унтраалгатай холбох талаар авч үзье.
Загалмай
Хандалтын унтраалга, сервер эсвэл гэмтэлд тэсвэртэй холболт шаарддаг бусад төхөөрөмж нь хоёр түгээлтийн унтраалга багтсан болно. M-LAG технологи нь өгөгдлийн холбоосын түвшинд илүүдлийг хангадаг. Холбогдсон төхөөрөмжид хоёр түгээлтийн унтраалга нэг төхөөрөмж мэт харагдана гэж үздэг. Илүүдэл ба ачааллын тэнцвэржилтийг LACP протокол ашиглан гүйцэтгэдэг.
Anycast gateway технологи нь сүлжээний түвшинд илүүдлийг хангадаг. Түгээх унтраалга тус бүр дээр нэлээд олон тооны VRF-ийг тохируулсан байдаг (VRF тус бүр нь өөрийн зорилгод зориулагдсан - "ердийн" хэрэглэгчдэд тусад нь, утасны хувьд тусад нь, янз бүрийн туршилт, хөгжүүлэлтийн орчинд тусад нь гэх мэт), мөн тус бүрдээ. VRF нь хэд хэдэн VLAN-г тохируулсан байдаг. Манай сүлжээнд түгээлтийн унтраалга нь тэдгээрт холбогдсон бүх төхөөрөмжүүдийн анхдагч гарц юм. VLAN интерфэйстэй харгалзах IP хаягууд нь түгээлтийн унтраалга хоёуланд нь ижил байна. Замын хөдөлгөөнийг хамгийн ойрын шилжүүлэгчээр дамжуулдаг.
Одоо түгээлтийн свичүүдийг цөмд холбохыг харцгаая.
Гэмтлийн хүлцлийг IS-IS протоколыг ашиглан сүлжээний түвшинд хангадаг. Шилжүүлэгчийн хооронд 3G хурдтай тусдаа L100 холбооны шугам тавигдсан болохыг анхаарна уу. Бие махбодийн хувьд энэ холбооны шугам нь шууд хандалтын кабель бөгөөд үүнийг Huawei CE6870 шилжүүлэгчийн баруун талд харж болно.
Өөр нэг хувилбар бол "шударга" бүрэн холбогдсон давхар од топологийг зохион байгуулах явдал юм, гэхдээ дээр дурдсанчлан бид гурван байранд 7 хөндлөн холболтын өрөөтэй. Үүний дагуу хэрэв бид "давхар од" топологийг сонгосон бол яг хоёр дахин олон "алсын зайн" 40G дамжуулагч хэрэгтэй болно. Энд байгаа хэмнэлт нь маш чухал юм.
VXLAN болон Anycast gateway технологиуд хэрхэн хамтран ажилладаг талаар хэдэн үг хэлэх хэрэгтэй. VXLAN бол нарийн ширийн зүйлгүйгээр UDP пакет дотор Ethernet фреймийг зөөвөрлөх туннель юм. Түгээх шилжүүлэгчийн давталтын интерфэйсийг VXLAN туннелийн очих IP хаяг болгон ашигладаг. Кроссовер бүр ижил давталтын интерфэйс хаягтай хоёр свичтэй тул тэдгээрийн аль нэгэнд пакет ирэх боломжтой бөгөөд үүнээс Ethernet хүрээ гаргаж авах боломжтой.
Хэрэв шилжүүлэгч нь татаж авсан фреймийн MAC хаягийг мэддэг бол хүрээ нь хүрэх газартаа зөв хүргэгдэнэ. Нэг хөндлөн холболтонд суулгасан түгээлтийн унтраалга хоёулаа хандалтын шилжүүлэгчээс "ирж буй" бүх MAC хаягуудын талаарх хамгийн сүүлийн үеийн мэдээлэлтэй байхын тулд M-LAG механизм нь MAC хаягийн хүснэгтүүдийг (түүнчлэн ARP) синхрончлох үүрэгтэй. хүснэгтүүд) хоёр унтраалга дээр M-LAG хос.
Хөдөлгөөний тэнцвэрт байдал нь түгээлтийн свичүүдийн холболтын интерфэйсүүд рүү хэд хэдэн чиглүүлэлтийн үндсэн сүлжээнд байгаатай холбоотой юм.
Оронд дүгнэлтийг
Дээр дурьдсанчлан, туршилт, ашиглалтын явцад сүлжээ нь өндөр найдвартай байдлыг харуулсан (ердийн эвдрэлийг сэргээх хугацаа хэдэн зуун миллисекундээс хэтрэхгүй), сайн гүйцэтгэлтэй - хөндлөн холболт бүр нь цөмд 40 Гбит / с-ийн хоёр сувгаар холбогддог. Манай сүлжээн дэх хандалтын унтраалга нь давхарласан бөгөөд 10 Гбит/с хоёр суваг бүхий LACP/M-LAG-ээр дамжуулан түгээлтийн унтраалгатай холбогдсон. Стек нь ихэвчлэн тус бүр 5 порттой 48 свич агуулдаг бөгөөд хөндлөн холболт бүрт 10 хүртэлх хандалтын стек нь түгээлтэд холбогддог. Тиймээс, үндсэн систем нь онолын хамгийн их ачаалалтай үед ч гэсэн нэг хэрэглэгчдэд 30 Мбит / с хурдыг өгдөг бөгөөд энэ нь бичиж байх үед бидний бүх практик хэрэглээнд хангалттай юм.
Энэхүү сүлжээ нь L2 ба L3 хоёрын аль алинаар нь дур зоргоороо холбогдсон төхөөрөмжүүдийн хослолыг саадгүй зохион байгуулах боломжийг олгодог бөгөөд энэ нь траффик (мэдээллийн аюулгүй байдлын үйлчилгээнд дуртай) болон домайны (үйл ажиллагааны багт таалагддаг) бүрэн тусгаарлалтыг хангадаг.
Дараагийн хэсэгт бид шинэ сүлжээнд хэрхэн шилжсэнийг танд хэлэх болно. Хамтдаа байгаарай!
Максим Клочков
Сүлжээний аудит, цогцолбор төслүүдийн бүлгийн ахлах зөвлөх
Сүлжээний шийдлийн төв
"Jet Infosystems"
Эх сурвалж: www.habr.com