Бүгүн мен сиздерге биздин компания үчүн жаңы ички тармакты түзүү идеясы кандайча пайда болгонун жана ишке ашырылганын айтып берем. Менеджменттин позициясы - сиз кардар үчүн эле толук кандуу долбоорду өзүңүз үчүн жасашыңыз керек. Эгерде биз өзүбүз үчүн жакшы болсок, биз кардарды чакырып, ага сунуш кылган нерсебиз канчалык деңгээлде жакшы иштеп, иштеп жатканын көрсөтө алабыз. Ошондуктан, биз толук өндүрүштүк циклди колдонуу менен Москвадагы кеңсе үчүн жаңы тармактын концепциясын иштеп чыгууга абдан кылдаттык менен кайрылдык: ведомстволук керектөөлөрдү талдоо → техникалык чечимди тандоо → долбоорлоо → ишке ашыруу → тестирлөө. Ошентип, баштайлы.
Техникалык чечимди тандоо: Мутанттык корук
Татаал автоматташтырылган системада иштөө тартиби азыркы учурда эң жакшы сүрөттөлгөн ГОСТ 34.601-90 «Автоматташтырылган системалар. Жаратылыш этаптары» деп, ошого жараша иштедик. Ал эми талаптарды калыптандыруу жана концепцияны иштеп чыгуу этаптарында биз биринчи кыйынчылыктарга туш болдук. Ар кандай профилдеги уюмдар - банктар, камсыздандыруу компаниялары, программалык камсыздоону иштеп чыгуучулар ж. Бирок, бул биз менен иштебейт.
Эмне үчүн?
Jet Infosystems - ири диверсификацияланган IT компаниясы. Ошол эле учурда, биздин ички колдоо бөлүмү кичинекей (бирок сыймыктанат), ал негизги кызматтардын жана системалардын иштешин камсыз кылат. Компания ар кандай функцияларды аткарган көптөгөн бөлүмдөрдү камтыйт: булар бир нече күчтүү аутсорсинг топтору жана бизнес-системалардын ички иштеп чыгуучулары, маалыматтык коопсуздук жана эсептөө системаларынын архитекторлору - жалпысынан, ким болбосун. Демек, алардын милдеттери, системалары жана коопсуздук саясаты да ар түрдүү. Бул, күтүлгөндөй, муктаждыктарды талдоо жана стандартташтыруу процессинде кыйынчылыктарды жараткан.
Бул жерде, мисалы, өнүктүрүү бөлүмү болуп саналат: анын кызматкерлери кардарлардын көп сандагы үчүн код жазып жана сыноо. Көбүнчө тестирлөө чөйрөсүн тез арада уюштуруу зарылчылыгы келип чыгат жана ачык айтканда, ар бир долбоорго талаптарды түзүү, ресурстарды суроо жана бардык ички эрежелерге ылайык өзүнчө тест чөйрөсүн куруу дайыма эле мүмкүн боло бербейт. Бул кызык жагдайларды пайда кылат: бир күнү сиздин момун кызматчыңыз иштеп чыгуучулардын бөлмөсүнө карап, үстөлдүн астынан жалпы тармакка түшүнүксүз туташкан 20 иш тактасынан турган Hadoop кластерин тапты. Мен бул компаниянын IT бөлүмү анын бар экенин билген эмес экенин тактоо кереги жок деп ойлойм. Бул жагдай, башка көптөгөн адамдар сыяктуу эле, долбоорду иштеп чыгуу учурунда, көп убакыттан бери офис инфраструктурасынын абалын сүрөттөгөн "мутанттык резерв" термининин пайда болушу үчүн жооптуу болгон.
Же бул жерде дагы бир мисал. Мезгил-мезгили менен бөлүмдүн ичинде тесттик стенд түзүлөт. Бул Jira жана Confluence менен болгон, алар кээ бир долбоорлордо Программалык камсыздоону өнүктүрүү борбору тарабынан чектелген өлчөмдө колдонулган. Бир нече убакыт өткөндөн кийин, башка бөлүмдөр бул пайдалуу ресурстар жөнүндө билип, аларга баа беришти жана 2018-жылдын аягында Jira жана Confluence "жергиликтүү программисттердин оюнчугу" статусунан "компаниянын ресурстары" статусуна өттү. Эми бул системаларга менчик ээси дайындалышы керек, SLA, кирүү/маалыматтык коопсуздук саясаты, резервдик саясаттар, мониторинг, көйгөйлөрдү чечүү үчүн суроо-талаптарды багыттоо эрежелери аныкталышы керек - жалпысынан, толук кандуу маалымат тутумунун бардык атрибуттары болушу керек. .
Биздин ар бир бөлүм өзүбүздүн продукцияны өстүрүүчү инкубатор да. Алардын айрымдары иштеп чыгуу стадиясында өлөт, кээ бирлерин биз долбоорлордун үстүндө иштеп жатканда колдонобуз, ал эми башкалары тамыр алып, биз өзүбүз колдонуп, кардарларга сата баштаган кайталанган чечимдерге айланабыз. Ар бир мындай система үчүн өзүнүн тармактык чөйрөсү болушу керек, ал жерде башка системаларга кийлигишпей өнүгөт жана кайсы бир учурда компаниянын инфраструктурасына интеграцияланышы мүмкүн.
Өнүгүү менен катар бизде абдан чоң ар бир кардар үчүн командаларга түзүлгөн 500дөн ашык кызматкерлери менен. Алар тармактарды жана башка системаларды тейлөөгө, аралыктан мониторинг жүргүзүүгө, дооматтарды чечүүгө ж.б.у.с. Башкача айтканда, СКнын инфраструктурасы, чынында, алар учурда иштеп жаткан кардардын инфраструктурасы. Тармактын бул бөлүмү менен иштөөнүн өзгөчөлүгү биздин компания үчүн алардын жумушчу станциялары жарым-жартылай тышкы, жарым-жартылай ички болуп саналат. Ошондуктан, СК үчүн биз төмөнкүдөй ыкманы ишке ашырдык - компания тиешелүү бөлүмдү тармактык жана башка ресурстар менен камсыз кылат, бул бөлүмдөрдүн жумушчу станцияларын тышкы байланыштар катары (филиалдар жана алыскы колдонуучуларга окшоштуктар боюнча) эске алуу менен.
Жолдун дизайны: биз операторбуз (сюрприз)
Бардык тузактарды баалагандан кийин, биз бир кеңсенин ичинде байланыш операторунун тармагын алып жатканыбызды түшүндүк жана ошого жараша иш-аракет кыла баштадык.
Биз негизги тармакты түздүк, анын жардамы менен каалаган ички жана келечекте тышкы керектөөчүгө керектүү кызмат көрсөтүлөт: L2 VPN, L3 VPN же кадимки L3 маршруту. Кээ бир бөлүмдөр коопсуз Интернетке кирүүгө муктаж, ал эми башкалары брандмауэрсиз таза кирүүгө муктаж, бирок ошол эле учурда биздин корпоративдик ресурстарды жана негизги тармакты алардын трафигинен коргойт.
Биз ар бир бөлүм менен формалдуу эмес түрдө “SLA түздүк”. Ага ылайык, пайда болгон бардык окуялар белгилүү, алдын ала макулдашылган мөөнөттүн ичинде жоюлушу керек. Компаниянын өзүнүн тармагына койгон талаптары катуу болуп чыкты. Телефон жана электрондук почта иштебей калган учурда окуяга максималдуу жооп берүү убактысы 5 мүнөттү түздү. Кадимки бузулуулар учурунда тармактын иштешин калыбына келтирүү убактысы бир мүнөттөн ашпайт.
Бизде оператордук тармак болгондуктан, ага эрежелерге катуу ылайык гана туташа аласыз. Кызмат бөлүмдөрү саясатты белгилейт жана кызматтарды көрсөтөт. Аларга конкреттүү серверлердин, виртуалдык машиналардын жана жумушчу станциялардын туташуулары жөнүндө маалымат керек эмес. Бирок, ошол эле учурда, коргоо механизмдери керек, анткени бир да туташуулар тармакты өчүрбөшү керек. Эгер цикл кокустан түзүлсө, башка колдонуучулар муну байкабашы керек, башкача айтканда, тармактан адекваттуу жооп керек. Кайсы бир байланыш оператору өзүнүн негизги тармагында ушундай татаал көрүнгөн маселелерди дайыма чечет. Бул ар кандай муктаждыктары жана трафик менен көптөгөн кардарларга кызмат көрсөтөт. Ошол эле учурда ар кандай абоненттер башкалардын трафигинен ыңгайсыздыкка дуушар болбошу керек.
Үйдө биз бул маселени төмөнкүдөй чечтик: IS-IS протоколун колдонуу менен толук резервдик L3 магистралдык тармагын курдук. Технологиянын негизинде өзөктүн үстүнө кабаттуу тармак курулган /, багыттоо протоколун колдонуу . Багыттоо протоколдорунун конвергенциясын тездетүү үчүн BFD технологиясы колдонулган.
Тармактын структурасы
Сыноолордо бул схема өзүн эң сонун көрсөттү - кандайдыр бир канал же коммутатор өчүрүлгөндө конвергенция убактысы 0.1-0.2 секунддан ашпайт, минималдуу пакеттер жоголот (көбүнчө эч нерсе жок), TCP сеанстары үзүлбөйт, телефон сүйлөшүүлөрү үзгүлтүккө учурабайт.
Астындагы катмар - Маршруттоо
Overlay Layer - Багыттоо
VXLAN лицензиялары бар Huawei CE6870 өчүргүчтөрү бөлүштүргүч катары колдонулган. Бул аппарат оптималдуу баа/сапат катышына ээ, ал абоненттерди 10 Гбит/с ылдамдыкта туташтырууга жана колдонулган трансиверлерге жараша 40–100 Гбит/с ылдамдыкта магистральга туташууга мүмкүндүк берет.
Huawei CE6870 которгучтары
Huawei CE8850 өчүргүчтөрү негизги өчүргүчтөр катары колдонулган. Максаты – трафикти тез жана ишенимдүү өткөрүү. Аларга бөлүштүргүчтөрдөн башка эч кандай түзмөк туташкан эмес, алар VXLAN жөнүндө эч нерсе билишпейт, ошондуктан 32 40/100 Гбит/сек порттору бар модель L3 маршрутизациясын жана IS-IS жана MP-BGP колдоону камсыз кылган негизги лицензиясы менен тандалды. протоколдор.
Төмөнкүсү Huawei CE8850 негизги которгучу
Дизайн этабында топтун ичинде негизги тармак түйүндөрүнө каталарга чыдамдуу байланышты ишке ашыруу үчүн колдонула турган технологиялар жөнүндө талкуу башталды. Биздин Москвадагы кеңсебиз үч имаратта жайгашкан, бизде 7 бөлүштүрүү бөлмөлөрү бар, алардын ар биринде эки Huawei CE6870 бөлүштүргүчтөрү орнотулган (бир нече бөлүштүрүүчү бөлмөлөрдө кирүү өчүргүчтөрү гана орнотулган). Тармактын концепциясын иштеп чыгууда эки резервдик вариант каралат:
- Бөлүштүрүүчү которгучтарды консолидациялоо ар бир кайчылаш байланыш бөлмөсүндө каталарга чыдамдуу стекке. Артыкчылыктары: жөнөкөйлүгү жана орнотуунун жөнөкөйлүгү. Кемчиликтери: тармактык түзүлүштөрдүн микропрограммасында каталар пайда болгондо, бүт стектин иштебей калуу ыктымалдыгы жогору болот («эс тутумдун агып кетиши» жана башкалар).
- Түзмөктөрдү бөлүштүргүчтөрүнө туташтыруу үчүн M-LAG жана Anycast шлюз технологияларын колдонуңуз.
Акырында биз экинчи вариантта чечтик. Аны конфигурациялоо бир аз кыйыныраак, бирок иш жүзүндө анын натыйжалуулугун жана жогорку ишенимдүүлүгүн көрсөттү.
Келгиле, адегенде акыркы түзүлүштөрдү бөлүштүргүчтөрүнө туташтырууну карап көрөлү:
Cross
Мүчүлүштүккө чыдамдуу туташууну талап кылган кирүү которгучу, сервер же башка түзмөк эки бөлүштүргүчкө камтылган. M-LAG технологиясы маалымат шилтемесинин деңгээлинде ашыкчалыкты камсыз кылат. Туташкан жабдууларга эки бөлүштүргүч бир түзүлүш катары көрүнөт деп болжолдонууда. Ашыкча жана жүк балансы LACP протоколунун жардамы менен ишке ашырылат.
Anycast шлюз технологиясы тармак деңгээлинде резервдикти камсыз кылат. Бөлүштүрүү которгучтарынын ар биринде VRFдердин кыйла көп сандагы конфигурацияланган (ар бир VRF өз максаттары үчүн - өзүнчө "кадимки" колдонуучулар үчүн, телефония үчүн өзүнчө, ар кандай сыноо жана иштеп чыгуу чөйрөлөрү үчүн өзүнчө ж.б.) жана ар биринде VRF конфигурацияланган бир нече VLANга ээ. Биздин тармакта бөлүштүргүчтөр аларга туташкан бардык түзмөктөр үчүн демейки шлюз болуп саналат. VLAN интерфейстерине туура келген IP даректер эки бөлүштүргүч үчүн бирдей. Трафик жакынкы коммутатор аркылуу жүргүзүлөт.
Эми бөлүштүргүчтөрдү ядрого туташтырууну карап көрөлү:
IS-IS протоколун колдонуу менен түйүн деңгээлинде катачылыкка чыдамдуулук камсыз кылынат. Сураныч, 3G ылдамдыгы менен өчүргүчтөрдүн ортосунда өзүнчө L100 байланыш линиясы каралганын эске алыңыз. Физикалык жактан алганда, бул байланыш линиясы түз мүмкүндүк алуу кабели, аны Huawei CE6870 өчүргүчтөрүнүн сүрөттөн көрүүгө болот.
Альтернатива катары "чынчыл" толук туташтырылган кош жылдыз топологиясын уюштуруу болмок, бирок, жогоруда айтылгандай, бизде үч имаратта 7 кайчылаш байланыш бөлмөлөрү бар. Демек, эгерде биз “кош жылдыз” топологиясын тандап алган болсок, анда бизге так эки эсе көп “узак аралыкка” 40G трансиверлери керек болмок. Бул жерде үнөмдөө абдан маанилүү.
VXLAN жана Anycast шлюз технологиялары чогуу иштеши жөнүндө бир нече сөз айтуу керек. VXLAN, майда-чүйдөсүнө чейин айтпай эле, UDP пакеттердин ичинде Ethernet жээкчелерин ташуу үчүн туннель болуп саналат. VXLAN туннелинин көздөгөн IP дареги катары бөлүштүрүү которгучтарынын кайра интерфейстери колдонулат. Ар бир кайчылаш туташууда бир эле цикл интерфейсинин даректери бар эки өчүргүч бар, ошондуктан алардын каалаганына пакет келе алат жана андан Ethernet рамкасын алууга болот.
Эгерде коммутатор алынган кадрдын көздөгөн MAC дареги жөнүндө билсе, кадр анын көздөгөн жерине туура жеткирилет. Бир эле кайчылаш туташууга орнотулган эки бөлүштүргүч өчүргүчтөр кирүү которгучтарынан “келип келген” бардык MAC даректери жөнүндө акыркы маалыматка ээ болушун камсыз кылуу үчүн, M-LAG механизми MAC дарек таблицаларын (ошондой эле ARP) синхрондоштуруу үчүн жооп берет. таблицалар) эки коммутатордо M-LAG жуптары.
Трафиктин тең салмактуулугуна бөлүштүрүү коммутаторлорунун арткы интерфейстерине бир нече каттамдардын астыңкы тармагында болушунун эсебинен жетишилет.
Ордуна корутундусу
Жогоруда айтылгандай, тестирлөө жана эксплуатациялоо учурунда тармак жогорку ишенимдүүлүктү көрсөттү (типтүү бузулууларды калыбына келтирүү убактысы жүздөгөн миллисекунддан ашпайт) жана жакшы өндүрүмдүүлүктү көрсөттү - ар бир кайчылаш туташуу өзөккө эки 40 Гбит/сек канал аркылуу туташтырылган. Биздин тармагыбыздагы кирүү которгучтары топтолгон жана эки 10 Гбит/с каналы бар LACP/M-LAG аркылуу бөлүштүргүчтөр менен туташтырылган. Стек адатта ар биринде 5 порту бар 48 өчүргүчтү камтыйт жана ар бир кайчылаш туташуудагы бөлүштүрүүгө 10го чейин кирүү стектери кошулат. Ошентип, магистралдык система максималдуу теориялык жүктөөдө да ар бир колдонуучуга болжол менен 30 Мбит/с камсыз кылат, бул жазуу учурунда биздин бардык практикалык колдонмолорубуз үчүн жетиштүү.
Тармак трафиктин (маалыматтык коопсуздук кызматына жаккан) жана ката домендерин (операция тобуна жаккан) толук изоляциялоону камсыз кылуу менен L2 жана L3 аркылуу каалаган ээнбаш туташкан түзүлүштөрдү жупташтырууну үзгүлтүксүз уюштурууга мүмкүндүк берет.
Кийинки бөлүмдө биз жаңы тармакка кантип өткөнүбүздү айтып беребиз. Байланыштуу болуңуз!
Максим Клочков
Тармактык аудит жана комплекстүү долбоорлор тобунун улук консультанты
Тармактык чечимдер борбору
"Jet Infosystems"
Source: www.habr.com