4 муҳандис, 7000 сервер ва як пандемияи ҷаҳонӣ

Салом, Хабр! Ман ба диққати шумо тарҷумаи мақоларо пешкаш мекунам "4 муҳандис, 7000 сервер ва як пандемияи ҷаҳонӣ" аз ҷониби Адиб Дав.

Агар ин сарлавҳа каме ларзише ба сутунмӯҳраатон нафиристад, шумо бояд ба параграфи навбатӣ гузаред ё ба саҳифаи мо, ки ба касб дар ширкат — мо мехостем сухбат кунем.

Ки мо ҳастем

Мо як дастаи 4 пингвин ҳастем, ки навиштани код ва кор бо сахтафзорро дӯст медоранд. Дар вақти холии худ, мо барои ҷойгиркунӣ, нигоҳдорӣ ва истифодабарии парки зиёда аз 7000 серверҳои физикии Linux, ки дар 3 маркази гуногуни маълумот дар саросари Иёлоти Муттаҳида паҳн шудаанд, масъулем.

Мо инчунин имкон доштем, ки ин корро 10 км дуртар аз сайтҳо, аз бароҳатии офиси худамон, ки дар масофаи кӯтоҳ аз соҳил дар баҳри Миёназамин ҷойгир аст, анҷом диҳем.

Проблемаҳои миқёс

Дар ҳоле ки барои оғози кор бо ҷойгир кардани инфрасохтори он дар абр аз сабаби сармоягузории нисбатан ками ибтидоӣ маъно дорад, мо дар Outbrain тасмим гирифтем, ки серверҳои худро истифода барем. Мо ин корро кардем, зеро хароҷоти инфрасохтори абрӣ аз хароҷоти истифодаи таҷҳизоти худи мо, ки дар марказҳои додаҳо пас аз таҳия то сатҳи муайян ҷойгиранд, хеле зиёд аст. Илова бар ин, сервери шумо қобилияти баландтарини назорат ва бартараф кардани мушкилотро таъмин мекунад.

Вақте ки мо инкишоф медиҳем, мушкилот ҳамеша дар наздикӣ ҳастанд. Илова бар ин, онҳо одатан дар гурӯҳҳо меоянд. Идоракунии давраи ҳаёти серверҳо такмили доимии худиро талаб мекунад, то дар шароити афзоиши босуръати шумораи серверҳо дуруст кор карда тавонанд. Усулҳои нармафзор барои идоракунии гурӯҳҳои серверҳо дар марказҳои додаҳо зуд бесамар мешаванд. Муайян кардан, бартараф кардани мушкилот ва кам кардани нокомиҳо ҳангоми мувофиқат ба стандартҳои QoS як масъалаи ҳаллу фасли бениҳоят гуногуни сахтафзор, сарбории гуногун, мӯҳлатҳои навсозӣ ва дигар чизҳои хубе мегардад, ки ҳеҷ кас намехоҳад дар бораи он хавотир шавад.

Доменҳои худро азхуд кунед

Барои ҳалли бисёре аз ин мушкилот, мо давраи ҳаёти серверро дар Outbrain ба ҷузъҳои асосии он тақсим кардем ва онҳоро доменҳо номидем. Масалан, як домен талаботи таҷҳизотро фаро мегирад, дигаре логистикаи марбут ба давраи ҳаёти инвентаризатсияро дар бар мегирад ва сеюмӣ иртибот бо кормандони соҳаро фаро мегирад. Дар мавриди мушоҳидаи сахтафзор як чизи дигаре ҳаст, аммо мо ҳамаи нуктаҳоро тавсиф намекунем. Ҳадафи мо омӯхтан ва муайян кардани доменҳо буд, то онҳо бо истифода аз код абстракт карда шаванд. Пас аз таҳияи абстраксияи корӣ, он ба раванди дастӣ интиқол дода мешавад, ки ҷойгир, озмуда ва такмил дода мешавад. Ниҳоят, домен барои ҳамгироӣ бо доменҳои дигар тавассути APIҳо танзим карда шудааст, ки як системаи мукаммал, динамикӣ ва доимо инкишофёбандаи ҳаёти сахтафзорро ташкил медиҳад, ки ҷойгиршаванда, озмоишшаванда ва мушоҳидашаванда аст. Мисли хамаи дигар системахои истехсолии мо.

Ба кор андохтани ин усул ба мо имкон дод, ки бисьёр масъалахоро дуруст — бо рохи ба вучуд овардани асбобхо ва автоматика хал кунем.

Домен лозим аст

Ҳарчанд почтаи электронӣ ва ҷадвалҳои электронӣ дар рӯзҳои аввал як роҳи муносиби қонеъ кардани талабот буданд, аммо ин роҳи ҳалли муваффақ набуд, бахусус вақте ки шумораи серверҳо ва ҳаҷми дархостҳои воридотӣ ба сатҳи муайян расидаанд. Барои беҳтар ташкил ва афзалият додани дархостҳои воридотӣ дар шароити густариши босуръат, мо бояд системаи чиптафурӯширо истифода барем, ки метавонад пешниҳод кунад:

  • Имконияти танзими намуди танҳо соҳаҳои дахлдор (оддӣ)
  • API-ҳои кушода (васеъшаванда)
  • Ба дастаи мо маълум (фаҳмида)
  • Интегратсия бо ҷараёнҳои кории мавҷудаи мо (муттаҳид)

Азбаски мо Jira-ро барои идора кардани спринтҳо ва вазифаҳои дохилии худ истифода мебарем, мо тасмим гирифтем, ки лоиҳаи дигаре эҷод кунем, ки ба мизоҷони мо дар пешниҳоди чиптаҳо ва пайгирии натиҷаҳои онҳо кӯмак кунад. Истифодаи Jira барои дархостҳои воридотӣ ва идоракунии вазифаҳои дохилӣ ба мо имкон дод, ки шӯрои ягонаи Канбан эҷод кунем, ки ба мо имкон дод, ки тамоми равандҳоро дар маҷмӯъ бубинем. "Мизоҷон"-и дохилии мо танҳо дархостҳо барои таҷҳизотро медиданд, бидуни омӯхтани ҷузъиёти камтар муҳими вазифаҳои иловагӣ (ба монанди такмили асбобҳо, ислоҳи хатогиҳо).

4 муҳандис, 7000 сервер ва як пандемияи ҷаҳонӣ
Шӯрои Канбан дар Ҷира

Ҳамчун бонус, далели он, ки навбатҳо ва афзалиятҳо акнун ба ҳама намоён буданд, имкон дод, ки дархости мушаххас "дар куҷо" ва чӣ пеш аз он буд, бифаҳмед. Ин ба соҳибон имкон дод, ки бидуни тамос бо мо дархостҳои худро дубора бартарият диҳанд. Онро кашед ва ҳамин аст. Он инчунин ба мо имкон дод, ки SLA-ҳои худро мувофиқи намудҳои дархост дар асоси ченакҳои дар Jira тавлидшуда назорат ва арзёбӣ кунем.

Домени давраи ҳаёти таҷҳизот

Кӯшиш кунед, ки мураккабии идоракунии сахтафзоре, ки дар ҳар як рейки сервер истифода мешавад, тасаввур кунед. Аз ҳама бадтар он аст, ки қисмҳои зиёди сахтафзор (RAM, ROM) метавонанд аз анбор ба утоқи сервер ва бозгашт интиқол дода шаванд. Онҳо инчунин ноком мешаванд ё аз ҳисоб бароварда мешаванд ва иваз карда мешаванд ва барои иваз кардан/таъмир ба молрасон баргардонида мешаванд. Ҳамаи ин бояд ба кормандони хадамоти колокатсия, ки ба нигоҳдории ҷисмонии таҷҳизот машғуланд, хабар дода шавад. Барои ҳалли ин мушкилот мо асбоби дохилиро бо номи Floppy сохтем. Вазифаи ӯ ин аст:

  • Идоракунии робита бо кормандони соҳа, ҷамъбасти ҳама маълумот;
  • Навсозии маълумоти "анбор" пас аз ҳар як кори таъмири таҷҳизот ва тасдиқшуда.

Дар навбати худ, анбор бо истифода аз Grafana тасвир карда мешавад, ки мо онро барои тарҳрезии ҳама ченакҳои худ истифода мебарем. Ҳамин тариқ, мо ҳамон асбобро барои визуализатсияи анбор ва дигар эҳтиёҷоти истеҳсолӣ истифода мебарем.

4 муҳандис, 7000 сервер ва як пандемияи ҷаҳонӣПанели идоракунии тачхизоти анбор дар Графана

Барои дастгоҳҳои серверие, ки таҳти кафолат қарор доранд, мо асбоби дигареро истифода мебарем, ки мо онро Диспетчер меномем. Ӯ:

  • Гузоришҳои системаро ҷамъ мекунад;
  • Ҳисоботҳоро дар формате, ки фурӯшанда талаб мекунад, эҷод мекунад;
  • Тавассути API дархост аз фурӯшанда эҷод мекунад;
  • Идентификатори барномаро барои пайгирии минбаъдаи пешрафти он қабул ва нигоҳ медорад.

Пас аз қабули даъвои мо (одатан дар давоми соатҳои корӣ), қисми эҳтиётӣ ба маркази маълумоти дахлдор фиристода мешавад ва аз ҷониби кормандон қабул карда мешавад.

4 муҳандис, 7000 сервер ва як пандемияи ҷаҳонӣ
Натиҷаи консол Ҷенкинс

Домени коммуникатсия

Барои нигоҳ доштан ба рушди босуръати тиҷорати мо, ки иқтидори доимо афзояндаро талаб мекунад, ба мо лозим омад, ки тарзи корамонро бо мутахассисони техникӣ дар марказҳои додаҳои маҳаллӣ мутобиқ созем. Агар дар аввал васеъшавӣ маънои харидани серверҳои навро дошта бошад, пас пас аз лоиҳаи консолидатсионӣ (дар асоси гузариш ба Kubernetes) он чизи тамоман дигар шуд. Эволютсияи мо аз "илова кардани рафҳо" ба "repurposing серверҳо".

Истифодаи равиши нав инчунин абзорҳои навро талаб мекард, ки имкон медоданд бо кормандони маркази додаҳо бароҳаттар муошират кунанд. Ин воситаҳо барои:

  • соддагӣ;
  • Автономия;
  • Самаранокӣ;
  • Эътимод.

Мо маҷбур шудем, ки худро аз занҷир хориҷ кунем ва корро сохтор кунем, то техникҳо мустақиман бо таҷҳизоти сервер кор кунанд. Бе дахолати мо ва мунтазам ба миён гузоштани хамаи ин масъалахо оид ба сарбории кор, вакти кор, мавчуд будани тачхизот ва гайра.

Барои ноил шудан ба ин мо дар ҳар як маркази додаҳо iPad насб кардем. Пас аз пайвастшавӣ ба сервер, инҳо рӯй медиҳанд:

  • Дастгоҳ тасдиқ мекунад, ки ин сервер воқеан каме кор талаб мекунад;
  • Барномаҳое, ки дар сервер кор мекунанд, баста мешаванд (агар лозим бошад);
  • Маҷмӯи дастурҳои корӣ дар канали Slack ҷойгир карда мешаванд, ки қадамҳои лозимиро шарҳ медиҳанд;
  • Пас аз анҷоми кор, дастгоҳ дурустии ҳолати ниҳоии серверро тафтиш мекунад;
  • Агар лозим бошад, барномаҳоро аз нав оғоз мекунад.

Илова бар ин, мо инчунин як боти Slack омода кардем, то ба техник кӯмак расонад. Ба шарофати доираи васеи қобилиятҳо (мо мунтазам функсияҳоро васеъ мекардем), бот кори онҳоро осон кард ва ҳаёти моро хеле осон кард. Бо ин роҳ, мо қисми зиёди раванди бозсозӣ ва нигоҳдории серверҳоро оптимизатсия кардем ва худро аз ҷараёни кор хориҷ кардем.

4 муҳандис, 7000 сервер ва як пандемияи ҷаҳонӣ
iPad дар яке аз марказҳои маълумотии мо

Домени сахтафзор

Миқёси боэътимоди инфрасохтори маркази додаҳои мо дидани хуби ҳар як ҷузъро талаб мекунад, масалан:

  • Муайян кардани нокомии сахтафзор
  • Ҳолатҳои сервер (фаъол, ҷойгиршуда, зомби ва ғайра)
  • Истифодаи барқ
  • Версияи нармафзор
  • Таҳлилҳо барои ин тамоми тиҷорат

Қарорҳои мо ба мо имкон медиҳанд, ки дар бораи чӣ гуна, аз куҷо ва кай харидани таҷҳизот, баъзан ҳатто пеш аз он ки он воқеан лозим шавад, қарор қабул кунем. Инчунин, бо муайян кардани сатҳи сарборӣ ба таҷҳизоти гуногун, мо тавонистем ба беҳтар кардани тақсимоти захираҳо ноил гардем. Махсусан, сарфи энергия. Ҳоло мо метавонем дар бораи ҷойгиркунии сервер пеш аз он ки он дар раф насб карда, ба манбаи барқ ​​пайваст шавад, дар тӯли давраи ҳаёти он ва то ба нафақа баромаданаш қарорҳои огоҳона қабул кунем.

4 муҳандис, 7000 сервер ва як пандемияи ҷаҳонӣ
Панели энергетикӣ дар Графана

Ва он гоҳ COVID-19 пайдо шуд ...

Дастаи мо технологияҳоеро эҷод мекунад, ки ба ширкатҳои ВАО ва ноширони онлайн имкон медиҳанд, то ба меҳмонон дар ёфтани мундариҷа, маҳсулот ва хидматҳои мувофиқе, ки ба онҳо таваҷҷӯҳ доранд, кӯмак расонанд. Инфрасохтори мо тарҳрезӣ шудааст, ки ба трафике, ки ҳангоми нашри хабарҳои ҷолиб тавлид мешавад, хидмат кунад.

Инъикоси шадиди ВАО дар атрофи COVID-19 ва дар якҷоягӣ бо афзоиши трафик маънои онро дошт, ки мо фавран бояд омӯзем, ки чӣ гуна бо ин фишорҳо мубориза барем. Гузашта аз ин, ҳамаи ин бояд дар давраи бӯҳрони ҷаҳонӣ, вақте ки занҷирҳои таъминот вайрон шуданд ва аксарияти кормандон дар хона буданд, анҷом дода мешуданд.

Аммо, тавре ки мо гуфтем, модели мо аллакай тахмин мекунад, ки:

  • Таҷҳизот дар марказҳои маълумотии мо, асосан, аз ҷиҳати ҷисмонӣ барои мо дастнорас аст;
  •  Мо кариб тамоми кори чисмониро аз фосилаи дур ичро мекунем;
  • Кор ба таври асинхронӣ, автономӣ ва дар миқёси калон иҷро карда мешавад;
  • Мо ба чои харидани тачхизоти нав бо усули «аз кисмхо сохтан» талаботро ба тачхизот конеъ мегардонем;
  • Мо анбор дорем, ки ба мо имкон медиҳад, ки чизи нав эҷод кунем, на танҳо таъмири муқаррариро анҷом диҳем.

Ҳамин тариқ, маҳдудиятҳои глобалӣ, ки ба бисёр ширкатҳо имкони дастрасии ҷисмонӣ ба марказҳои додаҳои худ монеъ мешуданд, ба мо каме таъсир расониданд.Ва дар мавриди қисмҳои эҳтиётӣ ва серверҳо бошад, мо кӯшиш кардем, ки кори устувори таҷҳизотро таъмин кунем. Аммо ин бо мақсади пешгирии ҳодисаҳои эҳтимолӣ анҷом дода шудааст, вақте ки ногаҳон маълум мешавад, ки ягон таҷҳизоти сахтафзор мавҷуд нест. Мо таъмин кардем, ки захирахоямон бе максади конеъ гардондани талаботи хозира пур карда шаванд.

Хулоса, ман мехоҳам бигӯям, ки муносибати мо ба кор дар соҳаи маркази додаҳо исбот мекунад, ки принсипҳои тарҳрезии хуби кодро ба идоракунии физикии маркази додаҳо татбиқ кардан мумкин аст. Ва шояд шумо онро ҷолиб хоҳед ёфт.

Аслӣ: тайт

Манбаъ: will.com

Илова Эзоҳ