Макаланын котормосу курстун студенттери үчүн атайын даярдалган .
Домофондун миссиясы - онлайн бизнести жекелештирүү. Бирок ал иштебей турганда аны жекелештире албайсыз. . Кардарларыбыз төлөп бергендиктен гана эмес, ошондой эле биз өзүбүз колдонгондуктан, биздин бизнесибиздин ийгилиги үчүн маанилүү. . Эгерде биздин кызмат иштебесе, биз түз мааниде кардарларыбыздын кайгысын сезебиз.
Жылмакай иштөө программалык камсыздоонун архитектурасы жана күнүмдүк иштин сапаты сыяктуу көптөгөн факторлорго көз каранды. Бирок, көп учурда баары ар дайым байланышта болгон адам чалууларга жооп бергенине байланыштуу . Техникалык колдоонун мындай түрү кардарларга багытталган күчтүү курал болушу мүмкүн, ал инженерлердин жардамын кардарлар сиздин продуктуну сатып алганда ала турган нерсе менен айкалыштырат. Бул дагы окуу жана өсүү үчүн сонун мүмкүнчүлүк, анткени, каталар жана каталар көндүмдөрдү практикалоо жана татаал иштөө механизмдерин түшүнүү үчүн жакшы мүмкүнчүлүк болушу мүмкүн.
Жумуштан тышкаркы убакта "ар дайым иштеп" болуу жашооңузга терс таасирин тийгизет.
Бирок, ошол эле учурда, "ар дайым иштеп" болуу жашооңузга терс таасирин тийгизиши мүмкүн. Сиз бир нерсе бузулду деген эскертүүгө тез жана сабаттуу жооп берүүгө даяр болушуңуз керек. Эгер сиз кандайдыр бир учурда баракчага кирбей жатсаңыз да, мен жеке тажрыйбамдан билгендей, "ар дайым күйүп" болуу тынчсызданууну жаратышы мүмкүн. Ушундан улам, уйкунун сапаты өзгөчө катуу начарлайт. Күндүн каалаган убагында кирүү зонасында үзгүлтүксүз болуу күйүп калууга, кош көңүлдүккө же жалпысынан компьютерди эч качан көргүсү келүүгө алып келиши мүмкүн.
Интеркомдогу "ар дайым туташкан" мамлекеттин тарыхы
Интеркомдун эң алгачкы күндөрүндө, биздин Техникалык директорубуз Сиаран офис ичинде да, сыртында да 24/7 техникалык колдоо көрсөткөн бүтүндөй бир топту жалгыз өзү камсыз кылган. Интерком өскөн сайын, Ciaranга жардам берүү үчүн атайын топ түзүлдү. Көп өтпөй, жаңы иштеп чыгуу топтору көптөгөн жаңы функцияларды жана кызматтарды түзө башташты жана алар бардык техникалык колдоо милдеттерин өз мойнуна алышты.
Ар бир учурда "чалуу" өтө көп адамдар бар болчу.
Ал кезде бул ыкма оңой эместей сезилчү, анткени бул биздин техникалык колдоо тобубузду тез арада кеңейтүүнүн оңой жолу болчу, ал биздин баалуулуктарыбызга дал келген жана биздин көз карашыбызга туура келген. . Акыр-аягы, эч кандай пландар жок, биз кардарлар менен жумуш эмес убактысында үзгүлтүксүз байланышып турган төрт же беш команда менен аяктадык. Калган иштеп чыгуу топторунда ката кетире турган көптөгөн татаал маселелер болгон эмес, андыктан алар чанда гана чакырылчу.
Биз сыймыктана албай турган техникалык колдоо көрсөтүүчү механика жана оңдоону каалаган бир катар орчундуу маселелерге туш болгонубузду түшүндүк, мисалы:
- Каалаган убакта кыйынчылыкты көтөрүүгө даяр адамдар өтө көп болчу. Биздин инфраструктура эң аз дегенде беш инженерди үзгүлтүксүз эс алуу күндөрүсүз иштөөнү талап кылгандай чоң эмес болчу.
- Ойготкучтарыбыздын жана чалуу жол-жоболорубуздун сапаты командалар боюнча ырааттуу болгон жок жана жаңы жана учурдагы көйгөй эскертүүлөрүн карап чыгуу үчүн атайын процесстерди колдондук. Runbook'тагы нускамалар (көйгөй жөнүндө кабарланганда аткарыла турган) көбүнчө алардын жоктугунан байкалып турду.
- Инженерлер иштеген командага жараша, алардын күтүүлөрү карама-каршы келген. Мисалы, биринчи гана техникалык колдоо тобу чакыруу боюнча смена жана үзгүлтүккө учураган дем алыш күндөрү үчүн кандайдыр бир компенсация алган.
- Так сааттарда керексиз чалууларга сабырдуулуктун жалпы деңгээли бар окшойт.
- Акыр-аягы, иштин бул түрү ар бир адам үчүн эмес. Турмуштук жагдайлар кээде дежурный сменалар адамдарга жакшы таасир бербегендигин керсетту.
Туура "ар дайым күйүк" абалын табуу
Биз жаңы виртуалдык команда түзүүнү чечтик, ал ар бир командага жумуш эмес сааттарда техникалык колдоо көрсөтүү иштерин аткарат. Команда уюмдагы кандайдыр бир командадан чакырылгандардан эмес, ыктыярчылардан түзүлөт. Виртуалдык команданын инженерлери болжол менен алты ай сайын алмашып, бир нече жуманы “чалуу боюнча” өткөрүштү. Бактыга жараша, биз виртуалдык команданы чогултуу үчүн жетиштүү ыктыярчыларды табууда көйгөй болгон жок.
Натыйжада, биздин колдоо тобу 30 кишиден 6 же 7ге чейин кыскарды.
Андан кийин команда бир пикирге келип, маселе эскертүүлөрү жана сүрөттөмөлөрү runbook'та кандай болушу керек экенин аныктап, жаңы колдоо тобуна эскертүүлөрдү жөнөтүү процессин сүрөттөп берди. Алар Terraform модулунун жардамы менен коддогу бардык эскертүүлөрдү аныктап, ар бир өзгөртүү үчүн тең рецензияны колдоно башташты. Биз нөөмөтчүлөр үчүн абдан канааттандырарлык болгон жумалык нөөмөт үчүн компенсациянын деңгээлин киргиздик. Биз ошондой эле менеджерлерден гана турган экинчи деңгээлдеги эскалацияланган команданы түздүк. Бул команда техникалык колдоо инженерлери үчүн бирден-бир күчөшү керек.
Бизде бир нече ай талыкпай эмгектендик, анын жүрүшүндө биз бул процессти орноттук, натыйжада азыр мурдагыдай 30 инженер эмес, болгону 6 же 7 гана инженер чакырылды. кызматтары, боюнча Бул, адатта, эң көп бузулуулар болгон учур, бирок башка учурларда, техникалык колдоо волонтерлор тарабынан көрсөтүлөт.
Биз эмнени үйрөндүк
Виртуалдык техникалык колдоо тобубузду ишке киргизгенден кийин, көйгөйлөрдүн себептерин иликтөө же үзгүлтүккө алып келген бир көйгөйдү чечүү үчүн чогулуп туруу сыяктуу жаңы тапшырмалардын агымын күткөнбүз. Бирок, биздин иштеп чыгуу топторубуз мүчүлүштүктөрдү пайда кылган факторлор үчүн толук жоопкерчиликти өз мойнуна алышты жана ар кандай кийинки жооп адатта дароо эле. Биз инженерлерди сааттан кийин байланышууга мажбурлабоо үчүн техникалык консультация тапшырмасы келген командага кайра жөнөтүлө турган кырдаалдан качышыбыз керек болчу.
Жумуштан кийинки чалуулардын саны айына 10дон да азайган.
Биздин эскалация процессибиз формалдуу түрдө сейрек колдонулган. Кеңири таралган ишеним инженерге бейрасмий түрдө учурда онлайнда турган команда, айрыкча Сан-Францискодогу кеңседеги биздин жигиттер жардам берген. Көптөгөн маселелер командада иштөө жана аларды тез арада чечүү аркылуу жок кылынган же кыскартылган.
Сан-Францискодогу кеңсебиздеги инженерлер командага толук убакытта кошулуп, кадимки техникалык колдоонун чегинен чыгышты. Биз кээ бир кошумча чыгымдарга дуушар болдук, бирок колдоо тобубуздун мүчөлүгүбүздү бир нече кеңселерге жайылтуу биздин пайдабызга жардам берди, анткени бул мамилелерди куруунун, аларды чыңдоонун жана биз баарыбыз иштеген технологиялык стек тууралуу көбүрөөк билүүнүн жакшы жолу болуп чыкты.
Домофонду иштеп чыгуучулардын иши биздин командаларда ырааттуу болуп калды жана биз сайтыбызда системалык инженер болуунун артыкчылыктары жөнүндө ишенимдүү айта алабыз. , болууну кааламайынча, ар дайым байланышта болуунун кереги жок экенин билдирген.
Биздин маалымат кампаларыбызды турукташтыруу жана масштабдоо боюнча фундаменталдуу иштер менен катар, көйгөйлөрдү чечүүгө көңүл бурулуп, сааттан тышкаркы чалуулардын саны айына 10дон азыраак кыскарган. Биз бул сан менен абдан сыймыктанабыз.
Биз техникалык колдоо тобубузду сактоо жана өркүндөтүү боюнча иштөөнү улантып жатабыз жана Домофондун өсүшүнө жараша чечимдерибизди кайра карап чыгууга туура келиши мүмкүн, анткени бүгүн иштеген нерсе кийинки жолу биздин кызматкерлер эки эсе көбөйгөндө сөзсүз түрдө иштебейт. Бирок, бул тажрыйба биздин уюм үчүн абдан позитивдүү болду жана өнүктүрүү инженерлерибиздин жашоо сапатын, чалууларга жооп берүүбүздүн сапатын жана эң негизгиси кардарларыбыздын тажрыйбасын бир топ жакшыртты.
Source: www.habr.com