Бид шаталтаас урьдчилан сэргийлэхийн тулд үргэлж холбоотой байдлыг хэрхэн өөрчилсөн бэ?

Өгүүллийн орчуулгыг тус курсын оюутнуудад зориулж тусгайлан бэлтгэсэн "DevOps практик ба хэрэгслүүд".

Бид шаталтаас урьдчилан сэргийлэхийн тулд үргэлж холбоотой байдлыг хэрхэн өөрчилсөн бэ?

Интеркомын эрхэм зорилго бол онлайн бизнесийг хувийн болгох явдал юм. Гэхдээ ажиллахгүй байгаа бүтээгдэхүүнийг хувийн болгох боломжгүй юм. яаж. Үйлчлүүлэгчид маань бидэнд мөнгө төлдөг төдийгүй бид ашигладаг учраас ажлын цаг нь бидний бизнесийн амжилтад чухал үүрэгтэй таны бүтээгдэхүүнтэй хамт. Хэрэв манай үйлчилгээ ажиллахгүй бол бид үйлчлүүлэгчдийнхээ зовлонг шууд утгаараа мэдэрдэг.

Тасралтгүй ажиллагаа нь програм хангамжийн бүтэц, өдөр тутмын ажлын чанар зэрэг олон хүчин зүйлээс хамаардаг. Гэсэн хэдий ч байнга холбоотой байдаг хүн дуудлагад хариулдаг нь ихэвчлэн тохиолддог PagerDuty ажиллуулна. Энэхүү техникийн дэмжлэг нь инженерүүдийн тусламжийг үйлчлүүлэгчид танай бүтээгдэхүүнийг худалдан авахад юу авахтай хослуулсан хэрэглэгчдэд чиглэсэн хүчирхэг хэрэгсэл байж болно. Энэ нь сурах, өсөх сайхан боломжийг нээж өгдөг, учир нь алдаа дутагдал нь ур чадвараа дадлагажуулах, ажлын нарийн төвөгтэй механизмыг ойлгоход тохиромжтой талбар болдог.

Ажлын бус цагаар "үргэлж холбоотой" байх нь таны амьдралд хортой.

Гэхдээ үүнтэй зэрэгцэн “үргэлж холбоотой” байх нь таны амьдралд муугаар нөлөөлнө. Та ямар нэг зүйл эвдэрсэн тухай мэдэгдэлд хурдан бөгөөд чадварлаг хариу өгөхөд бэлэн байх ёстой. Тухайн үед таныг пейжер дээр дуудаагүй байсан ч "үргэлж асаалттай" байдал нь эвгүй мэдрэмжийг төрүүлдэг гэдгийг би өөрөө хувийн туршлагаасаа мэднэ. Ялангуяа үүнээс болж нойрны чанар мууддаг. Өдрийн аль ч цагт нэвтрэх бүсэд тогтмол байх нь ядрах, хайхрамжгүй байдал, эсвэл ерөнхийдөө компьютерийг дахиж хэзээ ч харахгүй байх хүсэлд хүргэдэг.

Интерком дахь "үргэлж холбогдсон" төлөв байдлын түүх

Интеркомын хамгийн эхэн үед манай CTO Ciaran дангаараа оффис дотор болон гадуур XNUMX/XNUMX техникийн дэмжлэг үзүүлэх баг байсан. Интерком хөгжихийн хэрээр Сиаранд туслах ажлын хэсэг байгуулагдав. Үүнээс хойш удалгүй шинэ хөгжүүлэлтийн багууд олон шинэ функц, үйлчилгээг бий болгож эхэлсэн бөгөөд тэд техникийн дэмжлэг үзүүлэх бүх үүрэг хариуцлагыг аль хэдийн авсан.

Хэзээ нэгэн цагт хэтэрхий олон хүн "учирсан" байсан.

Тухайн үед энэ арга нь ямар ч үед манай техникийн дэмжлэг үзүүлэх багийг өргөжүүлэх хялбар арга байсан, бидний үнэт зүйлстэй нийцэж, бидний сэтгэл ханамжтай байсан тул ямар ч санаа зовдоггүй мэт санагдаж байв. өмчлөх мэдрэмж. Үүний үр дүнд бид ямар ч төлөвлөгөөгүйгээр үйлчлүүлэгчидтэй ажлын бус цагаар байнга холбогддог дөрөв, таван багтай болсон. Бусад хөгжүүлэлтийн багуудад алдаа гаргаж чадах тийм ч хэцүү оноо байгаагүй тул тэд бараг л дууддаг байсан.

Бид бахархах ёстой техникийн дэмжлэг үзүүлэх механиктай, шийдвэрлэхийг хүссэн хэд хэдэн чухал асуудалтай, тухайлбал:

  • Ямар ч үед хэтэрхий олон хүн сорилтыг даван туулахад бэлэн байсан. Манай дэд бүтэц нь хамгийн багадаа таван хөгжлийн инженерийг ердийн амралтын өдөргүйгээр ажиллуулахад хангалттай том биш байсан.
  • Манай дохиолол болон дуудлагын журмын чанар нь багуудын хооронд жигд биш байсан тул бид шинэ болон одоо байгаа асуудлын дохиололд тусгай хяналтын процессыг ашигласан. Runbook дээрх зааврууд (асуудал гарсан үед дагаж мөрдөх ёстой) ихэвчлэн байхгүй байсан нь анхаарал татаж байв.
  • Инженерүүдийн ажиллаж байсан багаас хамааран тэдний хүлээлт хоорондоо зөрчилддөг байв. Жишээлбэл, зөвхөн анхны техникийн дэмжлэг үзүүлэх баг ээлжийн ээлж, амралтаа тасалдуулсны төлөө нөхөн олговор авдаг байсан.
  • Сондгой цагт шаардлагагүй дуудлагад тэсвэрлэх ерөнхий түвшин байдаг нь тогтоогдсон.
  • Эцэст нь хэлэхэд, энэ төрлийн ажил нь хүн бүрт тохирохгүй. Амьдралын нөхцөл байдал заримдаа жижүүрийн ээлж нь хүмүүст сайнаар нөлөөлдөггүйг харуулсан.

"Үргэлж холбогдсон" төлөвийг олох

Бид баг тус бүрийн ажлын цаг зав гарах үед техникийн дэмжлэг үзүүлэх шинэ виртуал баг байгуулахаар шийдсэн. Багийг тухайн байгууллагын аль нэг багийн хугацаат цэргийн алба хаагчдаас биш сайн дурын ажилтнуудаас бүрдүүлнэ. Виртуал багийн инженерүүд зургаан сар тутамд ээлжлэн солигдож, хэдэн долоо хоног "харилцаж" өнгөрөөдөг байв. Аз болоход бид виртуал багийг бүрдүүлэх хангалттай сайн дурынхныг олоход асуудалгүй байсан.

Үүний үр дүнд манай туслах баг 30 хүн байсан бол ердөө 6, 7 болж цөөрсөн.

Дараа нь баг санал нэгдэж, асуудлын дохиолол болон runbook-ийн тайлбар ямар байх ёстойг тодорхойлж, шинэ тусламжийн багт дохио дамжуулах үйл явцыг тодорхойлсон. Тэд Terraform модулийг ашиглан кодын бүх сэрэмжлүүлгийг тодорхойлж, өөрчлөлт болгонд үе тэнгийн хяналтыг ашиглаж эхэлсэн. Бид жижүүрт нэлээн тохирсон долоо хоног тутмын ээлжийн нөхөн олговрын түвшинг нэвтрүүлсэн. Мөн бид зөвхөн менежерүүдээс бүрдсэн хоёрдугаар түвшний багийг бүрдүүлсэн. Энэ тушаал нь техникийн дэмжлэг үзүүлэх инженерүүдийн хувьд өргөлтийн цорын ганц цэг байх ёстой.

Энэ үйл явцыг бий болгоход бид хэдэн сарын шаргуу хөдөлмөрлөсний үр дүнд өмнөх шигээ 30 инженер биш, харин 6, 7 инженер холбоотой хэвээр үлдсэн. Ажлын цагаар багууд өөрсдийн чиг үүрэг, үйлчилгээнийхээ асуудлыг бие даан шийдвэрлэдэг. Энэ удаад ихэвчлэн хамгийн их эвдрэл гардаг боловч үлдсэн хугацаанд техникийн дэмжлэгийг сайн дурынхан хариуцдаг.

Бид юу сурсан

Виртуал техникийн дэмжлэг үзүүлэх багаа ажиллуулсны дараа бид асуудлын шалтгааныг судлах эсвэл осолд хүргэсэн ганц асуудлыг шийдэхийн тулд ерөнхий цугларалт хийх гэх мэт шинэ ажлуудын үер ирнэ гэж найдаж байсан. Гэсэн хэдий ч манай хөгжүүлэлтийн багууд осолд хүргэсэн хүчин зүйлсийг бүрэн хариуцаж байсан бөгөөд дараагийн хариу арга хэмжээ нь ихэвчлэн шууд арга хэмжээ авдаг. Мөн бид техникийн зөвлөгөө өгөх ажлыг ирсэн багт буцааж өгөх нөхцөл байдлаас зайлсхийх хэрэгтэй бөгөөд ингэснээр инженерүүдийг ажлын цагаар холбоо барихыг албадахгүй байх ёстой.

Цагийн бус дуудлагыг сард 10 хүрэхгүй болгон бууруулсан.

Албан ёсоор бол бидний өргөлтийн процессыг бараг ашигладаггүй. Илүү нийтлэг ойлголт бол инженерт одоогоор онлайн байгаа баг, ялангуяа Сан Франциско дахь оффис дахь манай залуус албан бусаар тусалсан гэсэн ойлголт байв. Багаар ажиллах, цаг алдалгүй шийдвэрлэх замаар олон асуудлыг зассан эсвэл багасгасан.

Манай Сан Франциско дахь оффисын инженерүүд багт бүрэн бүрэлдэхүүнээрээ нэгдэж, байнгын техникийн дэмжлэг үзүүлэхээс цаашгүй. Үүнд зарим нэмэлт зардал гарсан ч олон байршилд дэмжлэг үзүүлэх багийн гишүүнчлэлээ өргөжүүлэх нь харилцаа холбоог бий болгох, бэхжүүлэх, бидний хамтран ажилладаг технологийн талаар илүү ихийг мэдэх сайн арга болох нь батлагдсан тул бидэнд ашигтай болсон.

Манай багуудад Интерком хөгжүүлэгчдийн ажил илүү уялдаатай болж, системийн инженерийн албан тушаалын ашиг тусын талаар манай вэбсайт дээр итгэлтэйгээр ярьж болно. Ажлын байр, Хэрэв та өөрөө хүсэхгүй байгаа бол байнга холбоотой байх шаардлагагүй гэж мэдэгдэв.

Мэдээллийн агуулахыг тогтворжуулах, өргөтгөх үндсэн ажлын зэрэгцээ асуудлыг шийдвэрлэхэд байнга анхаарал хандуулж ажилласнаар ажлын цагаас гадуурх дуудлагыг сард 10-аас бага болгож бууруулж байна. Энэ тоогоор бид маш их бахархаж байна.

Бид техникийн дэмжлэг үзүүлэх багаа үргэлжлүүлэн сайжруулах, сайжруулах тал дээр үргэлжлүүлэн ажиллаж байгаа бөгөөд Дотуур холбоо хөгжихийн хэрээр шийдвэрээ эргэн харах шаардлагатай болж магадгүй, учир нь өнөөдөр ажиллаж байгаа зүйл дараагийн удаад манай ажилтнуудын тоо хоёр дахин нэмэгдэх шаардлагагүй байж магадгүй юм. Гэсэн хэдий ч энэхүү туршлага нь манай байгууллагад маш эерэг нөлөө үзүүлж, манай хөгжлийн инженерүүдийн амьдралын чанар, сорилтод үзүүлэх хариу арга хэмжээний чанар, хамгийн гол нь үйлчлүүлэгчдийнхээ туршлагыг эрс сайжруулсан.

Эх сурвалж: www.habr.com

сэтгэгдэл нэмэх