Salom!
Mening ismim Mixail, men Sportmaster kompaniyasida IT bo'yicha direktor o'rinbosariman. Men pandemiya paytida yuzaga kelgan qiyinchiliklarni qanday hal qilganimiz haqidagi hikoyani baham ko'rmoqchiman.
Yangi voqelikning dastlabki kunlarida Sportmaster-ning odatiy oflayn savdo formati muzlatib qo'ydi va bizning onlayn kanalimizdagi yuk, birinchi navbatda, mijozning manziliga yetkazib berish nuqtai nazaridan, 10 baravar oshdi. Bir necha hafta ichida biz ulkan oflayn biznesni onlayn biznesga aylantirdik va xizmatni mijozlarimizning ehtiyojlariga moslashtirdik.
Asosan, bizning yon faoliyatimiz bizning asosiy biznesimizga aylandi. Har bir onlayn buyurtmaning ahamiyati nihoyatda oshdi. Mijoz kompaniyaga olib kelgan har bir rublni tejash kerak edi.
Mijozlarning so‘rovlariga tezkorlik bilan javob berish uchun kompaniyaning bosh ofisida qo‘shimcha aloqa markazi ochdik va endi haftasiga 285 mingga yaqin qo‘ng‘iroqni qabul qilishimiz mumkin. Shu bilan birga, biz 270 ta do‘konni yangi kontaktsiz va xavfsiz ishlash formatiga o‘tkazdik, bu esa mijozlarga buyurtmalar olish va xodimlarga o‘z ish joylarini saqlab qolish imkonini berdi.
Transformatsiya jarayonida biz ikkita asosiy muammoga duch keldik. Birinchidan, bizning onlayn resurslarimizga yuk sezilarli darajada oshdi (Sergey sizga buni qanday hal qilganimizni aytib beradi). Ikkinchidan, noyob (COVIDdan oldingi) operatsiyalar oqimi ko'p marta oshdi, bu esa o'z navbatida katta hajmdagi tezkor avtomatlashtirishni talab qildi. Ushbu muammoni hal qilish uchun biz ilgari asosiy bo'lgan hududlardan resurslarni tezda o'tkazishimiz kerak edi. Elena sizga buni qanday hal qilganimizni aytib beradi.
Onlayn xizmatlarning ishlashi
Kolesnikov Sergey, onlayn-do'kon va mikroservislarning ishlashi uchun mas'ul
Bizning chakana savdo do'konlarimiz tashrif buyuruvchilarga yaqinlasha boshlagan paytdan boshlab biz foydalanuvchilar soni, ilovamizga joylashtirilgan buyurtmalar soni va ilovalarga so'rovlar soni kabi ko'rsatkichlarning o'sishini qayd qila boshladik.
18 martdan 31 martgacha bo'lgan buyurtmalar soniOnlayn to'lov mikroxizmatlariga bo'lgan so'rovlar soniVeb-saytda joylashtirilgan buyurtmalar soni
Birinchi grafikda biz o'sish taxminan 14 marta, ikkinchisida - 4 marta bo'lganligini ko'ramiz. Biz ilovalarimizning javob vaqti ko'rsatkichini eng ko'p ko'rsatkich deb hisoblaymiz.
Ushbu grafikda biz jabhalar va ilovalarning javobini ko'ramiz va o'zimiz uchun biz hech qanday o'sishni sezmaganimizni aniqladik.
Bu, birinchi navbatda, biz 2019 yil oxirida tayyorgarlik ishlarini boshlaganimiz bilan bog'liq. Endi bizning xizmatlarimiz himoyalangan, nosozliklarga chidamlilik jismoniy serverlar, virtualizatsiya tizimlari, dokerlar va ulardagi xizmatlar darajasida ta'minlangan. Shu bilan birga, bizning server resurslarimizning imkoniyatlari bir nechta yuklarga bardosh berishga imkon beradi.
Bu butun voqeada bizga yordam bergan asosiy vosita bizning monitoring tizimimiz edi. To'g'ri, yaqin vaqtgacha bizda jismoniy jihozlar va apparat darajasidan tortib biznes ko'rsatkichlari darajasigacha barcha qatlamlarda ko'rsatkichlarni to'plash imkonini beradigan yagona tizim yo'q edi.
Rasmiy ravishda kompaniyada monitoring mavjud edi, lekin qoida tariqasida u tarqalib ketgan va ma'lum bo'limlar mas'uliyati doirasida edi. Aslida, voqea sodir bo'lganida, biz deyarli hech qachon aniq nima sodir bo'lganligi haqida umumiy tushunchaga ega bo'lmaganmiz, aloqa yo'q edi va ko'pincha bu muammoni hal qilish uchun uni topish va izolyatsiya qilish uchun aylanalarda yugurishga olib keldi.
Bir paytlar biz bunga chidashimiz yetarli deb o‘yladik va qaror qildik – butun rasmni to‘liq ko‘rish uchun bizga yagona tizim kerak edi. Bizning stekimizga kiritilgan asosiy texnologiyalar - ogohlantirish va o'lchovlarni saqlash markazi sifatida Zabbix, ilovalar ko'rsatkichlarini yig'ish va saqlash uchun Prometey, butun monitoring tizimidan ma'lumotlarni qayd qilish va saqlash uchun Stack ELK, shuningdek vizualizatsiya uchun Grafana, Swagger, Docker. va boshqa foydali va sizga tanish bo'lgan narsalar.
Shu bilan birga, biz nafaqat bozorda mavjud bo'lgan texnologiyalardan foydalanamiz, balki o'zimiznikilarni ham ishlab chiqamiz. Misol uchun, biz tizimlarni bir-biri bilan integratsiya qilish xizmatlarini, ya'ni o'lchovlarni yig'ish uchun API-ni yaratamiz. Bundan tashqari, biz o'z monitoring tizimlarimiz ustida ishlayapmiz - biznes ko'rsatkichlari darajasida biz UI testlaridan foydalanamiz. Shuningdek, jamoalarni xabardor qilish uchun Telegram-dagi bot.
Shuningdek, biz monitoring tizimini jamoalar uchun ochiq qilishga harakat qilmoqdamiz, shunda ular mustaqil ravishda o'z ko'rsatkichlarini saqlashlari va ular bilan ishlashlari, jumladan, keng qo'llanilmaydigan ba'zi tor ko'rsatkichlar uchun ogohlantirishlarni o'rnatishlari mumkin.
Butun tizimda biz hodisalarni imkon qadar tezroq faollashtirish va mahalliylashtirishga intilamiz. Bundan tashqari, so'nggi paytlarda mikroservislarimiz va tizimlarimiz soni sezilarli darajada oshdi va shunga mos ravishda integratsiyalar soni ham o'sdi. Integratsiya darajasida hodisalarni tashxislash jarayonini optimallashtirish doirasida biz tizimlararo tekshiruvlarni o'tkazish va natijani ko'rsatish imkonini beruvchi tizimni ishlab chiqmoqdamiz, bu import bilan bog'liq asosiy muammolarni va tizimlarning o'zaro ta'sirini topishga imkon beradi. bir-biriga, bir-birini, o'zaro.
Albatta, bizda hali ham operatsion tizimlar nuqtai nazaridan o'sishi va rivojlanishi uchun joy bor va biz bu borada faol ishlayapmiz. Bizning monitoring tizimimiz haqida ko'proq o'qishingiz mumkin .
Texnik sinovlar
Orlov Sergey, veb va mobil aloqalarni rivojlantirish bo'yicha vakolatlar markazini boshqaradi
Jismoniy do'konlar yopila boshlaganidan beri biz rivojlanish nuqtai nazaridan turli qiyinchiliklarga duch keldik. Avvalo, yuk ko'tarilishi kabi. Ma'lumki, tegishli choralar ko'rilmasa, tizimga yuqori yuk qo'llanilganda, u qayg'uli portlash bilan qovoqqa aylanishi yoki ish faoliyatini butunlay yomonlashishi yoki hatto funksionalligini yo'qotishi mumkin.
Ikkinchi jihat, biroz kamroq ravshan, yuqori yuk ostida bo'lgan tizimni biznes jarayonlaridagi o'zgarishlarga moslashtirib, juda tez o'zgartirish kerak edi. Ba'zan kuniga bir necha marta. Ko'pgina kompaniyalarda marketing faoliyati ko'p bo'lsa, tizimga hech qanday o'zgartirish kiritishning hojati yo'q degan qoida mavjud. Hechqisi yo'q, ishlaguncha ishlasin.
Va bizda cheksiz qora juma bor edi, uning davomida tizimni o'zgartirish kerak edi. Tizimdagi har qanday xato, muammo yoki nosozlik korxona uchun juda qimmatga tushadi.
Oldinga qarab, shuni aytamanki, biz ushbu sinovlarni engishga muvaffaq bo'ldik, barcha tizimlar yukga bardosh berdi, osonlik bilan o'lchadi va biz global texnik nosozliklarni boshdan kechirmadik.
Tizimning yuqori kuchlanish yuklariga bardosh berish qobiliyati to'rtta ustun mavjud. Ulardan birinchisi, siz yuqorida o'qigan monitoring. O'rnatilgan monitoring tizimisiz tizimdagi qiyinchiliklarni topish deyarli mumkin emas. Yaxshi monitoring tizimi uy kiyimiga o'xshaydi; u qulay va sizga moslashtirilgan bo'lishi kerak.
Ikkinchi jihat - sinov. Biz bu fikrni juda jiddiy qabul qilamiz: biz har bir tizim uchun klassik birliklar, integratsiya testlari, yuk testlari va boshqalarni yozamiz. Biz sinov strategiyasini ham yozyapmiz va shu bilan birga test darajasini shu darajaga oshirishga harakat qilmoqdamizki, endi qo'lda tekshirish kerak emas.
Uchinchi ustun - CI/CD quvur liniyasi. Ilovani yaratish, sinovdan o'tkazish va joylashtirish jarayonlari imkon qadar avtomatlashtirilgan bo'lishi kerak; qo'lda aralashuv bo'lmasligi kerak. CI/CD quvur liniyasi mavzusi juda chuqur va men unga qisqacha to'xtalib o'taman. Shuni ta'kidlash kerakki, bizda CI/CD Pipeline nazorat ro'yxati mavjud bo'lib, har bir mahsulot guruhi malaka markazlari yordamida o'tadi.
Va bu erda nazorat ro'yxati
Shu tarzda ko'plab maqsadlarga erishiladi. Bu API versiyasi va funksiyalarni almashtirish poyezdining oldini olish va turli testlarni sinovdan o'tkazish to'liq avtomatlashtirilgan, joylashtirish muammosiz va hokazolar darajasida qamrab olinishiga erishish.
To'rtinchi ustun - me'moriy tamoyillar va texnik echimlar. Biz uzoq vaqt arxitektura haqida ko'p gapirishimiz mumkin, lekin men e'tiborni qaratmoqchi bo'lgan bir nechta printsiplarni ta'kidlamoqchiman.
Birinchidan, muayyan vazifalar uchun maxsus vositalarni tanlashingiz kerak. Ha, bu ochiq-oydin ko'rinadi va tirnoqlarni bolg'a bilan urish kerakligi va qo'l soatlarini maxsus tornavidalar bilan qismlarga ajratish kerakligi aniq. Ammo bizning asrimizda foydalanuvchilarning maksimal segmentini qamrab olish uchun ko'plab vositalar universallashtirishga intiladi: ma'lumotlar bazalari, keshlar, ramkalar va qolganlar. Misol uchun, agar siz MongoDB ma'lumotlar bazasini olsangiz, u ko'p hujjatli tranzaktsiyalar bilan ishlaydi va Oracle ma'lumotlar bazasi json bilan ishlaydi. Va hamma narsani hamma narsa uchun ishlatish mumkindek tuyuladi. Ammo agar biz samaradorlik tarafdori bo'lsak, unda har bir vositaning kuchli va zaif tomonlarini aniq tushunishimiz va o'z sinfimiz uchun zarur bo'lganlardan foydalanishimiz kerak.
Ikkinchidan, tizimlarni loyihalashda har bir murakkablikning oshishi oqlanishi kerak. Biz buni doimo yodda tutishimiz kerak, past ulanish printsipi hammaga ma'lum. Men uni ma'lum bir xizmat darajasida va butun tizim darajasida va me'moriy landshaft darajasida qo'llash kerak deb hisoblayman. Har bir tizim komponentini yuk yo'li bo'ylab gorizontal ravishda o'lchash qobiliyati ham muhimdir. Agar sizda bu qobiliyat mavjud bo'lsa, o'lchovni o'tkazish qiyin bo'lmaydi.
Texnik echimlar haqida gap ketganda, biz mahsulot guruhlaridan yangi tavsiyalar, g'oyalar va echimlar to'plamini tayyorlashni so'radik, ular ish yukining keyingi to'lqiniga tayyorgarlik ko'rishda amalga oshirdilar.
Keshi
Mahalliy va tarqalgan keshlarni tanlashga ongli ravishda yondashish kerak. Ba'zan ikkalasini bir xil tizim ichida ishlatish mantiqiy bo'ladi.Masalan, bizda ma'lumotlarning bir qismi mohiyatan vitrin keshi bo'lgan tizimlar mavjud, ya'ni yangilanishlar manbai tizimning o'zi orqasida joylashgan va tizimlar o'zgarmaydi. bu ma'lumotlar. Ushbu yondashuv uchun biz mahalliy kofein keshidan foydalanamiz.
Tizim ish paytida faol ravishda o'zgarib turadigan ma'lumotlar mavjud va bu erda biz allaqachon Hazelcast bilan taqsimlangan keshdan foydalanmoqdamiz. Ushbu yondashuv bizga tarqatilgan keshning afzalliklaridan haqiqatan ham kerak bo'lganda foydalanishga va Hazelcast klaster ma'lumotlarini aylanma xizmat xarajatlarini minimallashtirishga imkon beradi, bu holda biz buni amalga oshirishimiz mumkin. Biz keshlar haqida ko'p yozganmiz. и .
Bundan tashqari, Hazelcastdagi serializatorni Kryoga o'zgartirish bizga yaxshi turtki berdi. Va Hazelcast-dagi ReplicatedMap-dan IMap + Near Cache-ga o'tish bizga klaster bo'ylab ma'lumotlarning harakatini minimallashtirishga imkon berdi.
Kichkina maslahat: ommaviy kesh yaroqsiz bo'lgan taqdirda, ba'zida ikkinchi keshni isitish va keyin unga o'tish taktikasi qo'llaniladi. Bunday yondashuv bilan biz ikki baravar xotira sarfini olishimiz kerakdek tuyuladi, ammo amalda bu amalda bo'lgan tizimlarda xotira iste'moli kamaydi.
Reaktiv stack
Biz juda ko'p sonli tizimlarda reaktiv stackdan foydalanamiz. Bizning holatda, bu Webflux yoki koroutinli Kotlin. Reaktiv stack, ayniqsa, biz sekin kiritish-chiqarish operatsiyalarini kutayotgan joyda yaxshi. Masalan, sekin xizmatlarga qo'ng'iroqlar, fayl tizimi yoki saqlash tizimlari bilan ishlash.
Eng muhim tamoyil qo'ng'iroqlarni blokirovka qilishdan qochishdir. Reaktiv ramkalar kaput ostida ishlaydigan oz sonli jonli xizmat iplariga ega. Agar biz o'zimizga JDBC haydovchisi qo'ng'irog'i kabi to'g'ridan-to'g'ri blokirovka qiluvchi qo'ng'iroqni amalga oshirishga beparvolik bilan ruxsat bersak, tizim shunchaki to'xtab qoladi.
Xatolarni o'zingizning ish vaqti istisnongizga aylantirishga harakat qiling. Dasturni bajarishning haqiqiy oqimi reaktiv ramkalarga o'tadi va kodning bajarilishi chiziqli bo'lmagan bo'ladi. Natijada, stek izlari yordamida muammolarni tashxislash juda qiyin. Va bu erda yechim har bir xato uchun aniq, ob'ektiv ish vaqti istisnolarini yaratish bo'ladi.
Elasticsearch
Elasticsearch-dan foydalanganda foydalanilmagan ma'lumotlarni tanlamang. Bu, qoida tariqasida, juda oddiy maslahat, lekin ko'pincha bu unutilgan narsa. Agar siz bir vaqtning o'zida 10 mingdan ortiq yozuvlarni tanlashingiz kerak bo'lsa, Scroll-dan foydalanishingiz kerak. O'xshatishdan foydalanish uchun u relyatsion ma'lumotlar bazasidagi kursorga o'xshaydi.
Agar kerak bo'lmasa, postfilterdan foydalanmang. Asosiy namunadagi katta ma'lumotlar bilan bu operatsiya ma'lumotlar bazasini juda yuklaydi.
Kerakli hollarda ommaviy operatsiyalardan foydalaning.
API
APIni loyihalashda uzatiladigan ma'lumotlarni minimallashtirish talablarini kiriting. Bu, ayniqsa, front bilan bog'liq: biz ma'lumotlar markazlarimiz kanallaridan tashqariga chiqamiz va bizni mijoz bilan bog'laydigan kanal ustida ishlamoqdamiz. Agar u eng kichik muammoga duch kelsa, juda ko'p trafik salbiy foydalanuvchi tajribasini keltirib chiqaradi.
Va nihoyat, ma'lumotlarning to'liq to'plamini tashlamang, iste'molchilar va etkazib beruvchilar o'rtasidagi shartnoma haqida aniq bo'ling.
Tashkiliy transformatsiya
Eroshkina Elena, IT bo'yicha direktor o'rinbosari
Karantin ro'y bergan va onlayn rivojlanish sur'atlarini keskin oshirish va omnikanal xizmatlarni joriy etish zarurati tug'ilgan bir paytda biz allaqachon tashkiliy o'zgarishlar jarayonida edik.
Bizning tuzilmamizning bir qismi mahsulotga yondashuv tamoyillari va amaliyotiga muvofiq ishlashga o'tkazildi. Har bir mahsulotning ishlashi va rivojlanishi uchun javobgar bo'lgan jamoalar tuzildi. Bunday jamoalardagi xodimlar 100% ishtirok etadilar va o'z ishlarini Scrum yoki Kanban yordamida tuzadilar, ular uchun nima afzal bo'lishiga qarab, joylashtirish quvurini o'rnatish, texnik amaliyotlarni amalga oshirish, sifatni ta'minlash amaliyoti va boshqalar.
Yaxshiyamki, bizning mahsulot jamoalarimizning asosiy qismi onlayn va omnikanal xizmatlar sohasida edi. Bu bizga eng qisqa vaqt ichida (jiddiy, tom ma'noda ikki kun ichida) samaradorlikni yo'qotmasdan masofaviy ish rejimiga o'tish imkonini berdi. Moslashtirilgan jarayon bizga yangi ish sharoitlariga tezda moslashish va yangi funksiyalarni yetkazib berishning ancha yuqori sur'atini saqlab qolish imkonini berdi.
Bundan tashqari, biz onlayn biznes chegarasida turgan jamoalarni kuchaytirishimiz kerak. O'shanda biz buni faqat ichki imkoniyatlardan foydalangan holda amalga oshirishimiz mumkinligi ayon bo'ldi. Ikki hafta ichida 50 ga yaqin kishi avval ishlagan hududini o‘zgartirib, ular uchun yangi bo‘lgan mahsulot ustida ishlashga kirishdi.
Bu hech qanday maxsus boshqaruv harakatlarini talab qilmadi, chunki biz o'z jarayonimizni tashkil qilish, mahsulotni texnik jihatdan yaxshilash va sifatni ta'minlash amaliyoti bilan bir qatorda, biz jamoalarimizga o'z-o'zini tashkil etishga - ma'muriy resurslarni jalb qilmasdan o'z ishlab chiqarish jarayonini boshqarishga o'rgatamiz.
Biz boshqaruv resurslarimizni aynan o‘sha paytda zarur bo‘lgan joyga – biznes bilan birgalikda muvofiqlashtirishga yo‘naltira oldik: mijozimiz uchun hozir nima muhim, birinchi navbatda qaysi funksionallikni joriy qilish kerak, o‘tkazish qobiliyatini oshirish uchun nima qilish kerak. buyurtmalarni yetkazib berish va qayta ishlash. Bularning barchasi va aniq namuna namunasi ushbu davrda ishlab chiqarish qiymati oqimlarimizni haqiqatan ham muhim va zarur bo'lgan narsalar bilan to'ldirishga imkon berdi.
Masofaviy ish va o'zgarishlarning yuqori sur'atlari bilan, biznes ko'rsatkichlari hamma ishtirokiga bog'liq bo'lsa, siz faqat "Bizda hamma narsa yaxshi ketyaptimi?" serialidagi ichki his-tuyg'ularga tayanib bo'lmasligi aniq. Ha, yaxshi ko'rinadi." Ishlab chiqarish jarayonining ob'ektiv ko'rsatkichlari kerak. Bizda bular bor, ular mahsulot guruhlari ko'rsatkichlariga qiziqqan har bir kishi uchun mavjud. Avvalo, jamoaning o'zi, biznes, subpudratchilar va boshqaruv.
Har ikki haftada bir marta har bir jamoa bilan maqom o'tkaziladi, unda 10 daqiqa davomida ko'rsatkichlar tahlil qilinadi, ishlab chiqarish jarayonidagi qiyinchiliklar aniqlanadi va birgalikda yechim ishlab chiqiladi: bu to'siqlarni bartaraf etish uchun nima qilish kerak. Bu erda aniqlangan muammo jamoalarning ta'sir zonasidan tashqarida bo'lsa yoki shunga o'xshash muammoga duch kelgan hamkasblarning tajribasidan tashqarida bo'lsa, darhol rahbariyatdan yordam so'rashingiz mumkin.
Biroq, biz bir necha marta tezlashtirish uchun (va aynan shu maqsadni o'z oldimizga qo'yganmiz), biz hali ham ko'p narsalarni o'rganishimiz va uni kundalik ishimizda amalga oshirishimiz kerakligini tushunamiz. Hozirda biz mahsulotga yondashuvimizni boshqa jamoalar va yangi mahsulotlarga kengaytirishda davom etmoqdamiz. Buning uchun biz uchun yangi format – metodistlar onlayn maktabini o‘zlashtirishimiz kerak edi.
Metodologlar, jamoalarga jarayonni qurish, aloqalarni o'rnatish va ish samaradorligini oshirishga yordam beradigan odamlar mohiyatan o'zgarishlar agentlaridir. Hozirda birinchi kogortamiz bitiruvchilari jamoalar bilan ishlamoqda va ularga muvaffaqiyat qozonishda yordam bermoqda.
O'ylaymanki, hozirgi vaziyat biz uchun, ehtimol, o'zimiz hali to'liq xabardor bo'lmagan imkoniyatlar va istiqbollarni ochib beradi. Ammo hozir to‘planib borayotgan tajriba va amaliyot biz rivojlanishning to‘g‘ri yo‘lini tanlaganimizni tasdiqlaydi, biz kelajakda bu yangi imkoniyatlarni qo‘ldan boy bermaymiz va Sportmaster duch keladigan muammolarga xuddi shunday samarali javob bera olamiz.
topilmalar
Ushbu qiyin davrda biz dasturiy ta'minotni ishlab chiqishning asosiy tamoyillarini ishlab chiqdik, bu, menimcha, bu bilan shug'ullanadigan har bir kompaniya uchun dolzarb bo'ladi.
odamlar. Hamma narsa shu narsaga tayanadi. Xodimlar o'z ishlaridan zavqlanishlari va kompaniyaning maqsadlari va ular ustida ishlayotgan mahsulotlarning maqsadlarini tushunishlari kerak. Va, albatta, ular professional darajada rivojlanishi mumkin edi.
texnologiya. Kompaniya o'zining texnologik to'plami bilan ishlashga etuk yondashuvni qo'llashi va haqiqatan ham zarur bo'lgan joyda vakolatlarni shakllantirishi kerak. Bu juda oddiy va tushunarli ko'rinadi. Va ko'pincha e'tiborga olinmaydi.
Jarayonlar. Mahsulot guruhlari va malaka markazlari ishini to'g'ri tashkil etish, u bilan sherik sifatida ishlash uchun biznes bilan o'zaro aloqani o'rnatish muhimdir.
Umuman olganda, biz omon qoldik. Bizning zamonamizning asosiy tezislari peshonaga jarangdor chertish bilan yana bir bor tasdiqlandi
Agar siz ko'plab do'konlar va o'zingiz faoliyat yuritadigan bir qancha shaharlarga ega yirik oflayn biznes bo'lsangiz ham, onlayn biznesingizni rivojlantiring. Bu shunchaki qo'shimcha savdo kanali yoki chiroyli dastur emas, u orqali siz ham biror narsa sotib olishingiz mumkin (shuningdek, raqobatchilarda ham chiroylilari bor). Bu bo'ronni engishga yordam beradigan zaxira shina emas.
Bu mutlaq zaruratdir. Buning uchun nafaqat sizning texnik imkoniyatlaringiz va infratuzilmangiz, balki sizning odamlaringiz va jarayonlaringiz ham tayyor bo'lishi kerak. Axir, siz bir necha soat ichida tezda qo'shimcha xotira, joy sotib olishingiz, yangi nusxalarni joylashtirishingiz va hokazo. Lekin odamlar va jarayonlar bunga oldindan tayyorlanishi kerak.
Manba: www.habr.com