Оно што нам је помогло да се брзо прилагодимо онлајн трговању у новим условима

Здраво!

Зовем се Михаил, заменик сам директора за ИТ у компанији Спортмастер. Желим да поделим причу о томе како смо се носили са изазовима који су настали током пандемије.

У првим данима нове реалности, уобичајени формат офлајн трговања Спортмастер-а се замрзнуо, а оптерећење нашег онлајн канала, пре свега у погледу испоруке на адресу клијента, порасло је 10 пута. За само неколико недеља трансформисали смо огроман офлајн посао у онлајн и прилагодили услугу потребама наших клијената.

У суштини, оно што је у суштини била наша споредна операција постало је наш основни посао. Значај сваке онлајн поруџбине је изузетно порастао. Било је потребно уштедети сваку рубљу коју је клијент донео компанији. 

Да бисмо брзо одговорили на захтеве купаца, отворили смо додатни контакт центар у главној канцеларији компаније, и сада можемо да примимо око 285 хиљада позива недељно. Истовремено, преместили смо 270 продавница у нови бесконтактни и безбедан формат рада, који је омогућио купцима да примају наруџбине, а запосленима да задрже своја радна места.

Током процеса трансформације наишли смо на два главна проблема. Прво, оптерећење наших онлајн ресурса се значајно повећало (Сергеј ће вам рећи како смо се носили са овим). Друго, ток ретких (пре-ЦОВИД) операција се вишеструко повећао, што је заузврат захтевало велику количину брзе аутоматизације. Да бисмо решили овај проблем, морали смо брзо да пребацимо ресурсе из области које су раније биле главне. Елена ће вам рећи како смо решили ово.

Рад онлајн услуга

Колесников Сергеј, одговоран за рад онлајн продавнице и микросервиса

Од тренутка када су наше малопродаје почеле да се затварају за посетиоце, почели смо да бележимо пораст метрика као што су број корисника, број поруџбина у нашој апликацији и број захтева за апликације. 

Број поруџбина од 18. марта до 31. мартаБрој захтева микросервисима за онлајн плаћањеБрој поруџбина постављених на веб страници

На првом графикону видимо да је повећање било приближно 14 пута, у другом - 4 пута. Сматрамо да је метрика времена одговора наших апликација најиндикативнија. 

На овом графикону видимо одзив фронтова и апликација, а за себе смо утврдили да нисмо приметили никакав раст као такав.

То је првенствено због чињенице да смо припремне радове започели крајем 2019. године. Сада су наше услуге резервисане, толеранција грешака је обезбеђена на нивоу физичких сервера, система виртуелизације, доцкер-а и сервиса у њима. Истовремено, капацитет ресурса нашег сервера омогућава нам да издржимо вишеструка оптерећења.

Главни алат који нам је помогао у целој овој причи био је наш систем за праћење. Истина, до недавно нисмо имали јединствен систем који би нам омогућио да прикупљамо метрику на свим нивоима, од нивоа физичке опреме и хардвера до нивоа пословних метрика. 

Формално је у компанији постојао мониторинг, али је по правилу био дисперзиран и био је у зони одговорности појединих одељења. У ствари, када се десио инцидент, скоро никада нисмо имали заједничко разумевање шта се тачно догодило, није било комуникације, а често је то доводило до трчања у круг да пронађемо и изолујемо проблем како би се могао решити.

У једном тренутку смо помислили и закључили да нам је доста тога да издржимо – потребан нам је јединствен систем да бисмо сагледали целу слику у потпуности. Главне технологије које су укључене у наш стацк су Заббик као центар за складиштење упозорења и метрике, Прометхеус за прикупљање и складиштење метрике апликације, Стацк ЕЛК за евидентирање и складиштење података из читавог система за праћење, као и Графана за визуелизацију, Сваггер, Доцкер и друге корисне и ствари које су вам познате.

Истовремено, не користимо само технологије доступне на тржишту, већ и развијамо неке од наших. На пример, правимо услуге за међусобно интеграцију система, односно неку врсту АПИ-ја за прикупљање метрика. Осим тога, радимо на сопственим системима за праћење – на нивоу пословних метрика користимо УИ тестове. И такође бот у Телеграму за обавештавање тимова.

Такође покушавамо да систем за праћење учинимо доступним тимовима како би могли независно да чувају и раде са својим метрикама, укључујући подешавање упозорења за неке уске метрике које се не користе широко. 

У целом систему тежимо проактивности и што бржем локализацији инцидената. Поред тога, број наших микросервиса и система је значајно порастао у последње време, а сходно томе и број интеграција. И као део оптимизације процеса дијагностиковања инцидената на нивоу интеграције, развијамо систем који вам омогућава да спроведете међусистемске провере и прикажете резултат, који вам омогућава да пронађете главне проблеме повезане са увозом и интеракцијом система са један другог. 

Наравно, још увек имамо простора за раст и развој у погледу оперативних система и на томе активно радимо. Можете прочитати више о нашем систему за праћење овде. 

Технички тестови 

Орлов Сергеј, руководи центар компетенција за развој веба и мобилних уређаја

Од када је почело физичко затварање продавница, суочили смо се са разним изазовима из перспективе развоја. Пре свега, пораст оптерећења као такав. Јасно је да ако се не предузму одговарајуће мере, онда када се систем примени на велико оптерећење, може се претворити у бундеву са тужним праском, или потпуно деградирати перформансе, или чак изгубити своју функционалност.

Други аспект, мало мање очигледан, јесте да је систем под великим оптерећењем морао да се мења веома брзо, прилагођавајући се променама у пословним процесима. Понекад неколико пута дневно. Многе компаније имају правило да ако постоји много маркетиншких активности, нема потребе да се мењају у систему. Никакав, нека ради док ради.

А ми смо у суштини имали бескрајни Црни петак, током којег је било неопходно променити систем. И свака грешка, проблем или квар у систему би били веома скупи за посао.

Гледајући унапред, рећи ћу да смо успели да се носимо са овим тестовима, сви системи су издржали оптерећење, лако су се скалирали и нисмо доживели глобалне техничке кварове.

Постоје четири стуба на којима почива способност система да издржи велика пренапонска оптерећења. Први од њих је праћење, о чему сте прочитали мало изнад. Без уграђеног система за праћење, скоро је немогуће пронаћи уска грла у систему. Добар систем за праћење је као кућна одећа; требало би да буде удобан и прилагођен вама.

Други аспект је тестирање. Ову тачку схватамо веома озбиљно: пишемо класичне јединице, интеграционе тестове, тестове оптерећења и многе друге за сваки систем. Такође пишемо стратегију тестирања, а истовремено покушавамо да повећамо ниво тестирања до те мере да нам више нису потребне ручне провере.

Трећи стуб је ЦИ/ЦД Пипелине. Процеси изградње, тестирања и постављања апликације треба да буду аутоматизовани што је више могуће; не би требало да постоји ручна интервенција. Тема ЦИ/ЦД Пипелине-а је прилично дубока и дотакнућу се само укратко. Само је вредно напоменути да имамо контролну листу ЦИ/ЦД Пипелине-а, кроз коју сваки тим производа пролази уз помоћ центара за компетенције.

А ево и контролне листе

На овај начин се постижу многи циљеви. Ово је АПИ верзија и пребацивање функција да би се избегло издавање, и постизање покривености различитих тестова на таквом нивоу да је тестирање потпуно аутоматизовано, примену беспрекорно, итд.

Четврти стуб су архитектонски принципи и техничка решења. О архитектури можемо много да причамо дуго, али желим да истакнем пар принципа на које бих желео да се фокусирам.

Прво, морате одабрати специјализоване алате за одређене задатке. Да, звучи очигледно, и јасно је да ексере треба забијати чекићем, а ручне сатове растављати специјалним шрафцигерима. Али у нашем добу многи алати теже универзализацији како би покрили максималан сегмент корисника: базе података, кеш меморије, оквири и остало. На пример, ако узмете базу података МонгоДБ, она ради са трансакцијама са више докумената, а Орацле база података ради са јсон-ом. И чини се да се све може користити за све. Али ако се залажемо за продуктивност, онда морамо јасно разумети снаге и слабости сваког алата и користити оне које су нам потребне за нашу класу задатака. 

Друго, приликом пројектовања система свако повећање сложености мора бити оправдано. Ово морамо стално имати на уму, принцип ниске спреге је свима познат. Сматрам да то треба применити и на нивоу конкретне службе, и на нивоу читавог система, и на нивоу архитектонског пејзажа. Могућност хоризонталног скалирања сваке компоненте система дуж путање оптерећења је такође важна. Ако имате ову способност, скалирање неће бити тешко.

Говорећи о техничким решењима, замолили смо производне тимове да припреме свеж сет препорука, идеја и решења, које су имплементирали у припреми за следећи талас оптерећења.

Кесхи

Неопходно је свесно приступити избору локалних и дистрибуираних кеша. Понекад има смисла користити оба у оквиру истог система. На пример, имамо системе у којима су неки од података у суштини кеш за излог, односно извор ажурирања се налази иза самог система и системи се не мењају. ове податке. За овај приступ користимо локални Цацхе Цацхе. 

И постоје подаци да се систем активно мења током рада, а овде већ користимо дистрибуирани кеш са Хазелцастом. Овај приступ нам омогућава да користимо предности дистрибуиране кеш меморије тамо где су оне заиста потребне и минимизирамо трошкове сервиса кружења података Хазелцаст кластера тамо где можемо без њих. Писали смо доста о кешовима. овде и овде.

Поред тога, промена серијализера у Крио у Хазелцасту дала нам је добар подстицај. А прелазак са РеплицатедМап на ИМАп + Неар Цацхе у Хазелцасту нам је омогућио да минимизирамо кретање података кроз кластер. 

Мали савет: у случају масовног поништавања кеша, понекад је применљива тактика загревања другог кеша и преласка на њега. Чини се да би оваквим приступом требало да добијемо дуплу потрошњу меморије, али у пракси, у оним системима где је то практиковано, потрошња меморије је смањена.

Реактивни стек

Реактивни стек користимо у прилично великом броју система. У нашем случају, ово је Вебфлук или Котлин са корутинама. Реактивни стек је посебно добар тамо где очекујемо споре улазно-излазне операције. На пример, позиви спорим услугама, рад са системом датотека или системима за складиштење.

Најважнији принцип је избегавање блокирања позива. Реактивни оквири имају мали број живих сервисних нити које раде испод хаубе. Ако немарно дозволимо себи да упутимо директан блокирајући позив, као што је позив ЈДБЦ драјвера, систем ће се једноставно зауставити. 

Покушајте да претворите грешке у сопствени изузетак времена извршавања. Стварни ток извршавања програма прелази на реактивне оквире, а извршавање кода постаје нелинеарно. Као резултат тога, веома је тешко дијагностиковати проблеме помоћу праћења стекова. А решење би овде било креирање јасних, објективних изузетака времена извршавања за сваку грешку.

Еластицсеарцх

Када користите Еластицсеарцх, немојте бирати неискоришћене податке. Ово је, у принципу, такође врло једноставан савет, али најчешће се то заборавља. Ако треба да изаберете више од 10 хиљада записа одједном, потребно је да користите Сцролл. Да користимо аналогију, то је помало као курсор у релационој бази података. 

Немојте користити постфилтер осим ако је неопходно. Са великим подацима у главном узорку, ова операција у великој мери учитава базу података. 

Користите масовне операције где је то могуће.

АПИ за

Када дизајнирате АПИ, укључите захтеве за минимизирање пренетих података. Ово је посебно тачно у вези са предњом страном: управо на овој раскрсници излазимо ван канала наших дата центара и већ радимо на каналу који нас повезује са клијентом. Ако има и најмањи проблем, превише саобраћаја узрокује негативно корисничко искуство.

И на крају, не бацајте читаву гомилу података, будите јасни у вези са уговором између потрошача и добављача.

Организациона трансформација

Ерошкина Елена, заменик директора за ИТ

У тренутку када се десио карантин, а указала се потреба да се нагло повећа темпо онлајн развоја и уведе омниканал сервиси, већ смо били у процесу организационе трансформације. 

Део наше структуре је пребачен на рад по принципима и пракси производног приступа. Формирани су тимови који су сада одговорни за рад и развој сваког производа. Запослени у таквим тимовима су 100% укључени и структурирају свој рад користећи Сцрум или Канбан, у зависности од тога шта им је боље, постављање цевовода за имплементацију, имплементацију техничких пракси, праксе осигурања квалитета и још много тога.

Срећом, већина наших производних тимова била је у области онлајн и омниканалних услуга. То нам је омогућило да пређемо на даљински рад у најкраћем могућем року (озбиљно, буквално за два дана) без губитка ефикасности. Прилагођени процес нам је омогућио да се брзо прилагодимо новим условима рада и одржимо прилично висок темпо испоруке нове функционалности.

Поред тога, имамо потребу да ојачамо оне тимове који су на граници онлајн пословања. У том тренутку је постало јасно да то можемо да урадимо само користећи интерне ресурсе. А око 50 људи за две недеље променило је област у којој су раније радили и укључило се у рад на производу који је за њих био нов. 

Ово није захтевало посебне напоре менаџмента, јер уз организовање сопственог процеса, техничко унапређење производа и праксе обезбеђења квалитета, учимо наше тимове да се самоорганизују – да управљају сопственим производним процесом без укључивања административних ресурса.

Били смо у могућности да фокусирамо наше управљачке ресурсе тачно тамо где је то било потребно у том тренутку - на координацију заједно са пословањем: шта је тренутно важно за нашег клијента, коју функционалност прво треба да имплементирамо, шта треба да урадимо да бисмо повећали нашу пропусну способност за испоруку и обраду налога. Све ово и јасан узор омогућили су да у овом периоду наше производне токове вредности оптеретимо оним што је заиста важно и неопходно. 

Јасно је да се уз рад на даљину и велики темпо промена, када показатељи пословања зависе од свачијег учешћа, не можете ослонити само на унутрашња осећања из серије „Да ли је код нас све у реду? Да, изгледа добро.” Потребна је објективна метрика производног процеса. Имамо их, доступни су свима који су заинтересовани за метрику производних тимова. Пре свега сам тим, бизнис, подизвођачи и менаџмент.

Једном у две недеље са сваким тимом се одржава статус, где се метрика анализира 10 минута, идентификују уска грла у производном процесу и развија се заједничко решење: шта се може учинити да се та уска грла елиминишу. Овде можете одмах затражити помоћ од менаџмента ако је било који идентификовани проблем изван зоне утицаја тимова, или стручност колега који су се можда већ сусрели са сличним проблемом.

Међутим, разумемо да, да бисмо вишеструко убрзали (а то је управо циљ који смо себи поставили), морамо још много да научимо и применимо у свакодневном раду. Управо сада настављамо да ширимо наш приступ производу другим тимовима и новим производима. Да бисмо то урадили, морали смо да савладамо нови формат за нас - онлајн школу методичара.

Методолози, људи који помажу тимовима да изграде процес, успоставе комуникацију и побољшају радну ефикасност, у суштини су агенти промена. Управо сада, дипломци наше прве кохорте раде са тимовима и помажу им да постану успешни. 

Мислим да нам тренутна ситуација отвара могућности и перспективе којих можда ни сами нисмо у потпуности свесни. Али искуство и пракса коју управо сада стичемо потврђује да смо изабрали прави пут развоја, да нећемо пропустити ове нове прилике у будућности и да ћемо моћи једнако ефикасно да одговоримо на изазове са којима ће се Спортмастер суочити.

Налази

У овом тешком времену формулисали смо главне принципе на којима почива развој софтвера, који ће, мислим, бити релевантни за сваку компанију која се овим бави.

Људи. То је оно на чему све почива. Запослени морају да уживају у свом послу и да разумеју циљеве компаније и циљеве производа на којима раде. И, наравно, могли би се професионално развијати. 

Технология. Неопходно је да компанија заузме зрео приступ раду са својим технолошким пакетом и изгради компетенције тамо где је то заиста потребно. Звучи врло једноставно и очигледно. И врло често игнорисани.

Процеси. Важно је правилно организовати рад производних тимова и центара компетенција, успоставити интеракцију са бизнисом како би се са њим сарађивало као партнер.

Генерално, тако смо углавном преживели. Главна теза нашег времена је још једном потврђена, уз звучни клик на челу

Чак и ако сте велики офлајн посао са много продавница и гомилом градова у којима послујете, развијајте своје онлајн пословање. Ово није само додатни канал продаје или прелепа апликација преко које можете нешто да купите (а и зато што конкуренти имају и лепе). Ово није резервна гума за сваки случај која ће вам помоћи да пребродите олују.

Ово је апсолутна потреба. За шта морају бити припремљени не само ваше техничке могућности и инфраструктура, већ и ваши људи и процеси. На крају крајева, можете брзо купити додатну меморију, простор, поставити нове инстанце итд. за неколико сати. Али људи и процеси морају бити припремљени за ово унапред.

Извор: ввв.хабр.цом