Hi!
Fy enw i yw Mikhail, fi yw Dirprwy Gyfarwyddwr TG cwmni Sportmaster. Rwyf am rannu’r stori am sut y gwnaethom ymdrin â’r heriau a gododd yn ystod y pandemig.
Yn ystod dyddiau cyntaf y realiti newydd, rhewodd fformat masnachu all-lein arferol Sportmaster, a chynyddodd y llwyth ar ein sianel ar-lein, yn bennaf o ran danfon i gyfeiriad y cleient, 10 gwaith. Mewn ychydig wythnosau yn unig, fe wnaethom drawsnewid busnes all-lein enfawr yn un ar-lein ac addasu'r gwasanaeth i anghenion ein cleientiaid.
Yn y bôn, yr hyn a oedd yn ei hanfod yw ein gweithrediad ochr daeth ein busnes craidd. Mae pwysigrwydd pob archeb ar-lein wedi cynyddu'n aruthrol. Roedd angen arbed pob rwbl yr oedd y cleient yn ei ddwyn i'r cwmni.
Er mwyn ymateb yn gyflym i geisiadau cwsmeriaid, fe wnaethom agor canolfan gyswllt ychwanegol ym mhrif swyddfa'r cwmni, a gallwn bellach dderbyn tua 285 mil o alwadau'r wythnos. Ar yr un pryd, symudom 270 o siopau i fformat gweithredu digyffwrdd a diogel newydd, a oedd yn caniatáu i gwsmeriaid dderbyn archebion a gweithwyr i gynnal eu swyddi.
Yn ystod y broses drawsnewid, cawsom ddwy brif broblem. Yn gyntaf, mae'r llwyth ar ein hadnoddau ar-lein wedi cynyddu'n sylweddol (bydd Sergey yn dweud wrthych sut y gwnaethom ddelio â hyn). Yn ail, mae llif gweithrediadau prin (cyn-COVID) wedi cynyddu lawer gwaith drosodd, a oedd yn ei dro yn gofyn am lawer iawn o awtomeiddio cyflym. I ddatrys y broblem hon, bu'n rhaid i ni drosglwyddo adnoddau'n gyflym o feysydd a oedd gynt yn brif rai. Bydd Elena yn dweud wrthych sut y gwnaethom ddelio â hyn.
Gweithredu gwasanaethau ar-lein
Kolesnikov Sergey, sy'n gyfrifol am weithrediad y siop ar-lein a microwasanaethau
O'r eiliad y dechreuodd ein siopau manwerthu gau i ymwelwyr, dechreuasom gofnodi cynnydd mewn metrigau megis nifer y defnyddwyr, nifer yr archebion a roddwyd yn ein cais, a nifer y ceisiadau i geisiadau.
Nifer y gorchmynion rhwng Mawrth 18 a Mawrth 31Nifer y ceisiadau i ficrowasanaethau talu ar-leinNifer yr archebion a roddwyd ar y wefan
Yn y graff cyntaf gwelwn fod y cynnydd oddeutu 14 gwaith, yn yr ail - 4 gwaith. Ystyriwn mai metrig amser ymateb ein ceisiadau yw'r un mwyaf dangosol.
Yn y graff hwn gwelwn ymateb ffryntiau a chymwysiadau, a throsom ein hunain penderfynasom na wnaethom sylwi ar unrhyw dwf fel y cyfryw.
Mae hyn yn bennaf oherwydd y ffaith inni ddechrau ar y gwaith paratoi ar ddiwedd 2019. Nawr bod ein gwasanaethau wedi'u cadw, mae goddefgarwch namau yn cael ei sicrhau ar lefel gweinyddwyr ffisegol, systemau rhithwiroli, docwyr a gwasanaethau ynddynt. Ar yr un pryd, mae gallu adnoddau ein gweinydd yn ein galluogi i wrthsefyll llwythi lluosog.
Y prif declyn a’n helpodd yn y stori gyfan hon oedd ein system fonitro. Yn wir, tan yn eithaf diweddar nid oedd gennym un system a fyddai'n caniatáu inni gasglu metrigau ar bob haen, o lefel yr offer corfforol a'r caledwedd i lefel metrigau busnes.
Yn ffurfiol, roedd monitro yn y cwmni, ond fel rheol roedd yn wasgaredig ac roedd ym maes cyfrifoldeb adrannau penodol. Mewn gwirionedd, pan ddigwyddodd digwyddiad, ni chawsom bron erioed ddealltwriaeth gyffredin o beth yn union a ddigwyddodd, nid oedd unrhyw gyfathrebu, ac yn aml arweiniodd hyn at redeg mewn cylchoedd i ddod o hyd i'r broblem a'i ynysu fel y gellid ei datrys.
Ar ryw adeg, fe wnaethom feddwl a phenderfynu bod gennym ddigon o ddyfalbarhau hyn - roedd angen system unedig i weld y darlun cyfan yn llawn. Y prif dechnolegau sydd wedi'u cynnwys yn ein pentwr yw Zabbix fel canolfan storio rhybuddion a metrigau, Prometheus ar gyfer casglu a storio metrigau cymhwysiad, Stack ELK ar gyfer logio a storio data o'r system fonitro gyfan, yn ogystal â Grafana ar gyfer delweddu, Swagger, Docker a phethau defnyddiol eraill sy'n gyfarwydd i chi.
Ar yr un pryd, rydym yn defnyddio nid yn unig technolegau sydd ar gael ar y farchnad, ond hefyd yn datblygu rhai ein hunain. Er enghraifft, rydym yn gwneud gwasanaethau ar gyfer integreiddio systemau â'i gilydd, hynny yw, rhyw fath o API ar gyfer casglu metrigau. Hefyd rydym yn gweithio ar ein systemau monitro ein hunain - ar lefel metrigau busnes rydym yn defnyddio profion UI. A hefyd bot yn Telegram i hysbysu timau.
Rydym hefyd yn ceisio gwneud y system fonitro yn hygyrch i dimau fel y gallant storio a gweithio'n annibynnol gyda'u metrigau, gan gynnwys sefydlu rhybuddion ar gyfer rhai metrigau cul nad ydynt yn cael eu defnyddio'n eang.
Ar draws y system, rydym yn ymdrechu i fod yn rhagweithiol a lleoleiddio digwyddiadau cyn gynted â phosibl. Yn ogystal, mae nifer ein microwasanaethau a systemau wedi cynyddu'n sylweddol yn ddiweddar, ac mae nifer yr integreiddiadau wedi cynyddu yn unol â hynny. Ac fel rhan o optimeiddio'r broses o wneud diagnosis o ddigwyddiadau ar y lefel integreiddio, rydym yn datblygu system sy'n eich galluogi i gynnal gwiriadau traws-system ac arddangos y canlyniad, sy'n eich galluogi i ddod o hyd i'r prif broblemau sy'n gysylltiedig â mewnforion a rhyngweithio systemau â eich gilydd.
Wrth gwrs, mae gennym le i dyfu a datblygu o hyd o ran systemau gweithredu, ac rydym wrthi’n gweithio ar hyn. Gallwch ddarllen mwy am ein system fonitro .
Profion technegol
Orlov Sergey, yw pennaeth y ganolfan gymhwysedd ar gyfer datblygu gwe a symudol
Ers i'r gwaith o gau siopau ffisegol ddechrau, rydym wedi wynebu heriau amrywiol o safbwynt datblygu. Yn gyntaf oll, yr ymchwydd llwyth fel y cyfryw. Mae'n amlwg, os na chymerir mesurau priodol, yna pan fydd llwyth uchel yn cael ei gymhwyso i'r system, gall droi'n bwmpen gyda chlec drist, neu ddiraddio'n llwyr mewn perfformiad, neu hyd yn oed golli ei ymarferoldeb.
Yr ail agwedd, ychydig yn llai amlwg, yw bod yn rhaid newid y system dan lwyth uchel yn gyflym iawn, gan addasu i newidiadau mewn prosesau busnes. Weithiau sawl gwaith y dydd. Mae gan lawer o gwmnïau reol, os oes llawer o weithgarwch marchnata, nad oes angen gwneud unrhyw newidiadau i'r system. Dim o gwbl, gadewch iddo weithio cyhyd â'i fod yn gweithio.
Ac yn y bôn cawsom Ddydd Gwener Du diddiwedd, pan oedd angen newid y system. A byddai unrhyw gamgymeriad, problem, neu fethiant yn y system yn gostus iawn i'r busnes.
Wrth edrych ymlaen, byddaf yn dweud ein bod wedi llwyddo i ymdopi â'r profion hyn, bod pob system wedi gwrthsefyll y llwyth, yn hawdd i'w graddio, ac ni chawsom unrhyw fethiannau technegol byd-eang.
Mae pedwar piler y mae gallu'r system i wrthsefyll llwythi ymchwydd uchel yn dibynnu arnynt. Y cyntaf ohonynt yw monitro, y darllenwch amdano ychydig uchod. Heb system fonitro adeiledig, mae bron yn amhosibl dod o hyd i dagfeydd system. Mae system fonitro dda fel dillad cartref; dylai fod yn gyfforddus ac wedi'i theilwra i chi.
Yr ail agwedd yw profi. Rydym yn cymryd y pwynt hwn o ddifrif: rydym yn ysgrifennu unedau clasurol, profion integreiddio, profion llwyth a llawer o rai eraill ar gyfer pob system. Rydym hefyd yn ysgrifennu strategaeth brofi, ac ar yr un pryd yn ceisio cynyddu lefel y profion i'r pwynt nad oes angen gwiriadau llaw arnom mwyach.
Y trydydd piler yw Piblinell CI/CD. Dylid awtomeiddio prosesau adeiladu, profi a defnyddio cais gymaint â phosibl; ni ddylid ymyrryd â llaw. Mae pwnc Piblinell CI/CD yn eithaf dwfn, a dim ond yn fyr y byddaf yn cyffwrdd ag ef. Mae'n werth nodi bod gennym restr wirio Piblinell CI/CD, y mae pob tîm cynnyrch yn mynd drwyddi gyda chymorth canolfannau cymhwysedd.
A dyma'r rhestr wirio
Yn y modd hwn, cyflawnir llawer o nodau. Dyma fersiwn API a togl nodwedd er mwyn osgoi'r trên rhyddhau, a sicrhau sylw i wahanol brofion ar y fath lefel fel bod y profion yn gwbl awtomataidd, bod y gosodiadau'n ddi-dor, ac ati.
Y pedwerydd piler yw egwyddorion pensaernïol ac atebion technegol. Gallwn siarad llawer am bensaernïaeth am amser hir, ond rwyf am bwysleisio cwpl o egwyddorion yr hoffwn ganolbwyntio arnynt.
Yn gyntaf, mae angen i chi ddewis offer arbenigol ar gyfer tasgau penodol. Ydy, mae'n swnio'n amlwg, ac mae'n amlwg y dylid gyrru hoelion i mewn gyda morthwyl, a dylid dadosod wats arddwrn gyda sgriwdreifers arbennig. Ond yn ein hoes ni, mae llawer o offer yn ymdrechu i gyffredinoli er mwyn cwmpasu'r rhan fwyaf o ddefnyddwyr: cronfeydd data, caches, fframweithiau a'r gweddill. Er enghraifft, os cymerwch gronfa ddata MongoDB, mae'n gweithio gyda thrafodion aml-ddogfen, ac mae cronfa ddata Oracle yn gweithio gyda json. Ac mae'n ymddangos y gellir defnyddio popeth ar gyfer popeth. Ond os ydym yn sefyll dros gynhyrchiant, yna mae angen inni ddeall yn glir gryfderau a gwendidau pob offeryn a defnyddio'r rhai sydd eu hangen arnom ar gyfer ein dosbarth o dasgau.
Yn ail, wrth ddylunio systemau, rhaid cyfiawnhau pob cynnydd mewn cymhlethdod. Rhaid inni gadw hyn mewn cof yn gyson; mae egwyddor cyplu isel yn hysbys i bawb. Credaf y dylid ei gymhwyso ar lefel gwasanaeth penodol, ac ar lefel y system gyfan, ac ar lefel y dirwedd bensaernïol. Mae'r gallu i raddio pob cydran system yn llorweddol ar hyd y llwybr llwyth hefyd yn bwysig. Os yw'r gallu hwn gennych, ni fydd graddio yn anodd.
Wrth siarad am atebion technegol, gofynnwyd i dimau cynnyrch baratoi set newydd o argymhellion, syniadau ac atebion, y gwnaethant eu rhoi ar waith wrth baratoi ar gyfer y don nesaf o lwyth gwaith.
Keshi
Mae angen mynd at y dewis o caches lleol a gwasgaredig yn ymwybodol. Weithiau mae'n gwneud synnwyr i ddefnyddio'r ddau o fewn yr un system. Er enghraifft, mae gennym systemau lle mae peth o'r data yn ei hanfod yn storfa arddangos, hynny yw, mae ffynhonnell y diweddariadau wedi'i lleoli y tu ôl i'r system ei hun, ac nid yw'r systemau'n newid y data hwn. Ar gyfer y dull hwn rydym yn defnyddio Caffeine Cache lleol.
Ac mae yna ddata y mae'r system yn ei newid yn weithredol yn ystod y llawdriniaeth, ac yma rydym eisoes yn defnyddio storfa ddosbarthedig gyda Hazelcast. Mae’r dull hwn yn ein galluogi i ddefnyddio buddion storfa ddosbarthedig lle mae eu gwir angen, a lleihau costau gwasanaeth cylchredeg data clwstwr Hazelcast lle gallwn wneud hebddo. Rydyn ni wedi ysgrifennu llawer am caches. и .
Yn ogystal, rhoddodd newid y serializer i Kryo yn Hazelcast hwb da i ni. Ac fe wnaeth y newid o ReplicatedMap i IMap + Near Cache yn Hazelcast ganiatáu i ni leihau symudiad data ar draws y clwstwr.
Ychydig o gyngor: rhag ofn annilysu cache torfol, mae'r dacteg o gynhesu'r ail storfa ac yna newid iddo weithiau'n berthnasol. Mae'n ymddangos y dylem ddefnyddio'r dull hwn o ddefnyddio cof dwbl, ond yn ymarferol, yn y systemau hynny lle'r oedd hyn yn cael ei ymarfer, gostyngodd y defnydd o gof.
Pentwr adweithiol
Rydym yn defnyddio'r stac adweithiol mewn nifer eithaf mawr o systemau. Yn ein hachos ni, dyma Webflux neu Kotlin gyda coroutines. Mae'r stac adweithiol yn arbennig o dda lle rydym yn disgwyl gweithrediadau mewnbwn-allbwn araf. Er enghraifft, galwadau i arafu gwasanaethau, gweithio gyda'r system ffeiliau neu systemau storio.
Yr egwyddor bwysicaf yw osgoi rhwystro galwadau. Mae gan fframweithiau adweithiol nifer fach o edafedd gwasanaeth byw yn rhedeg o dan y cwfl. Os byddwn yn ddiofal yn caniatáu i ni ein hunain wneud galwad blocio uniongyrchol, megis galwad gyrrwr JDBC, bydd y system yn dod i stop.
Ceisiwch droi gwallau yn eithriad amser rhedeg eich hun. Mae llif gwirioneddol gweithredu rhaglenni yn symud i fframweithiau adweithiol, ac mae gweithredu cod yn mynd yn aflinol. O ganlyniad, mae'n anodd iawn gwneud diagnosis o broblemau gan ddefnyddio olion stac. A'r ateb yma fyddai creu eithriadau clir, gwrthrychol o ran amser rhedeg ar gyfer pob gwall.
Elastig
Wrth ddefnyddio Elasticsearch, peidiwch â dewis data nas defnyddiwyd. Mae hwn, mewn egwyddor, hefyd yn gyngor syml iawn, ond yn fwyaf aml dyma'r hyn sy'n cael ei anghofio. Os oes angen i chi ddewis mwy na 10 mil o gofnodion ar y tro, mae angen i chi ddefnyddio Sgrolio. I ddefnyddio cyfatebiaeth, mae ychydig fel cyrchwr mewn cronfa ddata berthynol.
Peidiwch â defnyddio postfilter oni bai bod angen. Gyda data mawr yn y prif sampl, mae'r llawdriniaeth hon yn llwytho'r gronfa ddata yn fawr.
Defnyddiwch weithrediadau swmp lle bo'n berthnasol.
API
Wrth ddylunio API, cynhwyswch ofynion ar gyfer lleihau data a drosglwyddir. Mae hyn yn arbennig o wir mewn cysylltiad â'r blaen: ar y gyffordd hon yr ydym yn mynd y tu hwnt i sianeli ein canolfannau data ac eisoes yn gweithio ar y sianel sy'n ein cysylltu â'r cleient. Os oes ganddo'r broblem leiaf, mae gormod o draffig yn achosi profiad defnyddiwr negyddol.
Ac yn olaf, peidiwch â thaflu llawer o ddata, byddwch yn glir ynghylch y contract rhwng defnyddwyr a chyflenwyr.
Trawsnewid sefydliadol
Eroshkina Elena, Dirprwy Gyfarwyddwr TG
Ar hyn o bryd pan ddigwyddodd cwarantîn, a chododd yr angen i gyflymu datblygiad ar-lein yn sydyn a chyflwyno gwasanaethau omnichannel, roeddem eisoes yn y broses o drawsnewid sefydliadol.
Trosglwyddwyd rhan o'n strwythur i'r gwaith yn unol ag egwyddorion ac arferion y dull cynnyrch. Ffurfiwyd timau sydd bellach yn gyfrifol am weithrediad a datblygiad pob cynnyrch. Mae gweithwyr mewn timau o'r fath yn cymryd rhan 100% ac yn strwythuro eu gwaith gan ddefnyddio Scrum neu Kanban, yn dibynnu ar yr hyn sy'n well ganddynt, sefydlu piblinell lleoli, gweithredu arferion technegol, arferion sicrhau ansawdd, a llawer mwy.
Trwy lwc, roedd mwyafrif ein timau cynnyrch ym maes gwasanaethau ar-lein a omnichannel. Roedd hyn yn ein galluogi i newid i ddull gweithio o bell yn yr amser byrraf posibl (o ddifrif, yn llythrennol mewn dau ddiwrnod) heb golli effeithlonrwydd. Roedd y broses bwrpasol yn ein galluogi i addasu'n gyflym i amodau gwaith newydd a chynnal cyflymder eithaf uchel o ran darparu swyddogaethau newydd.
Yn ogystal, mae angen inni gryfhau’r timau hynny sydd ar flaen y gad ym myd busnes ar-lein. Ar yr adeg honno daeth yn amlwg mai dim ond drwy ddefnyddio adnoddau mewnol y gallem wneud hyn. Ac mewn pythefnos newidiodd tua 50 o bobl yr ardal lle buont yn gweithio o'r blaen a dechrau gweithio ar gynnyrch a oedd yn newydd iddynt.
Nid oedd hyn yn gofyn am unrhyw ymdrechion rheoli arbennig, oherwydd ynghyd â threfnu ein proses ein hunain, gwelliant technegol y cynnyrch, ac arferion sicrhau ansawdd, rydym yn addysgu ein timau i hunan-drefnu - i reoli eu proses gynhyrchu eu hunain heb gynnwys adnoddau gweinyddol.
Roeddem yn gallu canolbwyntio ein hadnoddau rheoli yn union lle roedd eu hangen ar y foment honno - ar gydgysylltu â'r busnes: Yr hyn sy'n bwysig i'n cleient ar hyn o bryd, pa swyddogaethau y dylid eu rhoi ar waith yn gyntaf, beth sydd angen ei wneud i gynyddu ein gallu trwybwn i ddosbarthu a phrosesu archebion. Roedd hyn i gyd a model rôl clir yn ei gwneud hi'n bosibl yn ystod y cyfnod hwn i lwytho ein ffrydiau gwerth cynhyrchu gyda'r hyn sy'n wirioneddol bwysig ac angenrheidiol.
Mae'n amlwg gyda gwaith o bell a chyflymder uchel o newid, pan fo dangosyddion busnes yn dibynnu ar gyfranogiad pawb, ni allwch ddibynnu ar deimladau mewnol yn unig o'r gyfres “Ydy popeth yn mynd yn dda gyda ni? Ydy, mae'n ymddangos yn dda." Mae angen metrigau gwrthrychol o'r broses gynhyrchu. Mae gennym ni'r rhain, maen nhw ar gael i unrhyw un sydd â diddordeb ym metrigau timau cynnyrch. Yn gyntaf oll, y tîm ei hun, y busnes, isgontractwyr a rheolwyr.
Unwaith bob pythefnos, cynhelir statws gyda phob tîm, lle caiff metrigau eu dadansoddi am 10 munud, nodir tagfeydd yn y broses gynhyrchu, a datblygir datrysiad ar y cyd: beth ellir ei wneud i ddileu'r tagfeydd hyn. Yma gallwch ofyn ar unwaith am gymorth gan reolwyr os oes unrhyw broblem a nodwyd y tu allan i barth dylanwad y timau, neu arbenigedd cydweithwyr a allai fod wedi dod ar draws problem debyg eisoes.
Fodd bynnag, rydym yn deall, er mwyn cyflymu sawl gwaith (a dyma'r union nod a osodwyd i ni ein hunain), mae angen i ni ddysgu llawer o hyd a'i roi ar waith yn ein gwaith bob dydd. Ar hyn o bryd rydym yn parhau i raddio ein hymagwedd cynnyrch i dimau eraill a chynhyrchion newydd. I wneud hyn, roedd yn rhaid i ni feistroli fformat newydd i ni - ysgol ar-lein o fethodolegwyr.
Mae methodolegwyr, pobl sy'n helpu timau i adeiladu proses, sefydlu cyfathrebiadau, a gwella effeithlonrwydd gwaith, yn eu hanfod yn gyfryngau newid. Ar hyn o bryd, mae graddedigion ein carfan gyntaf yn gweithio gyda thimau ac yn eu helpu i ddod yn llwyddiannus.
Rwy’n meddwl bod y sefyllfa bresennol yn agor cyfleoedd a rhagolygon inni nad ydym ni ein hunain efallai yn gwbl ymwybodol ohonynt eto. Ond mae’r profiad a’r ymarfer yr ydym yn eu hennill ar hyn o bryd yn cadarnhau ein bod wedi dewis y llwybr datblygu cywir, ni fyddwn yn colli’r cyfleoedd newydd hyn yn y dyfodol a byddwn yn gallu ymateb yr un mor effeithiol i’r heriau y bydd Sportmaster yn eu hwynebu.
Canfyddiadau
Yn ystod y cyfnod anodd hwn, rydym wedi llunio’r prif egwyddorion y mae datblygu meddalwedd yn dibynnu arnynt, a fydd, yn fy marn i, yn berthnasol i bob cwmni sy’n ymdrin â hyn.
Pobl. Dyma beth mae popeth yn dibynnu arno. Rhaid i weithwyr fwynhau eu gwaith a deall nodau'r cwmni a nodau'r cynhyrchion y maent yn gweithio arnynt. Ac, wrth gwrs, gallent ddatblygu'n broffesiynol.
Технология. Mae'n angenrheidiol i'r cwmni fabwysiadu ymagwedd aeddfed tuag at weithio gyda'i stac technoleg ac adeiladu cymwyseddau lle mae ei wir angen. Mae'n swnio'n syml iawn ac yn amlwg. Ac yn aml iawn anwybyddu.
Y prosesau. Mae'n bwysig trefnu gwaith timau cynnyrch a chanolfannau cymhwysedd yn iawn, i sefydlu rhyngweithio â'r busnes er mwyn gweithio gydag ef fel partner.
Yn gyffredinol, dyna sut wnaethon ni oroesi fwy neu lai. Cadarnhawyd prif draethawd ymchwil ein cyfnod unwaith eto, gyda chlicio ysgubol ar y talcen
Hyd yn oed os ydych chi'n fusnes all-lein enfawr gyda llawer o siopau a chriw o ddinasoedd lle rydych chi'n gweithredu, datblygwch eich busnes ar-lein. Nid sianel werthu ychwanegol yn unig yw hon neu gymhwysiad hardd y gallwch chi hefyd brynu rhywbeth trwyddo (a hefyd oherwydd bod gan gystadleuwyr rai hardd hefyd). Nid yw hwn yn deiar sbâr rhag ofn i'ch helpu chi i oroesi'r storm.
Mae hyn yn anghenraid llwyr. Ar gyfer hyn mae'n rhaid paratoi nid yn unig eich galluoedd technegol a'ch seilwaith, ond hefyd eich pobl a'ch prosesau. Wedi'r cyfan, gallwch yn gyflym brynu cof ychwanegol, gofod, defnyddio achosion newydd, ac ati mewn ychydig oriau. Ond mae angen paratoi pobl a phrosesau ar gyfer hyn ymlaen llaw.
Ffynhonnell: hab.com