Conas a bhailigh muid sonraí ar fheachtais fógraíochta ó shuímh ar líne (an cosán dealraitheach chuig an táirge)

Dealraíonn sé gur cheart go mbeadh réimse na fógraíochta ar líne chomh hard agus is féidir ó thaobh teicneolaíochta de agus uathoibrithe. Ar ndóigh, toisc go n-oibríonn fathaigh agus saineolaithe den sórt sin ina réimse mar Yandex, Mail.Ru, Google agus Facebook ann. Ach, mar a d'éirigh sé amach, níl aon teorainn le foirfeacht agus tá rud éigin le uathoibriú i gcónaí.

Conas a bhailigh muid sonraí ar fheachtais fógraíochta ó shuímh ar líne (an cosán dealraitheach chuig an táirge)
Foinse

Grúpa cumarsáide Líonra Dentsu Aegis Rúis an t-imreoir is mó sa mhargadh fógraíochta digiteach agus tá sé ag infheistiú go gníomhach i dteicneolaíocht, ag iarraidh a phróisis ghnó a bharrfheabhsú agus a uathoibriú. Ceann de na fadhbanna gan réiteach atá ag an margadh fógraíochta ar líne ná an tasc staitisticí a bhailiú ar fheachtais fógraíochta ó ardáin Idirlín éagsúla. Mar thoradh ar réiteach na faidhbe seo cruthaíodh táirge ar deireadh D1.Digital (léigh mar DiVan), a bhfuilimid ag iarraidh labhairt faoi a fhorbairt.

Cén fáth?

1. Nuair a cuireadh tús leis an tionscadal, ní raibh aon táirge réidh amháin ar an margadh a réitigh an fhadhb a bhaineann le bailiú staitisticí feachtais fógraíochta a uathoibriú. Ciallaíonn sé seo nach sásóidh aon duine ach muid féin ár riachtanais.

Tairgeann seirbhísí cosúil le Improvado, Roistat, Supermetrics, SegmentStream comhtháthú le hardáin, líonraí sóisialta agus Google Analitycs, agus is féidir freisin deais anailíse a thógáil le haghaidh anailís áisiúil agus rialú feachtais fógraíochta. Sular thosaigh muid ag forbairt ár dtáirge, rinneamar iarracht cuid de na córais seo a úsáid chun sonraí a bhailiú ó láithreáin, ach, ar an drochuair, níorbh fhéidir leo ár gcuid fadhbanna a réiteach.

Ba í an phríomhfhadhb ná go raibh na táirgí a tástáladh ag brath ar fhoinsí sonraí, ag taispeáint staitisticí socrúcháin de réir an tsuímh, agus nár sholáthair siad an cumas staitisticí a chomhiomlánú ar fheachtais fógraíochta. Níor lig an cur chuige seo dúinn staitisticí ó shuímh éagsúla a fheiceáil in aon áit amháin agus anailís a dhéanamh ar staid an fheachtais ina iomláine.

Fachtóir eile a bhí ann ná go raibh na táirgí dírithe ar mhargadh an Iarthair ag na céimeanna tosaigh agus níor thacaigh siad le comhtháthú le suíomhanna na Rúise. Agus maidir leis na suíomhanna sin lenar cuireadh an comhtháthú i bhfeidhm, níor íoslódáladh na méadrachtaí riachtanacha go léir i gcónaí le mionsonraí leordhóthanacha, agus ní raibh an comhtháthú áisiúil agus trédhearcach i gcónaí, go háirithe nuair a bhí sé riachtanach rud éigin a fháil nach bhfuil i gcomhéadan an chórais.
Go ginearálta, shocraigh muid gan oiriúnú do tháirgí tríú páirtí, ach thosaigh muid ag forbairt ár gcuid féin...

2. Tá an margadh fógraíochta ar líne ag fás ó bhliain go bliain, agus in 2018, i dtéarmaí buiséid fógraíochta, sháraigh sé an margadh fógraíochta teilifíse is mó go traidisiúnta. Mar sin tá scála ann.

3. Murab ionann agus an margadh fógraíochta teilifíse, áit a bhfuil díolachán fógraíochta tráchtála monaplachtaithe, tá go leor úinéirí aonair fardal fógraíochta de mhéideanna éagsúla ag feidhmiú ar an Idirlíon lena gcuntais fógraíochta féin. Ós rud é go ritheann feachtas fógraíochta, mar riail, ar roinnt suíomhanna ag an am céanna, chun staid an fheachtais fógraíochta a thuiscint, is gá tuarascálacha a bhailiú ó gach láithreán agus iad a chomhcheangal i dtuarascáil mhór amháin a thaispeánfaidh an pictiúr iomlán. Ciallaíonn sé seo go bhfuil féidearthacht ann do bharrfheabhsú.

4. Chonacthas dúinn go bhfuil an bonneagar ag úinéirí fardail fógraíochta ar an Idirlíon cheana féin chun staitisticí a bhailiú agus a thaispeáint i gcuntais fógraíochta, agus beidh siad in ann API a sholáthar do na sonraí seo. Ciallaíonn sé seo go bhfuil sé indéanta go teicniúil é a chur i bhfeidhm. Ligean le rá ar an bpointe boise nach raibh sé chomh simplí.

Go ginearálta, bhí na réamhriachtanais go léir maidir le cur i bhfeidhm an tionscadail soiléir dúinn, agus ritheamar chun an tionscadal a thabhairt beo...

Plean mór

Ar dtús, rinneamar fís de chóras idéalach:

  • Ba cheart feachtais fógraíochta ó chóras corparáideach 1C a luchtú go huathoibríoch isteach ann lena n-ainmneacha, tréimhsí, buiséid agus socrúcháin ar ardáin éagsúla.
  • I gcás gach socrúcháin laistigh d’fheachtas fógraíochta, ba cheart gach staidreamh féideartha a íoslódáil go huathoibríoch ó na suíomhanna ina bhfuil an socrúchán ar siúl, amhail líon na n-imprisean, na gcliceáil, na radharcanna, etc.
  • Déantar roinnt feachtais fógraíochta a rianú trí úsáid a bhaint as monatóireacht tríú páirtí trí chórais fógraíochta mar a thugtar orthu mar Adriver, Weborama, DCM, etc. Tá méadar Idirlín tionsclaíoch sa Rúis freisin - an chuideachta Mediascope. De réir ár bplean, ba cheart sonraí ó mhonatóireacht neamhspleách agus thionsclaíoch a luchtú go huathoibríoch isteach sna feachtais fógraíochta comhfhreagracha.
  • Tá an chuid is mó d’fheachtais fógraíochta ar an Idirlíon dírithe ar ghníomhaíochtaí sprice áirithe (ceannach, glaoch, clárú le haghaidh tiomáint tástála, etc.), a rianaítear trí úsáid a bhaint as Google Analytics, agus tá staitisticí ina leith tábhachtach freisin chun stádas an fheachtais a thuiscint agus chóir a luchtú isteach inár n-uirlis.

Tá an chéad pancóg lumpy

Mar gheall ar ár dtiomantas do phrionsabail sholúbtha forbartha bogearraí (lúfar, gach rud), shocraigh muid MVP a fhorbairt ar dtús agus ansin bogadh i dtreo na sprice a bhí beartaithe go atriallach.
Shocraigh muid MVP a thógáil bunaithe ar ár dtáirge DANBo (Bord Líonra Densu Aegis), is feidhmchlár gréasáin é le faisnéis ghinearálta ar fheachtais fógraíochta ár gcliant.

Maidir le MVP, rinneadh an tionscadal a shimpliú oiread agus ab fhéidir i dtéarmaí cur i bhfeidhm. Tá liosta teoranta ardán roghnaithe againn le haghaidh comhtháthú. Ba iad seo na príomh-ardáin, mar shampla Yandex.Direct, Yandex.Display, RB.Mail, MyTarget, AdWords, DBM, VK, FB, agus na príomhchórais fógraíochta Adriver agus Weborama.

Chun teacht ar staitisticí ar shuíomhanna tríd an API, d’úsáideamar cuntas amháin. Bhí ar bhainisteoir grúpa cliant a bhí ag iarraidh úsáid a bhaint as bailiú uathoibríoch staitisticí ar fheachtas fógraíochta ar dtús rochtain ar na feachtais fógraíochta riachtanacha ar láithreáin a tharmligean chuig an gcuntas ardáin.

Is é seo chugainn an t-úsáideoir córais DANBO Bhí orthu comhad i bhformáid áirithe a uaslódáil isteach sa chóras Excel, ina raibh an fhaisnéis go léir faoin socrúchán (feachtas fógraíochta, ardán, formáid, tréimhse socrúcháin, táscairí pleanáilte, buiséad, etc.) agus aitheantóirí na bhfeachtas fógraíochta comhfhreagrach ar an láithreáin agus cuntair i gcórais fhógraíochta.

D'fhéach sé, go fírinneach, uafásach:

Conas a bhailigh muid sonraí ar fheachtais fógraíochta ó shuímh ar líne (an cosán dealraitheach chuig an táirge)

Sábháladh na sonraí íoslódála isteach i mbunachar sonraí, agus ansin bhailigh seirbhísí ar leith aitheantóirí feachtais ar láithreáin uathu agus íoslódáladh staitisticí fúthu.

Do gach suíomh, scríobhadh seirbhís fuinneoga ar leith, a chuaigh uair amháin sa lá faoi chuntas seirbhíse amháin in API an tsuímh agus a d’íoslódáil staitisticí le haghaidh aitheantais feachtais sonraithe. Tharla an rud céanna le córais fhógraíochta.

Taispeánadh na sonraí íosluchtaithe ar an gcomhéadan i bhfoirm deais bheaga saincheaptha:

Conas a bhailigh muid sonraí ar fheachtais fógraíochta ó shuímh ar líne (an cosán dealraitheach chuig an táirge)

Gan choinne dúinn, thosaigh MVP ag obair agus thosaigh sé ag íoslódáil staitisticí reatha ar fheachtais fógraíochta ar an Idirlíon. Chuireamar an córas i bhfeidhm ar roinnt cliant, ach agus muid ag iarraidh scála a dhéanamh, tháinig muid ar fhadhbanna tromchúiseacha:

  • Ba í an phríomhfhadhb ná castacht na sonraí a ullmhú lena lódáil isteach sa chóras. Chomh maith leis sin, b'éigean na sonraí socrúcháin a thiontú go formáid a bhí socraithe go docht roimh lódáil. Bhí sé riachtanach aitheantóirí aonáin ó láithreáin éagsúla a chur san áireamh sa chomhad íoslódála. Tá sé ina éadan againn go bhfuil sé an-deacair d'úsáideoirí nach bhfuil oilte go teicniúil a mhíniú cén áit ar féidir na haitheantóirí seo a aimsiú ar an suíomh agus cá háit sa chomhad is gá iad a chur isteach. Ag cur san áireamh líon na bhfostaithe sna ranna a bhí ag rith feachtais ar shuíomhanna agus an láimhdeachas, ba é an toradh a bhí air seo ná go leor tacaíochta ar ár taobh, rud nach rabhamar sásta leis.
  • Fadhb eile ab ea nach raibh meicníochtaí ag gach ardán fógraíochta chun rochtain ar fheachtais fógraíochta a tharmligean chuig cuntais eile. Ach fiú dá mbeadh meicníocht tarmligin ar fáil, ní raibh gach fógróir sásta rochtain ar a bhfeachtais ar chuntais tríú páirtí a dheonú.
  • Fachtóir tábhachtach ba ea an fearg a d’éirigh i measc na n-úsáideoirí mar gheall ar na táscairí pleanáilte agus na sonraí socrúcháin go léir a chuireann siad isteach inár gcóras cuntasaíochta 1C cheana féin, go gcaithfidh siad dul isteach arís i. DANBO.

Thug sé seo an smaoineamh dúinn gur chóir gurb é ár gcóras 1C an phríomhfhoinse faisnéise faoin socrúchán, ina gcuirtear na sonraí go léir isteach go cruinn agus in am (is é an pointe anseo go ngintear sonraisc bunaithe ar shonraí 1C, mar sin sonraí a iontráil i gceart in 1C). tosaíocht ag gach duine KPI). Seo mar a tháinig coincheap nua den chóras chun cinn...

Coincheap

Ba é an chéad rud a shocraigh muid a dhéanamh an córas chun staitisticí a bhailiú ar fheachtais fógraíochta ar an Idirlíon a dheighilt i dtáirge ar leith - D1.Digital.

Sa choincheap nua, shocraigh muid a luchtú isteach D1.Digital eolas ar fheachtais fógraíochta agus socrúcháin laistigh díobh ó 1C, agus ansin staitisticí a tharraingt suas ó shuímh agus ó chórais AdServing chuig na socrúcháin sin. Bhí sé seo ceaptha chun saol na n-úsáideoirí a shimpliú go suntasach (agus, mar is gnách, níos mó oibre a chur le forbróirí) agus an méid tacaíochta a laghdú.

Ba de chineál eagraíochtúil an chéad fhadhb a tháinig orainn agus bhain sí leis an bhfíric nach raibh muid in ann eochair nó comhartha a aimsiú trína bhféadfaimis aonáin ó chórais éagsúla a chur i gcomparáid le feachtais agus socrúcháin ó 1C. Is é an bhfíric go bhfuil an próiseas inár gcuideachta deartha sa chaoi is go gcuireann daoine éagsúla feachtais fógraíochta isteach i gcórais éagsúla (pleanálaithe meáin, ceannach, etc.).

Chun an fhadhb seo a réiteach, bhí orainn eochair hashed uathúil a chumadh, DANBoID, a nascfadh eintitis i gcórais éagsúla le chéile, agus a d’fhéadfaí a aithint go measartha éasca agus uathúil i dtacair sonraí íoslódála. Gintear an t-aitheantóir seo sa chóras inmheánach 1C do gach socrúchán aonair agus aistrítear é chuig feachtais, socrúcháin agus cuntair ar gach suíomh agus i ngach córas AdServing. Thóg sé roinnt ama an cleachtas DANBoID a chur i ngach socrúchán a chur i bhfeidhm, ach d’éirigh linn é a dhéanamh :)

Ansin fuaireamar amach nach bhfuil API ag gach suíomh chun staitisticí a bhailiú go huathoibríoch, agus fiú iad siúd a bhfuil API acu, ní thugann sé na sonraí riachtanacha go léir ar ais.

Ag an gcéim seo, shocraigh muid liosta na n-ardán le haghaidh comhtháthú a laghdú go suntasach agus díriú ar na príomh-ardáin a bhfuil baint acu le formhór mór na bhfeachtas fógraíochta. Áirítear ar an liosta seo na himreoirí is mó sa mhargadh fógraíochta (Google, Yandex, Mail.ru), líonraí sóisialta (VK, Facebook, Twitter), mórchórais AdServing agus anailísíochta (DCM, Adriver, Weborama, Google Analytics) agus ardáin eile.

Bhí API ag formhór na suíomhanna a roghnaigh muid a sholáthair an mhéadracht a bhí de dhíth orainn. I gcásanna nach raibh API ann nó nach raibh na sonraí riachtanacha ann, d’úsáideamar tuairiscí a seoladh go laethúil chuig ríomhphost ár n-oifige chun sonraí a lódáil (i roinnt córais is féidir tuarascálacha den sórt sin a chumrú, agus i gcásanna eile d’aontaíomar ar fhorbairt na tuarascálacha den sórt sin dúinn).

Agus anailís á déanamh againn ar shonraí ó shuímh éagsúla, fuaireamar amach nach bhfuil ordlathas na n-eintiteas mar a chéile i gcórais éagsúla. Ina theannta sin, ní mór faisnéis a íoslódáil go mion difriúil ó chórais éagsúla.

Chun an fhadhb seo a réiteach, forbraíodh an coincheap SubDANBoID. Tá an smaoineamh ar SubDANBoID simplí go leor, marcáilimid príomh-eintiteas an fheachtais ar an suíomh leis an DANBoID ginte, agus uaslódálann muid gach eintiteas neadaithe le haitheantóirí suímh uathúla agus foirmíonn sé SubDANBoID de réir phrionsabal DANBoID + aitheantóir an chéad leibhéal eintiteas neadaithe + aitheantóir an eintitis neadaithe dara leibhéal +... Cheadaigh an cur chuige seo dúinn feachtais fógraíochta a nascadh i gcórais éagsúla agus staitisticí mionsonraithe a íoslódáil fúthu.

Bhí orainn freisin fadhb na rochtana ar fheachtais ar ardáin éagsúla a réiteach. Mar a scríobhamar thuas, ní bhíonn an mheicníocht chun rochtain ar fheachtas a tharmligean chuig cuntas teicniúil ar leith infheidhme i gcónaí. Mar sin, bhí orainn bonneagar a fhorbairt le haghaidh údarú uathoibríoch trí OAuth ag baint úsáide as comharthaí agus meicníochtaí chun na comharthaí seo a nuashonrú.

Níos déanaí san alt déanfaimid iarracht cur síos níos mionsonraithe a dhéanamh ar ailtireacht an réitigh agus sonraí teicniúla an chur chun feidhme.

Ailtireacht réitigh 1.0

Agus táirge nua á thosú againn, thuig muid go gcaithfimid foráil a dhéanamh láithreach maidir leis an bhféidearthacht suíomhanna nua a nascadh, agus mar sin shocraigh muid cosán na hailtireachta microservice a leanúint.

Agus an ailtireacht á dearadh, rinneamar cónaisc do gach córas seachtrach - 1C, ardáin fógraíochta agus córais fógraíochta - a scaradh i seirbhísí ar leithligh.
Is é an príomh-smaoineamh go bhfuil an API céanna ag gach nascóirí chuig láithreáin agus gur oiriúnóirí iad a thugann API an tsuímh chuig comhéadan atá áisiúil dúinn.

I gcroílár ár dtáirge tá feidhmchlár gréasáin, ar monolith é atá deartha sa chaoi is gur féidir é a dhíchóimeáil go héasca i seirbhísí. Tá an feidhmchlár seo freagrach as na sonraí íoslódála a phróiseáil, as staitisticí ó chórais éagsúla a bhailiú agus as iad a chur i láthair úsáideoirí córais.

Chun cumarsáid a dhéanamh idir na nascóirí agus an feidhmchlár gréasáin, bhí orainn seirbhís bhreise a chruthú, ar a dtugamar Connector Proxy. Comhlíonann sé feidhmeanna Fionnachtana Seirbhíse agus Sceidealóir Tasc. Reáchtálann an tseirbhís seo tascanna bailithe sonraí do gach cónascaire gach oíche. Bhí sé níos éasca ciseal seirbhíse a scríobh ná bróicéir teachtaireachtaí a nascadh, agus dúinne bhí sé tábhachtach an toradh a fháil chomh tapa agus is féidir.

Ar mhaithe le simplíocht agus luas na forbartha, chinneamar freisin gur API Gréasáin a bheidh sna seirbhísí go léir. Mar thoradh air seo bhíothas in ann cruthúnas coincheapa a chur le chéile go tapa agus a fhíorú go n-oibríonn an dearadh ar fad.

Conas a bhailigh muid sonraí ar fheachtais fógraíochta ó shuímh ar líne (an cosán dealraitheach chuig an táirge)

Tasc ar leith, sách casta a bhí ann rochtain a bhunú chun sonraí a bhailiú ó chuntais éagsúla, ar cheart d’úsáideoirí, mar a shocraigh muid, a dhéanamh tríd an gcomhéadan gréasáin. Tá dhá chéim ar leith ann: ar dtús, cuireann an t-úsáideoir comhartha chun rochtain a fháil ar an gcuntas trí OAuth, agus ansin cumraíonn sé bailiú sonraí don chliant ó chuntas ar leith. Tá sé riachtanach chomhartha a fháil trí OAuth mar, mar atá scríofa againn cheana féin, ní féidir i gcónaí rochtain ar an gcuntas inmhianaithe a tharmligean ar an suíomh.

Chun meicníocht uilíoch a chruthú chun cuntas a roghnú ó shuíomhanna, bhí orainn modh a chur leis an API nascóirí a sheolann Scéimre JSON ar ais, a rindreáiltear i bhfoirm ag baint úsáide as comhpháirt modhnaithe JSONEditor. Ar an mbealach seo, bhí úsáideoirí in ann na cuntais a roghnú ónar féidir sonraí a íoslódáil.

Chun cloí leis na teorainneacha iarratais atá ann ar shuíomhanna, comhcheanglaímid iarratais ar shocruithe laistigh d'aon chomhartha amháin, ach is féidir linn comharthaí éagsúla a phróiseáil ag an am céanna.

Roghnaigh muid MongoDB mar stóráil le haghaidh sonraí luchtaithe don fheidhmchlár gréasáin agus do chónaisc araon, rud a chuir ar ár gcumas gan a bheith buartha faoi struchtúr na sonraí ag na céimeanna tosaigh forbartha, nuair a athraíonn múnla réad an iarratais gach lá eile.

Fuaireamar amach go luath nach n-oireann na sonraí go léir go maith i MongoDB agus, mar shampla, go bhfuil sé níos áisiúla staitisticí laethúla a stóráil i mbunachar sonraí coibhneasta. Mar sin, le haghaidh nascóirí a bhfuil a struchtúr sonraí níos oiriúnaí do bhunachar sonraí coibhneasta, thosaigh muid ag úsáid PostgreSQL nó MS SQL Server mar stóráil.

Cheadaigh an ailtireacht agus na teicneolaíochtaí roghnaithe dúinn an táirge D1.Digital a thógáil agus a sheoladh go réasúnta tapa. Thar dhá bhliain d'fhorbairt táirgí, d'fhorbraíomar 23 nascóirí chuig láithreáin, fuaireamar taithí luachmhar ag obair le API tríú páirtí, d'fhoghlaimíomar chun na deacrachtaí a bhaineann le suíomhanna éagsúla a sheachaint, a raibh a gcuid féin ag gach ceann acu, a chuir le forbairt an API de 3 ar a laghad. láithreáin, a íoslódáladh go huathoibríoch faisnéis ar bheagnach 15 feachtais agus ar níos mó ná 000 socrúchán, bhailigh siad go leor aiseolais ó úsáideoirí ar oibriú an táirge agus d’éirigh leo príomhphróiseas an táirge a athrú arís agus arís eile, bunaithe ar an aiseolas seo.

Ailtireacht réitigh 2.0

Tá dhá bhliain caite ó cuireadh tús leis an bhforbairt D1.Digital. Léirigh an méadú leanúnach ar an ualach ar an gcóras agus teacht chun cinn níos mó agus níos mó foinsí sonraí nua fadhbanna san ailtireacht réitigh atá ann cheana féin.

Is é an chéad fhadhb a bhaineann leis an méid sonraí a íoslódáil ó na suímh. Bhí orainn aghaidh a thabhairt ar an bhfíric gur thosaigh an iomarca ama ag bailiú agus ag nuashonrú na sonraí riachtanacha go léir ó na suíomhanna is mó. Mar shampla, tógann sé thart ar 12 uair an chloig sonraí a bhailiú ó chóras fógraíochta AdRiver, a rianaimid staitisticí don chuid is mó de shocrúcháin.

Chun an fhadhb seo a réiteach, thosaigh muid ag baint úsáide as gach cineál tuarascálacha chun sonraí a íoslódáil ó shuímh, táimid ag iarraidh a n-API a fhorbairt mar aon leis na suíomhanna ionas go gcomhlíonann luas a oibríochta ár riachtanais, agus comhthreomhar leis an íoslódáil sonraí a oiread agus is féidir.

Fadhb eile a bhaineann le próiseáil sonraí íoslódáilte. Anois, nuair a thagann staitisticí socrúcháin nua, seoltar próiseas ilchéime chun méadracht a athríomh, lena n-áirítear sonraí amh a luchtú, méadracht chomhiomlánaithe a ríomh do gach suíomh, sonraí ó fhoinsí éagsúla a chur i gcomparáid lena chéile, agus méadracht achomair don fheachtas a ríomh. Cuireann sé seo go leor ualach ar an bhfeidhmchlár gréasáin a dhéanann na ríomhanna go léir. Roinnt uaireanta, le linn an phróisis athríomh, d'ídigh an feidhmchlár an chuimhne ar fad ar an bhfreastalaí, thart ar 10-15 GB, a raibh an tionchar is mó aige ar obair na n-úsáideoirí leis an gcóras.

Mar gheall ar na fadhbanna a aithníodh agus na pleananna uaillmhianacha chun an táirge a fhorbairt tuilleadh, b’éigean dúinn athmhachnamh a dhéanamh ar ailtireacht an fheidhmchláir.

Thosaigh muid le nascóirí.
Thugamar faoi deara go n-oibríonn na cónaisc go léir de réir an tsamhail chéanna, agus mar sin tógamar creat píblíne chun cónascaire a chruthú ní raibh ort ach loighic na gcéimeanna a chlárú, bhí an chuid eile uilíoch. Má theastaíonn feabhas ar roinnt cónascaire, ansin déanaimid é a aistriú láithreach chuig creat nua ag an am céanna agus an cónascaire á fheabhsú.

Ag an am céanna, thosaigh muid ag imscaradh chónaisc chuig Docker agus Kubernetes.
Rinneamar an t-aistriú go Kubernetes a phleanáil le fada an lá, rinneamar tástáil ar shocruithe CI / CD, ach níor thosaigh muid ag bogadh ach amháin nuair a thosaigh cónascaire amháin, mar gheall ar earráid, ag ithe níos mó ná 20 GB de chuimhne ar an bhfreastalaí, rud a mharaíonn próisis eile go praiticiúil. . Le linn an imscrúdaithe, aistríodh an cónascaire chuig braisle Kubernetes, áit ar fhan sé ar deireadh thiar, fiú tar éis an earráid a shocrú.

Go tapa thuig muid go raibh Kubernetes áisiúil, agus laistigh de shé mhí d'aistrigh muid 7 gcónascóir agus Connectors Proxy, a ídíonn na hacmhainní is mó, chuig an mbraisle táirgeachta.

Tar éis na nascóirí, shocraigh muid ailtireacht an chuid eile den iarratas a athrú.
Ba í an phríomhfhadhb ná go dtagann sonraí ó chónaisc go seachvótálaithe i mbaisceanna móra, agus ansin buaileann siad an DANBoID agus seoltar chuig an bhfeidhmchlár gréasáin lárnach é lena phróiseáil. Mar gheall ar an líon mór athríomh méadrachta, tá ualach mór ar an iarratas.

Bhí sé deacair freisin monatóireacht a dhéanamh ar stádas na bpost bailithe sonraí aonair agus tuairisc a thabhairt ar earráidí a tharla laistigh de chónaisc le feidhmchlár gréasáin lárnach ionas go bhféadfadh úsáideoirí a fheiceáil cad a bhí ag tarlú agus cén fáth nach raibh sonraí á mbailiú.

Chun na fadhbanna seo a réiteach, d'fhorbraíomar ailtireacht 2.0.

Is é an príomhdhifríocht idir an leagan nua den ailtireacht ná in ionad an API Gréasáin, úsáidimid RabbitMQ agus leabharlann MassTransit chun teachtaireachtaí a mhalartú idir seirbhísí. Chun seo a dhéanamh, bhí orainn nascóirí Proxy a athscríobh beagnach go hiomlán, rud a fhágann gur Mol nascóirí é. Athraíodh an t-ainm toisc nach é príomhról na seirbhíse iarratais a chur ar aghaidh chuig nascóirí agus ar ais a thuilleadh, ach maidir le bailiú méadrach ó chónaisc a bhainistiú.

Ón bhfeidhmchlár gréasáin lárnach, rinneamar faisnéis faoi shocrúcháin agus staitisticí ó shuíomhanna a scaradh isteach i seirbhísí ar leith, rud a d'fhág gur féidir fáil réidh le hatháirimh neamhriachtanacha agus gan ach staitisticí comhiomlánaithe agus ríomhtha cheana a stóráil ag an leibhéal socrúcháin. Rinneamar an loighic a athscríobh agus a bharrfheabhsú freisin chun bunstaitisticí a ríomh bunaithe ar bhunshonraí.

Ag an am céanna, táimid ag aistriú gach seirbhís agus feidhmchlár chuig Docker agus Kubernetes chun an réiteach a dhéanamh níos éasca le scála agus níos áisiúla le bainistiú.

Conas a bhailigh muid sonraí ar fheachtais fógraíochta ó shuímh ar líne (an cosán dealraitheach chuig an táirge)

Cá bhfuil muid anois

Ailtireacht cruthúnas-ar-choincheap 2.0 táirge D1.Digital réidh agus ag obair i dtimpeallacht tástála le sraith teoranta de chónaisc. Níl le déanamh ach 20 cónascaire eile a athscríobh chuig ardán nua, tástáil a dhéanamh go bhfuil na sonraí lódáilte i gceart agus go ndéantar gach méadracht a ríomh i gceart, agus an dearadh iomlán a rolladh amach i dtáirgeadh.

Go deimhin, tarlóidh an próiseas seo de réir a chéile agus beidh orainn comhoiriúnacht siar le sean-API a fhágáil chun gach rud a choinneáil ag obair.

I measc ár bpleananna láithreach tá forbairt nascóirí nua, comhtháthú le córais nua agus méadracht bhreise a chur leis an tacar sonraí a íoslódáiltear ó láithreáin nasctha agus córais fhógraíochta.

Tá sé beartaithe againn freisin gach feidhmchlár, lena n-áirítear an feidhmchlár gréasáin lárnach, a aistriú chuig Docker agus Kubernetes. In éineacht leis an ailtireacht nua, déanfaidh sé seo simpliú suntasach ar imscaradh, ar fhaireachán agus ar rialú acmhainní arna gcaitheamh.

Smaoineamh eile is ea triail a bhaint as an rogha bunachar sonraí chun staitisticí a stóráil, atá stóráilte faoi láthair i MongoDB. Táimid tar éis roinnt nascóirí nua a aistriú go bunachair shonraí SQL cheana féin, ach tá an difríocht beagnach nach féidir a thabhairt faoi deara, agus le haghaidh staitisticí comhiomlánaithe i rith an lae, ar féidir iad a iarraidh ar feadh tréimhse treallach, is féidir leis an ngnóthachan a bheith sách tromchúiseach.

Go ginearálta, tá na pleananna grandiose, a ligean ar bogadh ar aghaidh :)

Údair an ailt R&D Dentsu Aegis Network Russia: Georgy Ostapenko (shmiigaa), Mikhail Kotsik (hitexx)

Foinse: will.com

Add a comment