Mar a chruinnich sinn dàta mu iomairtean sanasachd bho làraich air-loidhne (an t-slighe dhona chun toradh)

Tha e coltach gum bu chòir raon sanasachd air-loidhne a bhith cho adhartach gu teicneòlach agus cho fèin-ghluasadach sa ghabhas. Gu dearbh, leis gu bheil fuamhairean agus eòlaichean san raon aca mar Yandex, Mail.Ru, Google agus Facebook ag obair an sin. Ach, mar a thionndaidh e a-mach, chan eil crìoch air foirfeachd agus tha an-còmhnaidh rudeigin ri dhèanamh fèin-ghluasadach.

Stòr

Buidheann conaltraidh Lìonra Dentsu Aegis Ruis mar an cluicheadair as motha sa mhargaidh sanasachd didseatach agus gu gnìomhach a’ tasgadh ann an teicneòlas, a’ feuchainn ris na pròiseasan gnìomhachais aige a bharrachadh agus fèin-ghluasad. Is e aon de na duilgheadasan gun fhuasgladh anns a ’mhargaidh sanasachd air-loidhne an obair a bhith a’ tional staitistig mu iomairtean sanasachd bho dhiofar àrd-ùrlaran eadar-lìn. Mar thoradh air fuasgladh na duilgheadas seo chaidh toradh a chruthachadh D1.Digital (leugh mar DiVan), an leasachadh air a bheil sinn airson bruidhinn.

Carson?

1. Aig àm tòiseachadh a 'phròiseict, cha robh aon toradh deiseil air a' mhargaidh a dh 'fhuasgladh an duilgheadas a thaobh cruinneachadh staitistig air iomairtean sanasachd gu fèin-obrachail. Tha seo a’ ciallachadh nach sàsaich duine ach sinn fhèin ar feumalachdan.

Bidh seirbheisean leithid Improvado, Roistat, Supermetrics, SegmentStream a’ tabhann amalachadh le àrd-ùrlaran, lìonraidhean sòisealta agus Google Analitycs, agus cuideachd ga dhèanamh comasach clàran-dannsa anailis a thogail airson mion-sgrùdadh goireasach agus smachd air iomairtean sanasachd. Mus do thòisich sinn a 'leasachadh an toraidh againn, dh'fheuch sinn ri cuid de na siostaman sin a chleachdadh gus dàta a chruinneachadh bho làraich, ach, gu mì-fhortanach, cha b' urrainn dhaibh na duilgheadasan againn fhuasgladh.

B’ e am prìomh dhuilgheadas gun robh na toraidhean a chaidh a dhearbhadh stèidhichte air stòran dàta, a’ taisbeanadh staitistig suidheachaidh a rèir làrach, agus nach tug iad seachad an comas staitistig a chruinneachadh mu iomairtean sanasachd. Cha do leig an dòigh-obrach seo leinn staitistig fhaicinn bho dhiofar làraich ann an aon àite agus sgrùdadh a dhèanamh air staid na h-iomairt gu h-iomlan.

B’ e feart eile gun robh na toraidhean aig na ciad ìrean ag amas air margaidh an Iar agus nach robh iad a’ toirt taic do aonachadh le làraich Ruiseanach. Agus airson na làraich sin leis an deach amalachadh a chuir an gnìomh, cha robh a h-uile meatrach riatanach an-còmhnaidh air a luchdachadh sìos le mion-fhiosrachadh gu leòr, agus cha robh an amalachadh an-còmhnaidh goireasach agus follaiseach, gu sònraichte nuair a bha feum air rudeigin fhaighinn nach eil ann an eadar-aghaidh an t-siostaim.
San fharsaingeachd, chuir sinn romhainn gun a bhith ag atharrachadh gu toraidhean treas-phàrtaidh, ach thòisich sinn a’ leasachadh ar cuid fhèin ...

2. Tha am margadh sanasachd air-loidhne a 'fàs bho bhliadhna gu bliadhna, agus ann an 2018, a thaobh buidseatan sanasachd, chaidh e seachad air a' mhargaidh sanasachd telebhisein as motha gu traidiseanta. Mar sin tha sgèile ann.

3. Eu-coltach ris a 'mhargaidh sanasachd TBh, far a bheil reic sanasachd malairteach air a dhèanamh monopolized, tha mòran de luchd-seilbh fa leth clàr sanasachd de dhiofar mheudan ag obair air an eadar-lìon leis na cunntasan sanasachd aca fhèin. Leis gu bheil iomairt sanasachd, mar riaghailt, a 'ruith air grunn làraich aig an aon àm, gus staid na h-iomairt sanasachd a thuigsinn, feumar aithisgean a chruinneachadh bho gach làrach agus an cur còmhla ann an aon aithisg mhòr a sheallas an dealbh gu lèir. Tha seo a’ ciallachadh gu bheil comas ann airson optimization.

4. Bha e coltach dhuinn gu bheil bun-structar aig luchd-seilbh clàr sanasachd air an eadar-lìn mu thràth airson staitistig a chruinneachadh agus an taisbeanadh ann an cunntasan sanasachd, agus bidh e comasach dhaibh API a thoirt seachad airson an dàta seo. Tha seo a’ ciallachadh gu bheil e comasach gu teicnigeach a bhuileachadh. Canaidh sinn sa bhad nach robh e cho sìmplidh.

San fharsaingeachd, bha a h-uile ro-ghoireasan airson a’ phròiseact a chuir an gnìomh follaiseach dhuinn, agus ruith sinn gus am pròiseact a thoirt beò ...

Plana Mòr

An toiseach, chruthaich sinn sealladh air siostam air leth:

• Bu chòir iomairtean sanasachd bho shiostam corporra 1C a bhith air an luchdachadh a-steach gu fèin-ghluasadach leis na h-ainmean, amannan, buidseatan agus greisean gnìomhachais air diofar àrd-ùrlaran.
• Airson gach suidheachadh taobh a-staigh iomairt sanasachd, bu chòir a h-uile staitistig a dh’ fhaodadh a bhith air a luchdachadh sìos gu fèin-ghluasadach bho na làraich far a bheil an suidheachadh a’ gabhail àite, leithid an àireamh de bheachdan, chlican, seallaidhean, msaa.
• Thathas a’ cumail sùil air cuid de dh’ iomairtean sanasachd a’ cleachdadh sgrùdadh treas-phàrtaidh le siostaman sanasachd ris an canar Adriver, Weborama, DCM, msaa. Tha meatair eadar-lìn gnìomhachais anns an Ruis cuideachd - companaidh Mediascope. A rèir ar plana, bu chòir dàta bho sgrùdadh neo-eisimeileach agus tionnsgalach a bhith air a luchdachadh gu fèin-ghluasadach a-steach do na h-iomairtean sanasachd co-fhreagarrach.
• Tha a’ mhòr-chuid de dh’ iomairtean sanasachd air an eadar-lìn ag amas air gnìomhan targaid sònraichte (ceannach, gairm, clàradh airson deuchainn deuchainn, msaa), a thathas a’ cumail sùil a’ cleachdadh Google Analytics, agus staitistig a tha cudromach cuideachd airson inbhe na h-iomairt a thuigsinn agus bu chòir a luchdachadh a-steach don inneal againn.

Tha a 'chiad pancake lumpy

Leis an dealas a th’ againn do phrionnsapalan sùbailte leasachadh bathar-bog (sùbailte, a h-uile càil), chuir sinn romhainn MVP a leasachadh an toiseach agus an uairsin gluasad a dh’ ionnsaigh an amas a bha san amharc gu ath-aithriseach.
Cho-dhùin sinn MVP a thogail stèidhichte air an toradh againn DANBo (Bòrd Lìonra Densu Aegis), a tha na thagradh lìn le fiosrachadh coitcheann mu iomairtean sanasachd ar teachdaichean.

Airson MVP, chaidh am pròiseact a dhèanamh nas sìmplidhe cho mòr 's as urrainn a thaobh buileachadh. Tha sinn air liosta cuibhrichte de àrd-ùrlaran a thaghadh airson amalachadh. B 'iad sin na prìomh àrd-ùrlaran, leithid Yandex.Direct, Yandex.Display, RB.Mail, MyTarget, Adwords, DBM, VK, FB, agus na prìomh shiostaman sanasachd Adriver agus Weborama.

Gus faighinn gu staitistig air làraich tron ​​API, chleachd sinn aon chunntas. B’ fheudar do mhanaidsear buidheann teachdaichean a bha airson cruinneachadh fèin-ghluasadach de staitistig a chleachdadh air iomairt sanasachd an-toiseach cothrom a thoirt do na h-iomairtean sanasachd riatanach air làraich gu cunntas an àrd-ùrlair.

An ath rud tha neach-cleachdaidh an t-siostaim DANBO bha aca ri faidhle de chruth sònraichte a luchdachadh suas gu siostam Excel, anns an robh a h-uile fiosrachadh mun àite (iomairt sanasachd, àrd-ùrlar, cruth, ùine suidheachaidh, comharran dealbhaichte, buidseat, msaa) agus aithnichearan nan iomairtean sanasachd co-fhreagarrach air an làraich agus cunntairean ann an siostaman sanasachd.

Bha e a’ coimhead, gu fìrinneach, eagallach:

Chaidh an dàta a chaidh a luchdachadh sìos a shàbhaladh ann an stòr-dàta, agus an uairsin chruinnich seirbheisean fa leth aithnichearan iomairt air làraich bhuapa agus chaidh staitistig a luchdachadh sìos orra.

Airson gach làrach, chaidh seirbheis uinneagan fa leth a sgrìobhadh, a bha uair san latha a’ dol fo aon chunntas seirbheis ann an API na làraich agus a’ luchdachadh sìos staitistig airson IDan iomairt sònraichte. Thachair an aon rud le siostaman sanasachd.

Chaidh an dàta a chaidh a luchdachadh sìos a thaisbeanadh air an eadar-aghaidh ann an cruth deas-bhòrd beag àbhaisteach:

Gu h-obann dhuinne, thòisich MVP ag obair agus thòisich e a’ luchdachadh sìos staitistig gnàthach mu iomairtean sanasachd air an eadar-lìn. Chuir sinn an siostam an gnìomh air grunn luchd-dèiligidh, ach nuair a bha sinn a’ feuchainn ri sgèile, thachair sinn ri fìor dhuilgheadasan:

• B 'e am prìomh dhuilgheadas an iom-fhillteachd a bhith ag ullachadh dàta airson a luchdachadh a-steach don t-siostam. Cuideachd, dh'fheumadh an dàta suidheachaidh a bhith air a thionndadh gu cruth a bha gu tur stèidhichte mus deach a luchdachadh. Bha e riatanach aithnichearan eintiteas bho dhiofar làraich a thoirt a-steach don fhaidhle luchdaich sìos. Tha sinn nar n-aghaidh gu bheil e gu math duilich do luchd-cleachdaidh gun trèanadh teicnigeach mìneachadh càite an lorg iad na h-aithnichearan sin air an làrach agus càite am feum iad a chuir a-steach san fhaidhle. A’ beachdachadh air an àireamh de luchd-obrach anns na roinnean a bha a’ ruith iomairtean air làraich agus an tionndadh, lean seo gu ìre mhòr de thaic air ar taobh, rud nach robh sinn idir toilichte leis.
• B’ e duilgheadas eile nach robh dòighean aig a h-uile àrd-ùrlar sanasachd gus cothrom air iomairtean sanasachd a thiomnadh gu cunntasan eile. Ach eadhon ged a bha uidheamachd tiomnaidh ri fhaighinn, cha robh a h-uile neach-sanasachd deònach cothrom a thoirt dha na h-iomairtean aca gu cunntasan treas-phàrtaidh.
• B’ e feart cudromach an tàmailt a dh’ èirich am measg luchd-cleachdaidh leis gu bheil na comharran dealbhaichte agus mion-fhiosrachadh mun àite a tha iad mar-thà a’ dol a-steach don t-siostam cunntasachd 1C againn, feumaidh iad a dhol a-steach a-rithist. DANBO.

Thug seo dhuinn a’ bheachd gum bu chòir an siostam 1C againn a bhith mar phrìomh thùs fiosrachaidh mu shuidheachadh, anns am bi a h-uile dàta air a chuir a-steach gu ceart agus ann an àm (is e a’ phuing an seo gu bheil fàirdealan air an cruthachadh stèidhichte air dàta 1C, agus mar sin cuir a-steach dàta ceart gu 1C. na phrìomhachas don h-uile duine KPI). Seo mar a nochd bun-bheachd ùr den t-siostam...

Bun-bheachd

B ’e a’ chiad rud a chuir sinn romhainn an siostam airson a bhith a’ tional staitistig mu iomairtean sanasachd air an eadar-lìn a sgaradh ann an toradh air leth - D1.Digital.

Anns a 'bhun-bheachd ùr, chuir sinn romhainn a luchdachadh a-steach D1.Digital fiosrachadh mu iomairtean sanasachd agus greisean gnìomhachais taobh a-staigh iad bho 1C, agus an uairsin tarraing suas staitistig bho làraich agus siostaman AdServing gu na greisean gnìomhachais sin. Bha còir aig seo beatha luchd-cleachdaidh a dhèanamh nas sìmplidhe gu mòr (agus, mar as àbhaist, barrachd obrach a chuir ri luchd-leasachaidh) agus an ìre de thaic a lughdachadh.

B’ e nàdar eagrachaidh a’ chiad dhuilgheadas a choinnich sinn agus bha e co-cheangailte ris nach b’ urrainn dhuinn iuchair no soidhne a lorg leis am b’ urrainn dhuinn coimeas a dhèanamh eadar buidhnean bho dhiofar shiostaman le iomairtean agus greisean gnìomhachais bho 1C. Is e an fhìrinn gu bheil am pròiseas anns a ’chompanaidh againn air a dhealbhadh gus am bi diofar dhaoine a’ dol a-steach do iomairtean sanasachd ann an diofar shiostaman (luchd-dealbhaidh mheadhanan, ceannach, msaa).

Gus an duilgheadas seo fhuasgladh, bha againn ri iuchair hashed gun samhail a chruthachadh, DANBoID, a bhiodh a’ ceangal bhuidhnean ann an diofar shiostaman ri chèile, agus a dh’ fhaodadh a bhith air an comharrachadh gu ìre furasta agus gun samhail ann an seataichean dàta a chaidh a luchdachadh sìos. Tha an aithnichear seo air a chruthachadh anns an t-siostam 1C a-staigh airson gach suidheachadh fa leth agus thèid a ghluasad gu iomairtean, greisean gnìomhachais agus cunntairean air a h-uile làrach agus anns a h-uile siostam AdServing. Thug e beagan ùine a bhith a’ cur DANBoID an sàs anns a h-uile àite, ach chaidh againn air a dhèanamh :)

An uairsin fhuair sinn a-mach nach eil API aig a h-uile làrach airson staitistig a chruinneachadh gu fèin-ghluasadach, agus eadhon an fheadhainn aig a bheil API, cha bhith e a’ tilleadh a h-uile dàta riatanach.

Aig an ìre seo, chuir sinn romhainn an liosta de àrd-ùrlaran airson amalachadh a lughdachadh gu mòr agus fòcas a chuir air na prìomh àrd-ùrlaran a tha an sàs anns a ’mhòr-chuid de dh’ iomairtean sanasachd. Tha an liosta seo a’ toirt a-steach na cluicheadairean as motha sa mhargaidh sanasachd (Google, Yandex, Mail.ru), lìonraidhean sòisealta (VK, Facebook, Twitter), prìomh shiostaman AdServing agus analytics (DCM, Adriver, Weborama, Google Analytics) agus àrd-ùrlaran eile.

Bha API aig a’ mhòr-chuid de na làraich a thagh sinn a thug seachad na meatrach a bha a dhìth oirnn. Ann an cùisean far nach robh API ann no far nach robh an dàta riatanach ann, chleachd sinn aithisgean a chaidh a chuir gu post-d na h-oifis againn gach latha gus dàta a luchdachadh (ann an cuid de shiostaman tha e comasach na h-aithisgean sin a rèiteachadh, ann an cuid eile dh’ aontaich sinn mu leasachadh nan aithisgean sin. dhuinn).

Nuair a bhios sinn a’ dèanamh anailis air dàta bho dhiofar làraich, fhuair sinn a-mach nach eil rangachd bhuidhnean an aon rud ann an diofar shiostaman. A bharrachd air an sin, feumar fiosrachadh a luchdachadh sìos gu mionaideach bho dhiofar shiostaman.

Gus an duilgheadas seo fhuasgladh, chaidh bun-bheachd SubDANBoID a leasachadh. Tha am beachd air SubDANBoID gu math sìmplidh, bidh sinn a’ comharrachadh prìomh eintiteas na h-iomairt air an làrach leis an DANBoID a chaidh a chruthachadh, agus bidh sinn a’ luchdachadh suas gach eintiteas neadachaidh le aithnichearan làraich sònraichte agus a’ cruthachadh SubDANBoID a rèir prionnsapal DANBoID + aithnichear na ciad ìre eintiteas neadachaidh + aithnichear an eintiteas neadachaidh dàrna ìre +... Leig an dòigh-obrach seo leinn iomairtean sanasachd a cheangal ann an diofar shiostaman agus staitistig mhionaideach a luchdachadh sìos orra.

Bha againn cuideachd ri fuasgladh fhaighinn air an duilgheadas a thaobh ruigsinneachd air iomairtean air diofar àrd-ùrlaran. Mar a sgrìobh sinn gu h-àrd, chan eil an dòigh airson ruigsinneachd gu iomairt a thiomnadh gu cunntas teignigeach air leth an-còmhnaidh iomchaidh. Mar sin, bha againn ri bun-structar a leasachadh airson cead fèin-ghluasadach tro OAuth a’ cleachdadh tokens agus dòighean airson na comharran sin ùrachadh.

Nas fhaide air adhart san artaigil feuchaidh sinn ri mìneachadh nas mionaidiche a thoirt air ailtireachd an fhuasglaidh agus mion-fhiosrachadh teicnigeach mun bhuileachadh.

Ailtireachd fuasglaidh 1.0

Nuair a thòisich sinn air toradh ùr a chuir an gnìomh, thuig sinn gum feumadh sinn sa bhad ullachadh airson cothrom làraich ùra a cheangal, agus mar sin chuir sinn romhainn slighe ailtireachd microservice a leantainn.

Nuair a bha sinn a’ dealbhadh an ailtireachd, dhealaich sinn luchd-ceangail ris a h-uile siostam taobh a-muigh - 1C, àrd-ùrlaran sanasachd agus siostaman sanasachd - gu seirbheisean fa leth.
Is e am prìomh bheachd gu bheil an aon API aig a h-uile neach-ceangail gu làraich agus gu bheil iad nan innealan-atharrachaidh a bheir API na làraich gu eadar-aghaidh a tha iomchaidh dhuinn.

Aig cridhe an toraidh againn tha tagradh lìn, a tha na monolith a tha air a dhealbhadh ann an dòigh gus am bi e furasta a thoirt a-steach do sheirbheisean. Tha uallach air an tagradh seo airson a bhith a’ giullachd an dàta a chaidh a luchdachadh sìos, a’ cruinneachadh staitistig bho dhiofar shiostaman agus gan taisbeanadh do luchd-cleachdaidh an t-siostaim.

Gus conaltradh a dhèanamh eadar an luchd-ceangail agus an tagradh lìn, bha againn ri seirbheis a bharrachd a chruthachadh, ris an can sinn Connector Proxy. Bidh e a’ coileanadh gnìomhan Lorg Seirbheis agus Clàr Gnìomha. Bidh an t-seirbheis seo a’ ruith gnìomhan cruinneachadh dàta airson gach ceanglaiche gach oidhche. Bha e na b’ fhasa còmhdach seirbheis a sgrìobhadh na bhith a’ ceangal broker teachdaireachd, agus dhuinne bha e cudromach an toradh fhaighinn cho luath ‘s a ghabhas.

Airson sìmplidheachd agus luaths leasachaidh, cho-dhùin sinn cuideachd gum biodh a h-uile seirbheis mar API Lìn. Rinn seo e comasach dearbhadh bun-bheachd a chruinneachadh gu sgiobalta agus dearbhadh gu bheil an dealbhadh gu lèir ag obair.

B’ e obair air leth, caran toinnte, a bhith a’ stèidheachadh ruigsinneachd gus dàta a chruinneachadh bho dhiofar chunntasan, a bu chòir, mar a cho-dhùin sinn, a bhith air a dhèanamh le luchd-cleachdaidh tron ​​​​eadar-aghaidh lìn. Tha dà cheum eadar-dhealaichte ann: an toiseach, bidh an neach-cleachdaidh a’ cur comharra ris gus faighinn chun chunntas tro OAuth, agus an uairsin a’ rèiteachadh cruinneachadh dàta airson an neach-dèiligidh bho chunntas sònraichte. Tha e riatanach comharra fhaighinn tro OAuth oir, mar a tha sinn air sgrìobhadh mu thràth, chan eil e an-còmhnaidh comasach ruigsinneachd chun chunntas a tha thu ag iarraidh a thiomnadh air an làrach.

Gus uidheamachd uile-choitcheann a chruthachadh airson cunntas a thaghadh bho làraich, bha againn ri dòigh a chuir ris an API luchd-ceangail a thilleas JSON Schema, a tha air a thoirt seachad ann am foirm a’ cleachdadh co-phàirt JSONEditor atharraichte. San dòigh seo, bha e comasach do luchd-cleachdaidh na cunntasan a thaghadh airson an dàta a luchdachadh sìos.

Gus gèilleadh ris na crìochan iarrtas a tha ann air làraich, bidh sinn a’ cothlamadh iarrtasan airson suidheachaidhean taobh a-staigh aon tòcan, ach is urrainn dhuinn comharran eadar-dhealaichte a phròiseasadh aig an aon àm.

Thagh sinn MongoDB mar stòradh airson dàta luchdaichte an dà chuid airson an tagradh lìn agus luchd-ceangail, a leig leinn gun a bhith a’ gabhail cus dragh mu structar an dàta aig na ciad ìrean leasachaidh, nuair a dh’ atharraicheas modal nì an tagraidh a h-uile latha eile.

Cha b’ fhada gus an d’ fhuair sinn a-mach nach eil a h-uile dàta a’ freagairt gu math ann am MongoDB agus, mar eisimpleir, tha e nas goireasaiche staitistig làitheil a stòradh ann an stòr-dàta dàimh. Mar sin, airson luchd-ceangail aig a bheil structar dàta nas freagarraiche airson stòr-dàta dàimh, thòisich sinn a’ cleachdadh PostgreSQL no MS SQL Server mar stòradh.

Leig an ailtireachd agus na teicneòlasan a chaidh a thaghadh leinn an toradh D1.Digital a thogail agus a chuir air bhog gu ìre mhath luath. Thairis air dà bhliadhna de leasachadh toraidh, leasaich sinn 23 luchd-ceangail gu làraich, fhuair sinn eòlas luachmhor ag obair le APIan treas-phàrtaidh, dh’ ionnsaich sinn gus duilgheadasan làraich eadar-dhealaichte, aig an robh an cuid fhèin a sheachnadh, a chuir ri leasachadh APIan airson co-dhiù 3 làraich. , air a luchdachadh sìos gu fèin-ghluasadach fiosrachadh mu cha mhòr iomairtean 15 agus airson còrr air 000 greis gnìomhachais, chruinnich e mòran fios air ais bho luchd-cleachdaidh mu obrachadh a ’bhathair agus chaidh aige air prìomh phròiseas an toraidh atharrachadh grunn thursan, stèidhichte air an fhios-air-ais seo.

Ailtireachd fuasglaidh 2.0

Tha dà bhliadhna air a dhol seachad bho thòisich an leasachadh D1.Digital. Mean air mhean nochd an àrdachadh cunbhalach ann an luchd air an t-siostam agus barrachd is barrachd stòran dàta ùra duilgheadasan san ailtireachd fuasglaidh a th’ ann mar-thà.

Tha a 'chiad duilgheadas co-cheangailte ris an uiread de dhàta a chaidh a luchdachadh sìos bho na làraich. Bha sinn nar n-aghaidh gun do thòisich cruinneachadh agus ùrachadh an dàta riatanach gu lèir bho na làraich as motha a’ toirt cus ùine. Mar eisimpleir, bidh cruinneachadh dàta bhon t-siostam sanasachd AdRiver, leis am bi sinn a’ cumail sùil air staitistig airson a’ mhòr-chuid de ghreisean-gnìomhachais, a’ toirt timcheall air 12 uairean.

Gus fuasgladh fhaighinn air an duilgheadas seo, thòisich sinn a 'cleachdadh a h-uile seòrsa de aithisgean a luchdachadh a-nuas dàta bho làraich, tha sinn a' feuchainn ri leasachadh aca API còmhla ri na làraich gus am bi an astar a obrachadh a 'coinneachadh ri ar feumalachdan, agus parallelize an luchdachadh sìos dàta cho mòr' sa ghabhas.

Tha duilgheadas eile co-cheangailte ri làimhseachadh dàta a chaidh a luchdachadh sìos. A-nis, nuair a ruigeas staitistig suidheachaidh ùra, thèid pròiseas ioma-ìre ath-àireamhachadh mheatairean a chuir air bhog, a tha a’ toirt a-steach luchdachadh dàta amh, obrachadh a-mach meatrach iomlan airson gach làrach, a’ dèanamh coimeas eadar dàta bho dhiofar thùsan ri chèile, agus a’ tomhas geàrr-chunntasan airson na h-iomairt. Bidh seo ag adhbhrachadh tòrr luchd air an aplacaid lìn a nì a h-uile àireamhachadh. Iomadh uair, rè a’ phròiseas ath-àireamhachaidh, chaith an tagradh a’ chuimhne gu lèir air an fhrithealaiche, timcheall air 10-15 GB, a thug a’ bhuaidh as miosa air obair luchd-cleachdaidh leis an t-siostam.

Thug na duilgheadasan comharraichte agus planaichean àrd-amasach airson tuilleadh leasachaidh air an toradh sinn gu feum sinn ath-bheachdachadh air ailtireachd an tagraidh.

Thòisich sinn le luchd-ceangail.
Mhothaich sinn gu bheil a h-uile neach-ceangail ag obair a rèir an aon mhodail, agus mar sin thog sinn frèam loidhne-phìoban anns am feumadh tu ceangal a chruthachadh cha robh agad ach loidsig nan ceumannan a phrògramadh, bha an còrr uile-choitcheann. Ma tha feum air leasachadh air cuid de cheangail, bidh sinn ga ghluasad sa bhad gu frèam ùr aig an aon àm ris a bheil an ceanglaiche ga leasachadh.

Aig an aon àm, thòisich sinn a’ cleachdadh luchd-ceangail gu Docker agus Kubernetes.
Dhealbhaich sinn an gluasad gu Kubernetes airson ùine mhòr, rinn sinn deuchainn air suidheachaidhean CI / CD, ach cha do thòisich sinn a ’gluasad ach nuair a thòisich aon cheangal, mar thoradh air mearachd, ag ithe barrachd air 20 GB de chuimhne air an t-seirbheisiche, gu practaigeach a’ marbhadh pròiseasan eile. . Rè an sgrùdaidh, chaidh an ceanglaiche a ghluasad gu buidheann Kubernetes, far an do dh'fhuirich e mu dheireadh, eadhon an dèidh don mhearachd a bhith air a rèiteachadh.

Gu math luath thuig sinn gu robh Kubernetes goireasach, agus taobh a-staigh sia mìosan ghluais sinn 7 luchd-ceangail agus Connectors Proxy, a bhios ag ithe na goireasan as motha, chun bhuidheann riochdachaidh.

Às deidh na ceanglaichean, chuir sinn romhainn ailtireachd a ’chòrr den tagradh atharrachadh.
B ’e am prìomh dhuilgheadas gu bheil dàta a’ tighinn bho luchd-ceangail gu proxies ann an baidsean mòra, agus an uairsin a ’bualadh air an DANBoID agus air a chuir chun phrìomh aplacaid lìn airson a ghiullachd. Mar thoradh air an àireamh mhòr de ath-àireamhachadh meatrach, tha eallach mòr air an tagradh.

Bha e gu math duilich cuideachd sùil a chumail air inbhe obraichean cruinneachadh dàta fa leth agus aithris air mearachdan a bha a’ tachairt taobh a-staigh luchd-ceangail ri prìomh phrògram lìn gus am faiceadh luchd-cleachdaidh dè bha a’ tachairt agus carson nach robh dàta ga chruinneachadh.

Gus na duilgheadasan sin fhuasgladh, leasaich sinn ailtireachd 2.0.

Is e am prìomh eadar-dhealachadh eadar an dreach ùr den ailtireachd, an àite an Web API, gu bheil sinn a’ cleachdadh RabbitMQ agus leabharlann MassTransit gus teachdaireachdan iomlaid eadar seirbheisean. Gus seo a dhèanamh, bha againn ri Connectors Proxy ath-sgrìobhadh cha mhòr gu tur, ga fhàgail mar Connectors Hub. Chaidh an t-ainm atharrachadh leis nach eil prìomh dhleastanas na seirbheis tuilleadh ann a bhith a’ cur air adhart iarrtasan gu luchd-ceangail agus air ais, ach ann a bhith a’ riaghladh cruinneachadh metrics bho luchd-ceangail.

Bhon phrìomh aplacaid lìn, dhealaich sinn fiosrachadh mu àiteachan agus staitistig bho làraich gu seirbheisean air leth, a thug air faighinn cuidhteas ath-àireamhachadh neo-riatanach agus a stòradh dìreach staitistig a chaidh a thomhas agus a chaidh a thomhas mar-thà aig ìre an àite. Rinn sinn cuideachd ath-sgrìobhadh agus leasaich an loidsig airson obrachadh a-mach staitistig bhunaiteach stèidhichte air dàta amh.

Aig an aon àm, tha sinn ag imrich a h-uile seirbheis agus tagradh gu Docker agus Kubernetes gus am fuasgladh a dhèanamh nas fhasa a sgèile agus nas goireasaiche a riaghladh.

Càit a bheil sinn a-nis

Ailtireachd dearbhaidh-bheachd 2.0 toradh D1.Digital deiseil agus ag obair ann an àrainneachd deuchainn le seata cuibhrichte de luchd-ceangail. Chan eil air fhàgail ach 20 neach-ceangail eile ath-sgrìobhadh gu àrd-ùrlar ùr, deuchainn a dhèanamh gu bheil an dàta air a luchdachadh gu ceart agus gu bheil a h-uile meatrach air a thomhas gu ceart, agus an dealbhadh gu lèir a thoirt a-steach gu cinneasachadh.

Gu dearbh, bidh am pròiseas seo a’ tachairt mean air mhean agus feumaidh sinn co-chòrdalachd air ais le seann APIan fhàgail gus a h-uile càil a chumail ag obair.

Tha ar planaichean sa bhad a’ toirt a-steach leasachadh luchd-ceangail ùra, amalachadh le siostaman ùra agus a’ cur meatrach a bharrachd ris an t-seata dàta a chaidh a luchdachadh sìos bho làraich ceangailte agus siostaman sanasachd.

Tha sinn cuideachd an dùil a h-uile tagradh a ghluasad, a’ gabhail a-steach am prìomh phrògram lìn, gu Docker agus Kubernetes. Còmhla ris an ailtireachd ùr, nì seo mòran nas sìmplidhe air cleachdadh, sgrùdadh agus smachd air goireasan caithte.

Is e beachd eile a bhith a’ feuchainn a-mach an roghainn stòr-dàta airson staitistig a stòradh, a tha an-dràsta air a stòradh ann am MongoDB. Tha sinn mu thràth air grunn luchd-ceangail ùra a ghluasad gu stòran-dàta SQL, ach an sin cha mhòr nach eil an diofar ri fhaicinn, agus airson staitistig iomlan tron ​​​​latha, a dh’ fhaodar iarraidh airson ùine neo-riaghailteach, faodaidh am buannachd a bhith gu math dona.

San fharsaingeachd, tha na planaichean grandiose, gluaisidh sinn air adhart :)

Ùghdaran an artaigil R&D Dentsu Aegis Network An Ruis: Georgy Ostapenko (shmiigaa), Mikhail Kotsik (hitexx)

Source: www.habr.com