Videtur quod campus of online vendo debet esse technologice provectus et automated quam maxime. Scilicet, quia tales gigantes et periti in suo agro sunt sicut Yandex, Mail.Ru, Google et Facebook ibi laborant. Sed, ut evenit, nullus est modus perfectionis et semper aliquid automate.
Communicationum coetus Dentsu Aegis Network Russia lusor maximus est in mercatu digitali vendo et in technologia active collocans, conatur ad negotia negotia optimize et automate. Una e quaestionibus insolutae fori vendendi online facta est negotium colligendi statisticam pro vendendis expeditionibus ex diversis interretialibus suggestis. Solutio huius problematis ultimo effecta est in creatione facti D1.Digital (read as Divan), cuius explicatio loqui volumus.
Quid?
1. In tempore initii propositi, in foro non fuit unum productum paratum, quod problema solvitur automandi collectionem statisticarum de stipendiis vendendis. Id quod nemo nisi nosmetipsos necessitates nostras occurret.
Officia ut Improvado, Roistat, Supermetrica, SegmentStream integrationem praebent cum suggestis, reticulis socialibus et Google Analitycs, ac etiam efficiunt ut analyticas offendas pro opportunitate analysi et stipendii vendendi potestate construere possint. Priusquam nostrum opus elaborare coepimus, quaedam ex his systematibus notitias ex locis colligere conati sumus, sed proh dolor difficultates nostras solvere non potuerunt.
Praecipua quaestio fuit quod probata producta fundata sunt in fontibus data, statisticam collocationem ostendens per situs, et facultatem non praebebat aggregati statistics in expeditionibus vendendis. Hic aditus non permisit nos videre statistica ex diversis locis in uno loco et statum totius expeditionis resolvere.
Alia res fuit quod producta in primis temporibus ad mercatum Occidentalem intendebant nec integrationem cum locis Russicis adiuvabant. Et pro his locis cum quibus integratio perficiebatur, omnia metrica necessaria non semper satis commode recepta sunt, et integratio non semper opportuna et perspicua fuit, praesertim cum necesse erat aliquid obtinere quod non est in ratione instrumenti.
In universum placuit non ad tertiam partem productorum accommodare, sed nostra propria evolvere coepimus.
2. In online vendo mercatus crescit ab anno ad annum, et in MMXVIII, secundum rationes vendo, consecuta est traditionally mercatum TV vendo maximum. Ita est scala.
3. Secus TV vendo mercatus, ubi venditio venditionis mercatoriae monopolitur, multum sunt singuli possessores vendendi inventarium variarum magnitudinum in Interreti operantium cum rationibus suis vendendis. Cum expeditionem vendo, ut regula, pluribus locis simul incurrit, ad rempublicam vendendi expeditionem intelligendam, necesse est ex omnibus locis rumores colligere et in unam magnam relationem miscere, quae totam imaginem ostendet. Hoc modo est potentia ad ipsum.
4. Visum nobis est possessores inventarii vendendi in Interreti iam infrastructuram habere ad statisticas colligendas et eas in rationibus vendendis proponendi, et API huic notitiae praebere poterunt. Hoc significat quod technice fieri potest ad eam efficiendam. Dicamus ilicet quod non ita simplex evasit.
In genere omnia necessaria sunt ad exsequendum consilium nobis manifesta, et cucurrimus ad propositum perducendum ad vitam.
Grande consilium
Inprimis visionem ratio idealis formavimus;
- Stipendia ex systemate corporato 1C vendendo eo ipso onerari debent nominibus, periodis, rationibus et locis in variis suggestis.
- Pro unaquaque collocatione intra expeditionem vendo, omnia possibilia statistica statim ex locis in quibus collocatio peragitur, deponi debent, sicut numerus impressionum, clicks, opiniones, etc.
- Stipendia quaedam vendo investigata sunt utentes tertiae factionis vigilantia rationum observantium sic dictarum ut Adriver, Weborama, DCM, etc. Est etiam meter in Russia industrialis interretialis - societas Mediascoporum. Secundum nostrum consilium, notitia independens et industrialis magna etiam sponte oneratur in expeditionibus vendendis correspondentibus.
- Maxime vendo in Interreti expeditiones certas clypei actiones intendunt (actio, vocatio, signum ad testam coegi, etc.), quae Google Analytica pervestigata sunt, ac statistica, quae etiam ad statum belli intelligendum et magni momenti sunt. in nostro instrumento onerari debeant .
Primum dampnas res est glebis
Datum munus nostrum ad flexibilia principia progressionis programmatum (agilum, omnia) primum MVP evolvere decrevimus et deinde ad propositum itera- vum tendere.
Constituimus facere MVP secundum productum nostrum DANBo (Dentsu Aegis Network Board)quae est applicatio interretialium cum informationibus generalibus de stipendiis nostris clientium vendendis.
Pro MVP, consilium quam maxime in exsequendis verbis simplicior fuit. Elegimus limitatum tabularum tabularum integrationem. Haec erant principalia suggesta, ut Yandex.Direct, Yandex.Display, RB.Mail, MyTarget, Adwords, DBM, VK, FB, et principales systemata observantes Adriver et Weborama.
Ad accessum statisticum in locis per API, una ratione usi sumus. Cliens coetus procurator qui automatariam collectionem statisticam in expeditione vendo uti voluit, primus delegatus accessum ad res necessarias vendendi expeditiones in locis ad suggestum redegit.
Proxima est ratio usuario DANBo limam cuiusdam formati in Praecedo systemati inserendum oportuit, quod omnia informationes de collocatione (advertendo expeditionem, suggestum, formationem, tempus collocationis, indicibus, praevisionibus, etc.) et identificatores respondentium in expeditionibus vendendi situs et calculis in systematibus servandis.
Videbatur, ingenue, terrens;
Datae receptae in database servatae sunt, et deinde singula officia identificatores expeditionis in locis ab illis collectae et in illis statisticae receptae receptae sunt.
Pro unoquoque situ, operae fenestrae separatae scriptae sunt, quae semel in die sub una ratione muneris in API situs ivit et statistica pro certa IDs expeditione downloaded. Hoc idem observandis systematibus accidit.
Notitia receptae in instrumento ostensa est forma parvae consuetudinis ashboardday:
Improviso nobis, MVP opus incepit et incepit currentem mutantem statisticam in interreti vendendi expeditionibus. Systema in pluribus clientibus inseruimus, sed cum scalis conamur, problemata gravia invenimus;
- Praecipua quaestio fuit multiplicitas notitiarum praeparationum ad systema onerandum. Etiam, notitia collocationis ad formam stricte fixa ante loading convertenda erat. Oportebat identitatem identitatis includere in diversis locis in tabella download. Adversus hoc facimus quod difficillimum est utentibus technicis inexercitati exponere, ubi hos identificatores in situ invenire et ubi in tabella ingredi necesse sit. Considerans numerum conductorum in Dicasteriorum expeditionibus in locis et turnoveris currentibus, hoc in magna parte subsidii nostri consecutum est, quod omnino non laeti eramus.
- Alia quaestio fuit quod non omnes suggestus vendentes machinationes haberent ad accessum ad expeditiones vendendas aliis rationibus delegandi. Sed etiamsi legationis mechanismus suppetebat, non omnes proscriptiones accessum suarum expeditionum ad rationes tertiarum partium concedere volebant.
- Magni momenti fuit indignatio quae inter usores excitatur eo quod omnia quae expositae sunt notae et collocationis notae, quae iam in rationem nostram 1C intrant, rursus inire debent. DANBo.
Hoc nobis notum dedit primum principium informationis de collocatione nostra esse systema 1C, in quam omnia notitia accurate et in tempore inscripta est (hoc enim est quod mercium in 1C datarum generantur, ita recta viscus notitiarum in 1C. est prioritas omnium KPI). Ita nova notio systematis orta est...
conceptu
Primum hoc facere decrevimus ut systema statistica in vendendis stipendiis in Internet in separatum productum colligendis seiungeret - D1.Digital.
In novo notione constituimus nos onerare in D1.Digital informationes de expeditionibus vendendis et collocationibus in illis ab 1C, et deinde statistica e locis evellendi et systematis Servandi ad haec placements. Hoc suppositum est significanter simpliciorem vitam pro utentibus (et, ut solet, plus operis tincidunt addere) et quantitatem subsidii minuere.
Primum problema quod invenimus fuit norma naturae et ad id quod clavem vel signum invenire non potuimus quo res ex diversis systematibus cum stipendiis et collocationibus a 1C comparare possemus. Ita est quod processus in societate nostra ita ordinatur ut expeditiones vendendae in varias rationes a diversis hominibus ingrediantur (mediorum institutorum, emptionum, etc.).
Ad hanc problema solvendam, clavem hashed unicam, DANBoID, invenire debebamus, quae res in diversis systematibus conglutinaret, et satis facillime et unice identificari posset in notitiis downloadedibus. Hoc identifier in 1C systemate interna generatur pro singulis collocationibus et transfertur ad expeditiones, locationes et calculis in omnibus locis et in omnibus systematibus Adservantibus. Exercitium deducendi in omnibus locis ponendi DANBoID tempus aliquod sumpsit, sed id facere potuimus :)
Tunc deprehendimus non omnes situs API habere ad statisticas automatice colligendas, immo ea quae API habent, non omnes notitias necessarias reddere.
In hac scaena, decrevimus signanter reducere indicem tabularum integrationis et focus in praecipuis suggestis quae implicantur in plurimis expeditionibus vendendis. Hoc album includit omnes maximas lusores in foro vendo (Google, Yandex, Mail.ru), retiacula socialia (VK, Facebook, Twitter), maiores AdServing systemata analytica (DCM, Adriver, Weborama, Google Analytica) et alia suggesta.
Plures situs delegimus API quod modo metricis nobis opus erat. In casibus ubi nulla API vel notitia necessarias non continebat, relationes ad munus nostrum cotidie electronicas ad onera data (in quibusdam systematibus configurare potest nobis).
Cum notitias ex diversis locis dividendo, invenimus hierarchiam entium non esse eandem in diversis systematibus. Praeterea informationes diversimode ex diversis systematibus accipiendae sunt.
Ad hanc problema solvendam notio SubDANBoID amplificata est. Idea SubDANBoID plane simplex est, principalem entitatem expeditionis in loco cum DANBoID genito notamus, et omnia entia nidificata cum unico situ identitatis et forma SubDANBoID secundum principium DANBoID + identificantis primi gradus inserimus. ens nested + identifier secundi gradus entitatis nestrae +…
Etiam problema accessus ad expeditiones in diversis suggestis solvendas oportuit. Sicut supra scripsimus, machina machinatio ad expeditionem accessum ad rationem technicam separatam non semper applicabilis est. Ideo debuimus ad explicandum infrastructuram automatis automatistionis per OAuth utentes signa et machinationes ad confirmanda haec signa.
Postea in articulo fusius describere conabimur architecturam solutionis ac singularum technicarum exsecutionis.
Solutio architecturae 1.0
Incipientes exsequendam novi producti speciem intelleximus nos statim opus esse possibilitati coniungendi novas sites providere, ut viam architecturae microserviae sequi decrevimus.
Cum architecturae designantes, connexiones ad omnes systemata externa 1C, vendo suggesta et systemata conservantes, in singula officia separavimus.
Praecipua idea est quod omnes connexiones ad sites eandem API habent et adaptatores sunt qui API situm ad interfacem commodam nobis afferunt.
In medio producti nostri applicationis interretialis est, quae monolithus ita designatus est ut in officia facile disiungi possit. Haec applicatio responsabilis est ad notitias receptas dispensandas, statisticas ex diversis systematibus collativas et eas pro utentibus systematis exhibens.
Communicare inter connexiones et applicationes interretiales creare debebamus addito servitio, quod Proxy Connector appellavimus. Inventionis et Task Scheduler functiones servitii exercet. Hoc officium currit notitia collectionis officia singulis iungo per singulas noctes. Facilius iacuit scripturae servitutis quam epistulam sectorem coniungens, nobisque maximus erat ut quam celerrime exitum perduceret.
Ad simplicitatem et celeritatem evolutionis, etiam placuit omnia officia interretialis APIs fore. Hoc effecit, ut probationem conceptus celeriter conveniret ac cognosceret totum consilium opera.
Opus separatum, immo multiplex, accessum ad colligendas notitias ex diversis rationibus instituebat, quae, ut constituimus, ab utentibus per interfaciem interfacies exercenda sunt. Constat duobus gradibus separatis: primo, usor signum addit accessum ad rationem per OAuth, et deinde collectionem notitiarum clienti ex certa ratione conformat. Indicium obtinendum per OAuth necessarium est quia, sicut iam scripsimus, non semper potest accessum delegare ad optatam rationem in situ.
Ad mechanismum universalem ad creandum rationem ex locis eligendis, methodum addere debebamus connexibus API quae redit JSON Schema, quae redditur in formam utens componentis modificati JSONEditor. Hoc modo utentes rationes eligere poterant ex quibus data electronica sunt.
Ut fines petitioni in locis exsistentibus parere debeamus, petitiones iungimus in uno signo, sed diversa signa in parallelis procedere possumus.
MongoDB elegimus tabularium pro oneratis notitiarum tam applicationis quam connexionum, quae nos nimium solliciti esse permiserunt de structurae initiis evolutionis initiis, cum obiectum applicationis exemplar alternis diebus mutatur.
Mox nos deprehendimus non omnia indicia bene convenire in MongoDB et, exempli gratia, commodiorem esse cotidie statisticam in relationis database condere. Propterea ad connexiones quorum structura notitia relatio datorum aptior est, PostgreSQL vel MS SQL Servo pro repono uti coepimus.
Architectura et technologiae electae nobis permiserunt ut productum D1.Digital relative celeriter aedificare ac deducere. Plus duos annos evolutionis evolutionis elaborasti, 23 connexiones ad sites elaboravimus, inaestimabilem experientiam operando cum tertia factione APIs consecuta, evitandos foveas diversorum situum, quas quisque suas habuit, ad progressionem API saltem 3 contulerunt. sites, automatice informationes de 15 stipendiorum fere et pro plus quam 000 placements delatae sunt, multam opiniones ab usoribus in operatione producti collegerunt et processus principalis producti pluries mutare curaverunt, ex hac opinione innixi.
Solutio architecturae 2.0
Duo anni elapsi sunt ab initio evolutionis D1.Digital. Constanter auget onus in systemate et evolutione magis ac magis novorum notitiarum fontes paulatim revelata problemata in architectura solutionis exsistentis.
Prima quaestio ad quantitatem notitiae ex locis receptae refertur. Adversus nos erant, quod colligendis et adaequandis omnibus locis maximis necessarias notitias nimium temporis capere coeperunt. Exempli gratia, notitias colligendas ex systemate AdRiver servando, quocum statistica pro plerisque locis indagare, circiter XII horas accipit.
Ad hanc quaestionem solvendam, omnes relationum genera ex locis electronicis utentes incepimus, API una cum sitibus evolvere conamur ut celeritas operationis nostrae necessitatibus occurrat, et quantum fieri potest parallelisare notitias download.
Alia quaestio ad processum datae receptae refert. Nunc, cum nova collocatio statistica pervenerit, processus multi-statis metri recalculandi educitur, qui includit notitias rudis onerandas, metri calculi aggregati pro quolibet situ, notitias e diversis fontibus inter se comparantes, et summatim metricas ad expeditionem computantes. Hoc multum oneris facit in applicatione interreti quae omnes calculos facit. Aliquoties, in processu recalculationis, applicationis omnem memoriam in calculonis consumpsit, circa 10-15 GB, quod detrimentum effectum in usorum opera cum systemate habuit.
Quae- stiones et ambitiosae notae consilia ad ulteriorem operis progressionem nos perduxerunt ad necessitatem architecturae applicationis retractandae.
Cum connexionibus coepimus.
Animadvertimus omnes connexiones ad idem exemplar operari, sic compagem pipelineam struxisse in qua iungentem creare debebas solum logicam graduum programma, cetera universalia. Si iunctio aliquis emendationem requirit, statim eam ad novam compagem transferemus simul ac iungens melioratur.
Eodem tempore connexiones Docker et Kubernetes disponere incepimus.
Motum ad Kubernetes satis diu cogitavimus, cum CI/CD occasus expertum est, sed solum movere coepimus cum unus iungo, ob errorem, plusquam XX GB memoriae in servo edere coepit, alios processus paene necandos. . Per investigationem, connector ad botrum Kubernetes commotus est, ubi tandem mansit, etiam postquam error fixus est.
Satis cito intelleximus Kubernetes opportunum esse et intra sex menses transtulimus 7 connexiones et Connectores Proxy, quae plurimas opes consumunt, ad botrum productionis.
Sequentes connexiones, placuit architecturae applicationis reliquorum mutare.
Praecipua quaestio fuit quod notitia a connectoribus ad procuratores in magnas batches venit, et postea DANBoID percusserit et ad applicationem instrumentorum instrumentorum ad expediendas mittitur. Propter multitudinem metri recalculationum, magna est in applicatione onus.
Perdifficile etiam demonstratur ad monitorem statum singulorum notitiarum collectionum congeri et referre errores in connexionibus occurrentibus ad applicationem centralem interretialem, ut utentes videre possent quid fieret et quare notitia non colligebatur.
Ad has difficultates solvendas architecturae 2.0 elaboravimus.
Praecipua differentia inter novam architecturae versionem est quod loco Web API utimur RabbitMQ et bibliotheca MassTransit ad nuntiis inter officia permutandis. Ad hoc faciendum, connexiones Proxy rescribe omnino fere debebamus, quod connexiones Hub reddebant. Nomen mutatum est quia principale munus servitii non iam in petitionibus iungendis et retrahendis est, sed in collectione metri a connexibus disponendis.
Ex applicatione centrali interretiales notitias de placements et statisticis ex locis in operas separatas separavimus, quae effecit ut recalculationes superfluas removere et solum statisticam in gradu collocationis iam computatis et aggregatis reponere possemus. Nos quoque logicam rescripsimus et optimized ad colligendas fundamentales statistics fundatas notitias rudis.
Eodem tempore migramus omnia officia et applicationes ad Docker et Kubernetes ut solutionem facilius conscendere et commodius disponere possimus.
Ubi nunc sumus?
Argumentum conceptus architecturae 2.0 producti D1.Digital paratus et laborans in test environment cum limitata copia connexiones. Quidquid reliqui facere est alios 20 connexiones ad novum suggestum rescribere, probare notitia onusta recte et omnia metrica recte computata et totum consilium in productionem evolvunt.
Revera, hic processus paulatim fiet et retro congruentiam cum antiquis APIs relinquere debebimus ut omnia operante servemus.
Consilia immediata nostra includunt evolutionem novorum connexionum, integrationem cum novis systematibus et additis metris additis ad praefinitum notitiarum quae e locis connexis et systematibus observandis receptae sunt.
Omnes applicationes, etiam interretialem applicationem centralem, ad Docker et Kubernetes transferre cogitamus. Cum nova architectura coniuncta, hoc significanter simpliciorem reddet instruere, vigilantia et moderatio facultatum absumptarum.
Alia idea est experimentum cum electione datorum condendi statistica, quae nunc in MongoDB reponitur. Plures novos connexiones ad SQL databases iam transtulimus, sed illic fere lateat differentia, et pro statisticis aggregatis, quae pro arbitrario peti possunt, quaestus admodum gravis esse potest.
In genere, consilia magnifica sunt, moveamur :)
Auctores articuli R&D Dentsu Aegis Network Russia: Georgy Ostapenko () Mikhail Kotsik ()
Source: www.habr.com