Generalis prospectus servitii architecturae pro specie taxatio secundum retiacula neural

ostium

Salvete!

In hoc articulo experientiam meam communicabo architecturae microserviae aedificandi ad project usus retiacula neuralis.

Loquamur de requisitis architecturae, varias schemata structurales intuere, singulas partes architecturae perfectae resolvere et etiam metricas technicas solutionis aestimare.

Legendi frui!

Paucis verbis de problemate eiusque solutione

Praecipua idea est spectabilis alicuius spectabilis in scalis decem positis in photo.

In hoc articulo removebimus a retiacula neurali adhibita describendo et processus notitiarum praeparationis et institutionis. Nihilominus, in una sequentium publicatione, certum reddemus aestimationem pipeline in altiori gradu examinare.

Nunc per aestimationem pipelineam in summo gradu ibimus et commercium microserviorum in contextu architecturae altioris project. 

Cum opus ad spectabilem taxationem pipelineam pertinet, negotium in sequentibus componentibus resolutum est;

1. Discriptis facies in photos
2. Rating cuiusque persona
3. Redde exitum

Prima solvitur per vires praeordinatas MTCN. Ad secundum, retis neuralis convolutionis instructus est in PyTorch, utens ResNet34 - ex statera "qualitatis / illationis celeritas in CPU"

Eget diagram aestimationee pipeline

Analysis of project architectura requisita

In vitae cursus ML gradus laboris in architectura et automatione exemplaris instruere saepe sunt inter tempus consumendi et opum consumendi.

Vita cyclus ML project

Hoc consilium non est exceptio - deliberatio facta est ut taxationem pipelineam in servitio online involverent, quod nos in architectura debebant immergere. Sequentia postulata fundamentalia reperiuntur:

1. Tabularium unitatum - omnia officia in unum locum conscribere debent, apta sunt ad analysim
2. Possibilitas horizontalis scalae servitii taxationis - ut verisimile est Bottleneck .
3. Eadem copia facultatum processus processuum distribui debet ad singulas imagines aestimandas ad vitandum manor in distributione temporis consequentis.
4. Ieiunium instruere tam certa officia quam totum acervum
5. Facultas, si opus est, utendi communibus in diversis officiis

Architecture

Post analysin requisita, apparuit architecturae microserviae fere perfecte aptare.

Ad tollendum dolores superfluos, Telegram API frontend electum est.

Primum inspiciamus structural schematis architecturae perfectae, deinde ad singula membra descriptionem accedamus, et etiam processus felicis imaginis processus formalize.

Artificium structurae architectonicae perfectae

De singulis elementis schematis fusius loquamur, quod singularia responsabilitas in processu imaginis aestimationis notetur.

Microservice "attrai-telegram-bot"

Haec microservitia encapsulat omnes interationes cum Telegram API. Missiones principales sunt 2: operans cum imagine consuetudinis et operans cum effectu aestimationis pipeline. Ambas missiones generaliter inspiciamus.

Accepto more nuntium cum imagine;

1. Filtratio perficitur, quae in sequentibus compescit;
   • Disponibilitate imaginem bene magnitudine
   • Multis imaginibus user iam in queue
2. Cum eliquare initialem transeat, imago servata est in volumine
3. Negotium producitur in "to_estimate" queue, quae inter alia includit viam imaginis in nostro volumine positam.
4. Si gradus superiores feliciter perficiuntur, user nuntium accipiet cum proximus imaginis processus tempore, qui computatur secundum numerum munerum in queue. Si error incidit, usus explicite notificabitur mittendo nuntium cum informationibus de eo quod erravisse potuit.

Etiam haec microservatio, sicut apii operarius, "after_estimate" queue audit, quae destinata est ad opera quae per aestimationem pipeline transierunt.

Quando novum munus acceptum ab "after_estimate":

1. Si feliciter processit imago, mittimus eventum utentis: sin minus, notificamus errorem.
2. Imaginem removere effectus est aestimationis pipeline

Aestimatio microservice "attrai-estimator"

Haec microservio apii operarius est et omnia encapsulat quae ad imaginem aestimationem pipeline pertinentia. Solus hic algorithmus laborat - eam resolvere.

Quando novum munus acceptum ab "to_estimate":

1. Imaginem curramus per aestimationem pipeline:
   1. Onerantium imaginem in memoria
   2. Imaginem deferimus ad magnitudinem requiritur
   3. Omnes facies inveniens (MTCN)
   4. Nos omnes facies aestimamus (facies in ultimo gradu involvimus in batch et consequentia ResNet34)
   5. Redde imaginem finalem
      1. Eamus terminis cistas
      2. Ducta ratings
2. Deletis consuetudo (originale) image
3. Salvo output ex aestimatione pipeline
4. Negotium posuimus in "after_estimate" queue, quod "attrai-telegram-bot" auditur per microservicium de quibus supra.

Graylog (+ mongoDB + Elasticsearch)

graylog est solutio ad centralized iniuriarum procuratio. In hoc incepto usus est ad propositum.

Incidit in eum electio, et non usitata ALCE acervus, ex Pythone operandi commodo. Omnes opus facere ut stipes ad Graylogum adde GELFTCPHandler e sarcina graypy reliquis radicis logger nostri pythonis tracto.

Sicut aliquis qui antea solum cum acervo ELK laboravit, altiorem positivum experientiam habui dum operando cum Graylog. Sola res quae deprimendo est in Kibana notarum praestantia super interfaciei Graylogum telae.

RabbitMQ

RabbitMQ est nuntius sectorem secundum AMQP protocollum.

In hoc incepto adhibitum est firmissimum et probatum sectorem Apium et in durabili modo laboraverunt.

redis

redis Est NoSQL DBMS quae operatur in key-valorem notitia structurae

Interdum opus est uti communibus obiectis, quae certas notitias structuras in Pythone Microform diversis efficiunt.

Exempli gratia, Redis hashmap addit formae "telegram_user_id => numerum functionum activarum in queue", quae permittit tibi numerum petitionum ab uno usore ad certum valorem circumscribere et eo modo impedire DoS impetus.

Lets formalize processus imaginem processus felix

1. Usoris imaginem mittit ad telegraphum bot
2. "Attrai-telegram-bot" accipit nuntium e Telegram API et parses it
3. Negotium cum imagine asynchrono queue "to_estimate" additur
4. A user accipit nuntium ad consilium amet tempus
5. "attrai-estimator" munus accipit a queue "to_estimate", opiniones per pipelines decurrit et negotium in "after_estimate" queue producit.
6. "attrai-telegram-bot" audire "after_estimate" queue, mittit exitum utentis

DevOps

Denique, architecturae inspecto, movere potes ad partem aeque interesting - DevOps

Versus Docker

 

Versus Docker  — systema racemum, cuius functionis ratio intra Engine Docker perficitur et ex archa praesto est.

Usus "examen", omnes nodi in botro nostro dividi possunt in 2 genera - operarius et procurator. In machinis primi generis, circulos vasorum (cervos) explicant, machinae secundi generis responsales sunt scalis, aequandis, ac alius frigus features. Mancipes sunt etiam operarii per defaltam.

Botrus cum uno duce procuratore et tribus operariis

Botrus minimus amplitudo possibilis est 1 nodi, una machina simul aget ut procurator et operarius princeps. Ex magnitudine voluptuaria minimum requisitis tolerantiae culpa uti placuit aditus.

Prospiciens, dicam, cum prima partus productionis, quae medio Iunio fuit, nullas difficultates cum hac botri ordinatione coniunctas fuisse (sed hoc non significat talem ordinationem aliquo modo acceptam esse in aliquo medio-magno. coepta, quae tolerantiae culpae obnoxii sunt requisita).

Docker Stack

Examine modo, acervos explicandi responsabilis (docker officia) docker acervus

Docker-componis configias sustinet, sino te insuper parametris explicandi utere.  

Exempli gratia, his parametris adhibitis, facultates ad singulas instantiarum microservitias aestimationis limitatae sunt (in instantiis N nucleorum collocamus, in ipsa microform numerum metretarum adhibitorum a PyTorch ad unum limitamus)

attrai_estimator:
  image: 'erqups/attrai_estimator:1.2'
  deploy:
    replicas: 4
    resources:
      limits:
        cpus: '4'
    restart_policy:
      condition: on-failure
      …

Gravis est notare quod Redis, RabbitMQ et Graylog officia statuta sunt et non tam facile escendere possunt quam "attrai-estimator".

Quaestio praefigurans - cur non Kubernetes?

Videtur quod usus Kubernetes in parvis et mediocribus inceptis supra caput sit, omnes functiones necessariae a Docker Swarm obtineri possunt, quod est satis usor amicabilis pro vase orchestratore et etiam submissa claustrum ad ingressum.

infrastructure

Haec omnia in VDS explicata sunt cum notis sequentibus;

• CPU: 4 core Intel® Xeon® Aurum 5120 [email protected]
• RAM: 8 MB
• SSD: 160GB

Postquam onere locali probatio visa est cum gravi influxu utentium machina haec sufficeret.

Sed, statim post instruere, nexum collocavi ad unam imaginum popularium in CIS (yup, id ipsum), post quam homines studuerunt et paucis horis ministerium feliciter processit decem milia imaginum. Eodem tempore, ad apicem momentorum, CPU et RAM copiae ne dimidium quidem adhibitae sunt.

Quidam magis graphics

Numerus usorum singularium et aestimationes petitiones cum instruere, secundum diem

Aestimatio pipeline sequitur tempus distributionis

Inventiones

Summatim dicam, architecturam ac accessionem ad orchestrationem continentium se probe iustificari - etiam ad apicem momentorum nullae guttae aut temporis in processu deflectuntur. 

Puto parvas et mediocres inceptas quae usu reali temporis consequenti reticulorum neuralis in CPU utuntur in processu suo exercitia in hoc articulo descriptos feliciter capere posse.

Addam initio articulum longiorem esse, sed ne longam postponere, nonnulla in hoc articulo omittenda decrevi - ad ea in futuris publicationibus revertemur.

Potes botones in Telegram - @AttraiBot facere, saltem usque ad finem autumni 2020 operabitur. Admoneam te ne usoris notitia reposita sit - neque imagines originales, neque eventus perpensionis pipelines - omnia post dispensando diruta sint.

Source: www.habr.com