ProHoster > Блог > administratio > Background Tasks on Faust, Pars I: Introduction

Background Tasks on Faust, Pars I: Introduction

Background Tasks on Faust, Pars I: Introduction

Quomodo veni sic vivere?

Non ita pridem opus habui in dorso operis maximi onerati, in quo necesse erat iustam exsecutionem ordinare permulta negotia curriculorum cum complexis calculis et petitionibus pro tertia parte muneris. Proiectum asynchronum est et antequam venirem, mechanismum simplicem ad operas cron-immittendis habebat: ansam inhibendi temporis currentis et deducendi catervas coroutinorum via colligendi - aditus acceptabilis evasit donec justo et centeni talium coroutinorum essent. tamen, cum numerus eorum duo milia excederet, cogitare habui de ordinandis usibus communibus queue cum sectore, pluribus operariis et cetera.

Primum de Apium, quo antea usus sum, experiri decrevi. Ob asynchronam propositi naturam, in quaestionem ecidi et vidi articulusTum projectauctor articulum creatum.

Hoc dicam, consilium est valde interesting et satis feliciter in aliis quadrigis nostris applicationibus operatur, et auctor ipse dicit se in productione evolvi posse utendo asynchrono lacu. Sed, proh dolor, non vere mihi convenit, sicut accidit quaestio with group launch of tasks (see. Group). In tempore scripto exitus clauso autem opere per mensem iam peragitur. In causa, fortuna auctori et optimo, cum iam operata sunt in lib... generatim, punctum in me est, et instrumentum in me humidum evasit. Praeterea quaedam officia 2-3 http postulationes ad varia officia habebant, ita etiam cum opera optimizing, 4 milia TCP nexus creamus, singulis fere horis 2 horis — non valde bona ... vellem sessionem unius generis creare negotium cum operarios incipiens. Paulo plus de multitudine petitionum per aiohttp . hic.

Hac de re coepi quaerere utrumlibet et reperit! Apii creatores in specie, ut ego intelligo Interroga Solem, creatus est FaustPrimum ad project Claudia Romani. Faustus Kafka rivi incitatus est et opera cum Kafka tamquam sector, rocksdb etiam usus est ad thesaurum proventuum operis agentium, et potissima res est bibliothecam asynchronam esse.

Etiam, spectare potes velox comparationis apium et faustum ab horum conditoribus: eorum differentiae, differentiae inter sectores, exsecutionem operis elementaris. Omnia prorsus simplicia sunt, tamen, lepida notatio in fausto attentionem attrahit - typus notitiae tradendae argumento.

Quid facimus?

Itaque, in brevi articulorum serie, ostendam tibi quomodo colligere notitias e curriculis rerum, Fausto utente. Fons exempli nostri propositi erit, ut nomen sonat; alphavantage.co. Demonstrabo quomodo scribere ministros (subsidere, argumenta, partitiones), facere regulas (cron) executionem, commodissimam faust cft mandata ( wrapper over click), simplices pampineas, et in fine adnectemus datadog. opus e archa) et experiri aliquid videre. Ad notitias collectas reponendas mongodb et motore pro nexu utemur.

PS cum fiducia qua de re vigilantia scriptum est, lectorem in fine ultimi articuli adhuc aliquid simile hoc spectare existimo.

Background Tasks on Faust, Pars I: Introduction

Project opus

Ob hoc quod iam pollicitus sum, faciamus parvum quid muneris facere possit;

  1. Index cautionum et inspectio earum (including fructus et detrimenta, sheet statera, cash flow - pro ultimo anno) - regulariter
  2. Index historica notitia (pro unoquoque anno negotiandi, valores extremas inveniunt pretium mercaturae clausulae) - regularly
  3. Upload tardus negotiatione data - regularly
  4. Upload a nativus indices pro se securitatem - regularly

Ut expectatur, nomen de integro ineundo eligimus: Horton

Paramus infrastructuram

Titulus certe validus est, tamen omnia, quae facere debes, parvam config scribe pro docker-componere cum kafka (et zookeeper — in uno vase), kafdrop (si epistulas in argumentis inspicere velimus), mongodb. Et dabimus tibi [docker-compose.yml](https://github.com/Egnod/horton/blob/562fa5ec14df952cd74760acf76e141707d2ef58/docker-compose.yml) Formae sequentis:

version: '3'

services:
  db:
    container_name: horton-mongodb-local
    image: mongo:4.2-bionic
    command: mongod --port 20017
    restart: always
    ports:
      - 20017:20017
    environment:
      - MONGO_INITDB_DATABASE=horton
      - MONGO_INITDB_ROOT_USERNAME=admin
      - MONGO_INITDB_ROOT_PASSWORD=admin_password

  kafka-service:
    container_name: horton-kafka-local
    image: obsidiandynamics/kafka
    restart: always
    ports:
      - "2181:2181"
      - "9092:9092"
    environment:
      KAFKA_LISTENERS: "INTERNAL://:29092,EXTERNAL://:9092"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka-service:29092,EXTERNAL://localhost:9092"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_ZOOKEEPER_SESSION_TIMEOUT: "6000"
      KAFKA_RESTART_ATTEMPTS: "10"
      KAFKA_RESTART_DELAY: "5"
      ZOOKEEPER_AUTOPURGE_PURGE_INTERVAL: "0"

  kafdrop:
    container_name: horton-kafdrop-local
    image: 'obsidiandynamics/kafdrop:latest'
    restart: always
    ports:
      - '9000:9000'
    environment:
      KAFKA_BROKERCONNECT: kafka-service:29092
    depends_on:
      - kafka-service

Nihil hic omnino perplexum est. Duo auditores pro kafka declarati sunt: ​​unus (internus) ad usum retis compositi intra, alter (externus) ad petitiones ab extra, ut extra eam transmitterent. 2181 — zookeeper port. Caetera, ut opinor, manifesta sunt.

Praeparans sceletum exertus

In emendatione fundamentali, structura propositi nostri haec debet videri:

horton
├── docker-compose.yml
└── horton
    ├── agents.py *
    ├── alphavantage.py *
    ├── app.py *
    ├── config.py
    ├── database
    │   ├── connect.py
    │   ├── cruds
    │   │   ├── base.py
    │   │   ├── __init__.py
    │   │   └── security.py *
    │   └── __init__.py
    ├── __init__.py
    ├── records.py *
    └── tasks.py *

*Omnia notavi Non attingimus adhuc, tabellas inanes modo creamus.

Nos structuram creavimus. Nunc addamus clientelas necessarias, scribe config et connect ad mongodb. Textum imaginum plenum in articulo non praebebo, ne moreris, sed nexus versionibus necessariis praebebo.

Incipiamus cum clientela et meta de project - pyproject.toml

Deinde, clientelas instituere incipimus et virtualenv creando (vel venv folder te creare potes et ambitum movere);

pip3 install poetry (если ещё не установлено)
poetry install

Nunc faciamus config.yml — Credentials et ubi pulset. Statim datas ponere potes pro alphavantage ibi. Bene, moveamur config.py - Extractum notitia applicationis a nostro config. Ita, fateor, lib meo usus sum. sitri.

Cum Mongo connectens, omnia prorsus simplicia sunt. nuntiatum clientis classis ad coniungere and basis genus pro cruds, ut facilius quaestiones in collectionibus eveniant.

Quid deinde fiet?

Articulus non multum longus est, quia hic solum de motiva et praeparatione loquor, ideo me non reprehendo - promitto alteram partem actionem et graphics habiturum.

Sic in hac ipsa parte proxima;

  1. Scribamus clientem parvum pro alphavantage in aiohttp cum petitionibus ad terminos quibus opus est.
  2. Faciat procuratorem qui notitias securitatis et pretia historica pro illis colliget.

Project code

Code for this part

Source: www.habr.com

Add a comment