🥇Taustategevused Fausti kohta, Osa I: Sissejuhatus

Kuidas ma sellesse elusse jõudsin?

Hiljuti pidin töötama kõrgelt koormatud projekti backend'i kallal, kus tuli korraldada regulaarne suurte arvutuste ja kolmandate osapoolte teenustele tehtud päringutega taustatööde täitmine. Projekt on asünkroonne ja enne minu saabumist oli seal lihtne cron'i mehhanism ülesannete käivitamiseks: tsükkel, mis kontrollis praegust aega ja käivitas gruppide kaupa korutineid gather kaudu — selline lähenemine osutus vastuvõetavaks kuni hetkeni, mil korutineid oli kümneid ja sadu, kuid kui nende arv ületas kahe tuhande, tuli mõelda normaalsete ülesannete järjekorra korraldamisele koos vahendajaga, mitme töökatkestaja ja muu vajalikuga.

Alguses otsustasin proovida Celery't, mida olin varem kasutanud. Seoses projekti asünkroonsusega, sukeldusin küsimusele ja nägin artiklit, samuti projekt, mille lõi artikli autor.

Nii et, projekt on väga huvitav ja töötab üsna edukalt meie meeskonna teistes rakendustes, ja autor ütleb ise, et suudab selle tootmisse viia, kasutades asünkroonset puli. Kuid kahjuks ei sobinud see mulle väga, kuna ilmus välja probleem ülesannete grupi käivitamine (vt. gruppe). Artikli kirjutamise hetkeks probleem oli juba suletud, kuid töö käidi kuu jooksul. Igal juhul, autorile edu ja kõike head, sest töötavad asjad sellel teekeerates on juba olemas... Kokkuvõttes, probleem oli minus ja see tööriist tundus mulle veidi toores. Lisaks oli mõnedes ülesannetes 2-3 http-päringut erinevatele teenustele, seega isegi ülesannete optimeerimisel loome 4000 tcpühendust ligikaudu iga kahe tunni tagant — ei midagi head... Sooviksin luua sessiooni ühe tüüpi ülesannete käivitamisel töökatkestajate jaoks. Veidi rohkem suurest hulgast päringutest aiohttp kaudu siit.

Seetõttu hakkasin otsima alternatiive ja leidsin! Celery looja poolt, kuidas ma aru sain Ask Solem, loodi Faust, esialgu projekti jaoks robinhood. Faust on kirjutatud Kafka Streams'i muljetel ja töötab Kafka vahendajana, samuti kasutatakse rocksdb tulemuste salvestamiseks, ja mis kõige tähtsam — see teek on asünkroon.

Samuti, võite vaadata lühiülevaadet Celery ja Faust viimasest loojatest: nende erinevused, erinevused vahendite vahel, elementaarse ülesande rakendamine. Kõik on üsna lihtne, kuid Faustis tõmbab pilku meeldiv omadus — tüübistatud andmed teema edastamiseks.

Mida me teeme?

Nii et väikese artiklite seeria jooksul näitan, kuidas koguda andmeid taust ülesannetes, kasutades Fausti. Meie näidisprojekti allikaks on, nagu nimigi ütleb, alphavantage.co. Näitan, kuidas kirjutada agente (sink, teemad, jaotised), kuidas teha regulaarselt (cron) täitmist, mugavaid fausti CLI-käske (wrapper click'i kohal), lihtsat klastreerimist ning lõpuks ühendame Datadogi (karbis töötav) ja proovime midagi näha. Kogutud andmete salvestamiseks kasutame MongoDB-d ja Motori ühendamiseks.

P.S. Kohaselt seda jälgimise punkti kirjutamise enesekindluse põhjal arvan, et lugeja näeb viimasest artiklist lõpuks välja umbes nii:

Projektinõuded

Kuna olen juba mõningaid lubadusi andnud, koostame väikese nimekirja sellest, mida teenus peaks suutma:

Väljastama väärtpaberid ja ülevaate nende kohta (sh kasum ja kahjum, bilanss, rahavoog – viimase aasta jooksul) – regulaarselt
Väljastama ajaloolisi andmeid (iga kaubandusaasta jaoks leidma sulgemishinna äärmused) – regulaarselt
Väljastama viimaseid kauplemisandmeid – regulaarselt
Väljastama kohandatud nimekirja indikaatoritest igale väärtpaberile – regulaarselt

Nagu ikka, valime projekti nime suvaliselt: horton

Valmistame infrastruktuuri ette

Pealkiri on muidugi tugev, kuid kõik, mida peame tegema, on kirjutada väike konfiguraatsioon docker-compose'i jaoks koos Kafka (ja Zookeeperiga – ühes konteineris), Kafdrop (kui tahame vaadata sõnumeid teemades), MongoDB. Saame [docker-compose.yml](https://github.com/Egnod/horton/blob/562fa5ec14df952cd74760acf76e141707d2ef58/docker-compose.yml) järgmise väljanägemisega:

versioon: '3'

teenused:
  db:
    konteineri_nimi: horton-mongodb-local
    pilt: mongo:4.2-bionic
    käsud: mongod --port 20017
    taaskäivita: alati
    sadamad:
      - 20017:20017
    keskkond:
      - MONGO_INITDB_DATABASE=horton
      - MONGO_INITDB_ROOT_USERNAME=admin
      - MONGO_INITDB_ROOT_PASSWORD=admin_password

  kafka-service:
    konteineri_nimi: horton-kafka-local
    pilt: obsidiandynamics/kafka
    taaskäivita: alati
    sadamad:
      - "2181:2181"
      - "9092:9092"
    keskkond:
      KAFKA_LISTENERS: "INTERNAAL://:29092,VÄLINE://:9092"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAAL://kafka-service:29092,VÄLINE://localhost:9092"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAAL:PLAINTEXT,VÄLINE:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAAL"
      KAFKA_ZOOKEEPER_SESSION_TIMEOUT: "6000"
      KAFKA_RESTART_ATTEMPTS: "10"
      KAFKA_RESTART_DELAY: "5"
      ZOOKEEPER_AUTOPURGE_PURGE_INTERVAL: "0"

  kafdrop:
    konteineri_nimi: horton-kafdrop-local
    pilt: 'obsidiandynamics/kafdrop:latest'
    taaskäivita: alati
    sadamad:
      - '9000:9000'
    keskkond:
      KAFKA_BROKERCONNECT: kafka-service:29092
    sõltub:
      - kafka-service

Siin pole midagi keerulist. Kafka jaoks on määratud kaks kuulajat: üks (sisemine) komposiitvõrgus kasutamiseks, teine (väline) väljastpoolt päringute jaoks, seega suunati see väljapoole. 2181 on zookeeperi port. Muus osas on ilmselt kõik selge.

Valmistame projekti raamistikku

Baasi variandi puhul peaks meie projekti struktuur välja nägema nii:

horton
├── docker-compose.yml
└── horton
    ├── agents.py *
    ├── alphavantage.py *
    ├── app.py *
    ├── config.py
    ├── andmebaas
    │   ├── connect.py
    │   ├── cruds
    │   │   ├── base.py
    │   │   ├── __init__.py
    │   │   └── security.py *
    │   └── __init__.py
    ├── __init__.py
    ├── records.py *
    └── tasks.py *

*Kõik, mida ma märkisin me ei puutu praegu, vaid loome lihtsalt tühjad failid.**

Struktuur on loodud. Nüüd lisame vajalikud sõltuvused, kirjutame konfi ja ühendame mongodb-ga. Täielikku faili sisu artiklis ei too, et mitte liiga pikaks venida, vaid lisan lingid vajalikele versioonidele.

Alustame sõltuvustest ja projekti metaandmetest — pyproject.toml

Seejärel käivitame sõltuvuste installimise ja virtualenv loomise (või saate ise luua kausta venv ja aktiveerida keskkonna):

pip3 install poetry (kui veel ei ole paigaldatud)
poetry install

Nüüd loome config.yml — autentimisandmed ja kuhu ühenduda. Kohe saab sinna paigutada ka andmed alphavantage'i jaoks. Nüüd liigume edasi config.py — ekstraktsime rakenduse andmed meie konfiguratsioonist. Jah, kahetsen, aga kasutasin oma teeki — sitri.

Mongo ühenduse osas on kõik tõesti lihtne. Oleme määranud kliendi klassi ühendamiseks ja baasklassi CRUD-de jaoks, et teha kollektiivide täitmine lihtsamaks.

Mis hakkab edasi juhtuma?

Artikkel sai mitte väga suur, kuna räägin siin ainult motiveerimisest ja ettevalmistusest, seega ärge pahandage — luban, et järgmises osas on tegevust ja graafikat.

Nii et järgmises osas teeme järgmist:

Kirjutame väikese kliendi alphavantage jaoks aiohttp'ga ning teeme päringud vajalikele otsingupunktidele.
Loome agendi, mis kogub andmeid väärtpaberite kohta ja nende ajaloolisi hindu.

Projekti kood

Selle osa kood

Allikas: habr.com