🥇 फॉस्टसाठी पार्श्वभूमी कार्ये, भाग I: परिचय

मला असे कसे जगायला आले?

काही काळापूर्वी मला एका अत्यंत भारित प्रकल्पाच्या बॅकएंडवर काम करावे लागले होते, ज्यामध्ये जटिल गणना आणि तृतीय-पक्ष सेवांसाठी विनंत्यांसह मोठ्या संख्येने पार्श्वभूमी कार्यांची नियमित अंमलबजावणी आयोजित करणे आवश्यक होते. प्रकल्प असिंक्रोनस आहे आणि मी येण्यापूर्वी, क्रॉन-लाँचिंग कार्यांसाठी एक साधी यंत्रणा होती: वर्तमान वेळ तपासणारी लूप आणि गॅदरद्वारे कोरोटीनचे गट लाँच करणे - हा दृष्टीकोन डझनभर आणि शेकडो कॉरोटीन होईपर्यंत स्वीकार्य ठरला. तथापि, जेव्हा त्यांची संख्या दोन हजारांहून अधिक झाली, तेव्हा मला दलाल, अनेक कामगार इत्यादींसह सामान्य कार्य रांग आयोजित करण्याचा विचार करावा लागला.

प्रथम मी सेलेरी वापरण्याचा निर्णय घेतला, जी मी आधी वापरली होती. प्रकल्पाच्या असिंक्रोनस स्वरूपामुळे, मी प्रश्नात डुबकी मारली आणि पाहिले एक लेखतसेच प्रकल्प, लेखाच्या लेखकाने तयार केले आहे.

मी हे सांगेन, हा प्रकल्प अतिशय मनोरंजक आहे आणि आमच्या कार्यसंघाच्या इतर अनुप्रयोगांमध्ये यशस्वीरित्या कार्य करतो आणि लेखक स्वतः म्हणतो की तो असिंक्रोनस पूल वापरून उत्पादनात रोल आउट करण्यास सक्षम होता. परंतु, दुर्दैवाने, ते माझ्यासाठी योग्य नव्हते, जसे ते बाहेर पडले समस्या कार्यांच्या गट लाँचसह (पहा. गट). लेखनाच्या वेळी समस्या आधीच बंद आहे, मात्र महिनाभरापासून काम सुरू आहे. कोणत्याही परिस्थितीत, लेखकाला शुभेच्छा आणि शुभेच्छा, कारण lib वर आधीपासूनच कार्यरत गोष्टी आहेत... सर्वसाधारणपणे, मुद्दा माझ्यात आहे आणि साधन माझ्यासाठी ओलसर ठरले. याशिवाय, काही टास्कमध्ये वेगवेगळ्या सेवांसाठी 2-3 HTTP विनंत्या होत्या, त्यामुळे टास्क ऑप्टिमाइझ करत असतानाही, आम्ही 4 हजार TCP कनेक्शन तयार करतो, अंदाजे दर 2 तासांनी - फार चांगले नाही... मला एका प्रकारासाठी एक सत्र तयार करायचे आहे कामगार सुरू करताना कार्य. aiohttp द्वारे मोठ्या संख्येने विनंत्यांबद्दल थोडे अधिक येथे.

या संदर्भात मी पाहू लागलो पर्याय आणि ते सापडले! भाजी किंवा कोशिंबीर बनवण्यासाठी उपयुक्त अशी एक वनस्पती निर्माते, विशेषतः, मला समजते म्हणून सोलेमला विचारा, निर्माण केले होते फॉस्ट, मूलतः प्रकल्पासाठी रॉबिन हूड. फॉस्ट काफ्का स्ट्रीम्सपासून प्रेरित आहे आणि काफ्कासोबत ब्रोकर म्हणून काम करतो, एजंट्सच्या कामाचे परिणाम संग्रहित करण्यासाठी rocksdb देखील वापरला जातो आणि सर्वात महत्त्वाची गोष्ट म्हणजे लायब्ररी असिंक्रोनस आहे.

तसेच, आपण पाहू शकता द्रुत तुलना नंतरच्या निर्मात्यांकडून सेलेरी आणि फॉस्ट: त्यांचे मतभेद, ब्रोकर्समधील फरक, प्राथमिक कार्याची अंमलबजावणी. सर्व काही अगदी सोपे आहे, तथापि, फॉस्टमधील एक छान वैशिष्ट्य लक्ष वेधून घेते - विषयावर प्रसारित करण्यासाठी टाइप केलेला डेटा.

आम्ही काय करू?

तर, लेखांच्या छोट्या मालिकेत, मी तुम्हाला फॉस्ट वापरून पार्श्वभूमीच्या कार्यांमधून डेटा कसा गोळा करायचा ते दाखवतो. आमच्या उदाहरण प्रकल्पाचा स्त्रोत नावाप्रमाणेच असेल, alphavantage.co. मी एजंट्स (सिंक, विषय, विभाजने) कसे लिहावेत, नियमित (क्रॉन) कार्यान्वित कसे करावे, सर्वात सोयीस्कर फॉस्ट क्ली कमांड्स (क्लिक ओव्हर रॅपर), साधे क्लस्टरिंग कसे करावे हे दाखवून देईन आणि शेवटी आम्ही डेटाडॉग जोडू ( बॉक्सच्या बाहेर काम करत आहे) आणि काहीतरी पाहण्याचा प्रयत्न करा. गोळा केलेला डेटा संग्रहित करण्यासाठी आम्ही कनेक्शनसाठी mongodb आणि मोटर वापरू.

निरीक्षणाचा मुद्दा ज्या आत्मविश्वासाने लिहिला गेला आहे त्याचा आधार घेत, मला वाटते की शेवटच्या लेखाच्या शेवटी वाचक अजूनही असे काहीतरी दिसेल:

प्रकल्प आवश्यकता

मी आधीच वचन दिले आहे या वस्तुस्थितीमुळे, सेवा काय करण्यास सक्षम असावी याची एक छोटी यादी बनवूया:

सिक्युरिटीज आणि त्यांचे विहंगावलोकन अपलोड करा (नफा आणि तोटा, ताळेबंद, रोख प्रवाह - मागील वर्षासाठी) - नियमितपणे
ऐतिहासिक डेटा अपलोड करा (प्रत्येक ट्रेडिंग वर्षासाठी, ट्रेडिंगच्या बंद किंमतीची अत्यंत मूल्ये शोधा) - नियमितपणे
नवीनतम ट्रेडिंग डेटा अपलोड करा - नियमितपणे
प्रत्येक सुरक्षिततेसाठी संकेतकांची सानुकूलित सूची अपलोड करा - नियमितपणे

अपेक्षेप्रमाणे, आम्ही सुरवातीपासून प्रकल्पासाठी नाव निवडतो: हॉर्टन

आम्ही पायाभूत सुविधा तयार करत आहोत

शीर्षक नक्कीच मजबूत आहे, तथापि, तुम्हाला फक्त डॉकर-कंपोजसाठी काफ्का (आणि प्राणीसंग्रहालय - एका कंटेनरमध्ये), काफ्ड्रॉप (जर आम्हाला विषयांमधील संदेश पहायचे असतील तर), मोंगोडबसह एक लहान कॉन्फिगरेशन लिहावे लागेल. आम्हाला मिळते [docker-compose.yml](https://github.com/Egnod/horton/blob/562fa5ec14df952cd74760acf76e141707d2ef58/docker-compose.yml) खालील फॉर्मचे:

version: '3'

services:
  db:
    container_name: horton-mongodb-local
    image: mongo:4.2-bionic
    command: mongod --port 20017
    restart: always
    ports:
      - 20017:20017
    environment:
      - MONGO_INITDB_DATABASE=horton
      - MONGO_INITDB_ROOT_USERNAME=admin
      - MONGO_INITDB_ROOT_PASSWORD=admin_password

  kafka-service:
    container_name: horton-kafka-local
    image: obsidiandynamics/kafka
    restart: always
    ports:
      - "2181:2181"
      - "9092:9092"
    environment:
      KAFKA_LISTENERS: "INTERNAL://:29092,EXTERNAL://:9092"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka-service:29092,EXTERNAL://localhost:9092"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_ZOOKEEPER_SESSION_TIMEOUT: "6000"
      KAFKA_RESTART_ATTEMPTS: "10"
      KAFKA_RESTART_DELAY: "5"
      ZOOKEEPER_AUTOPURGE_PURGE_INTERVAL: "0"

  kafdrop:
    container_name: horton-kafdrop-local
    image: 'obsidiandynamics/kafdrop:latest'
    restart: always
    ports:
      - '9000:9000'
    environment:
      KAFKA_BROKERCONNECT: kafka-service:29092
    depends_on:
      - kafka-service

येथे काहीही क्लिष्ट नाही. काफ्कासाठी दोन श्रोते घोषित केले गेले: एक (अंतर्गत) संयुक्त नेटवर्कमध्ये वापरण्यासाठी आणि दुसरा (बाह्य) बाहेरून आलेल्या विनंत्यांसाठी, म्हणून त्यांनी ते बाहेर पाठवले. 2181 - झूकीपर पोर्ट. बाकी, मला वाटते, स्पष्ट आहे.

प्रकल्पाचा सांगाडा तयार करणे

मूळ आवृत्तीमध्ये, आमच्या प्रकल्पाची रचना अशी दिसली पाहिजे:

horton
├── docker-compose.yml
└── horton
    ├── agents.py *
    ├── alphavantage.py *
    ├── app.py *
    ├── config.py
    ├── database
    │   ├── connect.py
    │   ├── cruds
    │   │   ├── base.py
    │   │   ├── __init__.py
    │   │   └── security.py *
    │   └── __init__.py
    ├── __init__.py
    ├── records.py *
    └── tasks.py *

*सर्व काही मी नोंदवले आम्ही अद्याप त्यास स्पर्श करत नाही, आम्ही फक्त रिक्त फाइल तयार करतो.**

आम्ही एक रचना तयार केली. आता आवश्यक अवलंबन जोडू, कॉन्फिगरेशन लिहू आणि mongodb शी कनेक्ट करू. मी लेखातील फायलींचा संपूर्ण मजकूर प्रदान करणार नाही, जेणेकरून उशीर होऊ नये, परंतु मी आवश्यक आवृत्त्यांचे दुवे प्रदान करेन.

चला प्रोजेक्टबद्दल अवलंबित्व आणि मेटासह प्रारंभ करूया - pyproject.toml

पुढे, आम्ही अवलंबित्व स्थापित करणे आणि व्हर्चुअलेनव्ह तयार करणे सुरू करतो (किंवा तुम्ही स्वतः venv फोल्डर तयार करू शकता आणि वातावरण सक्रिय करू शकता):

pip3 install poetry (если ещё не установлено)
poetry install

आता तयार करू config.yml - क्रेडेन्शियल आणि कुठे ठोकायचे. तुम्ही तेथे अल्फाव्हंटेजसाठी त्वरित डेटा ठेवू शकता. बरं, चला पुढे जाऊया config.py - आमच्या कॉन्फिगरेशनमधून अनुप्रयोगासाठी डेटा काढा. होय, मी कबूल करतो, मी माझी लिब वापरली - सीत्री.

मोंगोशी कनेक्ट करताना, सर्वकाही अगदी सोपे आहे. घोषित केले ग्राहक वर्ग कनेक्ट करण्यासाठी आणि बेस वर्ग cruds साठी, संग्रहांवर क्वेरी करणे सोपे करण्यासाठी.

पुढे काय होणार?

लेख फार मोठा नाही, कारण मी येथे फक्त प्रेरणा आणि तयारीबद्दल बोलत आहे, म्हणून मला दोष देऊ नका - मी वचन देतो की पुढील भागात कृती आणि ग्राफिक्स असतील.

तर, या पुढच्या भागात आम्ही:

आम्हाला आवश्यक असलेल्या एंडपॉइंट्सच्या विनंतीसह aiohttp वर alphavantage साठी एक लहान क्लायंट लिहूया.
चला एक एजंट तयार करूया जो त्यांच्यासाठी सिक्युरिटीज आणि ऐतिहासिक किंमतींचा डेटा गोळा करेल.

प्रकल्प कोड

या भागासाठी कोड

स्त्रोत: www.habr.com

फॉस्टवरील पार्श्वभूमी कार्ये, भाग I: परिचय