🥇 फाउस्टमा पृष्ठभूमि कार्यहरू, भाग १: परिचय

म कसरी यसरी बाँच्न आएँ?

लामो समय पहिले मैले अत्यधिक लोड गरिएको परियोजनाको ब्याकएन्डमा काम गर्नुपरेको थियो, जसमा जटिल गणनाहरू र तेस्रो-पक्ष सेवाहरूको लागि अनुरोधहरूको साथ ठूलो संख्यामा पृष्ठभूमि कार्यहरूको नियमित कार्यान्वयनलाई व्यवस्थित गर्न आवश्यक थियो। परियोजना एसिन्क्रोनस छ र म आउनु अघि, यसमा क्रोन-लन्चिङ कार्यहरूका लागि एक सरल संयन्त्र थियो: हालको समय जाँच गर्ने लुप र भेला मार्फत कोराउटिनहरूको समूहहरू सुरू गर्ने - यो दृष्टिकोण स्वीकार्य हुन पुग्यो जबसम्म त्यहाँ दर्जनौं र सयौं यस्ता कोराउटिनहरू थिएनन्। तर, जब तिनीहरूको संख्या दुई हजार नाघेको थियो, मैले एक दलाल, धेरै कामदारहरू, र यस्तै अन्यसँग सामान्य कार्य लाइन व्यवस्थित गर्ने बारे सोच्नु परेको थियो।

पहिले मैले सेलरी प्रयोग गर्ने निर्णय गरें, जुन मैले पहिले प्रयोग गरेको थिएँ। परियोजनाको एसिन्क्रोनस प्रकृतिको कारण, मैले प्रश्नमा डुब्यो र हेर्नुभयो लेख, र प्रोजेक्ट, लेख को लेखक द्वारा बनाईएको।

म यो भन्न चाहन्छु, परियोजना धेरै रोचक छ र हाम्रो टोलीको अन्य अनुप्रयोगहरूमा धेरै सफलतापूर्वक काम गर्दछ, र लेखक आफैं भन्छन् कि उसले यसलाई एसिन्क्रोनस पूल प्रयोग गरेर उत्पादनमा रोल आउट गर्न सक्षम थियो। तर, दुर्भाग्यवश, यो वास्तवमै मलाई उपयुक्त भएन, जस्तो कि यो बाहिरियो समस्या कार्यहरूको समूह सुरुवातको साथ (हेर्नुहोस्। समूह)। लेख्ने समयमा मुद्दा बन्द छ, तर एक महिनादेखि काम चलिरहेको छ । जे भए पनि, लेखकलाई शुभकामना र सबै राम्रो, किनकि त्यहाँ पहिले नै lib मा काम गर्ने चीजहरू छन् ... सामान्यतया, बिन्दु ममा छ र उपकरण मेरो लागि ओसिलो भयो। थप रूपमा, केहि कार्यहरूमा विभिन्न सेवाहरूमा 2-3 HTTP अनुरोधहरू थिए, त्यसैले कार्यहरू अनुकूलन गर्दा पनि, हामी 4 हजार TCP जडानहरू सिर्जना गर्छौं, लगभग हरेक 2 घण्टामा - धेरै राम्रो छैन... म एक प्रकारको लागि सत्र सिर्जना गर्न चाहन्छु। कामदार सुरु गर्दा कार्य। aiohttp मार्फत अनुरोधहरूको ठूलो संख्याको बारेमा अलि बढी यहाँ.

यसै सन्दर्भमा मैले खोज्न थालेँ विकल्प र यो फेला पर्यो! अजवाइनका निर्माताहरू, विशेष गरी, मैले बुझेको रूपमा सोलेमलाई सोध्नुहोस्, सिर्जना गरिएको थियो Faust, मूल रूपमा परियोजनाको लागि रोबिनहुड। Faust काफ्का स्ट्रिम्सबाट प्रेरित छ र काफ्कासँग ब्रोकरको रूपमा काम गर्दछ, रक्सडीबी एजेन्टहरूको कामबाट परिणामहरू भण्डारण गर्न पनि प्रयोग गरिन्छ, र सबैभन्दा महत्त्वपूर्ण कुरा यो हो कि पुस्तकालय एसिन्क्रोनस हो।

साथै, तपाईं हेर्न सक्नुहुन्छ द्रुत तुलना पछिल्लोका सिर्जनाकर्ताहरूबाट सेलेरी र फास्ट: तिनीहरूको भिन्नता, दलालहरू बीचको भिन्नता, प्राथमिक कार्यको कार्यान्वयन। सबै कुरा एकदम सरल छ, तथापि, faust मा एक राम्रो सुविधाले ध्यान आकर्षित गर्दछ - शीर्षकमा प्रसारणको लागि टाइप गरिएको डाटा।

हामी के गर्छौ?

त्यसोभए, लेखहरूको छोटो श्रृंखलामा, म तपाईंलाई फस्ट प्रयोग गरेर पृष्ठभूमि कार्यहरूबाट डाटा कसरी सङ्कलन गर्ने भनेर देखाउनेछु। हाम्रो उदाहरण परियोजनाको लागि स्रोत हुनेछ, नामले सुझाव दिन्छ, alphavantage.co। म एजेन्टहरू (सिंक, विषयहरू, विभाजनहरू), कसरी नियमित (क्रोन) कार्यान्वयन गर्ने, सबैभन्दा सुविधाजनक फास्ट क्लाइ आदेशहरू (क्लिकमा एक र्यापर), सरल क्लस्टरिङ, र अन्त्यमा हामी एक डाटाडग संलग्न गर्नेछौं। बक्स बाहिर काम गर्दै) र केहि हेर्न को लागी प्रयास गर्नुहोस्। सङ्कलन डाटा भण्डारण गर्न हामी जडानको लागि mongodb र मोटर प्रयोग गर्नेछौं।

PS अनुगमनको बारेमा बिन्दु लेखिएको आत्मविश्वासको आधारमा, मलाई लाग्छ कि अन्तिम लेखको अन्त्यमा पाठक अझै पनि यस्तो देखिन्छ:

परियोजना आवश्यकताहरू

मैले पहिले नै वाचा गरेको तथ्यको कारणले गर्दा, सेवाले के गर्न सक्षम हुनुपर्छ भन्ने एउटा सानो सूची बनाउनुहोस्:

धितोपत्रहरू र तिनीहरूको एक सिंहावलोकन अपलोड गर्नुहोस् (नाफा र घाटा, ब्यालेन्स पाना, नगद प्रवाह - पछिल्लो वर्षको लागि) - नियमित रूपमा
ऐतिहासिक डेटा अपलोड गर्नुहोस् (प्रत्येक व्यापारिक वर्षको लागि, व्यापारको बन्द मूल्यको चरम मानहरू फेला पार्नुहोस्) - नियमित रूपमा
नवीनतम व्यापार डेटा अपलोड गर्नुहोस् - नियमित रूपमा
प्रत्येक सुरक्षाको लागि सूचकहरूको अनुकूलित सूची अपलोड गर्नुहोस् - नियमित रूपमा

अपेक्षित रूपमा, हामी स्क्र्याचबाट परियोजनाको लागि नाम छनौट गर्छौं: होर्टन

पूर्वाधारको तयारी गरिरहेका छौं

शीर्षक पक्कै पनि बलियो छ, तथापि, तपाईंले डकर-कम्पोजको लागि काफ्का (र zookeeper - एउटा कन्टेनरमा), kafdrop (यदि हामी विषयहरूमा सन्देशहरू हेर्न चाहन्छौं), mongodb लेख्नको लागि एउटा सानो कन्फिगरेसन लेख्नु पर्छ। हामीले पायौ [docker-compose.yml](https://github.com/Egnod/horton/blob/562fa5ec14df952cd74760acf76e141707d2ef58/docker-compose.yml) निम्न फारम को:

version: '3'

services:
  db:
    container_name: horton-mongodb-local
    image: mongo:4.2-bionic
    command: mongod --port 20017
    restart: always
    ports:
      - 20017:20017
    environment:
      - MONGO_INITDB_DATABASE=horton
      - MONGO_INITDB_ROOT_USERNAME=admin
      - MONGO_INITDB_ROOT_PASSWORD=admin_password

  kafka-service:
    container_name: horton-kafka-local
    image: obsidiandynamics/kafka
    restart: always
    ports:
      - "2181:2181"
      - "9092:9092"
    environment:
      KAFKA_LISTENERS: "INTERNAL://:29092,EXTERNAL://:9092"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka-service:29092,EXTERNAL://localhost:9092"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_ZOOKEEPER_SESSION_TIMEOUT: "6000"
      KAFKA_RESTART_ATTEMPTS: "10"
      KAFKA_RESTART_DELAY: "5"
      ZOOKEEPER_AUTOPURGE_PURGE_INTERVAL: "0"

  kafdrop:
    container_name: horton-kafdrop-local
    image: 'obsidiandynamics/kafdrop:latest'
    restart: always
    ports:
      - '9000:9000'
    environment:
      KAFKA_BROKERCONNECT: kafka-service:29092
    depends_on:
      - kafka-service

यहाँ केहि पनि जटिल छैन। काफ्काका लागि दुई श्रोताहरू घोषणा गरियो: एउटा (आन्तरिक) कम्पोजिट नेटवर्क भित्र प्रयोगको लागि, र दोस्रो (बाह्य) बाहिरबाट अनुरोधहरूको लागि, त्यसैले तिनीहरूले यसलाई बाहिर फर्वार्ड गरे। 2181 - चिडियाखाना पोर्ट। बाँकी, मलाई लाग्छ, स्पष्ट छ।

परियोजनाको कंकाल तयार गर्दै

आधारभूत संस्करणमा, हाम्रो परियोजना को संरचना यस्तो देखिनु पर्छ:

horton
├── docker-compose.yml
└── horton
    ├── agents.py *
    ├── alphavantage.py *
    ├── app.py *
    ├── config.py
    ├── database
    │   ├── connect.py
    │   ├── cruds
    │   │   ├── base.py
    │   │   ├── __init__.py
    │   │   └── security.py *
    │   └── __init__.py
    ├── __init__.py
    ├── records.py *
    └── tasks.py *

*मैले नोट गरेको सबै कुरा हामी यसलाई अझै छुदैनौं, हामी खाली फाइलहरू मात्र सिर्जना गर्छौं।**

हामीले संरचना बनायौं। अब आवश्यक निर्भरताहरू थपौं, कन्फिगरेसन लेख्नुहोस् र mongodb मा जडान गर्नुहोस्। म लेखमा फाइलहरूको पूर्ण पाठ उपलब्ध गराउने छैन, ताकि यसलाई ढिलो नगर्नुहोस्, तर म आवश्यक संस्करणहरूमा लिङ्कहरू प्रदान गर्नेछु।

परियोजनाको बारेमा निर्भरता र मेटाको साथ सुरु गरौं - pyproject.toml

अर्को, हामी निर्भरताहरू स्थापना गर्न र virtualenv सिर्जना गर्न सुरु गर्छौं (वा तपाईंले venv फोल्डर आफैं सिर्जना गर्न सक्नुहुन्छ र वातावरण सक्रिय गर्न सक्नुहुन्छ):

pip3 install poetry (если ещё не установлено)
poetry install

अब सिर्जना गरौं config.yml - प्रमाणहरू र कहाँ ढकढक गर्न। तपाईं तुरुन्तै त्यहाँ alphavantage को लागि डाटा राख्न सक्नुहुन्छ। खैर, अगाडि बढौं config.py - हाम्रो कन्फिगरेसनबाट अनुप्रयोगको लागि डाटा निकाल्नुहोस्। हो, म स्वीकार गर्छु, मैले मेरो लिब प्रयोग गरेको छु - sitri.

Mongo जडान गर्दा, सबै कुरा एकदम सरल छ। घोषणा गरे ग्राहक वर्ग जडान गर्न र आधार वर्ग cruds को लागि, संग्रह मा प्रश्नहरू बनाउन सजिलो बनाउन।

अब के हुने हो ?

लेख धेरै लामो छैन, किनकि यहाँ म केवल प्रेरणा र तयारीको बारेमा कुरा गर्दैछु, त्यसैले मलाई दोष नदिनुहोस् - म वचन दिन्छु कि अर्को भागमा कार्य र ग्राफिक्स हुनेछ।

त्यसोभए, यो अर्को भागमा हामी:

हामीलाई चाहिने अन्तिम बिन्दुहरूका लागि अनुरोधहरूको साथ aiohttp मा alphavantage को लागि एउटा सानो ग्राहक लेखौं।
तिनीहरूको लागि धितो र ऐतिहासिक मूल्यहरूमा डेटा सङ्कलन गर्ने एजेन्ट सिर्जना गरौं।

परियोजना कोड

यस भागको लागि कोड

स्रोत: www.habr.com