ഫൗസ്റ്റിലെ പശ്ചാത്തല ടാസ്‌ക്കുകൾ, ഭാഗം I: ഒരു ആമുഖം

ഞാൻ എങ്ങനെ ഇങ്ങനെ ജീവിക്കാൻ വന്നു?

വളരെക്കാലം മുമ്പ് എനിക്ക് വളരെ ലോഡുചെയ്ത പ്രോജക്റ്റിന്റെ ബാക്കെൻഡിൽ പ്രവർത്തിക്കേണ്ടിവന്നു, അതിൽ സങ്കീർണ്ണമായ കണക്കുകൂട്ടലുകളും മൂന്നാം കക്ഷി സേവനങ്ങൾക്കായുള്ള അഭ്യർത്ഥനകളും ഉപയോഗിച്ച് ധാരാളം പശ്ചാത്തല ടാസ്ക്കുകളുടെ പതിവ് നിർവ്വഹണം സംഘടിപ്പിക്കേണ്ടത് ആവശ്യമാണ്. പ്രോജക്റ്റ് അസമന്വിതമാണ്, ഞാൻ വരുന്നതിന് മുമ്പ്, ക്രോൺ-ലോഞ്ചിംഗ് ടാസ്‌ക്കുകൾക്കായി ഇതിന് ഒരു ലളിതമായ സംവിധാനം ഉണ്ടായിരുന്നു: നിലവിലെ സമയം പരിശോധിക്കുന്ന ഒരു ലൂപ്പ്, ഒത്തുചേരലിലൂടെ കൊറൗട്ടിനുകളുടെ ഗ്രൂപ്പുകൾ സമാരംഭിക്കുക - ഡസൻ കണക്കിന് അത്തരം കൊറൂട്ടീനുകൾ ഉണ്ടാകുന്നതുവരെ ഈ സമീപനം സ്വീകാര്യമായി മാറി. , എന്നിരുന്നാലും, അവരുടെ എണ്ണം രണ്ടായിരം കവിഞ്ഞപ്പോൾ, ഒരു ബ്രോക്കർ, നിരവധി തൊഴിലാളികൾ മുതലായവയുമായി ഒരു സാധാരണ ടാസ്ക് ക്യൂ സംഘടിപ്പിക്കുന്നതിനെക്കുറിച്ച് എനിക്ക് ചിന്തിക്കേണ്ടി വന്നു.

ആദ്യം ഞാൻ മുമ്പ് ഉപയോഗിച്ചിരുന്ന സെലറി പരീക്ഷിക്കാൻ തീരുമാനിച്ചു. പ്രോജക്റ്റിന്റെ അസമന്വിത സ്വഭാവം കാരണം, ഞാൻ ചോദ്യത്തിൽ മുഴുകി കണ്ടു ഒരു ലേഖനം, ഒപ്പം ഡ്രാഫ്റ്റ്, ലേഖനത്തിന്റെ രചയിതാവ് സൃഷ്ടിച്ചത്.

ഞാൻ ഇത് പറയും, പ്രോജക്റ്റ് വളരെ രസകരവും ഞങ്ങളുടെ ടീമിന്റെ മറ്റ് ആപ്ലിക്കേഷനുകളിൽ വളരെ വിജയകരമായി പ്രവർത്തിക്കുന്നതുമാണ്, കൂടാതെ ഒരു അസിൻക്രണസ് പൂൾ ഉപയോഗിച്ച് ഇത് ഉൽപ്പാദിപ്പിക്കാൻ തനിക്ക് കഴിഞ്ഞുവെന്ന് രചയിതാവ് തന്നെ പറയുന്നു. പക്ഷേ, നിർഭാഗ്യവശാൽ, അത് എനിക്ക് ശരിക്കും യോജിച്ചില്ല, അത് മാറിയതുപോലെ ഒരു പ്രശ്നം ടാസ്‌ക്കുകളുടെ ഗ്രൂപ്പ് ലോഞ്ചിനൊപ്പം (കാണുക. ഗ്രൂപ്പ്). എഴുതുന്ന സമയത്ത് ഇഷ്യൂ ഇതിനകം അടച്ചിട്ടിരിക്കുന്നു, എന്നിരുന്നാലും, ഒരു മാസമായി ജോലി നടക്കുന്നു. എന്തായാലും, രചയിതാവിന് എല്ലാ ആശംസകളും നേരുന്നു, കാരണം ലിബിൽ ഇതിനകം പ്രവർത്തിക്കുന്ന കാര്യങ്ങൾ ഉണ്ട് ... പൊതുവേ, പോയിന്റ് എന്നിലാണ്, ഉപകരണം എനിക്ക് നനവുള്ളതായി മാറി. കൂടാതെ, ചില ടാസ്‌ക്കുകൾക്ക് വ്യത്യസ്‌ത സേവനങ്ങളിലേക്ക് 2-3 http അഭ്യർത്ഥനകൾ ഉണ്ടായിരുന്നു, അതിനാൽ ടാസ്‌ക്കുകൾ ഒപ്റ്റിമൈസ് ചെയ്യുമ്പോൾ പോലും ഞങ്ങൾ 4 ആയിരം TCP കണക്ഷനുകൾ സൃഷ്‌ടിക്കുന്നു, ഏകദേശം ഓരോ 2 മണിക്കൂറിലും - വളരെ നല്ലതല്ല... ഒരു തരം സെഷൻ സൃഷ്‌ടിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു തൊഴിലാളികളെ ആരംഭിക്കുമ്പോൾ ചുമതല. aiohttp വഴിയുള്ള ധാരാളം അഭ്യർത്ഥനകളെക്കുറിച്ച് കുറച്ചുകൂടി ഇവിടെ.

ഇക്കാര്യത്തിൽ, ഞാൻ നോക്കാൻ തുടങ്ങി ഇതരമാർഗങ്ങൾ അത് കണ്ടെത്തി! സെലറിയുടെ സ്രഷ്ടാക്കൾ, പ്രത്യേകിച്ച്, ഞാൻ മനസ്സിലാക്കുന്നതുപോലെ സോളമിനോട് ചോദിക്കൂ, സൃഷ്ടിക്കപ്പെട്ടു വേവലാതി, യഥാർത്ഥത്തിൽ പ്രോജക്റ്റിനായി റോബിൻ ഹുഡ്. കാഫ്ക സ്ട്രീമുകളിൽ നിന്ന് പ്രചോദനം ഉൾക്കൊണ്ട് ഒരു ബ്രോക്കറായി കാഫ്കയ്‌ക്കൊപ്പം പ്രവർത്തിക്കുന്നു, ഏജന്റുമാരുടെ പ്രവർത്തനത്തിൽ നിന്നുള്ള ഫലങ്ങൾ സംഭരിക്കുന്നതിനും Rocksdb ഉപയോഗിക്കുന്നു, ഏറ്റവും പ്രധാനപ്പെട്ട കാര്യം ലൈബ്രറി അസമന്വിതമാണ് എന്നതാണ്.

കൂടാതെ, നിങ്ങൾക്ക് നോക്കാം പെട്ടെന്നുള്ള താരതമ്യം രണ്ടാമത്തേതിന്റെ സ്രഷ്‌ടാക്കളിൽ നിന്നുള്ള സെലറിയും ഫൗസ്റ്റും: അവയുടെ വ്യത്യാസങ്ങൾ, ബ്രോക്കർമാർ തമ്മിലുള്ള വ്യത്യാസങ്ങൾ, ഒരു പ്രാഥമിക ചുമതല നടപ്പിലാക്കൽ. എല്ലാം വളരെ ലളിതമാണ്, എന്നിരുന്നാലും, ഫൗസ്റ്റിലെ ഒരു നല്ല സവിശേഷത ശ്രദ്ധ ആകർഷിക്കുന്നു - വിഷയത്തിലേക്ക് കൈമാറുന്നതിനായി ടൈപ്പ് ചെയ്ത ഡാറ്റ.

എന്തു ചെയ്യണം?

അതിനാൽ, ഒരു ചെറിയ ലേഖന പരമ്പരയിൽ, Faust ഉപയോഗിച്ച് പശ്ചാത്തല ടാസ്ക്കുകളിൽ നിന്ന് ഡാറ്റ എങ്ങനെ ശേഖരിക്കാമെന്ന് ഞാൻ കാണിച്ചുതരാം. ഞങ്ങളുടെ ഉദാഹരണ പ്രോജക്റ്റിന്റെ ഉറവിടം, പേര് സൂചിപ്പിക്കുന്നത് പോലെ, alphavantage.co. ഏജന്റ്സ് (സിങ്ക്, ടോപ്പിക്കുകൾ, പാർട്ടീഷനുകൾ) എങ്ങനെ എഴുതാം, എങ്ങനെ റെഗുലർ (ക്രോൺ) എക്സിക്യൂഷൻ നടത്താം, ഏറ്റവും സൗകര്യപ്രദമായ ഫാസ്റ്റ് ക്ലി കമാൻഡുകൾ (ക്ലിക്കിലൂടെ ഒരു റാപ്പർ), ലളിതമായ ക്ലസ്റ്ററിംഗ് എന്നിവ ഞാൻ കാണിക്കും, അവസാനം ഞങ്ങൾ ഒരു ഡാറ്റാഡോഗ് അറ്റാച്ചുചെയ്യും ( ബോക്‌സിന് പുറത്ത് പ്രവർത്തിക്കുക) ഒപ്പം കാണാൻ എന്തെങ്കിലും ശ്രമിക്കുക. ശേഖരിച്ച ഡാറ്റ സംഭരിക്കുന്നതിന് ഞങ്ങൾ കണക്ഷനായി mongodb, മോട്ടോർ എന്നിവ ഉപയോഗിക്കും.

മോണിറ്ററിംഗിനെക്കുറിച്ചുള്ള പോയിന്റ് എഴുതിയ ആത്മവിശ്വാസം വിലയിരുത്തുമ്പോൾ, അവസാന ലേഖനത്തിന്റെ അവസാനത്തിലെ വായനക്കാരൻ ഇപ്പോഴും ഇതുപോലെ കാണപ്പെടുമെന്ന് ഞാൻ കരുതുന്നു:

പ്രോജക്റ്റ് ആവശ്യകതകൾ

ഞാൻ ഇതിനകം വാഗ്ദാനം ചെയ്ത വസ്തുത കാരണം, സേവനത്തിന് എന്തുചെയ്യാൻ കഴിയുമെന്നതിന്റെ ഒരു ചെറിയ ലിസ്റ്റ് ഉണ്ടാക്കാം:

1. സെക്യൂരിറ്റികളും അവയുടെ അവലോകനവും അപ്‌ലോഡ് ചെയ്യുക (ലാഭനഷ്ടങ്ങൾ, ബാലൻസ് ഷീറ്റ്, പണമൊഴുക്ക് - കഴിഞ്ഞ വർഷത്തെ) - പതിവായി
2. ചരിത്രപരമായ ഡാറ്റ അപ്‌ലോഡ് ചെയ്യുക (ഓരോ വ്യാപാര വർഷത്തിനും, ട്രേഡിംഗിന്റെ അവസാന വിലയുടെ അങ്ങേയറ്റത്തെ മൂല്യങ്ങൾ കണ്ടെത്തുക) - പതിവായി
3. ഏറ്റവും പുതിയ ട്രേഡിംഗ് ഡാറ്റ അപ്‌ലോഡ് ചെയ്യുക - പതിവായി
4. ഓരോ സുരക്ഷയ്ക്കും വേണ്ടിയുള്ള സൂചകങ്ങളുടെ ഒരു ഇഷ്‌ടാനുസൃത ലിസ്റ്റ് അപ്‌ലോഡ് ചെയ്യുക - പതിവായി

പ്രതീക്ഷിച്ചതുപോലെ, ഞങ്ങൾ ആദ്യം മുതൽ പ്രോജക്റ്റിനായി ഒരു പേര് തിരഞ്ഞെടുക്കുന്നു: ഹോർട്ടൺ

ഞങ്ങൾ അടിസ്ഥാന സൗകര്യങ്ങൾ ഒരുക്കുന്നു

ശീർഷകം തീർച്ചയായും ശക്തമാണ്, എന്നിരുന്നാലും, ഡോക്കർ-കമ്പോസിനായി നിങ്ങൾ ചെയ്യേണ്ടത് കാഫ്ക (ഒപ്പം സൂക്കീപ്പർ - ഒരു കണ്ടെയ്‌നറിൽ), kafdrop (വിഷയങ്ങളിലെ സന്ദേശങ്ങൾ നോക്കണമെങ്കിൽ), mongodb എന്നിവ ഉപയോഗിച്ച് ഡോക്കർ-കമ്പോസിനായി ഒരു ചെറിയ കോൺഫിഗറേഷൻ എഴുതുക. നമുക്ക് ലഭിക്കുന്നു [docker-compose.yml](https://github.com/Egnod/horton/blob/562fa5ec14df952cd74760acf76e141707d2ef58/docker-compose.yml) ഇനിപ്പറയുന്ന ഫോമിൽ:

version: '3'

services:
  db:
    container_name: horton-mongodb-local
    image: mongo:4.2-bionic
    command: mongod --port 20017
    restart: always
    ports:
      - 20017:20017
    environment:
      - MONGO_INITDB_DATABASE=horton
      - MONGO_INITDB_ROOT_USERNAME=admin
      - MONGO_INITDB_ROOT_PASSWORD=admin_password

  kafka-service:
    container_name: horton-kafka-local
    image: obsidiandynamics/kafka
    restart: always
    ports:
      - "2181:2181"
      - "9092:9092"
    environment:
      KAFKA_LISTENERS: "INTERNAL://:29092,EXTERNAL://:9092"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka-service:29092,EXTERNAL://localhost:9092"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_ZOOKEEPER_SESSION_TIMEOUT: "6000"
      KAFKA_RESTART_ATTEMPTS: "10"
      KAFKA_RESTART_DELAY: "5"
      ZOOKEEPER_AUTOPURGE_PURGE_INTERVAL: "0"

  kafdrop:
    container_name: horton-kafdrop-local
    image: 'obsidiandynamics/kafdrop:latest'
    restart: always
    ports:
      - '9000:9000'
    environment:
      KAFKA_BROKERCONNECT: kafka-service:29092
    depends_on:
      - kafka-service

ഇവിടെ സങ്കീർണ്ണമായ ഒന്നും തന്നെയില്ല. കാഫ്കയ്ക്കായി രണ്ട് ശ്രോതാക്കളെ പ്രഖ്യാപിച്ചു: ഒന്ന് (ആന്തരികം) കോമ്പോസിറ്റ് നെറ്റ്‌വർക്കിനുള്ളിൽ ഉപയോഗിക്കുന്നതിന്, രണ്ടാമത്തേത് (ബാഹ്യമുള്ളത്) പുറത്ത് നിന്നുള്ള അഭ്യർത്ഥനകൾക്കായി, അതിനാൽ അവർ അത് പുറത്തേക്ക് കൈമാറി. 2181 - മൃഗശാലാ പോർട്ട്. ബാക്കി, ഞാൻ കരുതുന്നു, വ്യക്തമാണ്.

പദ്ധതിയുടെ അസ്ഥികൂടം തയ്യാറാക്കുന്നു

അടിസ്ഥാന പതിപ്പിൽ, ഞങ്ങളുടെ പ്രോജക്റ്റിന്റെ ഘടന ഇതുപോലെയായിരിക്കണം:

horton
├── docker-compose.yml
└── horton
    ├── agents.py *
    ├── alphavantage.py *
    ├── app.py *
    ├── config.py
    ├── database
    │   ├── connect.py
    │   ├── cruds
    │   │   ├── base.py
    │   │   ├── __init__.py
    │   │   └── security.py *
    │   └── __init__.py
    ├── __init__.py
    ├── records.py *
    └── tasks.py *

*ഞാൻ രേഖപ്പെടുത്തിയതെല്ലാം ഞങ്ങൾ ഇതുവരെ സ്പർശിച്ചിട്ടില്ല, ഞങ്ങൾ ശൂന്യമായ ഫയലുകൾ സൃഷ്ടിക്കുന്നു.**

ഞങ്ങൾ ഒരു ഘടന സൃഷ്ടിച്ചു. ഇനി നമുക്ക് ആവശ്യമായ ഡിപൻഡൻസികൾ ചേർക്കുകയും കോൺഫിഗറേഷൻ എഴുതി mongodb-ലേക്ക് ബന്ധിപ്പിക്കുകയും ചെയ്യാം. ലേഖനത്തിലെ ഫയലുകളുടെ പൂർണ്ണമായ വാചകം ഞാൻ നൽകില്ല, അത് കാലതാമസം വരുത്താതിരിക്കാൻ, എന്നാൽ ആവശ്യമായ പതിപ്പുകളിലേക്ക് ഞാൻ ലിങ്കുകൾ നൽകും.

പ്രോജക്റ്റിനെക്കുറിച്ചുള്ള ഡിപൻഡൻസികളും മെറ്റായും ഉപയോഗിച്ച് നമുക്ക് ആരംഭിക്കാം - pyproject.toml

അടുത്തതായി, ഞങ്ങൾ ഡിപൻഡൻസികൾ ഇൻസ്റ്റാൾ ചെയ്ത് ഒരു virtualenv സൃഷ്ടിക്കാൻ തുടങ്ങുന്നു (അല്ലെങ്കിൽ നിങ്ങൾക്ക് സ്വയം venv ഫോൾഡർ സൃഷ്ടിച്ച് പരിസ്ഥിതി സജീവമാക്കാം):

pip3 install poetry (если ещё не установлено)
poetry install

ഇനി നമുക്ക് സൃഷ്ടിക്കാം config.yml - ക്രെഡൻഷ്യലുകളും എവിടെ തട്ടണം. ആൽഫവാന്റേജിനായി നിങ്ങൾക്ക് ഉടൻ തന്നെ ഡാറ്റ അവിടെ സ്ഥാപിക്കാം. ശരി, നമുക്ക് മുന്നോട്ട് പോകാം config.py - ഞങ്ങളുടെ കോൺഫിഗറേഷനിൽ നിന്ന് ആപ്ലിക്കേഷന്റെ ഡാറ്റ എക്സ്ട്രാക്റ്റ് ചെയ്യുക. അതെ, ഞാൻ സമ്മതിക്കുന്നു, ഞാൻ എന്റെ ലിബ് ഉപയോഗിച്ചു - സാത്രി.

മോംഗോയിലേക്ക് കണക്റ്റുചെയ്യുമ്പോൾ, എല്ലാം വളരെ ലളിതമാണ്. പ്രഖ്യാപിച്ചു ക്ലയന്റ് ക്ലാസ് ബന്ധിപ്പിക്കാൻ ഒപ്പം അടിസ്ഥാന ക്ലാസ് ക്രൂഡ്‌സിനായി, ശേഖരങ്ങളെക്കുറിച്ചുള്ള അന്വേഷണങ്ങൾ എളുപ്പമാക്കുന്നതിന്.

അടുത്തതായി എന്ത് സംഭവിക്കും?

ലേഖനം ദൈർഘ്യമേറിയതല്ല, കാരണം ഇവിടെ ഞാൻ പ്രചോദനത്തെയും തയ്യാറെടുപ്പിനെയും കുറിച്ച് മാത്രമാണ് സംസാരിക്കുന്നത്, അതിനാൽ എന്നെ കുറ്റപ്പെടുത്തരുത് - അടുത്ത ഭാഗത്തിന് ആക്ഷനും ഗ്രാഫിക്സും ഉണ്ടാകുമെന്ന് ഞാൻ വാഗ്ദാനം ചെയ്യുന്നു.

അതിനാൽ, ഈ അടുത്ത ഭാഗത്ത് ഞങ്ങൾ:

1. നമുക്ക് ആവശ്യമുള്ള എൻഡ് പോയിന്റുകൾക്കായുള്ള അഭ്യർത്ഥനകൾക്കൊപ്പം aiohttp-യിൽ ആൽഫവാന്റേജിനായി ഒരു ചെറിയ ക്ലയന്റ് എഴുതാം.
2. സെക്യൂരിറ്റികളുടെയും ചരിത്രപരമായ വിലകളുടെയും ഡാറ്റ ശേഖരിക്കുന്ന ഒരു ഏജന്റിനെ നമുക്ക് സൃഷ്ടിക്കാം.

പ്രോജക്റ്റ് കോഡ്

ഈ ഭാഗത്തിനുള്ള കോഡ്

അവലംബം: www.habr.com