ഫൗസ്റ്റിലെ പശ്ചാത്തല ടാസ്‌ക്കുകൾ, ഭാഗം I: ഒരു ആമുഖം

എന്റെ ജീവിതത്തിലെ ഈ ഘട്ടത്തിൽ ഞാൻ എങ്ങനെയാണ് എത്തിയത്?

അധികം താമസിയാതെ, സങ്കീർണ്ണമായ കണക്കുകൂട്ടലുകളും മൂന്നാം കക്ഷി സേവനങ്ങളിലേക്കുള്ള അഭ്യർത്ഥനകളും ഉൾപ്പെടെ നിരവധി പശ്ചാത്തല ടാസ്‌ക്കുകൾ പതിവായി നിർവ്വഹിക്കേണ്ട ഒരു ഹൈ-ലോഡ് പ്രോജക്റ്റിന്റെ ബാക്കെൻഡിൽ ഞാൻ പ്രവർത്തിച്ചു. പ്രോജക്റ്റ് അസിൻക്രണസ് ആണ്, ഞാൻ ചേരുന്നതിന് മുമ്പ്, അതിന് ഒരു ലളിതമായ ക്രോൺ ജോബ് എക്സിക്യൂഷൻ സംവിധാനം ഉണ്ടായിരുന്നു: നിലവിലെ സമയ പരിശോധനയും ഗാതർ വഴി കൊറൂട്ടീനുകളുടെ ഗ്രൂപ്പുകൾ സമാരംഭിക്കുന്നതുമായ ഒരു ലൂപ്പ്. ഡസൻ കണക്കിന് അല്ലെങ്കിൽ നൂറുകണക്കിന് അത്തരം കൊറൂട്ടീനുകൾ ഉണ്ടാകുന്നതുവരെ ഈ സമീപനം സ്വീകാര്യമായിരുന്നു, എന്നാൽ അവയുടെ എണ്ണം രണ്ടായിരം കവിഞ്ഞപ്പോൾ, ഒരു ബ്രോക്കർ, നിരവധി തൊഴിലാളികൾ, തുടങ്ങിയവരുമായി ഒരു ശരിയായ ടാസ്‌ക് ക്യൂ സംഘടിപ്പിക്കുന്നതിനെക്കുറിച്ച് എനിക്ക് ചിന്തിക്കേണ്ടി വന്നു.

ഞാൻ മുമ്പ് ഉപയോഗിച്ചിരുന്ന സെലറി പരീക്ഷിച്ചുനോക്കാൻ ഞാൻ ആദ്യം തീരുമാനിച്ചു. പ്രോജക്റ്റിന്റെ അസിൻക്രണസ് സ്വഭാവം കാരണം, ഞാൻ ഈ പ്രശ്നത്തെക്കുറിച്ച് ആഴത്തിൽ അന്വേഷിച്ചപ്പോൾ കണ്ടു ഒരു ലേഖനം, ഒപ്പം ഡ്രാഫ്റ്റ്, ലേഖനത്തിന്റെ രചയിതാവ് സൃഷ്ടിച്ചത്.

ഞാൻ ഇത് പറയും: ഈ പ്രോജക്റ്റ് വളരെ രസകരമാണ്, ഞങ്ങളുടെ ടീമിലെ മറ്റ് ആപ്ലിക്കേഷനുകളിൽ ഇത് വളരെ വിജയകരമായി പ്രവർത്തിക്കുന്നു, കൂടാതെ ഒരു അസിൻക്രണസ് പൂൾ ഉപയോഗിച്ച് ഇത് ഉൽ‌പാദനത്തിലേക്ക് മാറ്റാൻ കഴിഞ്ഞുവെന്ന് രചയിതാവ് തന്നെ പറയുന്നു. പക്ഷേ, നിർഭാഗ്യവശാൽ, ഞാൻ കണ്ടെത്തിയതുപോലെ, അത് എനിക്ക് അത്ര ഫലപ്രദമായില്ല. ഒരു പ്രശ്നം ഗ്രൂപ്പ് ടാസ്‌ക് സമാരംഭത്തോടെ (കാണുക ഗ്രൂപ്പ്). എഴുതുന്ന സമയത്ത്, ഇഷ്യൂ ഇത് ഇതിനകം അടച്ചുപൂട്ടി, പക്ഷേ ഒരു മാസമായി ജോലി പുരോഗമിക്കുകയാണ്. എന്തായാലും, രചയിതാവിന് ആശംസകളും എല്ലാ ആശംസകളും നേരുന്നു, കാരണം ലിബിൽ ഇതിനകം തന്നെ പ്രവർത്തിക്കുന്ന കാര്യങ്ങൾ ഉണ്ട്... അടിസ്ഥാനപരമായി, ഇത് ഞാനാണ്, ഉപകരണം എനിക്ക് അൽപ്പം ബുദ്ധിമുട്ടായി മാറി. കൂടാതെ, ചില ടാസ്‌ക്കുകൾക്ക് വ്യത്യസ്ത സേവനങ്ങളിലേക്ക് 2-3 HTTP അഭ്യർത്ഥനകൾ ഉണ്ടായിരുന്നു, അതിനാൽ ടാസ്‌ക് ഒപ്റ്റിമൈസേഷനിൽ പോലും, ഞങ്ങൾ ഏകദേശം ഓരോ 2 മണിക്കൂറിലും 4 TCP കണക്ഷനുകൾ സൃഷ്ടിക്കുന്നു - അത്ര നല്ലതല്ല... വർക്കർമാരെ ആരംഭിക്കുമ്പോൾ ഒരു ടാസ്‌ക് തരത്തിനായി ഒരു സെഷൻ സൃഷ്ടിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു. aiohttp വഴിയുള്ള വലിയ അഭ്യർത്ഥനകളെക്കുറിച്ച് കുറച്ചുകൂടി വിശദമായി. ഇവിടെ.

ഇതുമായി ബന്ധപ്പെട്ട്, ഞാൻ അന്വേഷിക്കാൻ തുടങ്ങി ഇതരമാർഗങ്ങൾ ഞാൻ അത് കണ്ടെത്തി! സെലറിയുടെ സ്രഷ്ടാക്കൾ, പ്രത്യേകിച്ച്, ഞാൻ മനസ്സിലാക്കിയതുപോലെ ആസ്ക് സോളം, സൃഷ്ടിക്കപ്പെട്ടു വേവലാതി, തുടക്കത്തിൽ പ്രോജക്റ്റിനായി റോബിൻ ഹുഡ്കാഫ്ക സ്ട്രീംസിൽ നിന്ന് പ്രചോദനം ഉൾക്കൊണ്ടാണ് ഫൗസ്റ്റ് പ്രവർത്തിക്കുന്നത്, കാഫ്കയുമായി ഒരു ബ്രോക്കറായി പ്രവർത്തിക്കുന്നു. ഏജന്റ് ഫലങ്ങൾ സംഭരിക്കുന്നതിന് ഇത് rocksdb ഉപയോഗിക്കുന്നു. ഏറ്റവും പ്രധാനമായി, ലൈബ്രറി അസിൻക്രണസ് ആണ്.

നിങ്ങൾക്കും നോക്കാം ഹ്രസ്വ താരതമ്യം സെലറിയും ഫോസ്റ്റും - രണ്ടാമത്തേതിന്റെ സ്രഷ്ടാക്കളിൽ നിന്ന്: അവയുടെ വ്യത്യാസങ്ങൾ, ബ്രോക്കർ വ്യത്യാസങ്ങൾ, ഒരു അടിസ്ഥാന ജോലിയുടെ നിർവ്വഹണം. എല്ലാം വളരെ ലളിതമാണ്, പക്ഷേ ഫോസ്റ്റിന് ഒരു നല്ല സവിശേഷതയുണ്ട്: ഒരു വിഷയത്തിലേക്ക് കടക്കുന്നതിനുള്ള ടൈപ്പ് ചെയ്ത ഡാറ്റ.

നമ്മള്‍ എന്താണ് ചെയ്യാന്‍ പോകുന്നത്?

അപ്പോൾ, ഈ ചെറിയ ലേഖന പരമ്പരയിൽ, ഫൗസ്റ്റ് ഉപയോഗിച്ച് പശ്ചാത്തല ടാസ്‌ക്കുകളിൽ ഡാറ്റ എങ്ങനെ ശേഖരിക്കാമെന്ന് ഞാൻ നിങ്ങൾക്ക് കാണിച്ചുതരാം. ഞങ്ങളുടെ ഉദാഹരണ പ്രോജക്റ്റിന്റെ ഉറവിടം, പേര് സൂചിപ്പിക്കുന്നത് പോലെ, ആൽഫാവന്റേജ്.കോഏജന്റുകൾ (സിങ്കുകൾ, വിഷയങ്ങൾ, പാർട്ടീഷനുകൾ) എങ്ങനെ എഴുതാം, റെഗുലർ (ക്രോൺ) എക്സിക്യൂഷൻ എങ്ങനെ സജ്ജീകരിക്കാം, സൗകര്യപ്രദമായ ഫൗസ്റ്റ് CLI കമാൻഡുകൾ (ക്ലിക്കിന് ചുറ്റും ഒരു റാപ്പർ), ലളിതമായ ക്ലസ്റ്ററിംഗ് എന്നിവ ഞാൻ കാണിച്ചുതരാം, ഒടുവിൽ, നമ്മൾ ഡാറ്റാഡോഗ് (ഇത് ബോക്സിന് പുറത്ത് പ്രവർത്തിക്കുന്നു) ചേർത്ത് എന്തെങ്കിലും കാണാൻ ശ്രമിക്കും. ശേഖരിച്ച ഡാറ്റയും കണക്ഷനുള്ള മോട്ടോറും സംഭരിക്കാൻ നമ്മൾ mongodb ഉപയോഗിക്കും.

പി.എസ്. നിരീക്ഷണത്തെക്കുറിച്ചുള്ള ഖണ്ഡിക എഴുതിയിരിക്കുന്ന ആത്മവിശ്വാസം കണക്കിലെടുക്കുമ്പോൾ, അവസാന ലേഖനത്തിന്റെ അവസാനത്തിലെ വായനക്കാരൻ ഇപ്പോഴും ഇതുപോലെയായിരിക്കുമെന്ന് ഞാൻ കരുതുന്നു:

പ്രോജക്റ്റ് ആവശ്യകതകൾ

ഞാൻ ഇതിനകം വാഗ്ദാനം ചെയ്ത കാര്യങ്ങൾ കണക്കിലെടുക്കുമ്പോൾ, സേവനത്തിന് എന്തുചെയ്യാൻ കഴിയുമെന്നതിന്റെ ഒരു ചെറിയ പട്ടിക നമുക്ക് ഒരുമിച്ച് ചേർക്കാം:

1. സെക്യൂരിറ്റികളും അവയുടെ ഒരു അവലോകനവും (ലാഭനഷ്ടം, ബാലൻസ് ഷീറ്റ്, കഴിഞ്ഞ വർഷത്തെ പണമൊഴുക്ക് ഉൾപ്പെടെ) പതിവായി ഡൗൺലോഡ് ചെയ്യുക.
2. ചരിത്രപരമായ ഡാറ്റ പതിവായി ഡൗൺലോഡ് ചെയ്യുക (ഓരോ ട്രേഡിങ്ങ് വർഷത്തിലെയും ക്ലോസിംഗ് വിലയുടെ തീവ്രത കണ്ടെത്തുക)
3. ഏറ്റവും പുതിയ ട്രേഡിംഗ് ഡാറ്റ പതിവായി ഡൗൺലോഡ് ചെയ്യുക
4. ഓരോ സെക്യൂരിറ്റിക്കുമുള്ള സൂചകങ്ങളുടെ ഇഷ്ടാനുസൃത ലിസ്റ്റ് പതിവായി ഡൗൺലോഡ് ചെയ്യുക.

പതിവുപോലെ, ഞങ്ങൾ പ്രോജക്റ്റിനായി ഒരു പേര് അപ്രതീക്ഷിതമായി തിരഞ്ഞെടുക്കുന്നു: ഹോർട്ടൺ

ഞങ്ങൾ അടിസ്ഥാന സൗകര്യങ്ങൾ ഒരുക്കുകയാണ്

ശീർഷകം തീർച്ചയായും ശക്തമാണ്, എന്നിരുന്നാലും, നിങ്ങൾ ചെയ്യേണ്ടത് കാഫ്ക (ഒപ്പം സൂകീപ്പർ - ഒരു കണ്ടെയ്നറിൽ), കാഫ്ഡ്രോപ്പ് (വിഷയങ്ങളിലെ സന്ദേശങ്ങൾ കാണണമെങ്കിൽ), മോംഗോഡിബി എന്നിവ ഉപയോഗിച്ച് ഡോക്കർ-കംപോസിനായി ഒരു ചെറിയ കോൺഫിഗറേഷൻ എഴുതുക എന്നതാണ്. നമുക്ക് ലഭിക്കുന്നത് [ഡോക്കർ-കമ്പോസ്.യ്മ്ല്](https://github.com/Egnod/horton/blob/562fa5ec14df952cd74760acf76e141707d2ef58/docker-compose.yml) ഇനിപ്പറയുന്ന തരത്തിലുള്ളത്:

version: '3'

services:
  db:
    container_name: horton-mongodb-local
    image: mongo:4.2-bionic
    command: mongod --port 20017
    restart: always
    ports:
      - 20017:20017
    environment:
      - MONGO_INITDB_DATABASE=horton
      - MONGO_INITDB_ROOT_USERNAME=admin
      - MONGO_INITDB_ROOT_PASSWORD=admin_password

  kafka-service:
    container_name: horton-kafka-local
    image: obsidiandynamics/kafka
    restart: always
    ports:
      - "2181:2181"
      - "9092:9092"
    environment:
      KAFKA_LISTENERS: "INTERNAL://:29092,EXTERNAL://:9092"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka-service:29092,EXTERNAL://localhost:9092"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_ZOOKEEPER_SESSION_TIMEOUT: "6000"
      KAFKA_RESTART_ATTEMPTS: "10"
      KAFKA_RESTART_DELAY: "5"
      ZOOKEEPER_AUTOPURGE_PURGE_INTERVAL: "0"

  kafdrop:
    container_name: horton-kafdrop-local
    image: 'obsidiandynamics/kafdrop:latest'
    restart: always
    ports:
      - '9000:9000'
    environment:
      KAFKA_BROKERCONNECT: kafka-service:29092
    depends_on:
      - kafka-service

ഇവിടെ സങ്കീർണ്ണമായ ഒന്നും തന്നെയില്ല. കാഫ്കയ്ക്ക് രണ്ട് ശ്രോതാക്കളെ ഞങ്ങൾ പ്രഖ്യാപിച്ചു: ഒന്ന് (ആന്തരികം) കമ്പോസിറ്റ് നെറ്റ്‌വർക്കിനുള്ളിൽ ഉപയോഗിക്കുന്നതിനും രണ്ടാമത്തേത് (ബാഹ്യ) ബാഹ്യ അഭ്യർത്ഥനകൾക്കുമായി, അതിനാൽ ഞങ്ങൾ അത് ബാഹ്യമായി ഫോർവേഡ് ചെയ്തു. 2181 സൂക്കീപ്പീറിന്റെ പോർട്ട് ആണ്. ബാക്കിയുള്ളത് വ്യക്തമാണെന്ന് ഞാൻ കരുതുന്നു.

പ്രോജക്റ്റ് അസ്ഥികൂടം തയ്യാറാക്കൽ

അടിസ്ഥാന പതിപ്പിൽ, ഞങ്ങളുടെ പ്രോജക്റ്റിന്റെ ഘടന ഇതുപോലെയായിരിക്കണം:

horton
├── docker-compose.yml
└── horton
    ├── agents.py *
    ├── alphavantage.py *
    ├── app.py *
    ├── config.py
    ├── database
    │   ├── connect.py
    │   ├── cruds
    │   │   ├── base.py
    │   │   ├── __init__.py
    │   │   └── security.py *
    │   └── __init__.py
    ├── __init__.py
    ├── records.py *
    └── tasks.py *

*ഞാൻ ശ്രദ്ധിച്ചതെല്ലാം ഞങ്ങൾ ഇതുവരെ അതിൽ സ്പർശിച്ചിട്ടില്ല, ഞങ്ങൾ ശൂന്യമായ ഫയലുകൾ സൃഷ്ടിക്കുകയാണ്.**

നമ്മൾ ഘടന സൃഷ്ടിച്ചു. ഇനി നമുക്ക് ആവശ്യമായ ഡിപൻഡൻസികൾ ചേർക്കുകയും, കോൺഫിഗറേഷൻ എഴുതുകയും, മോംഗോഡിബിയിലേക്ക് കണക്റ്റ് ചെയ്യുകയും ചെയ്യാം. കാര്യങ്ങൾ ചുരുക്കിപ്പറയാൻ വേണ്ടി, ഈ ലേഖനത്തിലെ ഫയലുകളുടെ പൂർണ്ണ വാചകം ഞാൻ നൽകുന്നില്ല, പക്ഷേ ആവശ്യമായ പതിപ്പുകളിലേക്കുള്ള ലിങ്കുകൾ ഞാൻ നൽകും.

പ്രോജക്റ്റിനെക്കുറിച്ചുള്ള ഡിപൻഡൻസികളും മെറ്റായും ഉപയോഗിച്ച് നമുക്ക് ആരംഭിക്കാം - പൈപ്രോജക്റ്റ്.ടോംൽ

അടുത്തതായി, നമ്മൾ ഡിപൻഡൻസികൾ ഇൻസ്റ്റാൾ ചെയ്ത് ഒരു virtualenv സൃഷ്ടിക്കാൻ തുടങ്ങുന്നു (അല്ലെങ്കിൽ നിങ്ങൾക്ക് സ്വയം venv ഫോൾഡർ സൃഷ്ടിച്ച് പരിസ്ഥിതി സജീവമാക്കാം):

pip3 install poetry (если ещё не установлено)
poetry install

ഇനി നമുക്ക് സൃഷ്ടിക്കാം കോൺഫിഗ്.വൈ.എം.എൽ. — ക്രെഡിറ്റുകളും എവിടെ പോകണം എന്നതും. നിങ്ങൾക്ക് അവിടെ ആൽഫവാന്റേജിനുള്ള ഡാറ്റയും ഉടൻ പോസ്റ്റ് ചെയ്യാം. ശരി, നമുക്ക് മുന്നോട്ട് പോകാം config.py — ഞങ്ങളുടെ കോൺഫിഗറേഷനിൽ നിന്ന് ആപ്ലിക്കേഷനായുള്ള ഡാറ്റ ഞങ്ങൾ എക്‌സ്‌ട്രാക്റ്റ് ചെയ്യുന്നു. അതെ, ഞാൻ സമ്മതിക്കുന്നു, ഞാൻ എന്റെ ലിബ് ഉപയോഗിച്ചു — സിത്രി.

മോംഗോയുമായി ബന്ധപ്പെടുന്നതിനെ സംബന്ധിച്ചിടത്തോളം, എല്ലാം വളരെ ലളിതമാണ്. അവർ പ്രഖ്യാപിച്ചു ക്ലയന്റ് ക്ലാസ് ബന്ധിപ്പിക്കാനും അടിസ്ഥാന ക്ലാസ് ശേഖരങ്ങളിലുടനീളം അന്വേഷണങ്ങൾ നടത്തുന്നത് എളുപ്പമാക്കുന്നതിന്, ക്രൂഡുകൾക്കായി.

അടുത്തതായി എന്ത് സംഭവിക്കും?

ഈ ലേഖനം അത്ര ദൈർഘ്യമേറിയതല്ല, കാരണം ഞാൻ പ്രചോദനത്തെയും തയ്യാറെടുപ്പിനെയും കുറിച്ച് മാത്രമാണ് സംസാരിക്കുന്നത്, അതിനാൽ ദയവായി എന്നോട് ക്ഷമിക്കൂ - അടുത്ത ഭാഗത്തിൽ ആക്ഷനും ഗ്രാഫിക്സും ഉണ്ടാകുമെന്ന് ഞാൻ വാഗ്ദാനം ചെയ്യുന്നു.

അപ്പോൾ, ഈ അടുത്ത ഭാഗത്ത് നമ്മൾ:

1. നമുക്ക് ആവശ്യമുള്ള എൻഡ് പോയിന്റുകൾക്കായുള്ള അഭ്യർത്ഥനകൾക്കൊപ്പം aiohttp-യിൽ ആൽഫവാന്റേജിനായി ഒരു ചെറിയ ക്ലയന്റ് എഴുതാം.
2. സെക്യൂരിറ്റികളെയും അവയുടെ ചരിത്രപരമായ വിലകളെയും കുറിച്ചുള്ള ഡാറ്റ ശേഖരിക്കുന്ന ഒരു ഏജന്റിനെ ഞങ്ങൾ സൃഷ്ടിക്കും.

പ്രോജക്റ്റ് കോഡ്

ഈ ഭാഗത്തിനുള്ള കോഡ്

അവലംബം: www.habr.com