ফাউস্টের পটভূমি কাজ, প্রথম খণ্ড: ভূমিকা

আমি এভাবে বাঁচতে এলাম কিভাবে?

খুব বেশি দিন আগে আমাকে একটি অত্যন্ত লোড করা প্রকল্পের ব্যাকএন্ডে কাজ করতে হয়েছিল, যেখানে জটিল গণনা এবং তৃতীয় পক্ষের পরিষেবাগুলির জন্য অনুরোধ সহ প্রচুর সংখ্যক ব্যাকগ্রাউন্ড কাজগুলির নিয়মিত সম্পাদনের ব্যবস্থা করা প্রয়োজন ছিল। প্রকল্পটি অ্যাসিঙ্ক্রোনাস এবং আমি আসার আগে, ক্রোন-লঞ্চিং কাজগুলির জন্য এটির একটি সহজ পদ্ধতি ছিল: একটি লুপ বর্তমান সময় পরীক্ষা করে এবং সংগ্রহের মাধ্যমে কোরোটিনগুলির গ্রুপগুলি চালু করা - এই পদ্ধতিটি গ্রহণযোগ্য হতে দেখা গেছে যতক্ষণ না ডজন ডজন এবং শত শত এই ধরনের করটিন ছিল। , যাইহোক, যখন তাদের সংখ্যা দুই হাজার ছাড়িয়ে যায়, তখন আমাকে একজন দালাল, বেশ কয়েকজন কর্মী ইত্যাদির সাথে একটি সাধারণ টাস্ক সারি সাজানোর কথা ভাবতে হয়েছিল।

প্রথমে আমি সেলারি ব্যবহার করার সিদ্ধান্ত নিয়েছি, যা আমি আগে ব্যবহার করেছি। প্রকল্পের অসিঙ্ক্রোনাস প্রকৃতির কারণে, আমি প্রশ্নটিতে ডুব দিয়ে দেখেছি প্রবন্ধপাশাপাশি প্রকল্প, নিবন্ধের লেখক দ্বারা নির্মিত.

আমি এটি বলব, প্রকল্পটি খুব আকর্ষণীয় এবং আমাদের দলের অন্যান্য অ্যাপ্লিকেশনগুলিতে বেশ সফলভাবে কাজ করে এবং লেখক নিজেই বলেছেন যে তিনি একটি অ্যাসিঙ্ক্রোনাস পুল ব্যবহার করে এটিকে উত্পাদনে রোল আউট করতে সক্ষম হয়েছিলেন। কিন্তু, দুর্ভাগ্যবশত, এটি সত্যিই আমার জন্য উপযুক্ত ছিল না, এটি পরিণত হয়েছে সমস্যা কাজের গ্রুপ লঞ্চ সহ (দেখুন। গ্রুপ) লেখার সময় সমস্যা ইতিমধ্যেই বন্ধ, তবে কাজ চলছে এক মাস ধরে। যাই হোক না কেন, লেখকের জন্য শুভকামনা এবং শুভকামনা, যেহেতু ইতিমধ্যেই lib-এ কাজ করা জিনিসগুলি রয়েছে... সাধারণভাবে, বিষয়টি আমার মধ্যে রয়েছে এবং টুলটি আমার জন্য স্যাঁতসেঁতে হয়ে উঠেছে। এছাড়াও, কিছু টাস্কের বিভিন্ন পরিষেবার জন্য 2-3টি HTTP অনুরোধ ছিল, তাই কাজগুলি অপ্টিমাইজ করার সময়ও, আমরা 4 হাজার টিসিপি সংযোগ তৈরি করি, প্রায় প্রতি 2 ঘন্টায় - খুব ভাল নয়... আমি এক ধরনের সেশন তৈরি করতে চাই কর্মীরা শুরু করার সময় কাজ। aiohttp এর মাধ্যমে বিপুল সংখ্যক অনুরোধ সম্পর্কে একটু বেশি এখানে.

এ ব্যাপারে খোঁজ নিতে লাগলাম বিকল্প এবং এটি পাওয়া গেছে! সেলারি স্রষ্টারা, বিশেষ করে, আমি এটা বুঝতে সোলেমকে জিজ্ঞাসা করুন, তৈরি করা হয়েছিল Faust, মূলত প্রকল্পের জন্য রবিন হুড. ফাউস্ট কাফকা স্ট্রীমস দ্বারা অনুপ্রাণিত এবং কাফকার সাথে ব্রোকার হিসাবে কাজ করে, rocksdb এজেন্টদের কাজের ফলাফল সংরক্ষণ করতেও ব্যবহৃত হয় এবং সবচেয়ে গুরুত্বপূর্ণ বিষয় হল লাইব্রেরিটি অ্যাসিঙ্ক্রোনাস।

এছাড়াও, আপনি দেখতে পারেন দ্রুত তুলনা পরেরটির নির্মাতাদের কাছ থেকে সেলারি এবং ফাস্ট: তাদের পার্থক্য, দালালদের মধ্যে পার্থক্য, একটি প্রাথমিক কাজ বাস্তবায়ন। সবকিছু বেশ সহজ, যাইহোক, ফাস্টের একটি চমৎকার বৈশিষ্ট্য মনোযোগ আকর্ষণ করে - বিষয়টিতে সংক্রমণের জন্য টাইপ করা ডেটা।

আমরা কি করি?

সুতরাং, একটি সংক্ষিপ্ত সিরিজের নিবন্ধে, আমি আপনাকে দেখাব কিভাবে Faust ব্যবহার করে ব্যাকগ্রাউন্ডের কাজগুলি থেকে ডেটা সংগ্রহ করতে হয়। আমাদের উদাহরণ প্রকল্পের উত্স হবে, নাম অনুসারে, alphavantage.co. আমি প্রদর্শন করব কীভাবে এজেন্ট লিখতে হয় (সিঙ্ক, বিষয়, পার্টিশন), কীভাবে নিয়মিত (ক্রন) এক্সিকিউশন করতে হয়, সবচেয়ে সুবিধাজনক ফাস্ট ক্লি কমান্ড (একটি র‍্যাপার ওভার ক্লিক), সহজ ক্লাস্টারিং এবং শেষে আমরা একটি ডেটাডগ সংযুক্ত করব ( বাক্সের বাইরে কাজ) এবং কিছু দেখার চেষ্টা করুন। সংগৃহীত তথ্য সংরক্ষণ করতে আমরা সংযোগের জন্য mongodb এবং মোটর ব্যবহার করব।

পুনশ্চ. মনিটরিং সম্পর্কে অনুচ্ছেদটি যে আত্মবিশ্বাসের সাথে লেখা হয়েছিল তার বিচার করে, আমি মনে করি যে শেষ নিবন্ধের শেষে পাঠক এখনও এরকম কিছু দেখতে পাবেন:

প্রকল্পের প্রয়োজনীয়তা

আমি ইতিমধ্যে প্রতিশ্রুতি দিয়েছি এই কারণে, পরিষেবাটি কী করতে সক্ষম হবে তার একটি ছোট তালিকা তৈরি করা যাক:

1. সিকিউরিটিজ এবং সেগুলির একটি ওভারভিউ আপলোড করুন (লাভ এবং ক্ষতি, ব্যালেন্স শীট, নগদ প্রবাহ - গত বছরের জন্য) - নিয়মিত
2. ঐতিহাসিক ডেটা আপলোড করুন (প্রতিটি ট্রেডিং বছরের জন্য, ট্রেডিংয়ের সমাপনী মূল্যের চরম মানগুলি খুঁজুন) - নিয়মিত
3. সাম্প্রতিক ট্রেডিং ডেটা আপলোড করুন - নিয়মিত
4. প্রতিটি নিরাপত্তার জন্য সূচকের একটি কাস্টমাইজড তালিকা আপলোড করুন - নিয়মিত

প্রত্যাশিত হিসাবে, আমরা স্ক্র্যাচ থেকে প্রকল্পের জন্য একটি নাম নির্বাচন করি: হর্টন

আমরা পরিকাঠামো প্রস্তুত করছি

শিরোনামটি অবশ্যই শক্তিশালী, তবে, আপনাকে যা করতে হবে তা হল কাফকা (এবং চিড়িয়াখানা - একটি পাত্রে), কাফড্রপ (যদি আমরা বিষয়গুলিতে বার্তাগুলি দেখতে চাই), মঙ্গোডবি সহ ডকার-কম্পোজের জন্য একটি ছোট কনফিগার লিখতে হবে। আমরা পেতে [docker-compose.yml](https://github.com/Egnod/horton/blob/562fa5ec14df952cd74760acf76e141707d2ef58/docker-compose.yml) নিম্নলিখিত ফর্মের:

version: '3'

services:
  db:
    container_name: horton-mongodb-local
    image: mongo:4.2-bionic
    command: mongod --port 20017
    restart: always
    ports:
      - 20017:20017
    environment:
      - MONGO_INITDB_DATABASE=horton
      - MONGO_INITDB_ROOT_USERNAME=admin
      - MONGO_INITDB_ROOT_PASSWORD=admin_password

  kafka-service:
    container_name: horton-kafka-local
    image: obsidiandynamics/kafka
    restart: always
    ports:
      - "2181:2181"
      - "9092:9092"
    environment:
      KAFKA_LISTENERS: "INTERNAL://:29092,EXTERNAL://:9092"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka-service:29092,EXTERNAL://localhost:9092"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_ZOOKEEPER_SESSION_TIMEOUT: "6000"
      KAFKA_RESTART_ATTEMPTS: "10"
      KAFKA_RESTART_DELAY: "5"
      ZOOKEEPER_AUTOPURGE_PURGE_INTERVAL: "0"

  kafdrop:
    container_name: horton-kafdrop-local
    image: 'obsidiandynamics/kafdrop:latest'
    restart: always
    ports:
      - '9000:9000'
    environment:
      KAFKA_BROKERCONNECT: kafka-service:29092
    depends_on:
      - kafka-service

এখানে জটিল কিছু নেই। কাফকার জন্য দুটি শ্রোতা ঘোষণা করা হয়েছিল: একটি (অভ্যন্তরীণ) যৌগিক নেটওয়ার্কের ভিতরে ব্যবহারের জন্য এবং দ্বিতীয়টি (বাহ্যিক) বাইরে থেকে অনুরোধের জন্য, তাই তারা এটিকে বাইরে ফরোয়ার্ড করেছে। 2181 - চিড়িয়াখানার বন্দর। বাকি, আমি মনে করি, পরিষ্কার.

প্রকল্পের কঙ্কাল প্রস্তুত করা হচ্ছে

মৌলিক সংস্করণে, আমাদের প্রকল্পের কাঠামোটি এইরকম হওয়া উচিত:

horton
├── docker-compose.yml
└── horton
    ├── agents.py *
    ├── alphavantage.py *
    ├── app.py *
    ├── config.py
    ├── database
    │   ├── connect.py
    │   ├── cruds
    │   │   ├── base.py
    │   │   ├── __init__.py
    │   │   └── security.py *
    │   └── __init__.py
    ├── __init__.py
    ├── records.py *
    └── tasks.py *

*আমি নোট করেছি সবকিছু আমরা এখনও এটি স্পর্শ করি না, আমরা খালি ফাইল তৈরি করি৷**

আমরা একটি কাঠামো তৈরি করেছি। এখন প্রয়োজনীয় নির্ভরতা যোগ করা যাক, কনফিগার লিখুন এবং mongodb এর সাথে সংযোগ করুন। আমি নিবন্ধে ফাইলগুলির সম্পূর্ণ পাঠ্য সরবরাহ করব না, যাতে দেরি না হয়, তবে আমি প্রয়োজনীয় সংস্করণগুলির লিঙ্ক সরবরাহ করব।

আসুন প্রকল্প সম্পর্কে নির্ভরতা এবং মেটা দিয়ে শুরু করি - pyproject.toml

এর পরে, আমরা নির্ভরতা ইনস্টল করা এবং একটি ভার্চুয়ালেনভ তৈরি করা শুরু করি (বা আপনি নিজেই venv ফোল্ডার তৈরি করতে পারেন এবং পরিবেশ সক্রিয় করতে পারেন):

pip3 install poetry (если ещё не установлено)
poetry install

এখন তৈরি করা যাক config.yml - শংসাপত্র এবং যেখানে নক করতে হবে। আপনি অবিলম্বে সেখানে alphavantage জন্য তথ্য স্থাপন করতে পারেন. ওয়েল, এর এগিয়ে যাওয়া যাক config.py - আমাদের কনফিগারেশন থেকে অ্যাপ্লিকেশনের জন্য ডেটা বের করুন। হ্যাঁ, আমি স্বীকার করছি, আমি আমার লিব ব্যবহার করেছি - sitri.

মঙ্গোর সাথে সংযোগ করার সময়, সবকিছু বেশ সহজ। ঘোষণা ক্লায়েন্ট ক্লাস সংযোগ করতে এবং বেস ক্লাস cruds এর জন্য, সংগ্রহে প্রশ্ন করা সহজ করতে।

পরবর্তীতে কী হবে?

নিবন্ধটি খুব দীর্ঘ নয়, যেহেতু এখানে আমি শুধুমাত্র অনুপ্রেরণা এবং প্রস্তুতি সম্পর্কে কথা বলছি, তাই আমাকে দোষারোপ করবেন না - আমি প্রতিশ্রুতি দিচ্ছি যে পরবর্তী অংশে অ্যাকশন এবং গ্রাফিক্স থাকবে।

সুতরাং, এই খুব পরবর্তী অংশে আমরা:

1. আমাদের প্রয়োজনীয় শেষ পয়েন্টগুলির জন্য অনুরোধ সহ aiohttp-এ alphavantage-এর জন্য একটি ছোট ক্লায়েন্ট লিখি।
2. আসুন একটি এজেন্ট তৈরি করি যারা তাদের জন্য সিকিউরিটিজ এবং ঐতিহাসিক মূল্যের তথ্য সংগ্রহ করবে।

প্রকল্পের কোড

এই অংশের জন্য কোড

উত্স: www.habr.com