משימות רקע על פאוסט, חלק א': מבוא

איך הגעתי לחיות ככה?

לא מזמן נאלצתי לעבוד על הקצה האחורי של פרויקט עמוס מאוד, בו היה צורך לארגן ביצוע קבוע של מספר רב של משימות רקע עם חישובים מורכבים ובקשות לשירותי צד שלישי. הפרוייקט הוא אסינכרוני ולפני שהגעתי, היה לו מנגנון פשוט למשימות הפעלת cron: לולאה הבודקת את השעה הנוכחית והשקת קבוצות של coroutines דרך gather - הגישה הזו התבררה כמקובלת עד שהיו עשרות ומאות של coroutines כאלה. אולם כאשר מספרם עלה על אלפיים, נאלצתי לחשוב על ארגון תור משימות רגיל עם מתווך, מספר עובדים וכו'.

ראשית החלטתי לנסות סלרי, שהשתמשתי בו בעבר. בגלל האופי הא-סינכרוני של הפרויקט, צללתי לתוך השאלה וראיתי מאמרכמו גם פרויקט, נוצר על ידי כותב המאמר.

אני אגיד את זה, הפרויקט מאוד מעניין ועובד בצורה די מוצלחת ביישומים אחרים של הצוות שלנו, והמחבר עצמו אומר שהוא הצליח לגלגל אותו לייצור באמצעות מאגר אסינכרוני. אבל, לצערי, זה לא ממש התאים לי, כפי שהתברר בעיה עם השקה קבוצתית של משימות (ראה. קבוצה). בזמן הכתיבה סוגיה הוא כבר סגור, עם זאת, העבודה נמשכת כבר חודש. בכל מקרה, בהצלחה למחבר וכל טוב, כי יש כבר דברים עובדים על lib... בכלל, העיקר בי והכלי התברר לי לח. בנוסף, בחלק מהמשימות היו 2-3 בקשות http לשירותים שונים, כך שגם בעת אופטימיזציה של משימות, אנו יוצרים 4 חיבורי TCP, בערך כל שעתיים - לא ממש טוב... אני רוצה ליצור סשן לסוג אחד של משימה בעת הפעלת עובדים. קצת יותר על המספר הגדול של בקשות דרך aiohttp כאן.

בהקשר הזה התחלתי לחפש альтернативы ומצא את זה! יוצרי הסלרי, ספציפית, לפי הבנתי תשאל את סולם, נוצר פאוסט, במקור עבור הפרויקט robinhood. פאוסט שואב השראה מקפקא סטרים ועובד עם קפקא כמתווך, rocksdb משמש גם לאחסון תוצאות מעבודת סוכנים, והדבר החשוב ביותר הוא שהספרייה תהיה אסינכרונית.

כמו כן, אתה יכול להסתכל השוואה מהירה סלרי ופאוסט מהיוצרים של האחרונים: ההבדלים ביניהם, הבדלים בין ברוקרים, יישום משימה יסודית. הכל די פשוט, עם זאת, תכונה נחמדה ב-faust מושכת תשומת לב - נתונים מוקלדים לשידור לנושא.

מה אנחנו עושים?

לכן, בסדרת מאמרים קצרה, אני אראה לכם כיצד לאסוף נתונים ממשימות רקע באמצעות פאוסט. המקור לפרויקט לדוגמה שלנו יהיה, כפי שהשם מרמז, alphavantage.co. אני אדגים איך כותבים סוכנים (סינק, נושאים, מחיצות), איך עושים ביצוע רגיל (קרון), פקודות faust cli הכי נוחות (עטיפה על קליק), קלסינג פשוט, ובסוף נצרף datadog ( עובד מחוץ לקופסה) ונסה למצוא משהו לראות. כדי לאחסן את הנתונים שנאספו נשתמש ב-mongodb וב-motor לחיבור.

נ.ב אם לשפוט לפי הביטחון שבו נכתבה הנקודה לגבי ניטור, אני חושב שהקורא בסוף המאמר האחרון עדיין ייראה בערך כך:

דרישות הפרויקט

בשל העובדה שכבר הבטחתי, בואו נעשה רשימה קטנה של מה שהשירות אמור להיות מסוגל לעשות:

1. העלה ניירות ערך וסקירה כללית שלהם (כולל רווחים והפסדים, מאזן, תזרים מזומנים - לשנה האחרונה) - באופן קבוע
2. העלה נתונים היסטוריים (לכל שנת מסחר, מצא ערכים קיצוניים של מחיר הסגירה של המסחר) - באופן קבוע
3. העלה נתוני מסחר עדכניים - באופן קבוע
4. העלה רשימה מותאמת אישית של אינדיקטורים עבור כל נייר ערך - באופן קבוע

כצפוי, אנו בוחרים שם לפרויקט מאפס: הורטון

אנחנו מכינים את התשתית

הכותרת בהחלט חזקה, עם זאת, כל מה שאתה צריך לעשות הוא לכתוב תצורה קטנה עבור docker-compose עם kafka (ו-zookeeper - במיכל אחד), kafdrop (אם אנחנו רוצים להסתכל על הודעות בנושאים), mongodb. אנחנו מקבלים [docer-compose.yml](https://github.com/Egnod/horton/blob/562fa5ec14df952cd74760acf76e141707d2ef58/docker-compose.yml) מהטופס הבא:

version: '3'

services:
  db:
    container_name: horton-mongodb-local
    image: mongo:4.2-bionic
    command: mongod --port 20017
    restart: always
    ports:
      - 20017:20017
    environment:
      - MONGO_INITDB_DATABASE=horton
      - MONGO_INITDB_ROOT_USERNAME=admin
      - MONGO_INITDB_ROOT_PASSWORD=admin_password

  kafka-service:
    container_name: horton-kafka-local
    image: obsidiandynamics/kafka
    restart: always
    ports:
      - "2181:2181"
      - "9092:9092"
    environment:
      KAFKA_LISTENERS: "INTERNAL://:29092,EXTERNAL://:9092"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka-service:29092,EXTERNAL://localhost:9092"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_ZOOKEEPER_SESSION_TIMEOUT: "6000"
      KAFKA_RESTART_ATTEMPTS: "10"
      KAFKA_RESTART_DELAY: "5"
      ZOOKEEPER_AUTOPURGE_PURGE_INTERVAL: "0"

  kafdrop:
    container_name: horton-kafdrop-local
    image: 'obsidiandynamics/kafdrop:latest'
    restart: always
    ports:
      - '9000:9000'
    environment:
      KAFKA_BROKERCONNECT: kafka-service:29092
    depends_on:
      - kafka-service

אין כאן שום דבר מסובך בכלל. שני מאזינים הוכרזו לקפקא: אחד (פנימי) לשימוש בתוך הרשת המרוכבת, והשני (חיצוני) לבקשות מבחוץ, ולכן העבירו אותו החוצה. 2181 - נמל שומר גן החיות. השאר, לדעתי, ברור.

הכנת שלד הפרויקט

בגרסה הבסיסית, המבנה של הפרויקט שלנו צריך להיראות כך:

horton
├── docker-compose.yml
└── horton
    ├── agents.py *
    ├── alphavantage.py *
    ├── app.py *
    ├── config.py
    ├── database
    │   ├── connect.py
    │   ├── cruds
    │   │   ├── base.py
    │   │   ├── __init__.py
    │   │   └── security.py *
    │   └── __init__.py
    ├── __init__.py
    ├── records.py *
    └── tasks.py *

*כל מה שציינתי אנחנו עדיין לא נוגעים בזה, אנחנו רק יוצרים קבצים ריקים.**

יצרנו מבנה. עכשיו בואו נוסיף את התלות הדרושות, נכתוב את התצורה ונתחבר ל-mongodb. לא אמסור את הטקסט המלא של הקבצים במאמר, כדי לא לעכב זאת, אך אביא קישורים לגרסאות הדרושות.

בואו נתחיל עם תלות ומטא לגבי הפרויקט - pyproject.toml

לאחר מכן, אנו מתחילים להתקין תלות וליצור virtualenv (או שאתה יכול ליצור את תיקיית venv בעצמך ולהפעיל את הסביבה):

pip3 install poetry (если ещё не установлено)
poetry install

עכשיו בואו ניצור config.yml - אישורים ואיפה לדפוק. אתה יכול מיד למקם שם נתונים עבור alphavantage. ובכן, בואו נעבור ל config.py - לחלץ נתונים עבור האפליקציה מהתצורה שלנו. כן, אני מודה, השתמשתי בליב שלי - סיטרי.

כשמתחברים למונגו הכל די פשוט. הכריז כיתת לקוחות להתחבר ו מעמד בסיס עבור cruds, כדי להקל על ביצוע שאילתות על אוספים.

מה יקרה אחר כך?

המאמר לא ארוך במיוחד, מכיוון שכאן אני מדבר רק על מוטיבציה והכנה, אז אל תאשימו אותי - אני מבטיח שבחלק הבא יהיו אקשן וגרפיקה.

אז, בחלק הבא ממש אנחנו:

1. בואו נכתוב לקוח קטן עבור alphavantage ב-aiohttp עם בקשות לנקודות הקצה שאנחנו צריכים.
2. בואו ניצור סוכן שיאסוף עבורם נתונים על ניירות ערך ומחירים היסטוריים.

קוד פרויקט

קוד עבור חלק זה

מקור: www.habr.com