PHP बैकएंड को रेडिस स्ट्रीम बस में स्थानांतरित करना और एक फ्रेमवर्क-स्वतंत्र लाइब्रेरी चुनना

प्रस्तावना

मेरी वेबसाइट, जिसे मैं शौक के तौर पर चलाता हूं, दिलचस्प होम पेज और व्यक्तिगत साइटों को होस्ट करने के लिए डिज़ाइन की गई है। मेरी प्रोग्रामिंग यात्रा की शुरुआत में ही इस विषय में मेरी रुचि होने लगी थी; उस समय मैं ऐसे महान पेशेवरों को पाकर रोमांचित हो गया था जो अपने बारे में, अपने शौक और परियोजनाओं के बारे में लिखते थे। उन्हें स्वयं खोजने की आदत आज भी बनी हुई है: लगभग हर व्यावसायिक और बहुत अधिक व्यावसायिक साइट पर नहीं, मैं लेखकों के लिंक की तलाश में पाद लेख में देखना जारी रखता हूं।

विचार का कार्यान्वयन

पहला संस्करण मेरी निजी वेबसाइट पर सिर्फ एक HTML पेज था, जहां मैंने हस्ताक्षर के साथ लिंक को एक यूएल सूची में डाला था। कुछ समय में 20 पेज टाइप करने के बाद, मुझे लगने लगा कि यह बहुत प्रभावी नहीं है और मैंने इस प्रक्रिया को स्वचालित करने का प्रयास करने का निर्णय लिया। स्टैकओवरफ़्लो पर, मैंने देखा कि बहुत से लोग अपनी प्रोफ़ाइल में साइटों को इंगित करते हैं, इसलिए मैंने php में एक पार्सर लिखा, जो प्रोफ़ाइल के माध्यम से चला गया, पहले से शुरू (आज तक SO पर पते इस प्रकार हैं: `/users/1` ), वांछित टैग से लिंक निकाले और इसे SQLite में जोड़ा।

इसे दूसरा संस्करण कहा जा सकता है: SQLite तालिका में हजारों URL का संग्रह, जिसने html में स्थिर सूची को प्रतिस्थापित कर दिया। मैंने इस सूची पर एक सरल खोज की। क्योंकि केवल यूआरएल थे, फिर खोज बस उन पर आधारित थी।

इस स्तर पर मैंने इस परियोजना को छोड़ दिया और लंबे समय के बाद इसमें वापस लौटा। इस स्तर पर, मेरा कार्य अनुभव पहले से ही तीन साल से अधिक का था और मुझे लगा कि मैं कुछ और गंभीर कर सकता हूं। इसके अलावा, अपेक्षाकृत नई तकनीकों में महारत हासिल करने की बहुत इच्छा थी।

आधुनिक संस्करण

परियोजना डॉकर में तैनात किया गया, डेटाबेस को mongoDb में स्थानांतरित कर दिया गया, और हाल ही में, मूली को जोड़ा गया, जो पहले सिर्फ कैशिंग के लिए था। PHP माइक्रोफ़्रेमवर्क में से एक को आधार के रूप में उपयोग किया जाता है।

समस्या

नई साइटें एक कंसोल कमांड द्वारा जोड़ी जाती हैं जो समकालिक रूप से निम्नलिखित कार्य करती है:

• यूआरएल द्वारा सामग्री डाउनलोड करता है
• HTTPS उपलब्ध था या नहीं यह बताने वाला ध्वज सेट करता है
• वेबसाइट का सार सुरक्षित रखता है
• स्रोत HTML और हेडर "अनुक्रमणिका" इतिहास में सहेजे जाते हैं
• सामग्री को पार्स करता है, शीर्षक और विवरण निकालता है
• डेटा को एक अलग संग्रह में सहेजता है

यह केवल साइटों को संग्रहीत करने और उन्हें एक सूची में प्रदर्शित करने के लिए पर्याप्त था:

लेकिन हर चीज़ को स्वचालित रूप से अनुक्रमित करने, वर्गीकृत करने और रैंक करने, हर चीज़ को अद्यतित रखने का विचार इस प्रतिमान में अच्छी तरह फिट नहीं बैठता। यहां तक ​​कि संभावित DDoS से बचने के लिए पृष्ठों को जोड़ने के लिए केवल एक वेब विधि जोड़ने के लिए कोड दोहराव और अवरोधन की आवश्यकता होती है।

सामान्य तौर पर, निश्चित रूप से, सब कुछ समकालिक रूप से किया जा सकता है, और वेब पद्धति में आप बस यूआरएल को सहेज सकते हैं ताकि राक्षसी डेमॉन सूची से यूआरएल के लिए सभी कार्य कर सके। लेकिन फिर भी, यहाँ भी "कतार" शब्द स्वयं ही सुझाता है। और यदि एक कतार लागू की जाती है, तो सभी कार्यों को विभाजित किया जा सकता है और कम से कम अतुल्यकालिक रूप से निष्पादित किया जा सकता है।

समाधान

कतारें लागू करें और सभी कार्यों को संसाधित करने के लिए एक इवेंट-संचालित प्रणाली बनाएं। और मैं काफी समय से रेडिस स्ट्रीम्स को आज़माना चाह रहा था।

PHP में Redis स्ट्रीम का उपयोग करना

क्योंकि चूंकि मेरा ढांचा तीन दिग्गज सिम्फनी, लारवेल, वाईआई में से एक नहीं है, इसलिए मैं एक स्वतंत्र पुस्तकालय ढूंढना चाहूंगा। लेकिन, जैसा कि यह निकला (पहली परीक्षा में), व्यक्तिगत गंभीर पुस्तकालयों को ढूंढना असंभव है। कतारों से संबंधित हर चीज या तो पांच साल पहले की गई 3 प्रतिबद्धताओं से एक परियोजना है, या ढांचे से जुड़ी हुई है।

मैंने व्यक्तिगत उपयोगी घटकों के आपूर्तिकर्ता के रूप में सिम्फनी के बारे में बहुत कुछ सुना है, और मैं पहले से ही उनमें से कुछ का उपयोग कर रहा हूं। और लारवेल की कुछ चीजों का भी उपयोग किया जा सकता है, उदाहरण के लिए उनका ओआरएम, बिना फ्रेमवर्क की उपस्थिति के।

सिम्फनी/मैसेंजर

पहला उम्मीदवार तुरंत आदर्श लगा और बिना किसी संदेह के मैंने इसे स्थापित किया। लेकिन सिम्फनी के बाहर उपयोग के उदाहरणों को गूगल पर खोजना अधिक कठिन हो गया। सार्वभौमिक, अर्थहीन नामों और यहां तक ​​कि रेडिस पर भी कक्षाओं के एक समूह से संदेश भेजने के लिए बस को कैसे इकट्ठा किया जाए?

आधिकारिक साइट पर दस्तावेज़ीकरण काफी विस्तृत था, लेकिन आरंभीकरण का वर्णन केवल सिम्फनी के लिए उनके पसंदीदा वाईएमएल और गैर-सिम्फनीस्ट के लिए अन्य जादुई तरीकों का उपयोग करके किया गया था। मुझे इंस्टॉलेशन प्रक्रिया में कोई दिलचस्पी नहीं थी, खासकर नए साल की छुट्टियों के दौरान। लेकिन मुझे अप्रत्याशित रूप से लंबे समय तक ऐसा करना पड़ा।

यह पता लगाने की कोशिश करना कि सिम्फनी स्रोतों का उपयोग करके किसी सिस्टम को कैसे इंस्टेंट किया जाए, यह भी एक सीमित समय सीमा के लिए सबसे मामूली काम नहीं है:

इस सब में गहराई से जाने और अपने हाथों से कुछ करने की कोशिश करने के बाद, मैं इस नतीजे पर पहुंचा कि मैं किसी तरह की बैसाखी पर काम कर रहा था और मैंने कुछ और करने का फैसला किया।

प्रकाशित/कतार

यह पता चला कि यह लाइब्रेरी लारवेल इंफ्रास्ट्रक्चर और अन्य निर्भरताओं के एक समूह से कसकर जुड़ी हुई थी, इसलिए मैंने इस पर ज्यादा समय नहीं बिताया: मैंने इसे स्थापित किया, इसे देखा, निर्भरताएं देखीं और इसे हटा दिया।

yiisoft/yii2-कतार

खैर, यहां नाम से तुरंत यह मान लिया गया कि, फिर से, Yii2 से इसका सख्त संबंध है। मुझे इस लाइब्रेरी का उपयोग करना था और यह बुरा नहीं था, लेकिन मैंने इस तथ्य के बारे में नहीं सोचा था कि यह पूरी तरह से Yii2 पर निर्भर है।

बाकी

GitHub पर मुझे जो कुछ भी मिला वह अविश्वसनीय, पुराना और सितारों, कांटे और बड़ी संख्या में प्रतिबद्धताओं के बिना छोड़ी गई परियोजनाएं थीं।

सिम्फनी/मैसेंजर, तकनीकी विवरण पर लौटें

मुझे इस लाइब्रेरी का पता लगाना था और, कुछ और समय बिताने के बाद, मैं ऐसा करने में सक्षम हो गया। यह पता चला कि सब कुछ काफी संक्षिप्त और सरल था। बस को इंस्टेंट करने के लिए मैंने एक छोटी सी फैक्ट्री बनाई, क्योंकि... मुझे कई टायर और अलग-अलग हैंडलर वाले होने चाहिए थे।

बस कुछ कदम:

• हम संदेश हैंडलर बनाते हैं जो आसानी से कॉल करने योग्य होने चाहिए
• हम उन्हें HandlerDescriptor (लाइब्रेरी से कक्षा) में लपेटते हैं
• हम इन "डिस्क्रिप्टर्स" को HandlersLocator इंस्टेंस में लपेटते हैं
• MessageBus इंस्टेंस में HandlersLocator जोड़ना
• हम 'सेंडरइंटरफेस' का एक सेट सेंडर्सलोकेटर को पास करते हैं, मेरे मामले में 'रेडिसट्रांसपोर्ट' क्लास के उदाहरण, जो एक स्पष्ट तरीके से कॉन्फ़िगर किए गए हैं
• MessageBus उदाहरण में SendersLocator जोड़ना

MessageBus में एक `->dispatch()` विधि है जो HandlersLocator में उपयुक्त हैंडलर को ढूंढती है और बस (रेडिस स्ट्रीम) के माध्यम से भेजने के लिए संबंधित `SenderInterface` का उपयोग करके उन्हें संदेश भेजती है।

कंटेनर कॉन्फ़िगरेशन में (इस मामले में php-di), इस पूरे बंडल को इस तरह कॉन्फ़िगर किया जा सकता है:

        CONTAINER_REDIS_TRANSPORT_SECRET => function (ContainerInterface $c) {
            return new RedisTransport(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET),
                $c->get(CONTAINER_SERIALIZER))
            ;
        },
        CONTAINER_REDIS_TRANSPORT_LOG => function (ContainerInterface $c) {
            return new RedisTransport(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG),
                $c->get(CONTAINER_SERIALIZER))
            ;
        },
        CONTAINER_REDIS_STREAM_RECEIVER_SECRET => function (ContainerInterface $c) {
            return new RedisReceiver(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET),
                $c->get(CONTAINER_SERIALIZER)
            );
        },
        CONTAINER_REDIS_STREAM_RECEIVER_LOG => function (ContainerInterface $c) {
            return new RedisReceiver(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG),
                $c->get(CONTAINER_SERIALIZER)
            );
        },
        CONTAINER_REDIS_STREAM_BUS => function (ContainerInterface $c) {
            $sendersLocator = new SendersLocator([
                AppMessagesSecretJsonMessages::class => [CONTAINER_REDIS_TRANSPORT_SECRET],
                AppMessagesDaemonLogMessage::class => [CONTAINER_REDIS_TRANSPORT_LOG],
            ], $c);
            $middleware[] = new SendMessageMiddleware($sendersLocator);

            return new MessageBus($middleware);
        },
        CONTAINER_REDIS_STREAM_CONNECTION_SECRET => function (ContainerInterface $c) {
            $host = 'bu-02-redis';
            $port = 6379;
            $dsn = "redis://$host:$port";
            $options = [
                'stream' => 'secret',
                'group' => 'default',
                'consumer' => 'default',
            ];

            return Connection::fromDsn($dsn, $options);
        },
        CONTAINER_REDIS_STREAM_CONNECTION_LOG => function (ContainerInterface $c) {
            $host = 'bu-02-redis';
            $port = 6379;
            $dsn = "redis://$host:$port";
            $options = [
                'stream' => 'log',
                'group' => 'default',
                'consumer' => 'default',
            ];

            return Connection::fromDsn($dsn, $options);
        },

यहां आप देख सकते हैं कि सेंडर्सलोकेटर में हमने दो अलग-अलग संदेशों के लिए अलग-अलग "ट्रांसपोर्ट" असाइन किए हैं, जिनमें से प्रत्येक का संबंधित स्ट्रीम से अपना कनेक्शन है।

मैंने निम्नलिखित बस का उपयोग करके एक दूसरे के साथ संचार करने वाले तीन डेमॉन के अनुप्रयोग को प्रदर्शित करते हुए एक अलग डेमो प्रोजेक्ट बनाया: https://github.com/backend-university/products/tree/master/products/02-redis-streams-bus.

लेकिन मैं आपको दिखाऊंगा कि उपभोक्ता को कैसे संरचित किया जा सकता है:

use AppMessagesDaemonLogMessage;
use SymfonyComponentMessengerHandlerHandlerDescriptor;
use SymfonyComponentMessengerHandlerHandlersLocator;
use SymfonyComponentMessengerMessageBus;
use SymfonyComponentMessengerMiddlewareHandleMessageMiddleware;
use SymfonyComponentMessengerMiddlewareSendMessageMiddleware;
use SymfonyComponentMessengerTransportSenderSendersLocator;

require_once __DIR__ . '/../vendor/autoload.php';
/** @var PsrContainerContainerInterface $container */
$container = require_once('config/container.php');

$handlers = [
    DaemonLogMessage::class => [
        new HandlerDescriptor(
            function (DaemonLogMessage $m) {
                error_log('DaemonLogHandler: message handled: / ' . $m->getMessage());
            },
            ['from_transport' => CONTAINER_REDIS_TRANSPORT_LOG]
        )
    ],
];
$middleware = [];
$middleware[] = new HandleMessageMiddleware(new HandlersLocator($handlers));
$sendersLocator = new SendersLocator(['*' => [CONTAINER_REDIS_TRANSPORT_LOG]], $container);
$middleware[] = new SendMessageMiddleware($sendersLocator);

$bus = new MessageBus($middleware);
$receivers = [
    CONTAINER_REDIS_TRANSPORT_LOG => $container->get(CONTAINER_REDIS_STREAM_RECEIVER_LOG),
];
$w = new SymfonyComponentMessengerWorker($receivers, $bus, $container->get(CONTAINER_EVENT_DISPATCHER));
$w->run();

किसी एप्लिकेशन में इस बुनियादी ढांचे का उपयोग करना

अपने बैकएंड में बस को लागू करने के बाद, मैंने अलग-अलग चरणों को पुराने सिंक्रोनस कमांड से अलग कर दिया और अलग-अलग हैंडलर बनाए, जिनमें से प्रत्येक अपना काम करता है।

डेटाबेस में एक नई साइट जोड़ने की पाइपलाइन इस तरह दिखी:

और उसके तुरंत बाद, मेरे लिए नई कार्यक्षमता जोड़ना बहुत आसान हो गया, उदाहरण के लिए, रुपये निकालना और पार्स करना। क्योंकि इस प्रक्रिया के लिए मूल सामग्री की भी आवश्यकता होती है, फिर RSS लिंक एक्सट्रैक्टर हैंडलर, जैसे कि वेबसाइटइंडेक्सहिस्ट्रीपर्सिस्टर, "कंटेंट/एचटीएमएलकंटेंट" संदेश की सदस्यता लेता है, इसे संसाधित करता है और वांछित संदेश को अपनी पाइपलाइन के साथ आगे भेजता है।

अंत में, हमें कई डेमॉन मिले, जिनमें से प्रत्येक केवल आवश्यक संसाधनों से कनेक्शन बनाए रखता है। उदाहरण के लिए एक राक्षस crawlers के इसमें वे सभी हैंडलर शामिल हैं जिन्हें सामग्री के लिए इंटरनेट पर जाने की आवश्यकता होती है, और डेमॉन कायम रखने वाला डेटाबेस से संबंध रखता है.

अब, डेटाबेस से चयन करने के बजाय, पर्सिस्टर द्वारा सम्मिलन के बाद आवश्यक आईडी बस के माध्यम से सभी इच्छुक हैंडलर को प्रेषित की जाती हैं।

स्रोत: www.habr.com