PHP ब्याकइन्डलाई Redis स्ट्रिम बसमा स्थानान्तरण गर्दै र फ्रेमवर्क-स्वतन्त्र पुस्तकालय छनौट गर्दै

Foreword

मेरो वेबसाइट, जुन मैले शौकको रूपमा चलाउँछु, रोचक गृह पृष्ठहरू र व्यक्तिगत साइटहरू होस्ट गर्न डिजाइन गरिएको हो। यो विषय मेरो प्रोग्रामिङ यात्राको शुरुवातमा नै मलाई चासो लाग्न थाल्यो; त्यस क्षणमा म आफैं, उनीहरूको शौक र परियोजनाहरूको बारेमा लेख्ने महान पेशेवरहरू फेला पारेर मोहित भएँ। मेरो लागि तिनीहरूलाई पत्ता लगाउने बानी आज पनि रहन्छ: लगभग हरेक व्यावसायिक र धेरै व्यावसायिक साइटहरूमा, म लेखकहरूको लिङ्कहरूको खोजीमा फुटरमा हेर्न जारी राख्छु।

विचार को कार्यान्वयन

पहिलो संस्करण मेरो व्यक्तिगत वेबसाइटमा केवल एक html पृष्ठ थियो, जहाँ मैले हस्ताक्षरहरूसँग लिङ्कहरू उल सूचीमा राखें। समय अवधिमा 20 पृष्ठहरू टाइप गरिसकेपछि, मैले सोच्न थाले कि यो धेरै प्रभावकारी छैन र प्रक्रियालाई स्वचालित गर्ने प्रयास गर्ने निर्णय गरें। स्ट्याकओभरफ्लोमा, मैले याद गरें कि धेरै व्यक्तिहरूले तिनीहरूको प्रोफाइलमा साइटहरू संकेत गर्छन्, त्यसैले मैले php मा पार्सर लेखें, जुन केवल पहिलोबाट सुरु हुँदै प्रोफाइलहरू मार्फत गयो (SO मा आजको ठेगानाहरू यस प्रकारका छन्: `/users/1` ), इच्छित ट्यागबाट लिङ्कहरू निकालियो र SQLite मा थपियो।

यसलाई दोस्रो संस्करण भन्न सकिन्छ: SQLite तालिकामा हजारौं URL को सङ्कलन, जसले html मा स्थिर सूचीलाई प्रतिस्थापन गर्यो। मैले यो सूचीमा साधारण खोज गरें। किनभने त्यहाँ केवल URL हरू थिए, त्यसपछि खोज केवल तिनीहरूमा आधारित थियो।

यो चरणमा मैले परियोजना त्यागे र लामो समय पछि फर्के। यस चरणमा, मेरो कामको अनुभव पहिले नै तीन वर्ष भन्दा बढी थियो र मलाई लाग्यो कि म अझ गम्भीर केहि गर्न सक्छु। थप रूपमा, अपेक्षाकृत नयाँ प्रविधिहरू मास्टर गर्ने ठूलो इच्छा थियो।

आधुनिक संस्करण

परियोजना डकरमा तैनाथ गरिएको, डाटाबेस mongoDb मा स्थानान्तरण गरिएको थियो, र हालसालै, मूला थपियो, जुन सुरुमा क्यासिङको लागि मात्र थियो। PHP माइक्रोफ्रेमवर्कहरू मध्ये एउटा आधारको रूपमा प्रयोग गरिन्छ।

समस्या

नयाँ साइटहरू कन्सोल आदेशद्वारा थपिएका छन् जसले निम्न कार्यहरू समक्रमण गर्दछ:

• URL द्वारा सामग्री डाउनलोड गर्दछ
• HTTPS उपलब्ध छ कि छैन भनेर संकेत गर्ने झण्डा सेट गर्दछ
• वेबसाइटको सार सुरक्षित गर्दछ
• स्रोत HTML र हेडरहरू "अनुक्रमणिका" इतिहासमा बचत गरिएका छन्
• सामग्री पार्स गर्दछ, शीर्षक र विवरण निकाल्छ
• डेटालाई छुट्टै सङ्कलनमा बचत गर्छ

यो केवल साइटहरू भण्डारण गर्न र तिनीहरूलाई सूचीमा प्रदर्शन गर्न पर्याप्त थियो:

तर स्वचालित रूपमा अनुक्रमणिका, वर्गीकरण र सबै चीजको श्रेणीकरण गर्ने, सबै कुरालाई अद्यावधिक राख्ने विचार यस प्रतिमानमा राम्रोसँग फिट भएन। सम्भावित DDoS बाट बच्नको लागि पृष्ठहरू आवश्यक कोड नक्कल र अवरुद्ध थप्नको लागि वेब विधि थप्दा पनि।

सामान्यतया, निस्सन्देह, सबै कुरा सिंक्रोनस रूपमा गर्न सकिन्छ, र वेब विधिमा तपाईले URL बचत गर्न सक्नुहुन्छ ताकि राक्षसी डेमनले सूचीबाट URL हरूको लागि सबै कार्यहरू गर्दछ। तर अझै, यहाँ पनि शब्द "लाम" आफैले सुझाव दिन्छ। र यदि लाम लागू गरिएको छ भने, त्यसपछि सबै कार्यहरू विभाजित गर्न सकिन्छ र कम्तिमा एसिन्क्रोनस रूपमा प्रदर्शन गर्न सकिन्छ।

निर्णय

लामहरू लागू गर्नुहोस् र सबै कार्यहरू प्रशोधन गर्न घटना-संचालित प्रणाली बनाउनुहोस्। र म लामो समयदेखि Redis स्ट्रिमहरू प्रयास गर्न चाहन्छु।

PHP मा Redis स्ट्रिमहरू प्रयोग गर्दै

किनभने मेरो ढाँचा Symfony, Laravel, Yii तीन विशाल मध्ये एक होइन, म एक स्वतन्त्र पुस्तकालय खोज्न चाहन्छु। तर, यो बाहिर (पहिलो परीक्षा मा), यो व्यक्तिगत गम्भीर पुस्तकालयहरू फेला पार्न असम्भव छ। लामहरूसँग सम्बन्धित सबै कुरा या त 3 कमिटहरूबाट पाँच वर्ष पहिलेको परियोजना हो, वा फ्रेमवर्कमा बाँधिएको छ।

मैले व्यक्तिगत उपयोगी कम्पोनेन्टहरूको आपूर्तिकर्ताको रूपमा सिम्फनीको बारेमा धेरै सुनेको छु, र म ती मध्ये केही प्रयोग गर्दछु। र Laravel बाट केहि चीजहरू पनि प्रयोग गर्न सकिन्छ, उदाहरणका लागि तिनीहरूको ORM, फ्रेमवर्कको उपस्थिति बिना।

सिम्फनी/मेसेन्जर

पहिलो उम्मेद्वार तुरुन्तै आदर्श देखिन्थ्यो र कुनै शंका बिना मैले यसलाई स्थापना गरें। तर यो Symfony बाहिर प्रयोगको उदाहरणहरू गुगल गर्न अझ गाह्रो भयो। सार्वभौमिक, अर्थहीन नामहरू, र रेडिसमा पनि कक्षाहरूको गुच्छाबाट सन्देशहरू पास गर्नको लागि बस कसरी जम्मा गर्ने?

आधिकारिक साइटमा कागजातहरू धेरै विस्तृत थियो, तर प्रारम्भिकरण केवल सिम्फोनीको लागि उनीहरूको मनपर्ने YML र गैर-सिम्फोनिस्टका लागि अन्य जादुई विधिहरू प्रयोग गरेर वर्णन गरिएको थियो। मलाई स्थापना प्रक्रियामा कुनै चासो थिएन, विशेष गरी नयाँ वर्षको बिदामा। तर मैले यो अप्रत्याशित रूपमा लामो समयको लागि गर्नुपर्‍यो।

सिम्फनी स्रोतहरू प्रयोग गरेर प्रणाली कसरी इन्स्ट्यान्टेट गर्ने भनेर पत्ता लगाउने प्रयास गर्नु पनि कडा समयसीमाको लागि सबैभन्दा सानो काम होइन:

यी सबैको खोजी गरिसकेपछि र हातले केही गर्ने प्रयास गरेपछि, म यो निष्कर्षमा पुगें कि मैले केही प्रकारको बैसाखी गरिरहेको छु र केहि अन्य प्रयास गर्ने निर्णय गरें।

उज्यालो / लाम

यो पत्ता लाग्यो कि यो पुस्तकालय लारावेल पूर्वाधार र अन्य निर्भरताहरूको गुच्छासँग कडा रूपमा बाँधिएको थियो, त्यसैले मैले यसमा धेरै समय खर्च गरिन: मैले यसलाई स्थापना गरें, यसलाई हेरे, निर्भरताहरू देखे र यसलाई मेटाए।

yiisoft/yii2-queue

ठीक छ, यहाँ यो तुरुन्तै नामबाट ग्रहण गरिएको थियो, फेरि, Yii2 मा कडा जडान। मैले यो पुस्तकालय प्रयोग गर्नुपर्‍यो र यो नराम्रो थिएन, तर यो पूर्णतया Yii2 मा निर्भर छ भन्ने तथ्यको बारेमा मैले सोचिन।

बाँकी

मैले GitHub मा फेला पारेका अरू सबै कुराहरू ताराहरू, फोर्कहरू र ठूलो संख्यामा कमिटहरू बिना अविश्वसनीय, पुरानो र परित्याग गरिएका परियोजनाहरू थिए।

सिम्फनी/मेसेन्जर, प्राविधिक विवरणहरूमा फर्कनुहोस्

मैले यो पुस्तकालय पत्ता लगाउनुपर्‍यो र, केहि समय बिताएपछि, म सक्षम भएँ। यो बाहिर भयो कि सबै कुरा एकदम संक्षिप्त र सरल थियो। बस सुरु गर्न, मैले एउटा सानो कारखाना बनाएको छु, किनकि... मसँग धेरै टायरहरू र विभिन्न ह्यान्डलरहरू हुनु पर्ने थियो।

केवल केहि चरणहरू:

• हामी सन्देश ह्यान्डलरहरू सिर्जना गर्छौं जुन केवल कल गर्न योग्य हुनुपर्छ
• हामी तिनीहरूलाई HandlerDescriptor मा बेर्छौं (पुस्तकालयबाट कक्षा)
• हामी यी "वर्णनकर्ताहरू" लाई ह्यान्डलर लोकेटर उदाहरणमा लपेट्छौं
• MessageBus उदाहरणमा HandlersLocator थप्दै
• हामीले 'SenderInterface' को सेट SendersLocator लाई पास गर्छौं, मेरो मामलामा 'RedisTransport' कक्षाहरूको उदाहरणहरू, जुन स्पष्ट रूपमा कन्फिगर गरिएको छ।
• MessageBus उदाहरणमा प्रेषक लोकेटर थप्दै

MessageBus सँग `->डिस्प्याच()` विधि छ जसले HandlersLocator मा उपयुक्त ह्यान्डलरहरू खोज्छ र तिनीहरूलाई सन्देश पठाउँछ, सम्बन्धित `SenderInterface` प्रयोग गरेर बस (Redis स्ट्रिमहरू) मार्फत पठाउँछ।

कन्टेनर कन्फिगरेसनमा (यस अवस्थामा php-di), यो सम्पूर्ण बन्डललाई यसरी कन्फिगर गर्न सकिन्छ:

        CONTAINER_REDIS_TRANSPORT_SECRET => function (ContainerInterface $c) {
            return new RedisTransport(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET),
                $c->get(CONTAINER_SERIALIZER))
            ;
        },
        CONTAINER_REDIS_TRANSPORT_LOG => function (ContainerInterface $c) {
            return new RedisTransport(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG),
                $c->get(CONTAINER_SERIALIZER))
            ;
        },
        CONTAINER_REDIS_STREAM_RECEIVER_SECRET => function (ContainerInterface $c) {
            return new RedisReceiver(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET),
                $c->get(CONTAINER_SERIALIZER)
            );
        },
        CONTAINER_REDIS_STREAM_RECEIVER_LOG => function (ContainerInterface $c) {
            return new RedisReceiver(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG),
                $c->get(CONTAINER_SERIALIZER)
            );
        },
        CONTAINER_REDIS_STREAM_BUS => function (ContainerInterface $c) {
            $sendersLocator = new SendersLocator([
                AppMessagesSecretJsonMessages::class => [CONTAINER_REDIS_TRANSPORT_SECRET],
                AppMessagesDaemonLogMessage::class => [CONTAINER_REDIS_TRANSPORT_LOG],
            ], $c);
            $middleware[] = new SendMessageMiddleware($sendersLocator);

            return new MessageBus($middleware);
        },
        CONTAINER_REDIS_STREAM_CONNECTION_SECRET => function (ContainerInterface $c) {
            $host = 'bu-02-redis';
            $port = 6379;
            $dsn = "redis://$host:$port";
            $options = [
                'stream' => 'secret',
                'group' => 'default',
                'consumer' => 'default',
            ];

            return Connection::fromDsn($dsn, $options);
        },
        CONTAINER_REDIS_STREAM_CONNECTION_LOG => function (ContainerInterface $c) {
            $host = 'bu-02-redis';
            $port = 6379;
            $dsn = "redis://$host:$port";
            $options = [
                'stream' => 'log',
                'group' => 'default',
                'consumer' => 'default',
            ];

            return Connection::fromDsn($dsn, $options);
        },

यहाँ तपाईंले देख्न सक्नुहुन्छ कि SenderLocator मा हामीले दुई फरक सन्देशहरूका लागि विभिन्न "ट्रान्सपोर्टहरू" तोकेका छौं, जसमध्ये प्रत्येकसँग सम्बन्धित स्ट्रिमहरूमा आफ्नै जडान छ।

मैले एउटा छुट्टै डेमो प्रोजेक्ट बनाएको छु जसमा निम्न बस प्रयोग गरेर एकअर्कासँग सञ्चार गर्ने तीनवटा डेमनहरूको अनुप्रयोग प्रदर्शन गर्दछ: https://github.com/backend-university/products/tree/master/products/02-redis-streams-bus.

तर म तपाईंलाई देखाउनेछु कि उपभोक्ता कसरी संरचित हुन सक्छ:

use AppMessagesDaemonLogMessage;
use SymfonyComponentMessengerHandlerHandlerDescriptor;
use SymfonyComponentMessengerHandlerHandlersLocator;
use SymfonyComponentMessengerMessageBus;
use SymfonyComponentMessengerMiddlewareHandleMessageMiddleware;
use SymfonyComponentMessengerMiddlewareSendMessageMiddleware;
use SymfonyComponentMessengerTransportSenderSendersLocator;

require_once __DIR__ . '/../vendor/autoload.php';
/** @var PsrContainerContainerInterface $container */
$container = require_once('config/container.php');

$handlers = [
    DaemonLogMessage::class => [
        new HandlerDescriptor(
            function (DaemonLogMessage $m) {
                error_log('DaemonLogHandler: message handled: / ' . $m->getMessage());
            },
            ['from_transport' => CONTAINER_REDIS_TRANSPORT_LOG]
        )
    ],
];
$middleware = [];
$middleware[] = new HandleMessageMiddleware(new HandlersLocator($handlers));
$sendersLocator = new SendersLocator(['*' => [CONTAINER_REDIS_TRANSPORT_LOG]], $container);
$middleware[] = new SendMessageMiddleware($sendersLocator);

$bus = new MessageBus($middleware);
$receivers = [
    CONTAINER_REDIS_TRANSPORT_LOG => $container->get(CONTAINER_REDIS_STREAM_RECEIVER_LOG),
];
$w = new SymfonyComponentMessengerWorker($receivers, $bus, $container->get(CONTAINER_EVENT_DISPATCHER));
$w->run();

अनुप्रयोगमा यो पूर्वाधार प्रयोग गर्दै

मेरो ब्याकएन्डमा बस लागू गरिसकेपछि, मैले व्यक्तिगत चरणहरूलाई पुरानो सिंक्रोनस आदेशबाट अलग गरें र छुट्टै ह्यान्डलरहरू बनाए, जसमध्ये प्रत्येकले आफ्नै काम गर्छ।

डाटाबेसमा नयाँ साइट थप्नको लागि पाइपलाइन यस्तो देखिन्थ्यो:

र त्यस पछि तुरुन्तै, मलाई नयाँ कार्यक्षमता थप्न धेरै सजिलो भयो, उदाहरणका लागि, Rss निकाल्ने र पार्स गर्ने। किनभने यस प्रक्रियालाई मूल सामग्री पनि चाहिन्छ, त्यसपछि RSS लिङ्क एक्स्ट्रक्टर ह्यान्डलर, जस्तै WebsiteIndexHistoryPersistor, "सामग्री/Html सामग्री" सन्देशको सदस्यता लिन्छ, यसलाई प्रशोधन गर्दछ र इच्छित सन्देशलाई यसको पाइपलाइनमा अगाडि लैजान्छ।

अन्तमा, हामीले धेरै डेमनहरूसँग समाप्त गर्यौं, जसमध्ये प्रत्येकले आवश्यक स्रोतहरूमा मात्र जडान राख्छ। उदाहरण को लागी एक राक्षस crawlers सबै ह्यान्डलरहरू समावेश गर्दछ जसलाई सामग्रीको लागि इन्टरनेटमा जान आवश्यक छ, र डेमन निरन्तरता डाटाबेसमा जडान राख्छ।

अब, डाटाबेसबाट चयन गर्नुको सट्टा, पर्सिस्टरद्वारा सम्मिलित गरेपछि आवश्यक आइडीहरू बस मार्फत सबै इच्छुक ह्यान्डलरहरूलाई पठाइन्छ।

स्रोत: www.habr.com