পিএইচপি ব্যাকএন্ডকে রেডিস স্ট্রিম বাসে স্থানান্তর করা এবং একটি ফ্রেমওয়ার্ক-স্বাধীন লাইব্রেরি বেছে নেওয়া

ভূমিকা

আমার ওয়েবসাইট, যা আমি একটি শখ হিসাবে চালাই, আকর্ষণীয় হোম পেজ এবং ব্যক্তিগত সাইটগুলি হোস্ট করার জন্য ডিজাইন করা হয়েছে৷ এই বিষয়টি আমার প্রোগ্রামিং যাত্রার একেবারে শুরুতে আমাকে আগ্রহী করতে শুরু করেছিল; সেই মুহুর্তে আমি দুর্দান্ত পেশাদারদের খুঁজে পেয়ে মুগ্ধ হয়েছিলাম যারা নিজের সম্পর্কে, তাদের শখ এবং প্রকল্পগুলি সম্পর্কে লেখেন। আমার জন্য সেগুলি আবিষ্কার করার অভ্যাসটি আজ অবধি রয়ে গেছে: প্রায় প্রতিটি বাণিজ্যিক এবং খুব বাণিজ্যিক সাইটে নয়, আমি লেখকদের লিঙ্কগুলির সন্ধানে ফুটারটি দেখতে থাকি।

ধারণার বাস্তবায়ন

প্রথম সংস্করণটি আমার ব্যক্তিগত ওয়েবসাইটে একটি এইচটিএমএল পৃষ্ঠা ছিল, যেখানে আমি একটি উল তালিকায় স্বাক্ষর সহ লিঙ্কগুলি রেখেছিলাম। সময়ের সাথে সাথে 20 পৃষ্ঠা টাইপ করার পরে, আমি ভাবতে শুরু করি যে এটি খুব কার্যকর নয় এবং প্রক্রিয়াটি স্বয়ংক্রিয় করার চেষ্টা করার সিদ্ধান্ত নিয়েছে। স্ট্যাকওভারফ্লোতে, আমি লক্ষ্য করেছি যে অনেক লোক তাদের প্রোফাইলে সাইটগুলি নির্দেশ করে, তাই আমি php-এ একটি পার্সার লিখেছিলাম, যা কেবল প্রথমটি দিয়ে শুরু করে প্রোফাইলগুলির মধ্য দিয়ে যায় (SO তে আজকের ঠিকানাগুলি এই রকম: `/users/1` ), পছন্দসই ট্যাগ থেকে লিঙ্কগুলি বের করে SQLite এ যোগ করে।

এটিকে দ্বিতীয় সংস্করণ বলা যেতে পারে: একটি SQLite টেবিলে হাজার হাজার URL-এর একটি সংগ্রহ, যা HTML-এ স্ট্যাটিক তালিকাকে প্রতিস্থাপন করেছে। আমি এই তালিকায় একটি সহজ অনুসন্ধান করেছি. কারণ সেখানে শুধুমাত্র URL ছিল, তারপর অনুসন্ধানটি কেবল তাদের উপর ভিত্তি করে ছিল।

এই পর্যায়ে আমি প্রকল্পটি পরিত্যাগ করেছি এবং দীর্ঘ সময় পরে এটিতে ফিরে এসেছি। এই পর্যায়ে, আমার কাজের অভিজ্ঞতা ইতিমধ্যে তিন বছরেরও বেশি ছিল এবং আমি অনুভব করেছি যে আমি আরও গুরুতর কিছু করতে পারি। উপরন্তু, তুলনামূলকভাবে নতুন প্রযুক্তি আয়ত্ত করার একটি মহান ইচ্ছা ছিল.

আধুনিক সংস্করণ

প্রকল্পটি ডকারে নিয়োজিত, ডাটাবেসটি মঙ্গোডিবিতে স্থানান্তরিত করা হয়েছিল এবং সম্প্রতি, মূলা যোগ করা হয়েছিল, যা প্রথমে কেবল ক্যাশিংয়ের জন্য ছিল। পিএইচপি মাইক্রোফ্রেমওয়ার্কগুলির একটি ভিত্তি হিসাবে ব্যবহৃত হয়।

সমস্যা

নতুন সাইটগুলি একটি কনসোল কমান্ড দ্বারা যুক্ত করা হয় যা সিঙ্ক্রোনাসভাবে নিম্নলিখিতগুলি করে:

• URL দ্বারা সামগ্রী ডাউনলোড করে
• HTTPS উপলব্ধ ছিল কিনা তা নির্দেশ করে একটি পতাকা সেট করে
• ওয়েবসাইটের সারাংশ সংরক্ষণ করে
• উৎস HTML এবং শিরোনামগুলি "সূচীকরণ" ইতিহাসে সংরক্ষিত হয়
• বিষয়বস্তু পার্স করে, শিরোনাম এবং বিবরণ বের করে
• একটি পৃথক সংগ্রহে ডেটা সংরক্ষণ করে

এটি কেবল সাইটগুলি সঞ্চয় করতে এবং একটি তালিকায় প্রদর্শন করার জন্য যথেষ্ট ছিল:

কিন্তু স্বয়ংক্রিয়ভাবে সূচীকরণ, শ্রেণীকরণ এবং র‌্যাঙ্কিং, সবকিছু আপ টু ডেট রাখার ধারণাটি এই দৃষ্টান্তের সাথে ভালভাবে মানায় না। এমনকি সম্ভাব্য DDoS এড়াতে পৃষ্ঠাগুলির প্রয়োজনীয় কোড ডুপ্লিকেশন এবং ব্লকিং যোগ করার জন্য কেবল একটি ওয়েব পদ্ধতি যোগ করা।

সাধারণভাবে, অবশ্যই, সবকিছু সিঙ্ক্রোনাসভাবে করা যেতে পারে, এবং ওয়েব পদ্ধতিতে আপনি কেবল URLটি সংরক্ষণ করতে পারেন যাতে রাক্ষস ডেমন তালিকা থেকে URLগুলির জন্য সমস্ত কাজ সম্পাদন করে। কিন্তু এখনও, এমনকি এখানে "সারি" শব্দটি নিজেই প্রস্তাব করে। এবং যদি একটি সারি প্রয়োগ করা হয়, তাহলে সমস্ত কাজ বিভক্ত করা যেতে পারে এবং অন্তত অ্যাসিঙ্ক্রোনাসভাবে সম্পাদন করা যেতে পারে।

রায়

সারিগুলি প্রয়োগ করুন এবং সমস্ত কাজ প্রক্রিয়াকরণের জন্য একটি ইভেন্ট-চালিত সিস্টেম তৈরি করুন। এবং আমি দীর্ঘদিন ধরে রেডিস স্ট্রিমগুলি চেষ্টা করতে চাই।

পিএইচপিতে রেডিস স্ট্রিম ব্যবহার করা

কারণ যেহেতু আমার ফ্রেমওয়ার্ক তিনটি জায়ান্ট Symfony, Laravel, Yii এর মধ্যে একটি নয়, তাই আমি একটি স্বাধীন লাইব্রেরি খুঁজতে চাই। কিন্তু, এটি পরিণত হয়েছে (প্রথম পরীক্ষায়), পৃথক গুরুতর গ্রন্থাগারগুলি খুঁজে পাওয়া অসম্ভব। সারি সম্পর্কিত সবকিছুই হয় পাঁচ বছর আগে 3 কমিটের একটি প্রকল্প, অথবা কাঠামোর সাথে আবদ্ধ।

আমি পৃথক দরকারী উপাদান সরবরাহকারী হিসাবে Symfony সম্পর্কে অনেক কিছু শুনেছি এবং আমি ইতিমধ্যে সেগুলির কিছু ব্যবহার করি। এবং লারাভেলের কিছু জিনিসও ব্যবহার করা যেতে পারে, উদাহরণস্বরূপ তাদের ORM, ফ্রেমওয়ার্কের উপস্থিতি ছাড়াই।

সিমফনি/মেসেঞ্জার

প্রথম প্রার্থী অবিলম্বে আদর্শ বলে মনে হয়েছিল এবং কোন সন্দেহ ছাড়াই আমি এটি ইনস্টল করেছি। কিন্তু সিমফনির বাইরে ব্যবহারের উদাহরণগুলি গুগল করা আরও কঠিন হয়ে উঠেছে। কিভাবে একগুচ্ছ ক্লাস থেকে সার্বজনীন, অর্থহীন নাম, বার্তা পাঠানোর জন্য একটি বাস এবং এমনকি রেডিসে একত্রিত হবেন?

অফিসিয়াল সাইটে ডকুমেন্টেশন বেশ বিশদ ছিল, তবে প্রাথমিককরণটি শুধুমাত্র সিমফনির জন্য তাদের প্রিয় YML এবং অ-সিম্ফোনিস্টের জন্য অন্যান্য জাদু পদ্ধতি ব্যবহার করে বর্ণনা করা হয়েছিল। বিশেষ করে নববর্ষের ছুটির সময় ইনস্টলেশন প্রক্রিয়ায় আমার কোনো আগ্রহ ছিল না। কিন্তু আমাকে এটি একটি অপ্রত্যাশিতভাবে দীর্ঘ সময়ের জন্য করতে হয়েছিল।

সিমফনি উত্সগুলি ব্যবহার করে কীভাবে একটি সিস্টেমকে ইনস্ট্যান্টিয়েট করা যায় তা বোঝার চেষ্টা করা একটি শক্ত সময়সীমার জন্য সবচেয়ে তুচ্ছ কাজ নয়:

এই সমস্ত কিছুর সন্ধান করার পরে এবং আমার হাতে কিছু করার চেষ্টা করার পরে, আমি এই সিদ্ধান্তে পৌঁছেছিলাম যে আমি এক ধরণের ক্রাচ করছি এবং অন্য কিছু চেষ্টা করার সিদ্ধান্ত নিয়েছি।

আলোকিত/সারি

দেখা গেল যে এই লাইব্রেরিটি লারাভেল অবকাঠামো এবং অন্যান্য নির্ভরতার সাথে শক্তভাবে আবদ্ধ ছিল, তাই আমি এটিতে বেশি সময় ব্যয় করিনি: আমি এটি ইনস্টল করেছি, এটি দেখেছি, নির্ভরতাগুলি দেখেছি এবং এটি মুছে ফেলেছি।

yiisoft/yii2-সারি

ঠিক আছে, এখানে এটি অবিলম্বে নাম থেকে অনুমান করা হয়েছিল, আবার, Yii2 এর সাথে একটি কঠোর সংযোগ। আমাকে এই লাইব্রেরিটি ব্যবহার করতে হয়েছিল এবং এটি খারাপ ছিল না, তবে আমি এই বিষয়টি নিয়ে ভাবিনি যে এটি সম্পূর্ণরূপে Yii2 এর উপর নির্ভর করে।

বাকি

GitHub-এ আমি যা কিছু পেয়েছি তা ছিল তারা, কাঁটাচামচ এবং বিপুল সংখ্যক কমিট ছাড়াই অবিশ্বস্ত, পুরানো এবং পরিত্যক্ত প্রকল্প।

সিমফনি/মেসেঞ্জারে ফিরে যান, প্রযুক্তিগত বিবরণ

আমাকে এই লাইব্রেরিটি বের করতে হয়েছিল এবং আরও কিছু সময় ব্যয় করার পরে, আমি সক্ষম হয়েছিলাম। দেখা গেল যে সবকিছু বেশ সংক্ষিপ্ত এবং সহজ ছিল। বাসকে ইনস্ট্যান্ট করার জন্য, আমি একটি ছোট কারখানা তৈরি করেছি, কারণ... আমার বেশ কয়েকটি টায়ার এবং বিভিন্ন হ্যান্ডলার থাকার কথা ছিল।

মাত্র কয়েকটি ধাপ:

• আমরা বার্তা হ্যান্ডলার তৈরি করি যা কেবল কলযোগ্য হওয়া উচিত
• আমরা সেগুলিকে হ্যান্ডলারডেস্ক্রিপ্টরে মোড়ানো (লাইব্রেরি থেকে ক্লাস)
• আমরা একটি হ্যান্ডলার লোকেটার উদাহরণে এই "বিবরণকারীদের" মোড়ানো
• MessageBus দৃষ্টান্তে HandlersLocator যোগ করা হচ্ছে
• আমরা সেন্ডারলোকেটারে `সেন্ডার ইন্টারফেস` এর একটি সেট পাস করি, আমার ক্ষেত্রে `রেডিস ট্রান্সপোর্ট` ক্লাসের উদাহরণ, যা একটি সুস্পষ্ট উপায়ে কনফিগার করা হয়েছে
• MessageBus উদাহরণে SendersLocator যোগ করা হচ্ছে

MessageBus-এর একটি `->ডিসপ্যাচ()` পদ্ধতি রয়েছে যা হ্যান্ডলার লোকেটারে উপযুক্ত হ্যান্ডলারদের খোঁজ করে এবং বাসের মাধ্যমে পাঠানোর জন্য সংশ্লিষ্ট `প্রেরক ইন্টারফেস` ব্যবহার করে তাদের কাছে বার্তা পাঠায় (রেডিস স্ট্রিম)।

ধারক কনফিগারেশনে (এই ক্ষেত্রে php-di), এই সম্পূর্ণ বান্ডিলটি এইভাবে কনফিগার করা যেতে পারে:

        CONTAINER_REDIS_TRANSPORT_SECRET => function (ContainerInterface $c) {
            return new RedisTransport(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET),
                $c->get(CONTAINER_SERIALIZER))
            ;
        },
        CONTAINER_REDIS_TRANSPORT_LOG => function (ContainerInterface $c) {
            return new RedisTransport(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG),
                $c->get(CONTAINER_SERIALIZER))
            ;
        },
        CONTAINER_REDIS_STREAM_RECEIVER_SECRET => function (ContainerInterface $c) {
            return new RedisReceiver(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET),
                $c->get(CONTAINER_SERIALIZER)
            );
        },
        CONTAINER_REDIS_STREAM_RECEIVER_LOG => function (ContainerInterface $c) {
            return new RedisReceiver(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG),
                $c->get(CONTAINER_SERIALIZER)
            );
        },
        CONTAINER_REDIS_STREAM_BUS => function (ContainerInterface $c) {
            $sendersLocator = new SendersLocator([
                AppMessagesSecretJsonMessages::class => [CONTAINER_REDIS_TRANSPORT_SECRET],
                AppMessagesDaemonLogMessage::class => [CONTAINER_REDIS_TRANSPORT_LOG],
            ], $c);
            $middleware[] = new SendMessageMiddleware($sendersLocator);

            return new MessageBus($middleware);
        },
        CONTAINER_REDIS_STREAM_CONNECTION_SECRET => function (ContainerInterface $c) {
            $host = 'bu-02-redis';
            $port = 6379;
            $dsn = "redis://$host:$port";
            $options = [
                'stream' => 'secret',
                'group' => 'default',
                'consumer' => 'default',
            ];

            return Connection::fromDsn($dsn, $options);
        },
        CONTAINER_REDIS_STREAM_CONNECTION_LOG => function (ContainerInterface $c) {
            $host = 'bu-02-redis';
            $port = 6379;
            $dsn = "redis://$host:$port";
            $options = [
                'stream' => 'log',
                'group' => 'default',
                'consumer' => 'default',
            ];

            return Connection::fromDsn($dsn, $options);
        },

এখানে আপনি দেখতে পাচ্ছেন যে SendersLocator-এ আমরা দুটি ভিন্ন বার্তার জন্য বিভিন্ন "পরিবহন" বরাদ্দ করেছি, যার প্রত্যেকটির সংশ্লিষ্ট স্ট্রীমের সাথে নিজস্ব সংযোগ রয়েছে।

আমি নিম্নলিখিত বাস ব্যবহার করে একে অপরের সাথে যোগাযোগকারী তিনটি ডেমনের একটি অ্যাপ্লিকেশন প্রদর্শন করে একটি পৃথক ডেমো প্রকল্প তৈরি করেছি: https://github.com/backend-university/products/tree/master/products/02-redis-streams-bus.

কিন্তু আমি আপনাকে দেখাব কিভাবে একজন ভোক্তাকে গঠন করা যায়:

use AppMessagesDaemonLogMessage;
use SymfonyComponentMessengerHandlerHandlerDescriptor;
use SymfonyComponentMessengerHandlerHandlersLocator;
use SymfonyComponentMessengerMessageBus;
use SymfonyComponentMessengerMiddlewareHandleMessageMiddleware;
use SymfonyComponentMessengerMiddlewareSendMessageMiddleware;
use SymfonyComponentMessengerTransportSenderSendersLocator;

require_once __DIR__ . '/../vendor/autoload.php';
/** @var PsrContainerContainerInterface $container */
$container = require_once('config/container.php');

$handlers = [
    DaemonLogMessage::class => [
        new HandlerDescriptor(
            function (DaemonLogMessage $m) {
                error_log('DaemonLogHandler: message handled: / ' . $m->getMessage());
            },
            ['from_transport' => CONTAINER_REDIS_TRANSPORT_LOG]
        )
    ],
];
$middleware = [];
$middleware[] = new HandleMessageMiddleware(new HandlersLocator($handlers));
$sendersLocator = new SendersLocator(['*' => [CONTAINER_REDIS_TRANSPORT_LOG]], $container);
$middleware[] = new SendMessageMiddleware($sendersLocator);

$bus = new MessageBus($middleware);
$receivers = [
    CONTAINER_REDIS_TRANSPORT_LOG => $container->get(CONTAINER_REDIS_STREAM_RECEIVER_LOG),
];
$w = new SymfonyComponentMessengerWorker($receivers, $bus, $container->get(CONTAINER_EVENT_DISPATCHER));
$w->run();

একটি অ্যাপ্লিকেশনে এই পরিকাঠামো ব্যবহার করা

আমার ব্যাকএন্ডে বাসটি প্রয়োগ করার পরে, আমি পুরানো সিঙ্ক্রোনাস কমান্ড থেকে পৃথক পর্যায়গুলিকে আলাদা করেছি এবং পৃথক হ্যান্ডলার তৈরি করেছি, যাদের প্রত্যেকেই তাদের নিজস্ব কাজ করে।

ডাটাবেসে একটি নতুন সাইট যুক্ত করার জন্য পাইপলাইনটি দেখতে এইরকম ছিল:

এবং তার পরপরই, আমার জন্য নতুন কার্যকারিতা যোগ করা অনেক সহজ হয়ে গেল, উদাহরণস্বরূপ, Rss বের করা এবং পার্স করা। কারণ এই প্রক্রিয়াটির জন্য মূল সামগ্রীরও প্রয়োজন হয়, তারপরে WebsiteIndexHistoryPersistor-এর মতো RSS লিঙ্ক এক্সট্র্যাক্টর হ্যান্ডলার, "কন্টেন্ট/HtmlContent" বার্তাটিতে সদস্যতা নেয়, এটি প্রক্রিয়া করে এবং এর পাইপলাইন বরাবর পছন্দসই বার্তাটি পাস করে।

শেষ পর্যন্ত, আমরা বেশ কয়েকটি ডেমনের সাথে শেষ করেছি, যার প্রতিটি শুধুমাত্র প্রয়োজনীয় সংস্থানগুলির সাথে সংযোগ বজায় রাখে। যেমন একটি দানব ক্রোলের্স বিষয়বস্তুর জন্য ইন্টারনেটে যাওয়া প্রয়োজন এমন সমস্ত হ্যান্ডলার এবং ডেমন রয়েছে স্থির ডাটাবেসের সাথে একটি সংযোগ রাখে।

এখন, ডাটাবেস থেকে নির্বাচন করার পরিবর্তে, পার্সিস্টার দ্বারা সন্নিবেশ করার পরে প্রয়োজনীয় আইডিগুলি বাসের মাধ্যমে সমস্ত আগ্রহী হ্যান্ডলারদের কাছে প্রেরণ করা হয়।

উত্স: www.habr.com