Пренесување на PHP backend во магистралата за стримови Redis и избор на библиотека независна од рамка

предговорот

Мојата веб-страница, која ја водам како хоби, е дизајнирана да биде домаќин на интересни почетни страници и лични страници. Оваа тема почна да ме интересира на самиот почеток на моето програмско патување; во тој момент бев фасциниран од наоѓањето големи професионалци кои пишуваат за себе, за своите хоби и проекти. Навиката да ги откривам за себе останува до ден-денес: на речиси секоја комерцијална и не многу комерцијална страница, продолжувам да гледам во подножјето во потрага по линкови до авторите.

Имплементација на идејата

Првата верзија беше само html страница на мојата лична веб-страница, каде што ставам врски со потписи во ул листа. Откако напишав 20 страници во одреден временски период, почнав да мислам дека ова не е многу ефикасно и решив да се обидам да го автоматизирам процесот. На stackoverflow, забележав дека многу луѓе посочуваат сајтови во нивните профили, па напишав парсер во php, кој едноставно помина низ профилите, почнувајќи од првиот (адресите на SO до денес се вака: `/users/1` ), извади линкови од саканата ознака и ја додаде во SQLite.

Ова може да се нарече втората верзија: збирка од десетици илјади URL-адреси во табела SQLite, која ја замени статичната листа во html. Направив едноставно пребарување на оваа листа. Бидејќи имаше само URL-адреси, тогаш пребарувањето едноставно се базираше на нив.

Во оваа фаза го напуштив проектот и се вратив на него по долго време. Во оваа фаза, моето работно искуство беше веќе повеќе од три години и чувствував дека можам да направам нешто посериозно. Покрај тоа, имаше голема желба да се совладаат релативно нови технологии.

Модерна верзија

Проект распоредена во Docker, базата на податоци беше префрлена на mongoDb, а неодамна беше додадена и ротквица, која на почетокот беше само за кеширање. Како основа се користи една од микрорамките на PHP.

проблем

Новите локации се додаваат со команда на конзолата која синхроно го прави следново:

• Презема содржина по URL
• Поставува знаменце што покажува дали HTTPS бил достапен
• Ја зачувува суштината на веб-страницата
• Изворниот HTML и заглавијата се зачувани во историјата на „индексирање“.
• Анализира содржина, екстракти Наслов и опис
• Зачувува податоци во посебна колекција

Ова беше доволно едноставно да се складираат сајтовите и да се прикажат во список:

Но, идејата за автоматско индексирање, категоризирање и рангирање на сè, одржување на сè во тек, не се вклопуваше добро во оваа парадигма. Дури и едноставното додавање веб-метод за додавање страници бара дуплирање и блокирање на кодот за да се избегне потенцијален DDoS.

Во принцип, се разбира, сè може да се направи синхроно, а во веб-методот можете едноставно да го зачувате URL-то, така што чудовишниот демон ги извршува сите задачи за URL-адресите од списокот. Но, сепак, дури и овде зборот „редица“ се сугерира. И ако се имплементира редица, тогаш сите задачи може да се поделат и да се извршат барем асинхроно.

Решение

Спроведување на редици и направи систем управуван од настани за обработка на сите задачи. И долго време сакам да го пробам Redis Streams.

Користење на стримови на Redis во PHP

Бидејќи Бидејќи мојата рамка не е еден од трите гиганти Symfony, Laravel, Yii, би сакал да најдам независна библиотека. Но, како што се испостави (на првото испитување), невозможно е да се најдат индивидуални сериозни библиотеки. Сè што е поврзано со редиците е или проект од 3 commit пред пет години, или е врзано за рамката.

Слушнав многу за Symfony како снабдувач на поединечни корисни компоненти и веќе користам некои од нив. А исто така може да се користат и некои работи од Laravel, на пример нивната ORM, без присуство на самата рамка.

симфонија/гласник

Првиот кандидат веднаш ми се чинеше идеален и без никакво сомневање го инсталирав. Но, се покажа дека е потешко да се прогуглаат примери за употреба надвор од Symfony. Како да се состави автобус за пренесување пораки од куп часови со универзални, бесмислени имиња, па дури и на Редис?

Документацијата на официјалната страница беше доста детална, но иницијализацијата беше опишана само за Symfony користејќи ги нивните омилени YML и други магични методи за несимфонистот. Немав никаков интерес за самиот процес на инсталација, особено за време на новогодишните празници. Но, морав да го правам ова неочекувано долго време.

Обидот да откриете како да исконструирате систем користејќи извори на Symfony, исто така, не е најтривијалната задача за тесен рок:

Откако навлегував во сето ова и се обидов да направам нешто со рацете, дојдов до заклучок дека правам некакви патерици и решив да пробам нешто друго.

осветлена/редица

Се испостави дека оваа библиотека е цврсто поврзана со инфраструктурата на Ларавел и еден куп други зависности, така што не потрошив многу време на неа: ја инсталирав, ја погледнав, ги видов зависностите и ја избришав.

yiisoft/yii2-редица

Па, тука веднаш се претпоставуваше од името, повторно, строга врска со Yii2. Морав да ја користам оваа библиотека и не беше лоша, но не размислував за фактот дека целосно зависи од Yii2.

Остатокот

Сè друго што го најдов на GitHub беа несигурни, застарени и напуштени проекти без ѕвезди, вилушки и голем број на обврски.

Врати се на симфонија/месинџер, технички детали

Морав да ја сфатам оваа библиотека и, откако поминав уште малку време, успеав. Се испостави дека сè е прилично концизно и едноставно. За да го инстанцирам автобусот, направив мала фабрика, бидејќи ... Требаше да имам неколку гуми и со различни ракувачи.

Само неколку чекори:

• Ние создаваме ракувачи со пораки кои треба едноставно да се повикуваат
• Ги завиткуваме во HandlerDescriptor (класа од библиотеката)
• Ги завиткуваме овие „Описници“ во примерок на HandlersLocator
• Додавање HandlersLocator на примерот MessageBus
• Предаваме множество од `SenderInterface` на SendersLocator, во мојот случај примери на класите `RedisTransport`, кои се конфигурирани на очигледен начин
• Додавање на SendersLocator на примерот MessageBus

MessageBus има метод `->dispatch()` кој ги бара соодветните управувачи во HandlersLocator и им ја пренесува пораката, користејќи го соодветниот `SenderInterface` за испраќање преку магистралата (Redis streams).

Во конфигурацијата на контејнерот (во овој случај php-di), целиот овој пакет може да се конфигурира вака:

        CONTAINER_REDIS_TRANSPORT_SECRET => function (ContainerInterface $c) {
            return new RedisTransport(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET),
                $c->get(CONTAINER_SERIALIZER))
            ;
        },
        CONTAINER_REDIS_TRANSPORT_LOG => function (ContainerInterface $c) {
            return new RedisTransport(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG),
                $c->get(CONTAINER_SERIALIZER))
            ;
        },
        CONTAINER_REDIS_STREAM_RECEIVER_SECRET => function (ContainerInterface $c) {
            return new RedisReceiver(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET),
                $c->get(CONTAINER_SERIALIZER)
            );
        },
        CONTAINER_REDIS_STREAM_RECEIVER_LOG => function (ContainerInterface $c) {
            return new RedisReceiver(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG),
                $c->get(CONTAINER_SERIALIZER)
            );
        },
        CONTAINER_REDIS_STREAM_BUS => function (ContainerInterface $c) {
            $sendersLocator = new SendersLocator([
                AppMessagesSecretJsonMessages::class => [CONTAINER_REDIS_TRANSPORT_SECRET],
                AppMessagesDaemonLogMessage::class => [CONTAINER_REDIS_TRANSPORT_LOG],
            ], $c);
            $middleware[] = new SendMessageMiddleware($sendersLocator);

            return new MessageBus($middleware);
        },
        CONTAINER_REDIS_STREAM_CONNECTION_SECRET => function (ContainerInterface $c) {
            $host = 'bu-02-redis';
            $port = 6379;
            $dsn = "redis://$host:$port";
            $options = [
                'stream' => 'secret',
                'group' => 'default',
                'consumer' => 'default',
            ];

            return Connection::fromDsn($dsn, $options);
        },
        CONTAINER_REDIS_STREAM_CONNECTION_LOG => function (ContainerInterface $c) {
            $host = 'bu-02-redis';
            $port = 6379;
            $dsn = "redis://$host:$port";
            $options = [
                'stream' => 'log',
                'group' => 'default',
                'consumer' => 'default',
            ];

            return Connection::fromDsn($dsn, $options);
        },

Овде можете да видите дека во SendersLocator доделивме различни „транспорти“ за две различни пораки, од кои секоја има своја врска со соодветните текови.

Направив посебен демо-проект демонстрирајќи апликација од три демони кои комуницираат едни со други користејќи ја следната магистрала: https://github.com/backend-university/products/tree/master/products/02-redis-streams-bus.

Но, ќе ви покажам како може да се структурира потрошувачот:

use AppMessagesDaemonLogMessage;
use SymfonyComponentMessengerHandlerHandlerDescriptor;
use SymfonyComponentMessengerHandlerHandlersLocator;
use SymfonyComponentMessengerMessageBus;
use SymfonyComponentMessengerMiddlewareHandleMessageMiddleware;
use SymfonyComponentMessengerMiddlewareSendMessageMiddleware;
use SymfonyComponentMessengerTransportSenderSendersLocator;

require_once __DIR__ . '/../vendor/autoload.php';
/** @var PsrContainerContainerInterface $container */
$container = require_once('config/container.php');

$handlers = [
    DaemonLogMessage::class => [
        new HandlerDescriptor(
            function (DaemonLogMessage $m) {
                error_log('DaemonLogHandler: message handled: / ' . $m->getMessage());
            },
            ['from_transport' => CONTAINER_REDIS_TRANSPORT_LOG]
        )
    ],
];
$middleware = [];
$middleware[] = new HandleMessageMiddleware(new HandlersLocator($handlers));
$sendersLocator = new SendersLocator(['*' => [CONTAINER_REDIS_TRANSPORT_LOG]], $container);
$middleware[] = new SendMessageMiddleware($sendersLocator);

$bus = new MessageBus($middleware);
$receivers = [
    CONTAINER_REDIS_TRANSPORT_LOG => $container->get(CONTAINER_REDIS_STREAM_RECEIVER_LOG),
];
$w = new SymfonyComponentMessengerWorker($receivers, $bus, $container->get(CONTAINER_EVENT_DISPATCHER));
$w->run();

Користење на оваа инфраструктура во апликација

Откако ја имплементирав магистралата во мојот заден дел, ги одделив поединечните фази од старата синхрона команда и направив посебни управувачи, од кои секој си го прави своето.

Гасоводот за додавање нова локација во базата на податоци изгледаше вака:

И веднаш после тоа, ми стана многу полесно да додадам нова функционалност, на пример, извлекување и парсирање Rss. Бидејќи овој процес ја бара и оригиналната содржина, а потоа управувачот за извлекување на RSS врски, како WebsiteIndexHistoryPersistor, се претплати на пораката „Содржина/HtmlContent“, ја обработува и понатаму ја пренесува саканата порака по должината на неговата линија.

На крајот, завршивме со неколку демони, од кои секој одржува врски само со потребните ресурси. На пример демон роботи ги содржи сите управувачи кои бараат одење на Интернет за содржина и демонот опстојуваат има врска со базата на податоци.

Сега, наместо да се избира од базата на податоци, потребните идентификатори по вметнување од страна на персистер едноставно се пренесуваат преку магистралата до сите заинтересирани ракувачи.

Извор: www.habr.com