Преношење ПХП позадине на Редис стреам магистралу и избор библиотеке независне од оквира

Предговор

Моја веб локација, коју водим из хобија, дизајнирана је за хостовање занимљивих почетних страница и личних сајтова. Ова тема је почела да ме занима на самом почетку мог програмског пута, у том тренутку сам био фасциниран проналажењем великих професионалаца који пишу о себи, својим хобијима и пројектима. Навика да их откривам за себе остала је до данас: на скоро сваком комерцијалном и не баш комерцијалном сајту, настављам да гледам у подножје у потрази за линковима ка ауторима.

Имплементација идеје

Прва верзија је била само хтмл страница на мом личном веб сајту, где сам ставио везе са потписима у ул листу. Откуцавши 20 страница током одређеног временског периода, почео сам да мислим да ово није баш ефикасан и одлучио сам да покушам да аутоматизујем процес. На стацковерфлов-у сам приметио да многи људи означавају сајтове у својим профилима, па сам написао парсер у пхп-у, који је једноставно прошао кроз профиле, почевши од првог (адресе на СО до данас су овакве: `/усерс/1` ), издвојио везе из жељене ознаке и додао је у СКЛите.

Ово се може назвати другом верзијом: колекција од десетина хиљада УРЛ-ова у СКЛите табели, која је заменила статичку листу у хтмл-у. Урадио сам једноставну претрагу на овој листи. Јер постојале су само УРЛ адресе, онда се претрага једноставно заснивала на њима.

У овој фази сам напустио пројекат и вратио му се после дужег времена. У овој фази, моје радно искуство је било већ више од три године и осетио сам да могу да радим нешто озбиљније. Поред тога, постојала је велика жеља да се савладају релативно нове технологије.

Модерна верзија

Пројекат распоређена у Доцкер-у, база података је пребачена у монгоДб, а недавно је додат радиш, који је у почетку био само за кеширање. Као основа се користи један од ПХП микрооквирова.

проблем

Нове локације се додају командом конзоле која синхроно ради следеће:

• Преузима садржај према УРЛ-у
• Поставља ознаку која показује да ли је ХТТПС био доступан
• Чува суштину веб странице
• Изворни ХТМЛ и заглавља се чувају у историји „индексирања“.
• Рашчлањује садржај, издваја наслов и опис
• Чува податке у посебну колекцију

Ово је било довољно да једноставно ускладиштите сајтове и прикажете их на листи:

Али идеја да се све аутоматски индексира, категорише и рангира, да се све ажурира, није се добро уклапала у ову парадигму. Чак и једноставно додавање веб методе за додавање страница захтевало је дуплирање кода и блокирање како би се избегао потенцијални ДДоС.

Генерално, наравно, све се може радити синхроно, а у веб методи можете једноставно да сачувате УРЛ тако да монструозни демон обавља све задатке за УРЛ-ове са листе. Али ипак, чак и овде се сама по себи намеће реч „ред“. А ако се имплементира ред, сви задаци се могу поделити и обављати барем асинхроно.

одлука

Имплементирајте редове и направите систем вођен догађајима за обраду свих задатака. И већ дуже време желим да испробам Редис Стреамс.

Коришћење Редис стримова у ПХП-у

Јер Пошто мој оквир није један од три гиганта Симфони, Ларавел, Иии, желео бих да пронађем независну библиотеку. Али, како се показало (на првом прегледу), немогуће је пронаћи појединачне озбиљне библиотеке. Све у вези са редовима је или пројекат од 3 урезивања пре пет година, или је везано за оквир.

Чуо сам доста о Симфони-у као добављачу појединачних корисних компоненти, а неке од њих већ користим. Такође се могу користити и неке ствари из Ларавел-а, на пример њихов ОРМ, без присуства самог оквира.

симфони/мессенгер

Први кандидат је одмах изгледао идеалан и без икакве сумње сам га инсталирао. Али испоставило се да је теже пронаћи примере коришћења ван Симфони-ја. Како саставити из гомиле класа са универзалним, бесмисленим именима, аутобусом за преношење порука, па чак и на Редис-у?

Документација на званичном сајту је била прилично детаљна, али иницијализација је описана само за Симфони користећи њихов омиљени ИМЛ и друге магичне методе за несимфонисте. Сам процес постављања ме није интересовао, посебно за време новогодишњих празника. Али морао сам ово да радим неочекивано дуго.

Покушај да се открије како инстанцирати систем користећи Симфони изворе такође није најтривијалнији задатак за кратак рок:

Удубивши се у све ово и покушавши да нешто урадим рукама, дошао сам до закључка да радим неку врсту штака и одлучио да покушам нешто друго.

осветљено/у реду

Испоставило се да је ова библиотека чврсто везана за Ларавел инфраструктуру и гомилу других зависности, тако да нисам трошио много времена на њу: инсталирао сам је, погледао је, видео зависности и обрисао.

ииисофт/иии2-куеуе

Па, овде се одмах из назива претпоставило, опет, строга веза са Иии2. Морао сам да користим ову библиотеку и није било лоше, али нисам размишљао о томе да у потпуности зависи од Иии2.

Остатак

Све остало што сам нашао на ГитХуб-у били су непоуздани, застарели и напуштени пројекти без звездица, форкова и великог броја урезивања.

Повратак на симфони/мессенгер, технички детаљи

Морао сам да схватим ову библиотеку и, након што сам провео још неко време, успео сам. Испоставило се да је све прилично сажето и једноставно. Да бих инстанцирао аутобус, направио сам малу фабрику, јер... Требало је да имам неколико гума и са различитим руковаоцима.

Само неколико корака:

• Ми креирамо руковаоце порукама које би требало једноставно да се позову
• Умотавамо их у ХандлерДесцриптор (класа из библиотеке)
• Ове „дескрипторе“ умотавамо у инстанцу ХандлерсЛоцатор
• Додавање ХандлерсЛоцатор инстанци МессагеБус
• Проследимо скуп `СендерИнтерфаце` СендерсЛоцатору, у мом случају инстанце класа `РедисТранспорт`, које су конфигурисане на очигледан начин
• Додавање СендерсЛоцатор-а МессагеБус инстанци

МессагеБус има метод `->диспатцх()` који тражи одговарајуће руковаоце у ХандлерсЛоцатору и прослеђује им поруку, користећи одговарајући `СендерИнтерфаце` за слање преко магистрале (Редис токови).

У конфигурацији контејнера (у овом случају пхп-ди), цео овај пакет се може конфигурисати овако:

        CONTAINER_REDIS_TRANSPORT_SECRET => function (ContainerInterface $c) {
            return new RedisTransport(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET),
                $c->get(CONTAINER_SERIALIZER))
            ;
        },
        CONTAINER_REDIS_TRANSPORT_LOG => function (ContainerInterface $c) {
            return new RedisTransport(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG),
                $c->get(CONTAINER_SERIALIZER))
            ;
        },
        CONTAINER_REDIS_STREAM_RECEIVER_SECRET => function (ContainerInterface $c) {
            return new RedisReceiver(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_SECRET),
                $c->get(CONTAINER_SERIALIZER)
            );
        },
        CONTAINER_REDIS_STREAM_RECEIVER_LOG => function (ContainerInterface $c) {
            return new RedisReceiver(
                $c->get(CONTAINER_REDIS_STREAM_CONNECTION_LOG),
                $c->get(CONTAINER_SERIALIZER)
            );
        },
        CONTAINER_REDIS_STREAM_BUS => function (ContainerInterface $c) {
            $sendersLocator = new SendersLocator([
                AppMessagesSecretJsonMessages::class => [CONTAINER_REDIS_TRANSPORT_SECRET],
                AppMessagesDaemonLogMessage::class => [CONTAINER_REDIS_TRANSPORT_LOG],
            ], $c);
            $middleware[] = new SendMessageMiddleware($sendersLocator);

            return new MessageBus($middleware);
        },
        CONTAINER_REDIS_STREAM_CONNECTION_SECRET => function (ContainerInterface $c) {
            $host = 'bu-02-redis';
            $port = 6379;
            $dsn = "redis://$host:$port";
            $options = [
                'stream' => 'secret',
                'group' => 'default',
                'consumer' => 'default',
            ];

            return Connection::fromDsn($dsn, $options);
        },
        CONTAINER_REDIS_STREAM_CONNECTION_LOG => function (ContainerInterface $c) {
            $host = 'bu-02-redis';
            $port = 6379;
            $dsn = "redis://$host:$port";
            $options = [
                'stream' => 'log',
                'group' => 'default',
                'consumer' => 'default',
            ];

            return Connection::fromDsn($dsn, $options);
        },

Овде можете видети да смо у СендерсЛоцатор-у доделили различите „транспорте“ за две различите поруке, од којих свака има своју везу са одговарајућим токовима.

Направио сам посебан демо пројекат који демонстрира апликацију од три демона који међусобно комуницирају користећи следећу магистралу: https://github.com/backend-university/products/tree/master/products/02-redis-streams-bus.

Али показаћу вам како се потрошач може структурирати:

use AppMessagesDaemonLogMessage;
use SymfonyComponentMessengerHandlerHandlerDescriptor;
use SymfonyComponentMessengerHandlerHandlersLocator;
use SymfonyComponentMessengerMessageBus;
use SymfonyComponentMessengerMiddlewareHandleMessageMiddleware;
use SymfonyComponentMessengerMiddlewareSendMessageMiddleware;
use SymfonyComponentMessengerTransportSenderSendersLocator;

require_once __DIR__ . '/../vendor/autoload.php';
/** @var PsrContainerContainerInterface $container */
$container = require_once('config/container.php');

$handlers = [
    DaemonLogMessage::class => [
        new HandlerDescriptor(
            function (DaemonLogMessage $m) {
                error_log('DaemonLogHandler: message handled: / ' . $m->getMessage());
            },
            ['from_transport' => CONTAINER_REDIS_TRANSPORT_LOG]
        )
    ],
];
$middleware = [];
$middleware[] = new HandleMessageMiddleware(new HandlersLocator($handlers));
$sendersLocator = new SendersLocator(['*' => [CONTAINER_REDIS_TRANSPORT_LOG]], $container);
$middleware[] = new SendMessageMiddleware($sendersLocator);

$bus = new MessageBus($middleware);
$receivers = [
    CONTAINER_REDIS_TRANSPORT_LOG => $container->get(CONTAINER_REDIS_STREAM_RECEIVER_LOG),
];
$w = new SymfonyComponentMessengerWorker($receivers, $bus, $container->get(CONTAINER_EVENT_DISPATCHER));
$w->run();

Коришћење ове инфраструктуре у апликацији

Пошто сам имплементирао магистралу у свој бацкенд, одвојио сам појединачне фазе од старе синхроне команде и направио засебне руковаоце, од којих сваки ради своје.

Цевовод за додавање новог сајта у базу података изгледао је овако:

И одмах након тога постало ми је много лакше да додам нову функционалност, на пример, издвајање и рашчлањивање Рсс-а. Јер овај процес такође захтева оригинални садржај, а затим се руковалац РСС везе, као што је ВебситеИндекХисториПерсистор, претплаћује на поруку „Цонтент/ХтмлЦонтент“, обрађује је и даље прослеђује жељену поруку дуж свог цевовода.

На крају смо добили неколико демона, од којих сваки одржава везе само са неопходним ресурсима. На пример демон штрамплице садржи све руковаоце који захтевају одлазак на Интернет ради садржаја и демона упоран држи везу са базом података.

Сада, уместо избора из базе података, тражени ИД-ови након уметања од стране перзистера се једноставно преносе преко магистрале свим заинтересованим руковаоцима.

Извор: ввв.хабр.цом