
Hej alla. I den hĂ€r artikeln kommer jag att berĂ€tta varför vi pĂ„ Avito valde Kafka för nio mĂ„nader sedan och vad det egentligen innebĂ€r. Jag kommer ocksĂ„ att dela med mig av ett av vĂ„ra anvĂ€ndningsfall â meddelandebrokers. Till sist kommer vi att diskutera vilka fördelar vi fĂ„tt av att anvĂ€nda Kafka as a Service.
Problemet

Först lite kontext. För en tid sedan började vi överge den monolitiska arkitekturen, och nu finns det flera hundra olika tjÀnster pÄ Avito. Dessa har sina egna lagringslösningar, sin egen teknologiska stack och ansvarar för sin del av affÀrslogiken.
Ett av problemen med ett stort antal tjÀnster Àr kommunikationen. TjÀnst A vill ofta fÄ information frÄn tjÀnst B. I det hÀr fallet kontaktar tjÀnst A tjÀnst B via ett synkront API. TjÀnst C vill veta vad som hÀnder hos tjÀnsterna G och D, och dessa Ä sin sida Àr intresserade av tjÀnsterna A och B. NÀr det finns mÄnga sÄdana "nyfikna" tjÀnster blir kopplingarna mellan dem en snÄrig knut.
Samtidigt kan tjÀnst A nÀr som helst bli otillgÀnglig. Vad ska tjÀnst B och alla andra tjÀnster som Àr beroende av den göra i det hÀr fallet? Och om det för en affÀrshandling krÀvs en kedja av sekventiella synkront samtal, ökar risken för att hela operationen misslyckas ytterligare (och ju lÀngre kedjan Àr, desto högre Àr risken).
Val av teknik

Okej, problemen Àr förstÄeliga. De kan ÄtgÀrdas genom att skapa ett centralt meddelandesystem mellan tjÀnsterna. Nu behöver varje tjÀnst bara kÀnna till detta meddelandesystem. Dessutom bör sjÀlva systemet vara felresilient och horisontellt skalbart, och i hÀndelse av incidenter bör det spara meddelanden för senare behandling.
LÄt oss nu vÀlja en teknik för att genomföra meddelandetransporten. För detta bör vi först förstÄ vad vi förvÀntar oss av den:
- meddelanden mellan tjÀnster fÄr inte gÄ förlorade;
- meddelanden kan dupliceras;
- meddelanden kan lagras och lÀsas i flera dagar (persistenta buffertar);
- tjÀnster kan prenumerera pÄ data som de Àr intresserade av;
- flera tjÀnster kan lÀsa samma data;
- meddelanden kan innehÄlla detaljerad, stor payload (event-carried state transfer);
- ibland behövs garantier för meddelandens ordning.
Det var ocksÄ avgörande för oss att vÀlja ett sÄ skalbart och pÄlitligt system som möjligt med hög kapacitet (minst 100 000 meddelanden pÄ flera kilobyte per sekund).
Vid det hÀr skedet sa vi farvÀl till RabbitMQ (svÄrt att hÄlla stabil pÄ hög rps), PGQ frÄn SkyTools (inte tillrÀckligt snabb och dÄligt skalbar) och NSQ (inte persistenta). Alla dessa teknologier anvÀnds i vÄrt företag, men de passade inte för det problem som skulle lösas.
DÀrefter började vi titta pÄ nya teknologier för oss - Apache Kafka, Apache Pulsar och NATS Streaming.
Först avfÀrdade vi Pulsar. Vi ansÄg att Kafka och Pulsar Àr ganska likartade lösningar. Och trots att Pulsar Àr bekrÀftad av stora företag, Àr nyare och erbjuder lÀgre latens (i teorin), bestÀmde vi oss för att behÄlla Kafka av dessa tvÄ som de facto-standard för sÄdana uppgifter. Vi kommer troligen att ÄtervÀnda till Apache Pulsar i framtiden.
Och nu ÄterstÄr tvÄ kandidater: NATS Streaming och Apache Kafka. Vi studerade bÄda lösningarna noggrant och bÄda passade för uppgiften. Men till slut var vi oroade över den relativa ungdomligheten hos NATS Streaming (och att en av huvudutvecklarna, Tyler Treat, beslutade att lÀmna projektet och starta sitt eget - Liftbridge). Samtidigt gav clustering-lÀget i NATS Streaming ingen möjlighet till stark horisontell skalning (det Àr troligtvis inte lÀngre ett problem efter att partitionering-lÀget lades till 2017).
ĂndĂ„ Ă€r NATS Streaming en fantastisk teknologi, skriven i Go och stödd av Cloud Native Computing Foundation. Till skillnad frĂ„n Apache Kafka, krĂ€ver den inte Zookeeper för att fungera (möjligen, ), eftersom den implementerar RAFT internt. NATS Streaming Ă€r enklare att administrera. Vi utesluter inte att vi i framtiden kan Ă„tervĂ€nda till denna teknologi.
Och ÀndÄ blev vÄr vinnare idag Apache Kafka. I vÄra tester visade den sig vara tillrÀckligt snabb (över en miljon meddelanden per sekund bÄde för lÀsning och skrivning med meddelandevolym pÄ 1 kilobyte), tillrÀckligt pÄlitlig, vÀl skalbar och beprövad i produktion av stora företag. Dessutom stöder Kafka minst flera stora kommersiella företag (vi anvÀnder till exempel Confluent-versionen), och Kafka har ett utvecklat ekosystem.
Ăversikt över Kafka
Innan vi börjar, rekommenderar jag genast en utmÀrkt bok - «Kafka: The Definitive Guide» (finns Àven pÄ ryska, men termerna kan vara förvirrande). I den kan man hitta information som Àr nödvÀndig för en grundlÀggande förstÄelse av Kafka och Àven lite mer. SjÀlv dokumentationen frÄn Apache och bloggen frÄn Confluent Àr ocksÄ vÀlskrivna och lÀtta att lÀsa.
SÄ lÄt oss ta en titt pÄ hur Kafka fungerar frÄn fÄgelperspektiv. Den grundlÀggande topologin av Kafka bestÄr av producent, konsument, broker och zookeeper.
Broker

Broker (broker) ansvarar för lagring av dina data. All data lagras i binÀr form, och brokern vet lite om vad de representerar och vad deras struktur Àr.
Varje logisk typ av hÀndelser finns vanligtvis i sin egen separata topic (topic). Till exempel kan en hÀndelse om skapandet av en annons hamna i topicen item.created, medan en hÀndelse om Àndringen av den hamnar i item.changed. Topics kan ses som klassificerare av hÀndelser. PÄ topicsnivÄ kan konfigurationsparametrar stÀllas in, sÄsom:
- volymen av lagrade data och/eller deras Älder (retention.bytes, retention.ms);
- faktor för dataduplicering (replication factor);
- maximalt meddelande storlek (max.message.bytes);
- minsta antal synkrona repliker dÀr data kan skrivas till topicen (min.insync.replicas);
- möjlighet att genomföra failover till en osynkron försenad replik med potentiell dataförlust (unclean.leader.election.enable);
- och mÄnga fler ().
I sin tur delas varje topic upp i en eller flera partitioner (partition). Det Àr i partitionerna som hÀndelserna slutligen gÄr. Om det finns mer Àn en broker i klustret kommer partitionerna att fördelas jÀmnt mellan alla brokers (sÄ lÄngt det Àr möjligt), vilket möjliggör att skala belastningen för skrivning och lÀsning i en topic över flera brokers.
PÄ disken lagras data för varje partition i form av segmentfiler, som som standard Àr ett gigabyte lÄnga (detta kontrolleras via log.segment.bytes). En viktig egenskap Àr att borttagning av data frÄn partitioner (nÀr retention utlöses) sker just i segment (det gÄr inte att ta bort enskilda hÀndelser frÄn en partition, man kan bara ta bort hela segment, och endast inaktiva sÄdana).
Zookeeper
Zookeeper fungerar som en lagring för metadata och koordinator. Det Àr den som kan sÀga om brokerna Àr aktiva (att titta pÄ detta ur zookeepers ögon kan göras genom zookeeper-shell med kommandot ls /brokers/ids), vilken av brokerna som Àr kontrolleraren (get /controller), Àr partitionerna i synk med sina repliker (get /brokers/topics/topic_name/partitions/partition_number/state). Det Àr ocksÄ till zookeeper som producenter och konsumenter först gÄr för att ta reda pÄ vilka topic och partitioner som lagras pÄ vilken broker. I fall dÀr topic har en replication factor större Àn 1 kommer zookeeper att ange vilka partitioner som Àr ledare (dÀr skrivning kommer att ske och frÄn vilka lÀsning kommer att ske). Vid krasch av en broker kommer information om nya ledarpartitioner att registreras i zookeeper (frÄn version 1.1.0 asynkront, ).
I Àldre versioner av Kafka ansvarade zookeeper ocksÄ för lagring av offsets, men nu lagras de i en speciell topic __consumer_offsets pÄ brokern (Àven om du fortfarande kan anvÀnda zookeeper för detta ÀndamÄl).
Det enklaste sÀttet att förvandla dina data till pumpa Àr just förlust av information med zookeeper. I ett sÄdant scenario kommer det vara mycket svÄrt att förstÄ vad och varifrÄn man behöver lÀsa.
Producer
Producer Àr oftast en tjÀnst som direkt skriver data till Apache Kafka. Producer vÀljer topic dÀr det kommer att lagra sina Àmnesmeddelanden och börjar skriva information i den. Till exempel kan en producer vara en annonseringstjÀnst. I sÄ fall kommer den att skicka hÀndelser till Àmnestopics sÄsom "annons skapad", "annons uppdaterad", "annons borttagen" osv. Varje hÀndelse representerar hÀr ett nyckel-vÀrde-par.
Som standard fördelas alla hÀndelser över partitionerna i topic via round-robin, om ingen nyckel anges (vilket förlorar ordningen), och via MurmurHash (nyckel) om en nyckel finns (ordningen inom en partition).
HÀr bör det omedelbart noteras att Kafka garanterar hÀndelseordningen endast inom en partition. Men i praktiken Àr detta sÀllan ett problem. Till exempel kan man garanterat lÀgga till alla Àndringar av samma annons i en partition (och dÀrigenom bevara ordningen av dessa Àndringar inom annonsen). Man kan ocksÄ överföra ett sekvensnummer i ett av fÀlten i hÀndelsen.
Consumer

Consumer ansvarar för att hÀmta data frÄn Apache Kafka. Om vi ÄtergÄr till exemplet ovan kan consumer vara en modereringstjÀnst. Denna tjÀnst kommer att prenumerera pÄ Àmnet för annonsservicen och nÀr en ny annons dyker upp kommer den att ta emot den och analysera den för att se om den uppfyller vissa angivna policyer.
Apache Kafka kommer ihÄg vilka de senaste hÀndelserna som consumer mottagit (detta görs med hjÀlp av en systemÀmne __consumer__offsets), vilket garanterar att consumer inte fÄr samma meddelande tvÄ gÄnger vid en framgÄngsrik lÀsning. Om man dÀremot anvÀnder alternativet enable.auto.commit = true och helt överlÄter ansvaret för att följa consumerns position i Àmnet till Kafka, kan man . I produktionskod kontrolleras oftast consumerns position manuellt (utvecklaren hanterar tidpunkten nÀr en commit av den lÀsta hÀndelsen bör ske).
I de fall dÀr en enda consumer inte rÀcker (till exempel om flödet av nya hÀndelser Àr mycket stort), kan man lÀgga till ytterligare nÄgra consumers, koppla dem tillsammans i en consumer-grupp. Consumer-gruppen representerar logiskt samma consumer, men med datafördelning mellan gruppens medlemmar. Detta gör det möjligt för varje medlem att ta sin andel av meddelandena, vilket dÀrmed ökar lÀshastigheten.
Testresultat

HÀr kommer jag inte att skriva mycket förklarande text, utan bara dela med mig av de erhÄllna resultaten. Testningen utfördes pÄ 3 fysiska maskiner (12 CPU, 384GB RAM, 15k SAS DISK, 10GBit/s nÀtverk), med brokers och zookeeper distribuerade i lxc.
Prestandatestning
Under testningen erhölls följande resultat.
- Skrivhastighet för meddelanden pĂ„ 1KB med 9 producenter samtidigt â 1300000 hĂ€ndelser per sekund.
- LĂ€shastighet för meddelanden pĂ„ 1KB med 9 consumers samtidigt â 1500000 hĂ€ndelser per sekund.
Testning av motstÄndskraft
Under testningen erhölls följande resultat (3 brokers, 3 zookeeper).
- Ett ovÀntat avslut pÄ en av brokers leder inte till stopp eller otillgÀnglighet för klustret. Arbetet fortsÀtter som vanligt, men de ÄterstÄende brokers fÄr en större belastning.
- Ett ovÀntat avslut av tvÄ mÀklare i en kluster med tre mÀklare och min.isr = 2 leder till att klustret blir otillgÀngligt för skrivning, men fortsatt tillgÀngligt för lÀsning. Om min.isr = 1 Àr klustret fortsatt tillgÀngligt bÄde för lÀsning och skrivning. Detta lÀge strider dock mot kraven för hög dataskydd.
- Ett ovÀntat avslut av en av Zookeeper-servrarna leder inte till att klustret stoppas eller blir otillgÀngligt. Arbetet fortsÀtter som vanligt.
- Ett ovÀntat avslut av tvÄ Zookeeper-servrar leder till att klustret blir otillgÀngligt tills minst en av Zookeeper-servrarna ÄterfÄr funktion. Detta pÄstÄende stÀmmer för ett Zookeeper-kluster med 3 servrar. Som ett resultat av forskningen beslutades det att öka Zookeeper-klustret till 5 servrar för att öka driftsÀkerheten.
Kafka som en tjÀnst

Vi har övertygats om att Kafka Ă€r en utmĂ€rkt teknik som löser vĂ„ra problem (implementering av en meddelandemĂ€klare). ĂndĂ„ beslutade vi att förbjuda tjĂ€nster att direkt interagera med Kafka och stĂ€ngde den bakom en data-buss. Varför gjorde vi detta? Det finns egentligen flera anledningar.
Data-bus tog pÄ sig alla uppgifter relaterade till integrationen med Kafka (implementering och konfiguration av konsumenter och producenter, övervakning, larm, loggning, skalning osv.). SÄledes sker integrationen med meddelandemÀklaren pÄ ett sÄ enkelt sÀtt som möjligt.
Data-bus gjorde det möjligt att abstrahera frÄn specifikt sprÄk eller bibliotek för att arbeta med Kafka.
Data-bus gjorde det möjligt för andra tjÀnster att abstrahera frÄn lagringsskiktet. Kanske, vid nÄgot tillfÀlle byter vi ut Kafka mot Pulsar, och dÄ kommer ingen att mÀrka det (alla tjÀnster vet bara om API:et för data-bus).
Data-bus har tagit ansvar för att validera hÀndelseskeman.
Med hjÀlp av data-bus har autentisering genomförts.
Under data-bus kan vi utan nedtid, osynligt uppdatera versionerna av Kafka, centralt hantera konfigurationerna av producenter, konsumenter, mÀklare osv.
Data-bus möjliggjorde att vi kunde lÀgga till nödvÀndiga funktioner som inte finns i Kafka (som Àmnesrevision, övervakning av avvikelser i klustret, skapande av DLQ osv.).
Data-bus möjliggör en centraliserad failover för alla tjÀnster.
För att börja skicka hÀndelser till meddelandebrokern rÀcker det för tillfÀllet att koppla in ett litet bibliotek i koden för din tjÀnst. Det Àr allt. Du fÄr möjligheten att skriva, lÀsa och skala med en rad kod. All implementering Àr dold för dig, bara nÄgra handtag av typ batchstorlek syns utÄt. Under huven lyfter tjÀnsten data-bus upp det nödvÀndiga antalet instanser av producenter och konsumenter i Kubernetes och tillhandahÄller dem med rÀtt konfiguration, men allt detta Àr transparent för din tjÀnst.
SjÀlvklart finns det ingen silverskjutning, och den hÀr metoden har sina begrÀnsningar.
- Data-bus mÄste stödjas av egna resurser, till skillnad frÄn externa bibliotek.
- Data-bus ökar antalet interaktioner mellan tjÀnster och meddelandebrokern, vilket leder till en minskning av prestandan jÀmfört med ren Kafka.
- Inte allt gÄr att dölja för tjÀnster, vi vill inte duplicera funktionalitet frÄn KSQL eller Kafka Streams i data-bus, dÀrför fÄr tjÀnster ibland gÄ direkt.
I vÄrt fall vÀger fördelarna tyngre Àn nackdelarna, och beslutet att dölja meddelandebrokern som en separat tjÀnst har visat sig vara klokt. Under ett Ärs drift har vi inte haft nÄgra allvarliga olyckor eller problem.
P.S. Tack till min flickvÀn, Ekaterina Obalyayeva, för de fantastiska bilderna i denna artikel. Om du gillade dem, finns det Ànnu fler illustrationer.
KĂ€lla: habr.com
