{"id":32632,"date":"2019-10-31T21:48:08","date_gmt":"2019-10-31T18:48:08","guid":{"rendered":"https:\/\/prohoster.info\/blog\/ne-tolko-obrabotka-kak-my-sdelali-iz-kafka-streams-raspredelennuyu-bazu-dannyh-i-chto-iz-etogo-vyshlo\/"},"modified":"2019-10-31T21:48:08","modified_gmt":"2019-10-31T18:48:08","slug":"ne-tolko-obrabotka-kak-my-sdelali-iz-kafka-streams-raspredelennuyu-bazu-dannyh-i-chto-iz-etogo-vyshlo","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/ne-tolko-obrabotka-kak-my-sdelali-iz-kafka-streams-raspredelennuyu-bazu-dannyh-i-chto-iz-etogo-vyshlo","title":{"rendered":"Mitte ainult t\u00f6\u00f6tlemine: Kuidas me tegime Kafka Streams'ist jaotatud andmebaasi ja mis sellest v\u00e4lja tuli","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Tere, Habr!<\/p>\n

Tulet meelde, et koos raamatuga Kafka<\/a><\/noindex> oleme v\u00e4lja andnud mitte v\u00e4hem huvitava teose raamatukogust Kafka Streams API<\/a><\/noindex>. <\/p>\n

\"Mitte
\n
\nKuni kogukond alles avastab selle v\u00f5imsa t\u00f6\u00f6riista v\u00f5imalusi. Hiljuti ilmus artikkel, millega soovime teid tutvustada. Autor jagab oma kogemust, kuidas luua Kafka Streamsist hajutatud andmesalvestus. Head lugemist!
\n<\/a><\/noindex>
\nApache'i raamatukogu Kafka Streams<\/a><\/noindex> kasutatakse kogu maailmas ettev\u00f5tetes hajutatud voogude t\u00f6\u00f6tlemiseks Apache Kafka peal. \u00dcks selle raamistikku alahinnatud aspekte on see, et see v\u00f5imaldab salvestada kohaliku oleku, mis on toodetud voogude t\u00f6\u00f6tlemise alusel.<\/p>\n

Selles artiklis r\u00e4\u00e4gin, kuidas \u00f5nnestus meil selle v\u00f5imaluse kasulikult rakendada pilve rakenduste turvalisuse toote arendamisel. Kafka Streams'i abiga l\u00f5ime mikroteenused, millel on jagatud olek, kus iga\u00fches teenindatakse meid t\u00f5rke- ja k\u00f5rge k\u00e4ttesaadavuse allikana usaldusv\u00e4\u00e4rse teabe saamiseks objekti oleku kohta s\u00fcsteemis. Meie jaoks on see samm edasi nii usaldusv\u00e4\u00e4rsuse kui ka hoolduse mugavuse osas.<\/p>\n

Kui olete huvitatud alternatiivsest l\u00e4henemisest, mis v\u00f5imaldab kasutada \u00fchte kesksest andmebaasi objekti formaalse oleku toetamiseks \u2013 lugege edasi, see on huvitav\u2026 <\/p>\n

Miks me leidsime, et on aeg muuta oma l\u00e4henemisviise jagatud oleku k\u00e4sitlemisel <\/b><\/p>\n

Meil oli vaja toetada erinevate objektide olekut, tuginedes agentide aruannetele (n\u00e4iteks: kas veebileht oli r\u00fcnnaku alla sattunud)? Enne \u00fcleminekut Kafka Streamsile toetusid me sageli oleku haldamisel \u00fchele keskasandmebaasile (+ teenuse API). Sellel l\u00e4henemisel on oma puudused: andmedintensiivsetes olukordades<\/a><\/noindex> talituse j\u00e4rjepidevuse ja s\u00fcnkroniseerimise tagamine muutub t\u00f5eliseks v\u00e4ljakutseks. Andmebaas v\u00f5ib j\u00f5uda kitsaskohaks v\u00f5i sattuda v\u00f5istlusolukorda<\/a><\/noindex> ja kannatada ettearvamatuse all.<\/p>\n

\"Mitte
\n
\nIllustratsioon 1: t\u00fc\u00fcpiline olukord, kus jagatud olek oli enne \u00fcleminekut
\nKafka ja Kafka Streamsile: agendid edastavad oma arusaamad API kaudu, ajakohastatud olek arvutatakse keskse andmebaasi kaudu <\/i><\/p>\n

Tutvustame Kafka Streamsi \u2013 n\u00fc\u00fcd on lihtne luua mikroteenuseid jagatud olekuga <\/b><\/p>\n

Umbes aasta tagasi otsustasime p\u00f5hjalikult \u00fcle vaadata oma jagatud oleku t\u00f6\u00f6stsenaariumid, et m\u00f5ista selliseid probleeme. Otsustasime kohe proovida Kafka Streams'i \u2013 on teada, kui skaleeritav, suure k\u00e4ttesaadavuse ja t\u00f5rke suhtes vastupidav see on, samuti kui rikkalik on selle voogedastuse funktsionaalsus (sealhulgas oleku s\u00e4ilitamisega transformatsioonid). Just seda vajasime, r\u00e4\u00e4kimata, kui k\u00fcps ja usaldusv\u00e4\u00e4rne on Kafka s\u00f5numite vahetuss\u00fcsteem.<\/p>\n

Iga loodud oleku s\u00e4ilitamisega mikroteenus p\u00f5hines p\u00e4ris lihtsa topoloogiaga Kafka Streams'i instantsil. See koosnes 1) allikast 2) protsessorist koos p\u00fcsiva v\u00f5tme-v\u00e4\u00e4rtuse salvestusega 3) voost:<\/p>\n

\"Mitte
\n
\nIllustreerimine 2: vaikimisi topoloogia meie voogedastuse instantside jaoks mikroteenustes, kus on oleku s\u00e4ilitamine. Pane t\u00e4hele: siin on ka salvestus, kus hoitakse andmeid planeerimise kohta. <\/i><\/p>\n

Uue l\u00e4henemise kohaselt koostavad agentuurid s\u00f5numid, mis saadetakse algsesse teemasse, ja tarbijad \u2013 n\u00e4iteks meiliteenused \u2013 saavad arvutatud jagatud oleku voost (v\u00e4ljaanneteema) t\u00e4ielikult.<\/p>\n

\"Mitte
\n
\nJoonis 3: uus \u00fclesannete voog jagatud mikroteenuste stsenaariumi jaoks: 1) agent genereerib s\u00f5numi, mille kaudu j\u00f5uab see Kafka algsesse teemasse; 2) jagatud olekuga mikroteenus (kasutades Kafka Streams'i) t\u00f6\u00f6tleb selle ja salvestab arvutatud oleku Kafka l\u00f5ppteemasse; p\u00e4rast seda 3) tarbijad saavad uue oleku.<\/i><\/p>\n

Hei, see sisseehitatud v\u00f5tmete ja v\u00e4\u00e4rtuste hoidja on t\u00f5eliselt kasulik!<\/b><\/p>\n

Kuidas mainitud, sisaldab meie jagatud olekute topoloogia v\u00f5tmete ja v\u00e4\u00e4rtuste hoidjat. Oleme leidnud mitmeid kasutusv\u00f5imalusi, millest kaks on allpool kirjeldatud.<\/p>\n

Variant #1: v\u00f5tmete ja v\u00e4\u00e4rtuste hoidja kasutamine arvutustes.<\/b><\/i><\/p>\n

Meie esimene v\u00f5tmete ja v\u00e4\u00e4rtuste hoidla sisaldas abiteavet, mis oli vajalik meie arvutuste jaoks. N\u00e4iteks m\u00f5ningatel juhtudel m\u00e4\u00e4rati jagatud olek \u201eenamuse h\u00e4\u00e4lte\u201c p\u00f5him\u00f5tte alusel. Hoidlas sai hoida k\u00f5iki viimaseid agente raportite kohta mingist objektist. Saades seej\u00e4rel uue raporti \u00fchelt v\u00f5i teiselt agentilt, saime selle salvestada, v\u00e4lja t\u00f5mmata hoidlast teiste agentide raportid sama objekti kohta ning uued arvutused korrata.
\nAllpool on n\u00e4idatud, kuidas avasime p\u00e4\u00e4su v\u00f5tmete ja v\u00e4\u00e4rtuste hoidla t\u00f6\u00f6tlevasse protsessori meetodisse, et seej\u00e4rel saaks t\u00f6\u00f6delda uut s\u00f5numit.<\/p>\n

\"Mitte
\n
\nIllustratsioon 4: avame p\u00e4\u00e4su v\u00f5tmete ja v\u00e4\u00e4rtuste hoidla t\u00f6\u00f6tleva protsessori meetodi jaoks (p\u00e4rast seda peab iga stsenaarium, mis t\u00f6\u00f6tab jagatud olekuga, implementima meetodi doProcess<\/code>)<\/i><\/p>\n

Variant #2: CRUD API loomine Kafka Streams'i kohal<\/b><\/i><\/p>\n

P\u00e4rast meie p\u00f5hij\u00e4rjestuse loomist oleme proovinud kirjutada RESTful CRUD API meie jagatud olekuga mikroteenuste jaoks. Soovisime, et oleks v\u00f5imalik v\u00e4lja tuua teatud v\u00f5i k\u00f5igi objektide olek ning samuti seada v\u00f5i eemaldada objekti olekut (see on kasulik serveri toe pakkumisel).<\/p>\n

Selleks, et toetada k\u00f5iki API Get State, igal korral, kui oli vaja uuesti arvutada olekut t\u00f6\u00f6tlemise k\u00e4igus, salvestasime selle pikaks ajaks sisseehitatud v\u00f5tme-v\u00e4\u00e4rtuse salvestusse. Sellisel juhul on piisavalt lihtne rakendada sellist API \u00fche Kafka Streams eksemplariga, nagu on n\u00e4idatud allpool olevas loendis.<\/p>\n

\"Mitte
\n
\nIllustratsioon 5: sisseehitatud v\u00f5tme-v\u00e4\u00e4rtuse salvestuse kasutamine objekti eelarvutatava oleku saamiseks. <\/i><\/p>\n

Objekti oleku v\u00e4rskendamine API kaudu on samuti lihtsalt rakendatav. P\u00f5him\u00f5tteliselt on sellega vaid vajalik luua Kafka tootja ja selle abil teha kirje, milles on uus olek. Nii tagatakse, et k\u00f5ik API kaudu genereeritud s\u00f5numid t\u00f6\u00f6deldakse t\u00e4pselt samamoodi nagu muude tootjate (nt agentide) poolt saadetud s\u00f5numid.<\/p>\n

\"Mitte
\n
\nIllustreerimine 6: objekti olek muutub kasutades Kafka produtsenti <\/i><\/p>\n

V\u00e4ike komplikatsioon: Kafka-l on palju partiisid<\/b><\/p>\n

Soovisime koormust, mis oli seotud t\u00f6\u00f6tlemisega, jaotada ning k\u00e4ttesaadavust parandada, pakkudes igale stsenaariumile klastrit mikroteenuseid jagatud olekuga. Seade sujus meil lihtsasti: p\u00e4rast seda, kui konfigureerisime k\u00f5ik instantsid t\u00f6\u00f6tama sama rakenduse ID-ga (ja samade alglaadimise serveritega), tehti praktiliselt k\u00f5ik muu automaatselt. Me m\u00e4\u00e4rasime ka, et iga l\u00e4hteteema koosneb mitmest partiist, et igale instantsile saaks m\u00e4\u00e4rata partii alamkogumi.<\/p>\n

Mainin ka, et siin on tavaline teha olekute hoiukoha varukoopia, et n\u00e4iteks t\u00f5rke korral saaks selle koopia teisele instantsile \u00fcle kanda. Iga oleku hoiukoha jaoks Kafka Streams'is luuakse replikatsioonitopik muudatuste logiga (kus j\u00e4lgitakse kohalikke v\u00e4rskendusi). Seega tagab Kafka pidevalt oleku hoiukoha turvalisuse. Seet\u00f5ttu saab oleku hoiukohta kiiresti taastada teisel instantsil, kuhu vastavad partiid \u00fcleviivad. Meie testid n\u00e4itasid, et see toimub m\u00f5ne sekundi jooksul, isegi kui hoiukohta on salvestatud miljoneid kirjeid.<\/p>\n

\u00dcleminek \u00fche jagatud olekuga mikroteenuselt klastrile mikroteenuseid muudab Get State API rakendamise v\u00e4hem triviaalseks. Uues olukorras sisaldab iga mikroteenuse olekute salvestuses ainult osa tervikpildist (need objektid, mille v\u00f5tmed vastavad konkreetsele partitsioonile). Pidi v\u00e4lja selgitama, millises instantsis vajalik objekti olek asub, ja tegime seda voogude metaandmete alusel, nagu on n\u00e4idatud allpool:<\/p>\n

\"Mitte
\n
\nIllustratsioon 7: voogude metaandmete abil m\u00e4\u00e4rame, milliselt instantsilt k\u00fcsida vajaliku objekti olekut; sarnast l\u00e4henemist rakendati ka GET ALL API puhul.<\/i><\/p>\n

Peamised j\u00e4reldused<\/b><\/p>\n

Kafka Striimis olevad olekute salvestused v\u00f5ivad de facto toimida jaotatud andmebaasina, <\/p>\n