{"id":32632,"date":"2019-10-31T21:48:08","date_gmt":"2019-10-31T18:48:08","guid":{"rendered":"https:\/\/prohoster.info\/blog\/ne-tolko-obrabotka-kak-my-sdelali-iz-kafka-streams-raspredelennuyu-bazu-dannyh-i-chto-iz-etogo-vyshlo\/"},"modified":"2019-10-31T21:48:08","modified_gmt":"2019-10-31T18:48:08","slug":"ne-tolko-obrabotka-kak-my-sdelali-iz-kafka-streams-raspredelennuyu-bazu-dannyh-i-chto-iz-etogo-vyshlo","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/ne-tolko-obrabotka-kak-my-sdelali-iz-kafka-streams-raspredelennuyu-bazu-dannyh-i-chto-iz-etogo-vyshlo","title":{"rendered":"Mitte ainult t\u00f6\u00f6tlemine: Kuidas me muutsime Kafka Streams jaotatud andmebaasiks ja mis sellest v\u00e4lja tuli","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Tere, Habr!<\/p>\n

Tuletame meelde, et koos raamatuga Kafka<\/a><\/noindex> oleme v\u00e4lja andnud mitte v\u00e4hem huvitava teose raamatukogust Kafka Streams API<\/a><\/noindex>. <\/p>\n

\"Mitte
\n
\nKuni kogukond alles avastab selle v\u00f5imsa t\u00f6\u00f6riista v\u00f5imalusi. Nii ilmus hiljuti artikkel, millega tahame teid tutvustada. Autor jagab oma kogemusi, kuidas luua Kafka Streamsist jaotatud andmehoidla. Head lugemist!
\n<\/a><\/noindex>
\nApache raamatukogu Kafka Streams<\/a><\/noindex> kasutatakse \u00fcle terve maailma ettev\u00f5tetes jaotatud voogude t\u00f6\u00f6tlemiseks Apache Kafka peal. \u00dcks selle raamistikku alahinnatud aspekte on see, et see v\u00f5imaldab hoida kohalikku olekut, mis on loodud voogude t\u00f6\u00f6tlemise p\u00f5hjal.<\/p>\n

Selles artiklis r\u00e4\u00e4gin, kuidas suutsime oma ettev\u00f5ttes seda v\u00f5imalust kasulikult rakendada, arendades pilve rakenduste turvalisuse tooteid. Kafka Streams'i abil l\u00f5ime mikroteenuseid, millel on jagatud olek, millest iga\u00fchel on meie jaoks t\u00f5rkedeta ja k\u00f5rgelt kergesti saadaval teabeallikas s\u00fcsteemis olevate objektide oleku kohta. Meie jaoks on see edasiminek nii usaldusv\u00e4\u00e4rsuse kui ka hoolduse mugavuse osas.<\/p>\n

Kui teid huvitab alternatiivne l\u00e4henemine, mis v\u00f5imaldab kasutada \u00fchtset keskvabasid andmebaasi teie objektide formaalse oleku toetamiseks \u2013 lugege, see on huvitav... <\/p>\n

Miks me arvasime, et on aeg oma l\u00e4henemist jagatud olekuga muuta <\/b><\/p>\n

Meil oli vaja toetada erinevate objektide olekute haldamist, toetudes agentide aruannetele (n\u00e4iteks: kas saidi vastu tehti r\u00fcnnak?). Enne Kafka Streamsile \u00fcleminekut tuginesime sageli oleku haldamiseks \u00fchele kesksule andmebaasile (+ teenuste API). Selle l\u00e4henemise miinused on: kuivaine intensiivsetes olukordades<\/a><\/noindex> \u00fchtsuse ja s\u00fcnkroniseerimise tagamine muutub t\u00f5eliseks v\u00e4ljakutseks. Andmebaas v\u00f5ib muutuda kitsaskohaks v\u00f5i sattuda v\u00f5istluseseisundisse<\/a><\/noindex> ja kannatada ettearvamatuse all.<\/p>\n

\"Mitte
\n
\nIllustratsioon 1: t\u00fc\u00fcpiline stsenaarium jagatud olekuga, mis esines enne \u00fcleminekut
\nKafka ja Kafka Streamsile: agentide aruanded edastatakse API kaudu, uuendatud olek arvutatakse keskses andmebaasis <\/i><\/p>\n

Tutvuge Kafka Streams'iga \u2013 n\u00fc\u00fcd on lihtne luua mikroteenuseid jagatud olekuga <\/b><\/p>\n

Umbes aasta tagasi otsustasime t\u00f5siselt \u00fcle vaadata meie t\u00f6\u00f6skeemid jagatud olekuga, et tegeleda selliste probleemidega. Otsustasime kohe proovida Kafka Streams'i \u2013 on teada, kui skaleeritav, k\u00f5rge k\u00e4ttesaadavuse ja t\u00f5rketaluv s\u00fcsteem see on ning kui rikkalik on selle voogude funktsionaalsus (kaasa arvatud, oleku salvestamise v\u00f5imalused). Just seda me vajasime, r\u00e4\u00e4kimata sellest, kui k\u00fcps ja usaldusv\u00e4\u00e4rne on s\u00f5numite vahetamise s\u00fcsteem Kafka-s.<\/p>\n

Iga meie loodud oleku salvestamise mikroteenus ehitati soovitud Kafka Streams'i instantsi baasil, millel oli \u00fcsna lihtne topoloogia. See koosnes 1) allikast 2) t\u00f6\u00f6tlejast, millel on pidev v\u00f5tmete ja v\u00e4\u00e4rtuste salvestus 3) v\u00e4ljundist:<\/p>\n

\"Mitte
\n
\nIllustratsioon 2: meie voogude instantside vaikimisi topoloogia oleku salvestamise mikroteenuste jaoks. Pange t\u00e4hele: siin on ka salvestus, kus on s\u00e4ilitatud planeerimise metaandmed. <\/i><\/p>\n

Uue l\u00e4henemise korral koostavad agentuurid s\u00f5numeid, mis edastatakse algsesse teema, ja tarbijad \u2013 \u00fctleme, et postituseteenuse teenus \u2013 vastu v\u00f5tavad arvutatud jagatud oleku v\u00e4ljundi (v\u00e4ljunditeema) kaudu.<\/p>\n

\"Mitte
\n
\nIllustratsioon 3: uus \u00fclesandev voog jagatud mikroteenuste stsenaariumi jaoks: 1) agent loob s\u00f5numi, mis saadetakse Kafka algsesse teema; 2) jagatud oleku mikroteenus (kasutades Kafka Streams'i) t\u00f6\u00f6tleb seda ja salvestab arvutatud oleku Kafka l\u00f5ppteemasse; seej\u00e4rel 3) tarbijad v\u00f5tavad uue oleku vastu.<\/i><\/p>\n

Hei, see sisseehitatud v\u00f5tmete ja v\u00e4\u00e4rtuste salvestus on t\u00f5eliselt kasulik!<\/b><\/p>\n

Nagu eespool mainitud, sisaldab meie jagatud olekuga topoloogia v\u00f5tmete ja v\u00e4\u00e4rtuste salvestust. Oleme leidnud mitu v\u00f5imalust selle kasutamiseks, ja kaks neist on allpool kirjeldatud.<\/p>\n

Variant #1: v\u00f5tmete ja v\u00e4\u00e4rtuste salvestuse kasutamine arvutustes<\/b><\/i><\/p>\n

Meie esimene v\u00f5tmete ja v\u00e4\u00e4rtuste hoidla sisaldas abiteavet, mida vajasime arvutamiseks. N\u00e4iteks m\u00e4\u00e4rati m\u00f5nel juhul jagatud olek \u201eenamush\u00e4\u00e4letuse\u201c printsiibi j\u00e4rgi. Hoidlas sai hoida k\u00f5iki viimaseid agentide aruandeid teatud objekti oleku kohta. Seej\u00e4rel, kui saime uue aruande m\u00f5nelt agentidelt, saime salvestada selle, t\u00f5mmata hoidlast v\u00e4lja k\u00f5ikide teiste agentide aruanded sama objekti oleku kohta ja arvutamist korrata.
\nAllpool, joonisel 4, on n\u00e4idatud, kuidas avasime juurdep\u00e4\u00e4su v\u00f5tmete ja v\u00e4\u00e4rtuste hoidla pro tervendava meetodi jaoks, et hiljem oleks v\u00f5imalik uut s\u00f5numit t\u00f6\u00f6delda.<\/p>\n

\"Mitte
\n
\nJoonis 4: avame juurdep\u00e4\u00e4su v\u00f5tmete ja v\u00e4\u00e4rtuste hoidla pro tervendava meetodi jaoks (p\u00e4rast seda tuleb igas stsenaariumis, mis t\u00f6\u00f6tab jagatud olekuga, rakendada meetodit doProcess<\/code>)<\/i><\/p>\n

Variant #2: CRUD API loomine Kafka Streams'i kohal<\/b><\/i><\/p>\n

P\u00e4rast meie baatsooside voo seadistamist hakkasime proovima kirjutada RESTful CRUD API meie jagatud olekuga mikroteenustele. Soovisime, et oleks v\u00f5imalik saada teatud v\u00f5i k\u00f5ikide objektide olekut ning seadistada v\u00f5i eemaldada objekti olek (see on kasulik serveripoolse toe s\u00e4ilitamiseks).<\/p>\n

Kuna k\u00f5ikide API Get State toetamiseks, kui meil oli vaja olekut uuesti arvutada t\u00f6\u00f6tlemise k\u00e4igus, salvestasime selle pikaks ajaks sisseehitatud v\u00f5tmete ja v\u00e4\u00e4rtuste hoidlasse. Sel juhul on piisav lihtsalt sellise API rakendamine \u00fche Kafka Streams'i eksemplari abil, nagu on n\u00e4idatud allolevas loendis:<\/p>\n

\"Mitte
\n
\nJoonis 5: sisseehitatud v\u00f5tmete ja v\u00e4\u00e4rtuste hoidla kasutamine objekti eelnevalt arvutatud oleku saamiseks <\/i><\/p>\n

Objekti oleku uuendamine API kaudu ei ole samuti keeruline. P\u00f5him\u00f5tteliselt peab selle jaoks lihtsalt looma Kafka producer'i ja selle abil tegema kirje, milles on uus olek. Nii tagatakse, et k\u00f5ik API kaudu genereeritud s\u00f5numid t\u00f6\u00f6deldakse t\u00e4pselt samamoodi nagu teised producentide (nt agendid) kaudu saadetud s\u00f5numid.<\/p>\n

\"Mitte
\n
\nJoonis 6: objekti olekut saab seadistada Kafka produceri abil <\/i><\/p>\n

V\u00e4ike keerukus: Kafka'l on palju partitsioone<\/b><\/p>\n

Seej\u00e4rel tahtsime jaotada t\u00f6\u00f6tluse koormust ja parandada k\u00e4ttesaadavust, luues igale stsenaariumile klastrise mikroteenuste s\u00fcsteemi, millel on jagatud olek. Seadistamine oli meie jaoks lihtne: p\u00e4rast seda, kui konfigureerisime k\u00f5ik instantsid t\u00f6\u00f6tama sama rakenduse ID-ga (ja samade alglaadimise serveritega), tehti praktiliselt k\u00f5ik muu automaatselt. Samuti seadsime me, et iga sisenditeema koosneb mitmest partiisist, et igale instantsile saaks m\u00e4\u00e4rata partii alamhulga.<\/p>\n

Tahan mainida ka, et siin on tavaks teha olekuhoidla varukoopia, et n\u00e4iteks t\u00f5rke taastamisel see koopia teisele instantsile viia. Iga olekuhoidla jaoks Kafka Streamsis luuakse kopeeritav teema muudatuste logiga (kus j\u00e4lgitakse kohalikku v\u00e4rskendust). Nii tagab Kafka pidevalt olekuhoidla kaitse. Seega, kui m\u00f5ne instantsi Kafka Streamsis esineb t\u00f5rge, saab olekuhoidla kiiresti taastada teisel instantsil, kuhu liiguvad sobivad partiid. Meie testid n\u00e4itasid, et see toimub m\u00f5ne sekundi jooksul isegi siis, kui olekus on miljoneid kirjeid.<\/p>\n

Minna \u00fchest jagatud olekuga mikroteenusest mikroteenuste klastrisse, ei ole Get State API rakendamine enam nii triviaalne. Uues olukorras sisaldab iga mikroteenuse olekuhoidla ainult osa kogu pildist (need objektid, mille v\u00f5tmed seondusid konkreetsele partiile). Pidi m\u00e4\u00e4rama, millises instantsis oli vajalik objekti olek, ja tegime seda voogude metaandmete alusel, nagu on allpool n\u00e4idatud:<\/p>\n

\"Mitte
\n
\nIllustratsioon 7: voogude metaandmete abil m\u00e4\u00e4rame, milliselt instantsilt k\u00fcsida vajaliku objekti olekut; sarnast l\u00e4henemist kasutati GET ALL API-s.<\/i><\/p>\n

Peamised j\u00e4reldused<\/b><\/p>\n

Olekuhoidlad Kafka Streamsis v\u00f5ivad de facto toimida jaotatud andmebaasina, <\/p>\n