Apache Ignite Zero Deployment: šta tačno znači Zero?

Apache Ignite Zero Deployment: šta tačno znači Zero?

Mi smo odjel za razvoj tehnologija maloprodajne mreže. Jednom je uprava postavila zadatak da ubrza obimna računanja korištenjem Apache Ignite-a u kombinaciji s MSSQL-om, pokazali su stranicu s prekrasnim ilustracijama i primjerima Java koda. Stranica mi se odmah svidjela Zero Deployment, opis kojeg obećava čuda: ne morate ručno implementirati svoj Java ili Scala kod na svaku čvor u mreži i ponovno ga implementirati svaki put kada se promijeni. Tokom rada ispostavilo se da Zero Deployment ima svoje specifičnosti, a o njima želim podijeliti svoja razmišljanja i detalje implementacije.

1. Postavljanje zadatka

Suština zadatka je sljedeća. Postoji katalog prodajnih mjesta SalesPoint i katalog proizvoda Sku (Stock Keeping Unit). Prodajno mjesto ima atribut „tipManehna“ s vrijednostima „mali“ i „veliki“. Svakom prodajnom mjestu se priključuje (učitava iz DB) asortiman (popis proizvoda prodajnog mjesta) i odmah se dostavlja informacija o tome da od određenog datuma određeni proizvod
biva isključen iz asortimana ili dodaje u asortiman.

Potrebno je organizovati partićionirani keš prodajnih mjesta i čuvati u njemu informacije o priključenim proizvodima za mjesec unaprijed. Kompatibilnost s produkcijskim sistemom zahtijeva od klijentskog čvora Ignite da učitava podatke, izračunava agregat tipa (tipManehna, kodProizvoda, dan, broj_prodajnih_mjesta) i vraća ga natrag u DB.

2. Istraživanje literature

Još nemam iskustva, pa počinjem s pregledom publikacija.

Članak iz 2016. godine Upoznavanje s Apache Ignite: prvi koraci sadrži link na dokumentaciju projekta Apache Ignite i istovremeno prigovor o nejasnoći te dokumentacije. Pročitao sam nekoliko puta, jasnoća ne dolazi. Obraćam se službenom uputstvu getting-started, koju
optimistično obećava „Brzo ćete biti u poslu!“. Rješavam postavke varijabli okruženja, gledam dva videa Apache Ignite Essentials, koja su se za moj konkretan zadatak pokazala ne baš korisnima. Uspješno pokrećem Ignite iz komandne linije sa standardnom datotekom „example-ignite.xml“, sastavljam prvu aplikaciju Compute Application uz pomoć Mavena. Aplikacija radi i koristi Zero Deployment, kakva ljepota!

Čitam dalje, a tamo primjer odmah koristi affinityKey (stvoren ranije putem SQL upita), a takođe se primjenjuje tajanstveni BinaryObject:

IgniteCache<BinaryObject, BinaryObject> people 
        = ignite.cache("Person").withKeepBinary(); 

Pročitao sam malo: binarni format — nešto kao refleksija, pristup poljima objekta po imenu. Može čitati vrednost polja bez potpune deserializacije objekta (ušteda memorije). Ali zašto se umesto Person koristi BinaryObject, kada postoji Zero Deployment? Zašto se IgniteCache<Key,Person> prevodi u IgniteCache<BinaryObject, BinaryObject>? Još uvek nije jasno.

Prepravljam Compute Application prema svom slučaju. Primarni ključ referentne tačke prodaje u MSSQL definisan je kao [id] [int] NOT NULL, kreiram keš po analogiji

IgniteCache<Integer, SalesPoint> salesPointCache=ignite.cache("spCache")

U xml-konfigu nazivam da je keš particionisan

<bean class="org.apache.ignite.configuration.CacheConfiguration">
    <property name="name" value="spCache"/>
    <property name="cacheMode" value="PARTITIONED"/>
</bean>

Particionisanje po tačkama prodaje podrazumeva da će potrebni agregat biti izgrađen na svakom čvoru klastera za postojeće zapise salesPointCache, nakon čega će klijentski čvor izvršiti završno sumiranje.

Čitam tutorijal Prva Ignite Compute Application, radim po analogiji. Na svakom čvoru klastera pokrećem IgniteRunnable(), otprilike ovako:

  @Override
  public void run() {
    SalesPoint sp=salesPointCache.get(spId);
    sp.calculateSalesPointCount();
    ..
  }

Dodajem logiku agregacije i izvezenja, pokrećem na testnom skupu podataka. Lokalno na razvojnim serverima sve funkcioniše.

Pokrećem dva testna servera CentOs, nazivam ip-adrese u default-config.xml, izvršavam na svakom

.\/bin\/ignite.sh config\/default-config.xml

Oba čvora Ignite se pokreću i vide jedni druge. U nazivam potrebne adrese u xml-konfigu klijentske aplikacije, ona se pokreće, dodaje treći čvor u topologiju i odmah se čvorovi ponovo svode na dva. U logu stoji „ClassNotFoundException: model.SalesPoint“ u liniji

SalesPoint sp=salesPointCache.get(spId);

StackOverflow kaže da je uzrok greške — na serverima CentOs nema korisničke klase SalesPoint. Došli smo dotle. Kako to „ne morate ručno implementirati vaš Java kod na svakom čvoru“ i dalje u tekstu? Ili „vaš Java kod“ — to nije u vezi sa SalesPoint?

Verovatno sam nešto propustio — ponovo počinjem da tražim, čitam i ponovo tražim. Tokom vremena stičem utisak da sam pročitao sve o temi, ništa novo više nema. Dok sam istraživao, pronašao sam nekoliko zanimljivih zapažanja.

Valentin Kulichenko, glavni arhitekta u GridGain Systems, odgovoru na StackOverflow, april 2016:

Model klase nisu raspoređene kao ravnopravne, ali možete koristiti sa keepBinary() flagom
na kešu i upitivati BinaryObjects. Ovim putem ćete izbeći deserializaciju
na serverskoj strani i nećete dobiti ClassNotFoundException.

Još jedno autoritativno mišljenje: Denis Magda, direktor menadžmenta proizvoda, GridGain Systems.

Članak na Habré o mikroservisima upučuje na tri članka Denis Magde: Mikroservisi I dio, Mikroservisi II dio, Mikroservisi III dio godina 2016-2017. U drugom članku Denis predlaže pokretanje čvora klastera putem MaintenanceServiceNodeStartup.jar. Takođe se može koristiti pokretanje s xml-konfiguracijom i komandnom linijom, ali u tom slučaju treba ručno postaviti korisničke klase na svakom razmještenom čvoru klastera:

To je to. Pokrenite (..) čvor koristeći MaintenanceServiceNodeStartup datoteku ili prenesite maintenance-service-node-config.xml na Apache Ignite-ove ignite.sh/bat skripte. Ako preferirate ovo drugo, pobrinite se da izradite jar datoteku koja će sadržavati sve klase iz java/app/common i java/services/maintenance direktorija. Jar mora biti dodan u classpath svakog čvora na kojem se usluga može implementirati.

Zaista, to je to. Evo ga, ispostavilo se, zašto, ovaj misteriozni binarni format!

3. SingleJar

Denis je zauzeo prvo mjesto u mom ličnom rejtingu, po mom mišljenju najkorisniji tutorijal od svih dostupnih. U njegovom MicroServicesExample na GitHubu se nalazi potpuno spreman primer podešavanja čvorova klastera, koji se kompajlira bez ikakvog dodatnog truda.

Radim po uzoru i dobijam jedinstvenu jar datoteku koja pokreće „data node“ ili „client node“ u zavisnosti od argumenta komandne linije. Izgradnja se pokreće i funkcioniše. Zero Deployment je prevaziđen.

Prelazak sa megabajta testnih podataka na desetine gigabajta stvarnih pokazao je da binarni format postoji s razlogom. Bilo je potrebno optimizovati potrošnju memorije na čvorovima, i ovde je BinaryObject bio veoma koristan.

4. Zaključci

Prvi izneti prigovor na nejasnoću dokumentacije projekta Apache Ignite pokazao se opravdanim, od 2016. godine se malo promenilo. Početniku nije lako da sastavi funkcionalni prototip na osnovu sajta i/ili repozitorijuma.

Na osnovu obavljenog posla stekao sam utisak da Zero Deployment funkcioniše, ali samo na sistemskom nivou. Otprilike ovako: BinaryObject se primenjuje da nauči udaljene čvorove klastera da rade sa korisničkim klasama; Zero Deployment je unutrašnji mehanizam
sama Apache Ignite i širi sistemske objekte po klasteru.

Nadam se da će moje iskustvo biti od koristi novim korisnicima Apache Ignite.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster