
Mi smo odjel za razvoj tehnologija maloprodajne mreže. Jednom je rukovodstvo postavilo zadatak da ubrza volumetrijska računanja korištenjem Apache Ignite u kombinaciji s MSSQL, pokazali su stranicu s prekrasnim ilustracijama i primjerima Java koda. Na stranici se odmah svidjelo , čiji opis obećava čuda: ne morate ručno implementirati svoj Java ili Scala kod na svaki čvor u mreži i ponovo ga implementirati svaki put kada se promijeni. Tijekom rada pokazalo se da Zero Deployment ima specifičnosti korištenja, o kojima želim podijeliti svoja razmišljanja i detalje implementacije.
1. Postavljanje zadatka
Svrha zadatka je sljedeća. Postoji imenik prodajnih mjesta SalesPoint i imenik proizvoda Sku (Stock Keeping Unit). Prodajno mjesto ima atribut „tipTrgovine“ s vrijednostima „mali“ i „veliki“. Na svako prodajno mjesto povezuje se (učitava iz SDB) asortiman (popis proizvoda prodajnog mjesta) i dostavlja informacija o tome da se od navedenog datuma navedeni proizvod
uključuje u asortiman ili se isključuje iz asortimana.
Potrebno je organizirati partiocionirani keš prodajnih mjesta i pohraniti u njemu informacije o povezanim proizvodima za mjesec unaprijed. Kompatibilnost s produkcijskim sustavom zahtijeva od klijentskog čvora Ignite da učita podatke, izračuna agregat tipa (tipTrgovine, kodProizvoda, dan, broj_prodajnih_mjesta) i izveze ga natrag u SDB.
2. Istraživanje literature
Dosad nemam iskustva, tako da počinjem od temelja. Odnosno, s pregledom publikacija.
Članak iz 2016. godine sadrži poveznicu na dokumentaciju projekta Apache Ignite, a uz to i prigovor na nejasnoću te dokumentacije. Pročitao sam nekoliko puta, jasnoća ne dolazi. Obraćam se službenom tutorijalu , koju
optimistično obećava "Bit ćete u pogonu u tren oka!". Razrađujem postavke varijabli okruženja, gledam dva videa Apache Ignite Essentials, koji su se pokazali nezgodnima za moj konkretni zadatak. Uspješno pokrećem Ignite iz komandne linije sa standardnom datotekom "example-ignite.xml", sastavljam prvu aplikaciju pomoću Mavena. Aplikacija radi i koristi Zero Deployment, koja ljepota!
Čitam dalje, a tamo primjer odmah koristi affinityKey (stvoren ranije putem SQL upita), ali i primjenjuje tajanstveni BinaryObject:
IgniteCache<BinaryObject, BinaryObject> people
= ignite.cache("Person").withKeepBinary(); Pročitao sam : binarni format — nešto poput refleksije, pristup poljima objekta po imenu. Može čitati vrednost polja bez potpune deserializacije objekta (ušteda memorije). No, zašto se umesto Person koristi BinaryObject, kada postoji Zero Deployment? Zašto se IgniteCache<Key,Person> prevodi u IgniteCache<BinaryObject, BinaryObject>? Trenutno nije jasno.
Prepravljao sam Compute Application za svoju situaciju. Primarni ključ referentne liste prodajnih mesta u MSSQL definisan je kao [id] [int] NOT NULL, kreiram keš po analogiji.
IgniteCache<Integer, SalesPoint> salesPointCache=ignite.cache("spCache")U xml-konfiguraciji navodim da je keš particionisan.
<bean class="org.apache.ignite.configuration.CacheConfiguration">
<property name="name" value="spCache"/>
<property name="cacheMode" value="PARTITIONED"/>
</bean>Particionisanje po prodajnim mestima podrazumeva da će traženi agregat biti izgrađen na svakom čvoru klastera za postojeće zapise salesPointCache, nakon čega će klijentski čvor izvršiti konačno sumiranje.
Čitam tutorijal. , radim po analogiji. Na svakom čvoru klastera pokrećem IgniteRunnable(), otprilike ovako:
@Override
public void run() {
SalesPoint sp=salesPointCache.get(spId);
sp.calculateSalesPointCount();
..
}Dodajem logiku agregacije i izvoza, pokrećem na testnom skupu podataka. Lokalno na serverskoj razvoju sve funkcioniše.
Pokrećem dva testna servera CentOs, navodim ip-adrese u default-config.xml, izvršavam na svakom
.\/bin\/ignite.sh config\/default-config.xmlOba čvora Ignite se pokreću i vide jedan drugog. Navodim potrebne adrese u xml-konfiguraciji klijentske aplikacije, ona se pokreće, dodaje treći čvor u topologiju i odmah se čvorovi ponovo svode na dva. U logu se beleži „ClassNotFoundException: model.SalesPoint“ u liniji
SalesPoint sp=salesPointCache.get(spId);StackOverflow kaže da je uzrok greške — na serverima CentOs nema korisničke klase SalesPoint. Gotovo. Kako to „ne morate ručno postavljati svoj Java kod na svaki čvor“ i dalje u tekstu? Ili je „vaš Java kod“ — to se ne odnosi na SalesPoint?
Verovatno sam nešto propustio — ponovo počinjem da tražim, čitam i ponovo tražim. Posle nekog vremena stičem utisak da sam pročitao sve na tu temu, ništa novo više nema. Dok sam tražio, našao sam nekoliko interesantnih opaska.
, Lead Architect at GridGain Systems, na StackOverflow, april 2016:
Model classes are not peer deployed, but you can use withKeepBinary() flag
on the cache and query BinaryObjects. This way you will avoid deserialization
on the server side and will not get ClassNotFoundException.Još jedno autoritativno mišljenje: , Director of product management, GridGain Systems.
Članak na Habré referira se na tri članka Denis Magde: , , 2016-2017. U drugom članku Denis predlaže pokretanje čvora klastera putem MaintenanceServiceNodeStartup.jar. Također se može koristiti pokretanje s xml konfiguracijom i naredbenim redom, ali tada je potrebno ručno postaviti korisničke klase za svaki raspoređeni čvor klastera:
To je to. Pokrenite (..) čvor koristeći MaintenanceServiceNodeStartup datoteku ili proslijedite maintenance-service-node-config.xml Apache Igniteovim ignite.sh/bat skriptama. Ako više volite potonje, pobrinite se da izgradite jar datoteku koja će sadržavati sve klase iz java/app/common i java/services/maintenance direktorija. Jar mora biti dodat u classpath svakog čvora na kojem bi se usluga mogla rasporediti.Uistinu, to je to. Evo ga, ispostavlja se, zašto, ovaj tajanstveni binarni format!
3. SingleJar
Denis je zauzeo prvo mjesto u mom osobnom poretku, po mom mišljenju, najkorisniji tutorijal od svih dostupnih. U njegovom na GitHubu se nalazi potpuno spreman primjer konfiguracije čvorova klastera, koji se kompilira bez ikakvih dodatnih problema.
Radim po uzoru i dobivam jedinstvenu jar datoteku koja pokreće 'data node' ili 'client node', ovisno o argumentu naredbenog reda. Izgradnja se pokreće i radi. Zero Deployment je savladan.
Prijelaz s megabajta testnih podataka na desetke gigabajta proizvodnih podataka pokazao je da binarni format nije tu bez razloga. Bilo je potrebno optimizirati potrošnju memorije na čvorovima, a ovdje se BinaryObject pokazao vrlo korisnim.
4. Zaključci
Prva primljena primjedba o nejasnoći dokumentacije projekta Apache Ignite se pokazala točnom, od 2016. godine se malo toga promijenilo. Početnicima nije lako sastaviti funkcionalni prototip na temelju web stranice i/ili repozitorija.
Na kraju obavljenog posla, stekao sam dojam da Zero Deployment radi, ali samo na sistemskoj razini. Otprilike ovako: BinaryObject se koristi za podučavanje udaljenih čvorova klastera da rade s korisničkim klasama; Zero Deployment je unutarnji mehanizam
sama Apache Ignite i distribuira po klasteru sistemske objekte.
Nadam se da će moje iskustvo biti korisno novim korisnicima Apache Ignite.
Izvor: habr.com
