Apache Software Foundation je objavila verziju distribuirane DBMS Apache Cassandra 4.0, koja pripada klasi noSQL sistema i namenjena je stvaranju visoko skalabilnih i pouzdanih skladišta ogromnih količina podataka, koji se čuvaju u formi asocijativnog niza (hasha). Izdanje Cassandra 4.0 je priznato kao spremno za radne primene i već je testirano u infrastrukturnim sistemima kompanija Amazon, Apple, DataStax, Instaclustr, iland i Netflix sa klasterima koji broje više od 1000 čvorova. Kod projekta je napisan na jeziku Java i distribuira se pod licencom Apache 2.0.
Prvobitno, DBMS Cassandra je razvila kompanija Facebook i 2009. godine je predata pod okrilje fonda Apache. Industrijska rešenja zasnovana na Cassandri su implementirana da obezbede rad usluga takvih kompanija kao što su Apple, Adobe, CERN, Cisco, IBM, HP, Comcast, Disney, eBay, Huawei, Netflix, Sony, Rackspace, Reddit i Twitter. Na primer, infrastruktura za skladištenje koju je implementirala kompanija Apple zasniva se na Apache Cassandri i broji više od hiljadu klastera, uključujući 160 hiljada čvorova i čuva više od 100 petabajta podataka. Kompanija Huawei koristi više od 300 klastera Apache Cassandri, koji uključuju 30 hiljada čvorova, dok Netflix ima više od 100 klastera, obuhvatajući 10 hiljada čvorova i obrađujući više od trilion zahteva dnevno.
DBMS Cassandra kombinuje potpuno distribuirani hash-sistem Dynamo, koji obezbeđuje gotovo linearno skaliranje sa povećanjem obima podataka. Cassandra koristi model skladištenja podataka zasnovan na porodici kolona (ColumnFamily), koja se razlikuje od sistema poput memcachedb, koji čuvaju podatke samo u vezi ključ/vrednost, mogućnošću organizacije skladištenja hashova s više nivoa ugnježdenosti. Za pojednostavljenje interakcije s DB-om podržava se jezik za formiranje strukturiranih upita CQL (Cassandra Query Language), sličan SQL-u, ali skraćen u funkcionalnosti. Od mogućnosti se može istaknuti podrška za prostorne nazive i porodice kolona, te kreiranje indeksa putem izraza „CREATE INDEX.“
DBMS omogućava kreiranje otpornih na greške skladišta: podaci smešteni u DB automatski se repliciraju na nekoliko čvorova distribuirane mreže, koja može obuhvatiti različite centre za obradu podataka. U slučaju kvara čvora, njegove funkcije se automatski preuzimaju od drugih čvorova. Dodavanje novih čvorova u klaster i ažuriranje verzije Cassandra vrši se u hodu, bez dodatne ručne intervencije i rekonfiguracije drugih čvorova. Draivere koji podržavaju CQL pripremili smo za jezike Python, Java (JDBC/DBAPI2), Ruby, PHP, C++ i JavaScript (Node.js).
Glavne novine:
- Poboljšana je izvedba i skalabilnost. Povećana je efikasnost razmene podataka u formatu SSTable (Sorted Strings Table) između čvorova. Optimizovan je protokol razmene poruka između čvorova (Internode Messaging Protocol). Brzina prenosa podataka između čvorova povećana je do 5 puta (najviše zahvaljujući primeni tehnike Zero Copy i punoj transmisiji SSTable-a), dok je propusnost pri operacijama čitanja i pisanja povećana do 25%. Optimizovan je proces inkrementalnog oporavka. Kašnjenja uzrokovana pauzom izvršavanjem sakupljača smeća smanjena su na nekoliko milisekundi.
- Dodana je podrška za audit log, koji omogućava praćenje operacija autentifikacije korisnika i svih izvršenih CQL upita.
- Dodana je mogućnost vođenja potpunog binarnog loga upita, koji omogućava čuvanje celokupnog saobraćaja upita i odgovora. Za upravljanje su predložene komande „nodetool enablefullquerylog|disablefullquerylog|resetfullquerylog“, a za analizu loga dostupan je alat fqltool. Dostupne su komande za pretvaranje loga u čitljiv oblik (Dump), poređenje aktivnosti (Compare) i ponovo izvršavanje (Replay) radi analize uz reprodukovanje uslova specifičnih za stvarno opterećenje.
- Dodana je podrška za virtuelne tabele, koje odražavaju ne podatke pohranjene u SSTable-ima, već informacije iz API-ja (metrike performansi, informacije o podešavanjima, sadržaj keša, podaci o povezanim klijentima itd.).
- Povećana je efikasnost skladištenja podataka u komprimovanom formatu, što omogućava smanjenje potrošnje diskovnog prostora i povećanje performansi operacija čitanja.
- Podaci koji se odnose na sistemski prostor ključeva (system.*) sada se po defaultu smeštaju u prvu direktoriju umesto raspodele po svim direktorijima sa podacima, čime se čuva operativnost čvora u slučaju kvara jednog od dodatnih diskova.
- Dodana je eksperimentalna podrška za privremenu replikaciju (Transient Replication) i lake kvorume (Cheap Quorums). Privremene replikacije ne čuvaju sve podatke i koriste inkrementalno obnavljanje za usklađivanje s punim replikama. Lake kvorume implementiraju optimizaciju operacija pisanja, pri čemu pisanje na privremene replikacije ne nastaje dok nije dostupan dovoljan broj punih replikacija.
- Dodana je eksperimentalna podrška za Java 11.
- Dodana je eksperimentalna opcija za upoređivanje svih Merkle stabala (Merkle Tree). Na primer, uključivanje opcije na klasteru s 3 čvora, u kojem su dve replikacije identične, a jedna zastarela, dovodi do ažuriranja zastarele replikacije koristeći samo jednu operaciju kopiranja aktuelne replikacije.
- Dodate su nove funkcije currentTimestamp, currentDate, currentTime i currentTimeUUID.
- Dodana je podrška za aritmetičke operacije u CQL upitima.
- Omogućeno je izvođenje aritmetičkih operacija između podataka s tipovima "timestamp"/"date" i "duration".
- Dodan je režim za pregled tokova podataka potrebnih za obnovu (nodetool repair —preview) i mogućnost provere integriteta obnavljanih podataka (nodetool repair —validate).
- U SELECT upitima pojavila se mogućnost obrade elemenata Map i Set.
- Dodana je podrška za paralelizaciju faze inicijalnog izgradnje materializovanih prikaza (cassandra.yaml:concurrent_materialized_view_builders).
- U komandi "nodetool cfstats" dodana je podrška za sortiranje prema određenim metrikama i ograničavanje broja prikazanih redova.
- Pružene su postavke za ograničavanje korisničkih veza samo na određene data centre.
- Dodana je mogućnost ograničenja intenziteta (rate limit) operacija kreiranja i čišćenja snimaka.
- U cqlsh i cqlshlib implementirana je podrška za Python 3 (podrška za Python 2.7 još uvek postoji).
- Prekinuta je podrška za Windows platformu. Za pokretanje Cassandre na Windows-u preporučuje se korišćenje Linux okruženja kreiranih na osnovu WSL2 (Windows Subsystem for Linux 2) ili sistemima virtualizacije.

Izvor: opennet.ru
