„Database as Code“ Iskustvo

„Database as Code“ Iskustvo

SQL, šta može biti jednostavnije? Svako od nas može napisati jednostavan upit — jednostavno upišemo select, nabrajam potrebne kolone, potom from, ime tabele, malo uslova u gdje i to je to — korisni podaci su kod nas, praktično nezavisno od toga koja SODB trenutno radi u pozadini (a možda i nije SODB uopšte). Rezultat je da se rad sa gotovo bilo kojim izvorom podataka (relacijskim i drugim) može posmatrati sa stanovišta običnog koda (sa svim posljedicama — kontrola verzija, revizija koda, statička analiza, automatski testovi i sve to). I to se ne odnosi samo na same podatke, sheme i migracije, već na celokupno poslovanje skladišta. U ovom članku ćemo govoriti o svakodnevnim zadacima i problemima rada sa raznim BD pod pritiskom "baze podataka kao koda".

I započećemo odmah sa ORM. Prvi sukobi tipa "SQL protiv ORM" primeti su još u pre Petrovskoj Rusiji.

Objektno-relacijsko mapiranje

Zagovornici ORM-a tradicionalno cene brzinu i jednostavnost razvoja, nezavisnost od SODB i čistoću koda. Za mnoge od nas kod rada sa BD (a često i sama BD)

obično izgleda otprilike ovako…

@Entity
@Table(name = "stock", catalog = "maindb", uniqueConstraints = {
        @UniqueConstraint(columnNames = "STOCK_NAME"),
        @UniqueConstraint(columnNames = "STOCK_CODE") })
public class Stock implements java.io.Serializable {

    @Id
    @GeneratedValue(strategy = IDENTITY)
    @Column(name = "STOCK_ID", unique = true, nullable = false)
    public Integer getStockId() {
        return this.stockId;
    }
  ...

Model je obeležen pametnim anotacijama, a negde iza scene časni ORM generiše i izvršava tone nekog SQL koda. Usput rečeno, programeri se svim silama pokušavaju ograničiti od svoje BD kilometrima apstrakcija, što govori o nekoj "SQL mržnji".

S druge strane barikada, proponenti čistog "ručno rađenog" SQL-a ističu mogućnost istiskivanja svih sokova iz svoje SODB bez dodatnih slojeva i apstrakcija. Rezultat su "data-centric" projekti, gde se bazom bave posebno obučeni ljudi (oni su "bazisti", oni su "bazovici", oni su "bazdenci", itd.), dok programerima ostaje samo da "povuku" gotove prikaze i sačuvane procedure, ne zalazeći u detalje.

A šta ako uzmemo najbolje iz dva sveta? Kao što je to učinjeno u fantastičnom alatu sa afirmativnim nazivom Yesql. Navešću nekoliko rečenica iz opšte koncepcije u mom slobodnom prevodu, a detaljnije se može upoznati sa njom ovde.

Clojure je izvrsan jezik za kreiranje DSL-ova, ali SQL je već sam po sebi odličan DSL, i ne trebamo još jedan. S-izrazi su divni, ali ovdje ne donose ništa novo. Na kraju dobijamo zagrade samo radi zagrada. Ne slažete se? Tada pričekajte trenutak kada apstrakcija nad bazom podataka počne propuštati, i započećete borbu sa funkcijom. (raw-sql)

Šta raditi? Ostavimo SQL kao običan SQL — jedan fajl za jedan upit:

-- ime: korisnici-po-državi
select *
  from users
 where country_code = :country_code

… a zatim pročitajte ovaj fajl, pretvarajući ga u običnu Clojure funkciju:

(defqueries "some/where/users_by_country.sql"
   {:connection db-spec})

;;; Funkcija imenom `users-by-country` je kreirana.
;;; Koristimo je:
(users-by-country {:country_code "GB"})
;=> ({:name "Kris" :country_code "GB" ...} ...)

Pridržavajući se načela "SQL odvojeno, Clojure odvojeno", dobijate:

  • Bez sintaktičkih iznenađenja. Vaša baza podataka (kao i svaka druga) ne odgovara SQL standardu 100% — ali za Yesql to nije važno. Nikada nećete trošiti vreme na traženje funkcija sa sintaksom ekvivalentnom SQL-u. Nikada se nećete morati vraćati na funkciju (raw-sql "some (‘funky’ :: SYNTAX)")).
  • Najbolja podrška uređivaču. Vaš uređivač već ima odličnu podršku za SQL. Čuvajući SQL kao SQL, jednostavno ga možete koristiti.
  • Kompatibilnost sa timom. Vaši DBA-ovi mogu čitati i pisati SQL koji koristite u svom Clojure projektu.
  • Jednostavnija podešavanja performansi. Potrebno je izraditi plan za problematičan upit? Nema problema, kada je vaš upit običan SQL.
  • Ponovno korišćenje upita. Povedite iste SQL-fajlove u druge projekte, jer je to jednostavno stari dobri SQL — jednostavno ih podelite.

Po mom mišljenju, ideja je veoma cool i istovremeno jednostavna, što je omogućilo projektu da dobije brojne sledbenike na raznim jezicima. A mi ćemo dalje pokušati primeniti sličnu filozofiju odvajanja SQL koda od svega ostalog daleko izvan ORM-a.

IDE & DB-upravljači

Počnimo s jednostavnom svakodnevnom zadaćom. Često moramo tražiti određene objekte u bazi podataka, na primjer, pronaći tabelu u shemi i proučiti njenu strukturu (koje kolone, ključevi, indeksi, ograničenja i drugo se koriste). Od svake grafičke IDE ili barem osnovnog DB-managera najprije očekujemo upravo te mogućnosti. Da bude brzo i da ne moramo čekati pola sata dok se ne otvori prozor s potrebnim informacijama (osobito pri sporoj vezi s udaljenom bazom podataka), a osim toga, da dobijene informacije budu svježe i aktuelne, a ne keširane starine. Što je složenija i veća baza podataka i što je veći broj njih, to je teže to postići.

Ali obično odbacim miš negdje i jednostavno pišem kod. Recimo, potrebno je saznati koje tabele (i s kojim svojstvima) se nalaze u shemi "HR". U većini SGBD-a željeni rezultat može se postići jednostavnim upitom iz information_schema:

select table_name
     , ...
  from information_schema.tables
 where schema = 'HR'

Od baze do baze sadržaj takvih tabela-referenci varira ovisno o sposobnostima svake SGBD. I, na primjer, za MySQL iz ovog iste referentne osobe možemo dobiti specifične za ovu SGBD parametre tabele:

select table_name
     , storage_engine -- Korisni "motor" ("MyISAM", "InnoDB" itd.)
     , row_format     -- Format reda ("Fixed", "Dynamic" itd.)
     , ...
  from information_schema.tables
 where schema = 'HR'

Oracle ne može koristiti information_schema, ali ima Oracle metadata, i ne nastaju velike probleme:

select table_name
     , pct_free       -- Minimum slobodnog prostora u podatkovnom bloku (%)
     , pct_used       -- Minimum korištenog prostora u podatkovnom bloku (%)
     , last_analyzed  -- Datum posljednjeg prikupljanja statistike
     , ...
  from all_tables
 where owner = 'HR'

Nije izuzetak ni ClickHouse:

select name
     , engine -- Korisni "motor" ("MergeTree", "Dictionary" itd.)
     , ...
  from system.tables
 where database = 'HR'

Sličnu stvar možemo učiniti i u Cassandri (gdje postoje columnfamilies umjesto tabela i keyspace-ovi umjesto shema):

select columnfamily_name
     , compaction_strategy_class  -- Strategija skupljanja smeća
     , gc_grace_seconds           -- Vrijeme života smeća
     , ...
  from system.schema_columnfamilies
 where keyspace_name = 'HR'

Za većinu ostalih baza podataka također se mogu smisliti slični upiti (čak i u Mongo postoje specijalna sistemska kolekcija, koja sadrži informacije o svim kolekcijama u sistemu).

Naravno, na ovaj način možete dobiti informacije ne samo o tabelama, već i o bilo kojem objektu. Povremeno, dobri ljudi dijele takve kodove za različite baze podataka, kao što je, na primjer, u seriji članaka na Habr-u 'Funkcije za dokumentiranje PostgreSQL baza podataka' (ajb, ben, gim). Naravno, držati svih ovih mnogo upita u glavi i stalno ih unositi - to nije "veliko zadovoljstvo", pa u svom omiljenom IDE-u/uredniku imam unaprijed pripremljen set snippeta za često korištene upite, i ostaje samo da upišem imena objekata u šablon.

U konačnici, ovakav način navigacije i pretraživanja objekata je mnogo fleksibilniji, štedi puno vremena i omogućava vam da dobijete upravo one informacije i u onom obliku koji vam je sada potreban (kao što je, na primjer, opisano u postu "Izvoz podataka iz baze podataka u bilo kojem formatu: šta mogu IDE-ovi na IntelliJ platformi").

Operacije sa objektima

Nakon što smo pronašli i proučili potrebne objekte, pravo je vrijeme da s njima učinimo nešto korisno. Naravno, također ne podižući prste sa tastature.

Nije tajna da će jednostavno brisanje tabele izgledati gotovo identično u svim bazama podataka:

drop table hr.persons

A kada je u pitanju kreiranje tabele, situacija već postaje zanimljivija. Praktično svaka DBMS (uključujući i mnoge NoSQL) na neki način podržava 'create table', a većina njegovih dijelova će se malo razlikovati (ime, lista kolona, tipovi podataka), ali ostali detalji mogu se drastično razlikovati i zavise od unutrašnje strukture i mogućnosti konkretne DBMS. Moj omiljeni primjer - u dokumentaciji Oracle-a samo jedni 'goli' BNF-ovi za sintaksu 'create table' zauzimaju 31 stranicu. Druge DBMS imaju skromnije mogućnosti, ali svaka od njih takođe poseduje mnoštvo zanimljivih i jedinstvenih karakteristika za kreiranje tabela (postgres, mysql, cockroach, cassandra). Teško da će bilo koji grafički 'wizard' iz nove IDE (posebno univerzalne) moći potpuno pokriti sve ove mogućnosti, a ako i može, to će biti prizor koji nije za slabe nerve. U isto vrijeme, pravilno i na vreme napisan operator create table omogućiće vam da lako iskoristite sve njih, učinite čuvanje i pristup vašim podacima pouzdanim, optimalnim i maksimalno udobnim.

Također, u mnogim DBMS-ima postoje specifične vrste objekata koje nedostaju u drugim DBMS-ima. Osim toga, možemo izvoditi operacije ne samo nad objektima baze podataka, već i nad samim DBMS-om, na primjer, "ubiti" proces, osloboditi određeno područje memorije, uključiti praćenje, preći u "read only" režim i mnogo više.

A sada malo da crtamo

Jedan od najčešćih zadataka je izgradnja dijagrama s objektima baze podataka, kako bismo na lijepoj slici vidjeli objekte i veze između njih. To može gotovo svaka grafička IDE, pojedine "command line" alatke, specijalizirani grafički alati i modelari. Koji će vam nešto nacrtati "kako znaju", a blago uticati na ovaj proces može se učiniti samo pomoću nekoliko parametara u konfiguracijskoj datoteci ili odabirom u interfejsu.

Međutim, ovaj problem može se riješiti mnogo jednostavnije, fleksibilnije i elegantrnije, naravno uz pomoć koda. Za izgradnju dijagrama bilo koje složenosti imamo nekoliko specijaliziranih jezika za označavanje (DOT, GraphML itd.), a uz njih cijeli niz aplikacija (GraphViz, PlantUML, Mermaid) koje mogu čitati takve upute i vizualizirati ih u raznim formatima. A informacije o objektima i vezama između njih već znamo kako dobiti.

Prikažimo mali primjer onoga kako bi to moglo izgledati, koristeći PlantUML i demonstracijske baze podataka za PostgreSQL (s lijeve strane SQL upit koji generira potrebnu uputu za PlantUML, a s desne strane rezultat):

„Database as Code“ Iskustvo

select '@startuml'||chr(10)||'hide methods'||chr(10)||'hide stereotypes' union all
select distinct ccu.table_name || ' --|> ' ||
       tc.table_name as val
  from table_constraints as tc
  join key_column_usage as kcu
    on tc.constraint_name = kcu.constraint_name
  join constraint_column_usage as ccu
    on ccu.constraint_name = tc.constraint_name
 where tc.constraint_type = 'FOREIGN KEY'
   and tc.table_name ~ '.*' union all
select '@enduml'

A ako se malo potrudimo, možemo na osnovu ER-templata za PlantUML dobiti nešto što liči na pravi ER-dijagram:

SQL upit malo složeniji

-- Naslov
select '@startuml
        !define Table(name,desc) class name as "desc" << (T,#FFAAAA) >&gt;
        !define primary_key(x) <b>x</b>
        !define unique(x) <color:green>x</color>
        !define not_null(x) <u>x</u>
        hide methods
        hide stereotypes'
 union all
-- Tabele
select format('Table(%s, "%s n informacije o %s") {'||chr(10), table_name, table_name, table_name) ||
       (select string_agg(column_name || ' ' || upper(udt_name), chr(10))
          from information_schema.columns
         where table_schema = 'public'
           and table_name = t.table_name) || chr(10) || '}'
  from information_schema.tables t
 where table_schema = 'public'
 union all
-- Veze između tabela
select distinct ccu.table_name || ' "1" --&gt; "0..N" ' || tc.table_name || format(' : "A %s može imati mnogo %s"', ccu.table_name, tc.table_name)
  from information_schema.table_constraints as tc
  join information_schema.key_column_usage as kcu on tc.constraint_name = kcu.constraint_name
  join information_schema.constraint_column_usage as ccu on ccu.constraint_name = tc.constraint_name
 where tc.constraint_type = 'FOREIGN KEY'
   and ccu.constraint_schema = 'public'
   and tc.table_name ~ '.*'
 union all
-- Podnožje
select '@enduml'

„Database as Code“ Iskustvo

Ako pažljivo pogledamo, mnogi alati za vizualizaciju koriste slične upite. Međutim, ti upiti obično su duboko "zaključani" u kod samog programa i teški za razumijevanje, a da ne spominjemo bilo kakvu modifikaciju.

Metrije i monitoring

Preći ćemo na tradicionalno složenu temu — praćenje performansi Baze Podataka. Setit ću se male istinite priče koju mi je ispričao "jedan moj prijatelj". Na jednom projektu postojala je moćna DBA osoba, i malo ko od programera ju je lično poznavao, a ni video je nije (uostalom, pričalo se da radi negde u susednoj zgradi). U kritičnom trenutku, kada je produkcijski sistem velikog maloprodajnog lanca počinjao ponovo da "slabo funkcioniše", on je tiho slao slike grafikona iz Oracle Enterprise Manager-a, na kojima su kritična mesta bila pažljivo istaknuta crvenom olovkom za "razumljivost" (to, blago rečeno, nije mnogo pomagalo). I tako je prema ovoj "fotografiji" trebalo rešavati problem. Pri tom, niko nije imao pristup dragocenom (u oba smisla te reči) Enterprise Manager-u, jer je sistem složen i skup, a ko zna — "programeri bi mogli nešto da pokvare". Stoga su programeri "empirijski" pronalazili mesto i uzrok usporavanja i izdavali zakrpu. Ako zastrašujuće pismo od DBA nije ponovo stizalo u bliskoj budućnosti, svi su sa olakšanjem uzdahnuli i vraćali se svojim trenutnim zadacima (do novog Pisma).

Ali proces praćenja može izgledati veselije i prijateljskije, a najvažnije — dostupno i transparentno za sve. Ispod osnovnog dela, kao dodatak glavnim sistemima praćenja (koji su nedvosmisleno korisni i u mnogim slučajevima nezamenljivi). Svaka DBMS slobodno i potpuno besplatno želi da podeli informacije o svom trenutnom stanju i performansama. U istoj "krvavoj" Oracle DB gotovo sve informacije o performansama mogu se dobiti iz sistemskih prikaza, počevši od procesa i sesija pa do stanja bafer keša (na primer, DBA skripte, deo "Praćenje"). U Postgresql-u takođe postoji čitav niz sistemskih prikaza za praćenje rada Baze Podataka, posebno neophodni u svakodnevnom životu svakog DBA, kao što su pg_stat_activity, pg_stat_database, pg_stat_bgwriter. U MySQL-u za to postoji čak i poseban šema performance_schema. A u MongoDB-u je ugrađeni profiler koji agnegrira podatke o performansama u sistemsku kolekciju system.profile.

Dakle, opremljeni nekim skanerom metrika (Telegraf, Metricbeat, Collectd), koji može izvoditi prilagođene sql upite, skladištem tih metrika (InfluxDB, Elasticsearch, Timescaledb) i vizualizatorom (Grafana, Kibana), možemo dobiti prilično lagan i fleksibilan sistem za nadzor, koji će biti usko integriran s drugim općim sistemskim metrikama (dobijenim, na primjer, sa serverskih aplikacija, iz OS-a itd.). Kao što je to ostvareno u pgwatch2, gdje se koristi kombinacija InfluxDB + Grafana i skup upita na sistemskim prikazima, kojima se takođe mogu dodati prilagođeni upiti.

U ukupnom zbiru

I ovo je samo približan popis onoga što se može učiniti s našom bazom podataka putem običnog SQL koda. Uvjeravam vas, sigurno možete pronaći još mnogo primjena, pišite u komentarima. A o tome kako (i što je najvažnije zašto) automatizirati i uključiti sve to u svoj CI/CD pipeline razgovarat ćemo sljedeći put.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster