{"id":83649,"date":"2020-06-02T07:42:21","date_gmt":"2020-06-02T05:42:21","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/database-as-sode-experience"},"modified":"2020-06-02T07:42:21","modified_gmt":"2020-06-02T05:42:21","slug":"database-as-sode-experience","status":"publish","type":"post","link":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/database-as-sode-experience","title":{"rendered":"\u201eDatabase as Code\u201c Iskustvo","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"\u201eDatabase as Code\u201c Iskustvo\" src=\"\/wp-content\/uploads\/2020\/06\/a1ac23deeded97559fbe787ed09184a5.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>SQL, \u0161ta mo\u017ee biti jednostavnije? Svako od nas mo\u017ee napisati jednostavan upit \u2014 jednostavno upi\u0161emo <strong><em>select<\/em><\/strong>, nabrajam potrebne kolone, potom <strong><em>from<\/em><\/strong>, ime tabele, malo uslova u <strong><em>gdje<\/em><\/strong> i to je to \u2014 korisni podaci su kod nas, prakti\u010dno nezavisno od toga koja SODB trenutno radi u pozadini (a mo\u017eda i <noindex><a rel=\"nofollow\" href=\"https:\/\/osquery.io\/\">nije SODB uop\u0161te<\/a><\/noindex>). Kao rezultat, rad sa gotovo bilo kojim izvorom podataka (odnosnim i ostalima) mo\u017ee se posmatrati iz perspektive obi\u010dnog koda (sa svim posljedicama \u2014 upravljanje verzijama, pregled koda, stati\u010dka analiza, automatski testovi i sli\u010dno). A to se ne odnosi samo na same podatke, sheme i migracije, ve\u0107 na cjelokupno funkcionisanje skladi\u0161ta. U ovom \u010dlanku \u0107emo razgovarati o svakodnevnim zadacima i problemima tokom rada sa razli\u010ditim DB-ima kroz prizmu \"database as code\".<\/p>\n<p><\/p>\n<p>I zapo\u010de\u0107emo odmah sa <noindex><a rel=\"nofollow\" href=\"https:\/\/www.yegor256.com\/2014\/12\/01\/orm-offensive-anti-pattern.html\">ORM<\/a><\/noindex>. Prvi sukobi izme\u0111u \"SQL i ORM\" uo\u010deni su jo\u0161 u <noindex><a rel=\"nofollow\" href=\"https:\/\/www.sql.ru\/forum\/904343\/orm-vs-sql\">pre Petrovskoj Rusiji<\/a><\/noindex>.<\/p>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h5 id=\"obektno-relyacionnyy-maping\">Objektno-relacijsko mapiranje<\/h5>\n<p><\/p>\n<p>Zagovornici ORM-a tradicionalno cene brzinu i jednostavnost razvoja, nezavisnost od SODB i \u010disto\u0107u koda. Za mnoge od nas kod rada sa BD (a \u010desto i sama BD)<\/p>\n<p><\/p>\n<p>                        <b class=\"spoiler_title\">obi\u010dno izgleda otprilike ovako\u2026<\/b><\/p>\n<pre><code class=\"java\">@Entity\n@Table(name = \"stock\", catalog = \"maindb\", uniqueConstraints = {\n        @UniqueConstraint(columnNames = \"STOCK_NAME\"),\n        @UniqueConstraint(columnNames = \"STOCK_CODE\") })\npublic class Stock implements java.io.Serializable {\n\n    @Id\n    @GeneratedValue(strategy = IDENTITY)\n    @Column(name = \"STOCK_ID\", unique = true, nullable = false)\n    public Integer getStockId() {\n        return this.stockId;\n    }\n  ...<\/code><\/pre>\n<p><\/p>\n<p>Model je obele\u017een pametnim anotacijama, a negde iza scene \u010dasni ORM generi\u0161e i izvr\u0161ava tone nekog SQL koda. Usput re\u010deno, programeri se svim silama poku\u0161avaju ograni\u010diti od svoje BD kilometrima apstrakcija, \u0161to govori o nekoj <noindex><a rel=\"nofollow\" href=\"https:\/\/www.sql.ru\/forum\/1303231\/prichiny-nenavisti-k-yazyku-sql\">\"SQL mr\u017enje\"<\/a><\/noindex>.<\/p>\n<p><\/p>\n<p>S druge strane barikada, pristalice \u010distog \"handmade\"-SQL-a isti\u010du mogu\u0107nost da izvuku maksimum iz svoje DB bez dodatnih slojeva i apstrakcija. Kao rezultat toga pojavljuju se \"data-centric\" projekti, gdje se bazama bave posebno obu\u010deni ljudi (oni su tako\u0111e \"bazisti\", oni su \"bazi\u010dari\", oni su \"baza\u0161taci\" itd.), a programerima ostaje samo da \"vuku\" gotove poglede i spremljene procedure, ne zamaraju\u0107i se detaljima.<\/p>\n<p><\/p>\n<p>A \u0161ta ako uzmemo najbolje iz dva sveta? Kao \u0161to je to u\u010dinjeno u fantasti\u010dnom alatu sa afirmativnim nazivom <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/krisajenkins\/yesql\">Yesql<\/a><\/noindex>. Nave\u0161\u0107u nekoliko re\u010denica iz op\u0161te koncepcije u mom slobodnom prevodu, a detaljnije se mo\u017ee upoznati sa njom <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/krisajenkins\/yesql#rationale\">ovde<\/a><\/noindex>.<\/p>\n<p><\/p>\n<blockquote><p>Clojure je sjajan jezik za izradu DSL-ova, ali SQL ve\u0107 samo po sebi predstavlja sjajan DSL, i ne trebamo jo\u0161 jedan. S-izraz je predivan, ali ovde ne dodaje ni\u0161ta novo. Na kraju dobijamo zagrade radi zagrada. Ne sla\u017eete se? Onda \u010dekajte trenutak kada apstrakcija iznad baze po\u010dne curiti, i zapo\u010de\u0107ete borbu s funkcijom <em>(raw-sql)<\/em><\/p>\n<p>I \u0161ta sada raditi? Ostavimo SQL obi\u010dnim SQL-om \u2014 jedan fajl za jedan upit:<\/p><\/blockquote>\n<p><\/p>\n<pre><code class=\"sql\">-- ime: korisnici-po-dr\u017eavi\nselect *\n  from users\n where country_code = :country_code<\/code><\/pre>\n<p><\/p>\n<blockquote><p>\u2026 a zatim pro\u010ditajte ovaj fajl, pretvaraju\u0107i ga u obi\u010dnu Clojure funkciju:<\/p><\/blockquote>\n<p><\/p>\n<pre><code class=\"lisp\">(defqueries \"some\/where\/users_by_country.sql\"\n   {:connection db-spec})\n\n;;; Funkcija sa imenom `users-by-country` je stvorena.\n;;; Hajde da je koristimo:\n(users-by-country {:country_code \"GB\"})\n;=&gt; ({:name \"Kris\" :country_code \"GB\" ...} ...)<\/code><\/pre>\n<p><\/p>\n<blockquote><p>Odr\u017eavaju\u0107i princip \"SQL odvojeno, Clojure odvojeno\", dobijate:<\/p>\n<ul>\n<li>Bez sintakti\u010dkih iznena\u0111enja. Va\u0161a baza podataka (kao i svaka druga) ne odgovara SQL standardu 100% \u2014 ali za Yesql to nije va\u017eno. Nikada ne\u0107ete tro\u0161iti vreme na tra\u017eenje funkcija sa sintaksom ekvivalentnom SQL-u. Nikada se ne\u0107ete morati vra\u0107ati na funkciju <em>(raw-sql \"some ('funky' :: SYNTAX)\")<\/em>.<\/li>\n<li>Najbolja podr\u0161ka ure\u0111iva\u010du. Va\u0161 ure\u0111iva\u010d ve\u0107 ima odli\u010dnu podr\u0161ku za SQL. \u010cuvaju\u0107i SQL kao SQL, jednostavno ga mo\u017eete koristiti.<\/li>\n<li>Kompatibilnost sa timom. Va\u0161i DBA-ovi mogu \u010ditati i pisati SQL koji koristite u svom Clojure projektu.<\/li>\n<li>Jednostavnija pode\u0161avanja performansi. Potrebno je izraditi plan za problemati\u010dan upit? Nema problema, kada je va\u0161 upit obi\u010dan SQL.<\/li>\n<li>Ponovno kori\u0161\u0107enje upita. Povedite iste SQL-fajlove u druge projekte, jer je to jednostavno stari dobri SQL \u2014 jednostavno ih podelite.<\/li>\n<\/ul>\n<p>\n<\/p><\/blockquote>\n<p>Po mom mi\u0161ljenju, ideja je veoma cool i istovremeno jednostavna, \u0161to je omogu\u0107ilo projektu da dobije brojne <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/krisajenkins\/yesql#other-languages\">sledbenike<\/a><\/noindex> na raznim jezicima. A mi \u0107emo dalje poku\u0161ati primeniti sli\u010dnu filozofiju odvajanja SQL koda od svega ostalog daleko izvan ORM-a.<\/p>\n<p><\/p>\n<h5 id=\"ide--db-menedzhery\">IDE &amp; DB-upravlja\u010di<\/h5>\n<p><\/p>\n<p>Zapo\u010dnimo s jednostavnom svakodnevnom zadatkom. \u010cesto moramo tra\u017eiti neke objekte u bazi podataka, na primjer, prona\u0107i tablicu u shemi i prou\u010diti njezinu strukturu (koji se stupci, klju\u010devi, indeksi, ograni\u010denja i drugo koriste). Od svake grafi\u010dke IDE ili bilo kojeg DB-managera, prvo \u0161to o\u010dekujemo su upravo te sposobnosti. Da bude brzo i da ne moramo \u010dekati pola sata da se otvori prozor s potrebnim informacijama (posebno pri sporoj vezi s udaljenom bazom podataka), i pritom da dobijemo svje\u017ee i aktualne informacije, a ne zastarjeli cache. \u0160to je baza podataka slo\u017eenija i ve\u0107a, to je te\u017ee to ostvariti.<\/p>\n<p><\/p>\n<p>Ali obi\u010dno odla\u017eem mi\u0161a na stranu i jednostavno pi\u0161em kod. Recimo da je potrebno saznati koje tablice (i s kojim svojstvima) se nalaze u shemi \"HR\". U ve\u0107ini SGBD-a \u017eeljeni rezultat mo\u017eemo dobiti ovakvim jednostavnim upitom iz information_schema:<\/p>\n<p><\/p>\n<pre><code class=\"sql\">select table_name\n     , ...\n  from information_schema.tables\n where schema = 'HR'<\/code><\/pre>\n<p><\/p>\n<p>Od baze do baze sadr\u017eaj takvih tabela-referenci varira ovisno o sposobnostima svake SGBD. I, na primjer, za MySQL iz ovog iste referentne osobe mo\u017eemo dobiti specifi\u010dne za ovu SGBD parametre tabele:<\/p>\n<p><\/p>\n<pre><code class=\"sql\">select table_name\n     , storage_engine -- Koristi se \"motor\" (\"MyISAM\", \"InnoDB\" itd)\n     , row_format     -- Format reda (\"Fixed\", \"Dynamic\" itd)\n     , ...\n  from information_schema.tables\n where schema = 'HR'<\/code><\/pre>\n<p><\/p>\n<p>Oracle ne mo\u017ee koristiti information_schema, ali ima <noindex><a rel=\"nofollow\" href=\"https:\/\/en.wikipedia.org\/wiki\/Oracle_metadata\">Oracle metadata<\/a><\/noindex>, i ne nastaju velike probleme:<\/p>\n<p><\/p>\n<pre><code class=\"sql\">select table_name\n     , pct_free       -- Minimum slobodnog prostora u podatkovnom bloku (%)\n     , pct_used       -- Minimum kori\u0161tenog prostora u podatkovnom bloku (%)\n     , last_analyzed  -- Datum posljednjeg prikupljanja statistike\n     , ...\n  from all_tables\n where owner = 'HR'<\/code><\/pre>\n<p><\/p>\n<p>Nije izuzetak ni ClickHouse:<\/p>\n<p><\/p>\n<pre><code class=\"sql\">select name\n     , engine -- Koristi se \"motor\" (\"MergeTree\", \"Dictionary\" itd)\n     , ...\n  from system.tables\n where database = 'HR'<\/code><\/pre>\n<p><\/p>\n<p>Ne\u0161to sli\u010dno mo\u017ee se u\u010diniti i u Cassandri (gdje postoje columnfamilies umjesto tablica i keyspace-ovi umjesto shema):<\/p>\n<p><\/p>\n<pre><code class=\"sql\">select columnfamily_name\n     , compaction_strategy_class  -- Strategija skupljanja sme\u0107a\n     , gc_grace_seconds           -- Vrijeme \u017eivota sme\u0107a\n     , ...\n  from system.schema_columnfamilies\n where keyspace_name = 'HR'<\/code><\/pre>\n<p><\/p>\n<p>Za ve\u0107inu ostalih baza podataka tako\u0111er se mogu smisliti sli\u010dni upiti (\u010dak i u Mongo postoje <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.mongodb.com\/manual\/reference\/system-collections\/#%3Cdatabase%3E.system.namespaces\">specijalna sistemska kolekcija<\/a><\/noindex>, koja sadr\u017ei informacije o svim kolekcijama u sistemu).<\/p>\n<p><\/p>\n<p>Naravno, ovim na\u010dinom mo\u017eemo dobiti informacije ne samo o tablicama, ve\u0107 o bilo kojem objektu. Povremeno dobri ljudi dijele takav kod za razli\u010dite baze podataka, kao, na primjer, u seriji \u010dlanaka na Habr-u \"Funkcije za dokumentiranje baza podataka PostgreSQL\" (<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/post\/415575\">ajb<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/post\/415897\">ben<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/post\/418597\">gim<\/a><\/noindex>). Naravno, zadr\u017eati cijeli ovaj niz upita u glavi i neprestano ih knji\u017eiti \u2014 to je \"ne\u0161to\" zadovoljstvo, stoga u svom omiljenom IDE\/u ure\u0111iva\u010du imam unaprijed pripremljeni set snippeta za \u010desto kori\u0161tene upite, i ostaje samo unijeti imena objekata u \u0161ablon.<\/p>\n<p><\/p>\n<p>U kona\u010dnici, ovakav na\u010din navigacije i pretra\u017eivanja objekata je mnogo fleksibilniji, \u0161tedi puno vremena i omogu\u0107ava vam da dobijete upravo one informacije i u onom obliku koji vam je sada potreban (kao \u0161to je, na primjer, opisano u postu <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/company\/JetBrains\/blog\/342094\">\"Izvoz podataka iz baze podataka u bilo kojem formatu: \u0161to sve mogu IDE-ovi na platformi IntelliJ\"<\/a><\/noindex>).<\/p>\n<p><\/p>\n<h5 id=\"operacii-s-obektami\">Operacije sa objektima<\/h5>\n<p><\/p>\n<p>Nakon \u0161to smo prona\u0161li i prou\u010dili potrebne objekte, pravo je vrijeme da s njima u\u010dinimo ne\u0161to korisno. Naravno, tako\u0111er ne podi\u017eu\u0107i prste sa tastature.<\/p>\n<p><\/p>\n<p>Nije tajna da \u0107e jednostavno brisanje tabele izgledati gotovo identi\u010dno u svim bazama podataka:<\/p>\n<p><\/p>\n<pre><code class=\"sql\">drop table hr.persons<\/code><\/pre>\n<p><\/p>\n<p>Stvaranje tabela je ve\u0107 zanimljivije. Gotovo svaka DBMS (uklju\u010duju\u0107i mnoge NoSQL) u jednom ili drugom obliku mo\u017ee izvr\u0161iti \"create table\", a osnovni deo se malo razlikuje (ime, lista kolona, tipovi podataka), ali ostali detalji mogu se drasti\u010dno razlikovati i zavise od unutra\u0161nje strukture i mogu\u0107nosti konkretne DBMS. Moj omiljeni primer \u2014 u dokumentaciji Oracle postoji samo \"golih\" BNF za sintaksu \"create table\". <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.oracle.com\/en\/database\/oracle\/oracle-database\/19\/sqlrf\/sql-language-reference.pdf\">zauzimaju 31 stranicu<\/a><\/noindex>. Druge DBMS imaju skromnije mogu\u0107nosti, ali svaka od njih tako\u0111e poseduje mno\u0161tvo zanimljivih i jedinstvenih karakteristika za kreiranje tabela (<noindex><a rel=\"nofollow\" href=\"https:\/\/www.postgresql.org\/docs\/current\/static\/sql-createtable.html\">postgres<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/dev.mysql.com\/doc\/refman\/8.0\/en\/create-table.html\">mysql<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/www.cockroachlabs.com\/docs\/stable\/create-table.html#expanded\">cockroach<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.datastax.com\/en\/cql\/3.3\/cql\/cql_reference\/cqlCreateTable.html\">cassandra<\/a><\/noindex>). Malo je verovatno da \u0107e neki grafi\u010dki \"wizard\" iz jo\u0161 jedne IDE (posebno univerzalne) mo\u0107i potpuno pokriti sve te sposobnosti, a \u010dak i ako mo\u017ee, to \u0107e biti prizor koji nije za slabe \u017eivce. U isto vreme, pravilno i na vreme napisan operator <strong><em>create table<\/em><\/strong> omogu\u0107i\u0107e vam da lako iskoristite sve njih, u\u010dinite \u010duvanje i pristup va\u0161im podacima pouzdanim, optimalnim i maksimalno udobnim.<\/p>\n<p><\/p>\n<p>Tako\u0111e, mnoge DBMS imaju svoje specifi\u010dne tipove objekata koji nedostaju u drugim DBMS. Pritom mo\u017eemo izvr\u0161avati operacije ne samo nad objektima Baze podataka, ve\u0107 i nad samom DBMS, na primer \"ubiti\" proces, osloboditi neki deo memorije, uklju\u010diti pra\u0107enje, pre\u0107i u \"read only\" re\u017eim i jo\u0161 mnogo toga.<\/p>\n<p><\/p>\n<h5 id=\"a-teper-nemnogo-porisuem\">A sada malo da crtamo<\/h5>\n<p><\/p>\n<p>Jedan od naj\u010de\u0161\u0107ih zadataka \u2014 izgraditi dijagram sa objektima Baze podataka, da na lepoj slici vidimo objekte i veze me\u0111u njima. To mo\u017ee gotovo svaka grafi\u010dka IDE, pojedina\u010dne \"command line\" alate, specijalizovane grafi\u010dke alate i modelere. Koji \u0107e vam ne\u0161to nacrtati \"kako umeju\", a malo uticati na ovaj proces mo\u017ee se samo pomo\u0107u nekoliko parametara u konfiguracionom fajlu ili kva\u010dica u interfejsu.<\/p>\n<p><\/p>\n<p>Me\u0111utim, ovaj problem mo\u017ee se rije\u0161iti mnogo jednostavnije, fleksibilnije i elegantrnije, naravno uz pomo\u0107 koda. Za izgradnju dijagrama bilo koje slo\u017eenosti imamo nekoliko specijaliziranih jezika za ozna\u010davanje (DOT, GraphML itd.), a uz njih cijeli niz aplikacija (GraphViz, PlantUML, Mermaid) koje mogu \u010ditati takve upute i vizualizirati ih u raznim formatima. A informacije o objektima i vezama izme\u0111u njih ve\u0107 znamo kako dobiti.<\/p>\n<p><\/p>\n<p>Prika\u017eimo mali primjer onoga kako bi to moglo izgledati, koriste\u0107i PlantUML i <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/postgrespro\/blog\/316428\/\">demonstracijske baze podataka za PostgreSQL<\/a><\/noindex> (s lijeve strane SQL upit koji generira potrebnu uputu za PlantUML, a s desne strane rezultat):<\/p>\n<p>\n<img decoding=\"async\" alt=\"\u201eDatabase as Code\u201c Iskustvo\" src=\"\/wp-content\/uploads\/2020\/06\/c5cb2a138df1527abe47cbf8d695cb36.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<pre><code class=\"sql\">select '@startuml'||chr(10)||'hide methods'||chr(10)||'hide stereotypes' union all\nselect distinct ccu.table_name || ' --|&gt; ' ||\n       tc.table_name as val\n  from table_constraints as tc\n  join key_column_usage as kcu\n    on tc.constraint_name = kcu.constraint_name\n  join constraint_column_usage as ccu\n    on ccu.constraint_name = tc.constraint_name\n where tc.constraint_type = 'FOREIGN KEY'\n   and tc.table_name ~ '.*' union all\nselect '@enduml'<\/code><\/pre>\n<p><\/p>\n<p>A ako se malo potrudimo, mo\u017eemo na osnovu <noindex><a rel=\"nofollow\" href=\"https:\/\/gist.github.com\/QuantumGhost\/0955a45383a0b6c0bc24f9654b3cb561\">ER-templata za PlantUML<\/a><\/noindex> dobiti ne\u0161to \u0161to li\u010di na pravi ER-dijagram:<\/p>\n<p><\/p>\n<p>                        <b class=\"spoiler_title\">SQL upit malo slo\u017eeniji<\/b><\/p>\n<pre><code class=\"sql\">-- Naslov\nselect &#039;@startuml\n        !define Table(name,desc) class name as &quot;desc&quot; &lt;&lt; (T,#FFAAAA) &gt;&amp;gt;\n        !define primary_key(x) &lt;b&gt;x&lt;\/b&gt;\n        !define unique(x) &lt;color:green&gt;x&lt;\/color&gt;\n        !define not_null(x) &lt;u&gt;x&lt;\/u&gt;\n        hide methods\n        hide stereotypes&#039;\n union all\n-- Tabele\nselect format(&#039;Table(%s, &quot;%s n informacije o %s&quot;) {&#039;||chr(10), table_name, table_name, table_name) ||\n       (select string_agg(column_name || &#039; &#039; || upper(udt_name), chr(10))\n          from information_schema.columns\n         where table_schema = &#039;public&#039;\n           and table_name = t.table_name) || chr(10) || &#039;}&#039;\n  from information_schema.tables t\n where table_schema = &#039;public&#039;\n union all\n-- Veze izme\u0111u tabela\nselect distinct ccu.table_name || &#039; &quot;1&quot; --&amp;gt; &quot;0..N&quot; &#039; || tc.table_name || format(&#039; : &quot;A %s mo\u017ee imati mnogo %s&quot;&#039;, ccu.table_name, tc.table_name)\n  from information_schema.table_constraints as tc\n  join information_schema.key_column_usage as kcu on tc.constraint_name = kcu.constraint_name\n  join information_schema.constraint_column_usage as ccu on ccu.constraint_name = tc.constraint_name\n where tc.constraint_type = &#039;FOREIGN KEY&#039;\n   and ccu.constraint_schema = &#039;public&#039;\n   and tc.table_name ~ &#039;.*&#039;\n union all\n-- Podno\u017eje\nselect &#039;@enduml&#039;<\/code><\/pre>\n<p>\n<img decoding=\"async\" alt=\"\u201eDatabase as Code\u201c Iskustvo\" src=\"\/wp-content\/uploads\/2020\/06\/bd45420a4fd1bdfcf20cbe74a0638c7b.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p>Ako pa\u017eljivo pogledamo, mnogi alati za vizualizaciju koriste sli\u010dne upite. Me\u0111utim, ti upiti obi\u010dno su duboko <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/pgmodeler\/pgmodeler\/blob\/9c615c0b0871df3cd649983ce61e802b0ff0137b\/schemas\/catalog\/table.sch\">\"za\u0161iti\" u kod samog aplikacije i te\u0161ki su za razumevanje<\/a><\/noindex>, a da ne spominjemo bilo kakvu modifikaciju.<\/p>\n<p><\/p>\n<h5 id=\"metriki-i-monitoring\">Metrije i monitoring<\/h5>\n<p><\/p>\n<p>Prelazimo na tradicionalno slo\u017eenu temu \u2013 pra\u0107enje performansi baze podataka. Seti\u0107u se jedne kratke istinite pri\u010de koju mi je ispri\u010dao \"jedan moj prijatelj\". Na jednom projektu postojao je mo\u0107ni DBA, a malo njih od developera ga je li\u010dno poznavalo ili ga uop\u0161te videlo (uprkos tome \u0161to je, prema pri\u010dama, radio negde u susednoj kancelariji). U \u010das \"X\", kada je proizvodni sistem velikog maloprodavca ponovo po\u010dinjao da \"lo\u0161e funkcioni\u0161e\", on je tiho slao snimke grafikona iz Oracle Enterprise Managera, na kojima je pa\u017eljivo ozna\u010davao kriti\u010dna mesta crvenom markerom za \"jasno\u0107u\" (to, blago re\u010deno, malo je pomoglo). I tako se ta \"fotografija\" koristila za re\u0161avanje problema. Pri tome, niko nije imao pristup dragocenom (u oba smisla te re\u010di) Enterprise Manageru, jer je sistem slo\u017een i skup, pa da ne do\u0111e do toga da \"developeri ne\u0161to pogre\u0161no urade i sve pokvare\". Zato su razvija\u010di \"empirijskim\" putem pronalazili mesto i uzrok usporavanja i izbacivali ispravke. Ako zastra\u0161uju\u0107e pismo od DBA nije ponovo stizalo u kratkom roku, svi su sa olak\u0161anjem uzdahnuli i vra\u0107ali se svojim trenutnim zadacima (do novog Pisma).<\/p>\n<p><\/p>\n<p>No, proces pra\u0107enja mo\u017ee izgledati mnogo veselije i prijateljskije, a najva\u017enije \u2013 dostupno i transparentno za sve. Bar deo koji se ti\u010de osnovnog monitorniga (koji je nesumnjivo koristan i u mnogim slu\u010dajevima nezamenljiv). Svaka DBMS je slobodna i potpuno besplatna da podeli informacije o svom trenutnom stanju i performansama. U istoj \"krvavoj\" Oracle DB gotovo sve informacije o performansama mogu se dobiti iz sistemskih prikaza, po\u010dev\u0161i od procesa i sesija pa do stanja bafer ke\u0161a (na primer, <noindex><a rel=\"nofollow\" href=\"https:\/\/oracle-base.com\/dba\/scripts\">DBA skripte<\/a><\/noindex>, odeljak \"Monitoring\"). U Postgresqlu tako\u0111e postoji \u010ditava gomila sistemskih prikaza za <noindex><a rel=\"nofollow\" href=\"https:\/\/www.postgresql.org\/docs\/current\/static\/monitoring-stats.html\">pra\u0107enje rada Baze Podataka<\/a><\/noindex>, posebno neophodni u svakodnevnom \u017eivotu svakog DBA, kao \u0161to su <noindex><a rel=\"nofollow\" href=\"https:\/\/www.postgresql.org\/docs\/current\/static\/monitoring-stats.html#PG-STAT-ACTIVITY-VIEW\">pg_stat_activity<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/www.postgresql.org\/docs\/current\/static\/monitoring-stats.html#PG-STAT-DATABASE-VIEW\">pg_stat_database<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/www.postgresql.org\/docs\/current\/static\/monitoring-stats.html#PG-STAT-BGWRITER-VIEW\">pg_stat_bgwriter<\/a><\/noindex>. U MySQL-u za to postoji \u010dak i poseban \u0161ema <noindex><a rel=\"nofollow\" href=\"https:\/\/dev.mysql.com\/doc\/refman\/8.0\/en\/performance-schema-table-descriptions.html\">performance_schema<\/a><\/noindex>. A u MongoDB-u je ugra\u0111eni <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.mongodb.com\/manual\/tutorial\/manage-the-database-profiler\/\">profiler<\/a><\/noindex> koji agnegrira podatke o performansama u sistemsku kolekciju <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.mongodb.com\/manual\/tutorial\/manage-the-database-profiler\/#view-profiler-data\">system.profile<\/a><\/noindex>.<\/p>\n<p><\/p>\n<p>Dakle, opremljeni nekim skanerom metrika (Telegraf, Metricbeat, Collectd), koji mo\u017ee izvoditi prilago\u0111ene sql upite, skladi\u0161tem tih metrika (InfluxDB, Elasticsearch, Timescaledb) i vizualizatorom (Grafana, Kibana), mo\u017eemo dobiti prili\u010dno lagan i fleksibilan sistem za nadzor, koji \u0107e biti usko integriran s drugim op\u0107im sistemskim metrikama (dobijenim, na primjer, sa serverskih aplikacija, iz OS-a itd.). Kao \u0161to je to ostvareno u pgwatch2, gdje se koristi kombinacija InfluxDB + Grafana i skup upita na sistemskim prikazima, kojima se tako\u0111e mogu <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/cybertec-postgresql\/pgwatch2#adding-metrics\">dodati prilago\u0111eni upiti<\/a><\/noindex>.<\/p>\n<p><\/p>\n<h2 id=\"itogo\">U ukupnom zbiru<\/h2>\n<p><\/p>\n<p>I ovo je samo pribli\u017ean popis onoga \u0161to se mo\u017ee u\u010diniti s na\u0161om bazom podataka putem obi\u010dnog SQL koda. Uvjeravam vas, sigurno mo\u017eete prona\u0107i jo\u0161 mnogo primjena, pi\u0161ite u komentarima. A o tome kako (i \u0161to je najva\u017enije za\u0161to) automatizirati i uklju\u010diti sve to u svoj CI\/CD pipeline razgovarat \u0107emo sljede\u0107i put.<\/p>\n<p>Izvor: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/426833\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>SQL, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0449\u0435? \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0430\u0441 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u0438\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u2014 \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u043c select, \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u043a\u043e\u043b\u043e\u043d\u043a\u0438, \u0437\u0430\u0442\u0435\u043c from, \u0438\u043c\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u0439 \u0432 where \u0438 \u0432\u0441\u0435 \u2014 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0443 \u043d\u0430\u0441 \u0432 \u043a\u0430\u0440\u043c\u0430\u043d\u0435, \u043f\u0440\u0438\u0447\u0435\u043c (\u043f\u043e\u0447\u0442\u0438) \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0442\u043e\u0433\u043e \u043a\u0430\u043a\u0430\u044f \u0421\u0423\u0411\u0414 \u0432 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c (\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438 \u043d\u0435 \u0421\u0423\u0411\u0414 \u0432\u043e\u0432\u0441\u0435). \u0412 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":83650,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-83649","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"SQL, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0449\u0435?\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/database-as-sode-experience\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"bs_BA\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u00abDatabase as \u0421ode\u00bb Experience | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"SQL, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0449\u0435?\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/database-as-sode-experience\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-06-02T05:42:21+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-06-02T05:42:21+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47\u201eBaza podataka kao kod\u201c Iskustvo | ProHoster","description":"SQL, \u0161to jednostavnije mo\u017ee biti?","canonical_url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/database-as-sode-experience","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"bs_BA","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u00abDatabase as \u0421ode\u00bb Experience | ProHoster","og:description":"SQL, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0449\u0435?","og:url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/database-as-sode-experience","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-06-02T05:42:21+00:00","article:modified_time":"2020-06-02T05:42:21+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"83649","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 15:13:28","updated":"2022-10-02 10:23:46","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/83649","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/comments?post=83649"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/83649\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media\/83650"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media?parent=83649"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/categories?post=83649"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/tags?post=83649"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}