Mnogi koji već koriste — našu uslugu vizualizacije planova PostgreSQL, možda nisu upoznati s jednom od njenih supermoći — pretvaranjem teško čitljivog dela loga servera…

… u lepo formatiran upit s kontekstualnim savjetima o relevantnim čvorovima plana:

U ovoj obradi druge polovice svog ispričaću kako smo uspeli to da učinimo.
Sa transkriptom prve polovine, posvećene tipičnim problemima performansi upita i njihovim rešenjima, možete se upoznati u članku .

Prvo ćemo se pozabaviti obojanjem — i obojati ćemo već ne plan, on je već obojen, lep i jasan, već upit.
S obzirom na to da nam se čini da tako neformatirana "plahta" izvučena iz loga izgleda veoma ružno i zbog toga — nezgodno.

Pogotovo kada programeri u kodu "lepe" telo upita (to je, naravno, antipattern, ali se dešava) u jedan red. Strašno!
Hajde da to nacrtamo na neki lepši način.

A ako možemo to nacrtati lepo, to jest razbiti i ponovo sastaviti telo upita, onda možemo i svakom objektu ovog upita "priključiti" savjet — šta se dešavalo u odgovarajućem trenutku plana.
Sintaktičko stablo upita
Da bismo to postigli, upit prvo treba da razbivimo.

Pošto je naš , napravili smo modul za njega, možete . U stvarnosti, ovo su prošireni "bindingi" za unutrašnjost samog parsera PostgreSQL. To jest, jednostavno je binarno kompajlirana gramatika i na nju su napravljeni bindingi sa strane NodeJS. Uzeli smo u obzir tuđe module — ovde nema velike tajne.
Dajemo telo upita kao ulaz u našu funkciju — na izlazu dobijamo razloženo sintaktičko stablo u obliku JSON objekta.

Sad možemo proći kroz ovo stablo u obrnutom smeru i sastaviti upit s tim razmacima, obojanjem, formatiranjem, koje želimo. Ne, to nije podešeno, ali nam se učinilo da bi to upravo tako bilo zgodno.

Mapiranje čvorova upita i plana
Sada ćemo pogledati kako možemo kombinovati plan koji smo razbili u prvom koraku i upit koji smo razbili u drugom.
Uzmimo jednostavan primjer — imamo upit koji formira CTE i čita iz njega dva puta. Generira takav plan.

CTE
Ako se pažljivo pogleda, do 12. verzije (ili počevši od nje s ključnom riječi MATERIALIZED) formiranje .

Ako vidimo negdje u upitu generaciju CTE i negdje u planu čvor CTE, ti čvorovi se sigurno 'sudaraju', odmah ih možemo spojiti.
Zadatak 's zvjezdicom': CTE mogu biti ugniježdeni.

Mogu biti vrlo loše ugniježdeni, pa čak i s istim nazivom. Na primjer, možete unutar CTE A napraviti CTE X, i na istoj razini unutar CTE B opet napraviti CTE X:
WITH A AS (
WITH X AS (...)
SELECT ...
)
, B AS (
WITH X AS (...)
SELECT ...
)
...Pri usporedbi morate to razumjeti. Razumjeti 'očima' — čak i gledajući plan, čak i gledajući tijelo upita — vrlo je teško. Ako je vaša generacija CTE složena, ugniježdena, upiti veliki — tada to postaje potpuno neosviješteno.
UNION
Ako imamo u upitu ključnu riječ UNION [ALL] (operator za spajanje dviju selekcija), tada mu u planu odgovara ili čvor Dodaj, ili neki Rekurzivna Unija.

Ono što je 'iznad' našeg čvora je prvi potomak, a 'ispod' je drugi. Ako imamo nekoliko blokova 'zalijepljenih' preko UNION , čvor će i dalje biti samo jedan, ali će imati više djece — redom kako idu: UNION (...) -- #1 UNION ALL (...) -- #2 UNION ALL (...) -- #3 DodajAppend -> ... #1 -> ... #2 -> ... #3
: unutar generacije rekurzivne selekcije () također može biti više od jednog
Zadatak 's zvjezdicom'. Ali uvijek je rekurzivni samo posljednji blok nakon posljednjegWITH RECURSIVE. Sve što je iznad — to je jedan, ali drugi UNIONWITH RECURSIVE T AS( (...) -- #1 UNION ALL (…) -- #2, ovdje završava generacija početnog stanja rekurzije UNION ALL (...) -- #3, samo ovaj blok je rekurzivan i može sadržavati poziv na T ) ... UNIONTakve primjere također treba znati 'razdvojiti'. U ovom primjeru vidimo da UNION:
-segmenta u našem upitu je bilo 3. Odnosno, jednom -čvor, a drugom — UNIONČitanje-pisanje podataka UNION odgovara DodajSve, razložili smo, sada znamo koji dio upita odgovara kojem dijelu plana. I u tim djelovima lako možemo pronaći objekte koji se 'čitaju'. Rekurzivna Unija.

S gledišta upita ne znamo — je li to tabela ili CTE, ali označavaju se istim čvorom.
Sve, rasporedili smo, sada znamo koji deo zahteva odgovara kojem delu plana. I u tim delovima lako možemo pronaći objekte koji se 'čitaju'.
Iz perspektive zahteva ne znamo da li je to tabela ili CTE, ali se obeležavaju istim čvorom RasponVar. A u planu "pročita" — to je također prilično ograničen skup čvorova:
Sekvencijalno pretraživanje na [tbl]Bitmap heap skeniranje na [tbl]Indeks [Samo] Skeniranje [Unazad] koristeći [idx] na [tbl]CTE Skener na [cte]Umetni/Ažuriranje/Obriši na [tbl]
Znamo strukturu plana i upita, znamo usklađenost blokova, znamo imena objekata — radimo jasnu mapu.

Ponovno zadatak "sa zvjezdicom". Uzimamo upit, izvršavamo ga, nemamo nikakve alias-e — jednostavno dva puta čitamo iz jedne CTE.

Pogledajmo u plan — koja je to šteta? Zašto nam se pojavila alias? Nismo ga tražili. Odakle on "numerički"?
PostgreSQL ga sam dodaje. Treba jednostavno razumjeti da takav alias za naše svrhe usklađivanja s planom nema nikakvog smisla, on je jednostavno ovdje dodat. Nećemo ga obraćati pažnju.
Drugi zadatak "sa zvjezdicom": ako čitamo iz particionirane tabele, dobit ćemo čvor Dodaj ili Spoji Dodaj, koji će se sastojati od velikog broja "djece", i svako od njih će biti neki Scan' iz tabele-particije: Sekvencijalno pretraživanje, Bitmap heap skeniranje ili Index Scan. Ali, u svakom slučaju, ta "djeca" neće biti složeni upiti — tako se ti čvorovi mogu razlikovati od Dodaj tokom UNION.

Takve čvorove također razumijemo, okupljamo ih "u jednu gomilu" i kažemo: "sve što si čitao iz megatable — to je ovdje i niz drveća".
"Prosti" čvorovi za dobijanje podataka

Skener vrijednosti u planu odgovara VALUES u upitu.
Rezultat — to je upit bez FROM neka vrsta SELECT 1. Ili kada imate unaprijed lažan izraz u GDJE-bloku (onda se javlja atribut One-Time Filter):
EXPLAIN ANALYZE
SELECT * FROM pg_class WHERE FALSE; -- ili 0 = 1Rezultat (cena=0.00..0.00 redova=0 širina=230) (aktuelno vreme=0.000..0.000 redova=0 petlji=1)
One-Time Filter: false
Funkcija Skeniranja "mapiraju" se na istoimene SRF.
A sa ugniježdenim upitima je sve složenije — nažalost, oni se ne pretvaraju uvek u InicijalniPlan/SubPlan. Ponekad se pretvaraju u ... Join ili ... Anti Join, posebno kada pišete nešto poput WHERE NOT EXISTS .... I tu se ne može uvek kombinovati — u tekstu plana nema odgovarajućih čvorova plan operatera.
Ponovno zadatak "sa zvjezdicom": nekoliko VALUES u upitu. U ovom slučaju i u planu dobit ćete nekoliko čvorova Skener vrijednosti.

Razlikovati ih jedne od drugih pomoći će "numerički" sufiksi — oni se dodaju upravo u redosledu pronalaska odgovarajućih VALUES- blokova tokom upita odozgo prema dolje.
Obrada podataka
Izgleda da smo sve u našem upitu razjasnili — ostao je samo Ograničenje.

Ali ovdje je sve jednostavno — takvi čvorovi se "mapiraju" jedan-na-jedan na odgovarajuće operatore u upitu, ako ih tamo ima. Ovdje nema "zvjezdica" i komplikacija. Ograničenje, Sortiraj, Agregirati, WindowAgg, Jedinstven Teškoće se javljaju kada želimo spojiti

JOIN
između sebe. To nije uvek moguće, ali može. JOIN među sobom. To nije uvek moguće, ali je izvodljivo.

Iz perspektive parsera upita, imamo čvor PridružiSe, koji ima tačno dva potomka — lijevi i desni. To su, redom, ono što je "iznad" vašeg JOIN-a i ono što je "ispod" njega u upitu.
A iz perspektive plana to su dva potomka nekog * Petlja/* Pridružite se-čvora. Ugniježdena petlja, Hash Anti Join,… — nešto tako.
Koristimo jednostavnu logiku: ako imamo tabele A i B, koje se "spajaju" jedna s drugom u planu, onda su u upitu mogle biti postavljene ili A-JOIN-B, or B-JOIN-A. Pokušaćemo ih spojiti tako, pokušaćemo ih spojiti obrnuto, i tako dok takvi parovi ne nestanu.
Uzmimo naše sintaktičko drvo, uzmimo naš plan, pogledajmo ih... ne liči!

Ponovo ćemo ih nacrtati u obliku grafova — oh, već počinje da liči na nešto!

Obratimo pažnju da imamo čvorove koji imaju djecu B i C — nije nam važno kojim redoslijedom. Spojit ćemo ih i okrenuti sliku čvora.

Pogledajmo još jednom. Sada imamo čvorove sa djecom A i parovima (B + C) — spojimo i njih.

Odlično! Ispostavlja se da smo ova dva JOIN iz upita s čvorovima plana uspješno spojili.
Nažalost, ova zadaća se ne može uvijek riješiti.

Na primjer, ako u upitu A JOIN B JOIN C, a u planu su se prvo spojili "krajnji" čvorovi A i C. A u upitu nema takvog operatora, nemamo šta osvijetliti, nema na šta vezati savjet. Isto to važi i za "zarez", kada pišete A, B.
Ali, u većini slučajeva, skoro svi čvorovi se mogu "raspetljati" i dobiti ovakav profil vrijeme — doslovno, kao u Google Chrome-u, kada analizirate kod na JavaScriptu. Vidite koliko je vremena svaka linija i svaki operator "izvršavan".

A kako biste svemu ovome lakše pristupili, napravili smo skladištenje , gdje možete sačuvati i kasnije pronaći svoje planove zajedno sa asociranim upitima ili podijeliti link s nekim.
Ako trebate samo da pretvorite nečitljiv upit u razumljiv oblik, upotrijebite .

Izvor: habr.com
