Prezentacija iz 2020. godine Brusa Momzijana "Otkriće Postgres Lock Manager-a".

(Napomena: Sve SQL upite sa slajdova možete dobiti na ovoj poveznici: )
Zdravo! Divno je ponovo biti ovde u Rusiji. Želim se izvinuti što nisam mogao doći prošle godine, ali ove godine Ivan i ja imamo velike planove. Nadam se da ću biti ovde mnogo češće. Obračanje ovde, u Rusiji, mi je uvek drago. Posetiću Tjumene i Tver. Veoma sam uzbuđen što ću moći posetiti ta mesta.
Zovem se Brus Momzijan. Radim u EnterpriseDB i radim sa Postgres više od 23 godine. Živim u Filadelfiji, SAD. Putujem otprilike 90 dana godišnje. Posetim oko 40 konferencija. Moj , koji sadrži slajdove koje ću vam sada pokazati. Tako da posle konferencije možete preuzeti sa mog ličnog sajta. Takođe se nalazi oko 30 prezentacija. Kao i video i veliki broj blog postova, više od 500. Ovo je veoma informativan resurs. Ako vas zanima ovaj materijal, pozivam vas da ga iskoristite.
Pre toga sam bio predavač, profesor pre nego što sam počeo da radim sa Postgres. Uvek sam srećan kada mogu da vam kažem ono što planiram. Ovo je jedna od mojih najzanimljivijih prezentacija. Ova prezentacija sadrži 110 slajdova. Počet ćemo sa jednostavnim temama, a na kraju će izlaganje postati sve složenije i složenije, što će biti prilično izazovno.

Ovo je prilično neugodna tema. Blokiranje nije najpopularnija tema. Želimo da nestane. To je kao odlazak kod stomatologa.

- Blokiranje je problem za mnoge ljude koji rade sa bazama podataka i gde više procesa radi istovremeno. Potrebno je im blokiranje. Danas ću vam dati osnovno znanje o blokiranju.
- Identifikatori transakcija. Ovo je prilično dosadan deo prezentacije, ali ga treba razumeti.
- Zatim ćemo razgovarati o vrstama blokiranja. To je prilično mehanički deo.
- I zatim ćemo dati neke primere blokiranja. Ovo će biti prilično teško za razumevanje.

Hajde da razgovaramo o blokadama.

Terminologija je kod nas prilično složena. Koliko vas zna odakle je ovaj odlomak? Dvojica. To je iz igre koja se zove 'Kolosalna avantura u pećini'. To je bila tekstualna kompjuterska igra iz 80-ih, čini mi se. Tamo je trebalo da se uđe u pećinu, u labirint, a tekst se menjao, ali je sadržaj bio otprilike isti svaki put. Tako se ja sećam te igre.

Ovde vidimo nazive blokada koje smo dobili iz Oracle-a. Koristimo ih.

Ovde su termini koji me zbunjuju. Na primer, SHARE UPDATE EXCLUSIVE. Zatim SHARE RAW EXCLUSIVE. Iskreno, ovi nazivi nisu baš jasni. Pokušat ćemo ih detaljnije razmotriti. Neki sadrže reč 'share', što znači – odvojiti se. Neki sadrže reč 'exclusive' – ekskluzivan. U nekima su prisutne obe reči. Hteo bih da počnem s tim kako te blokade funkcionišu.

Takođe je vrlo važno reč 'dostup' – access. I reč 'row' – red. Čini se, raspodela pristupa, raspodela redova.

Još jedan problem koji treba shvatiti u Postgres-u, nažalost, neću moći da pričam o njemu u svom izlaganju, to je MVCC. Imam posebnu prezentaciju na ovu temu na svojoj veb stranici. I ako mislite da je ova prezentacija složena, onda je MVCC verovatno moja najteža. Ako vas zanima, možete je pogledati na sajtu. Možete pogledati video.

Još jedna stvar koju treba da razumemo – identifikatori transakcija. Mnoge transakcije ne mogu funkcionisati bez jedinstvenih identifikatora. Ovdje je objašnjenje šta je transakcija. U Postgres-u postoje dva sistema numerisanja transakcija. Znam, to nije baš lepo rešenje.

Takođe imajte na umu da će slajdovi biti prilično kompleksni za percepciju, zato treba obratiti pažnju na ono što je naglašeno crvenom bojom.

Gledamo. Crvenom bojom je istaknut broj transakcije. Ovde je prikazana funkcija SELECT pg_back. Ona vraća moju transakciju i ID te transakcije.
Još jedna stvar, ako vam se ova prezentacija sviđa i želite je pokrenuti u svojoj bazi podataka, možete proći putem ove veze označene ružičastom bojom i preuzeti SQL za ovu prezentaciju. Možete je jednostavno pokrenuti u svom PSQL-u i cela prezentacija će se odmah pojaviti na vašem ekranu. Neće sadržavati boje, ali barem ćemo je moći videti.

U ovom slučaju vidimo ID transakcije. To je broj koji smo joj dodelili. Postoji još jedan tip ID transakcije u Postgresu koji se zove virtuelni ID transakcije.
I moramo to da shvatimo. To je veoma važno, inače nećemo moći da razumemo blokadu u Postgresu.
Virtuelni ID transakcije je ID transakcije koji ne sadrži stalne vrednosti. Na primer, ako pokrećem komandu SELECT, verovatno neću menjati bazu podataka, neću ništa blokirati. Zbog toga, kada pokrećemo prost SELECT, ne dodeljujemo ovoj transakciji stalni ID. Tamo joj dodeljujemo samo virtuelni ID.
I to povećava performanse Postgresa, poboljšava mogućnosti za čišćenje, tako da se virtuelni ID transakcije sastoji od dva broja. Prvi broj pre kosa crte je ID backend-a. A s desne strane vidimo samo brojač.

Dakle, ako pokrenem upit, on kaže da je ID backend – 2.

A ako pokrenem seriju takvih transakcija, vidimo da se brojač svaki put povećava kada pokrenem upit. Na primer, kada pokrenem upit 2/10, 2/11, 2/12 itd.

Imajte na umu da ovde imamo dve kolone. S leva vidimo virtuelni ID transakcije – 2/12. A s desne strane imamo stalni ID transakcije. I ovo polje je prazno. Ova transakcija ne modifikuje bazu podataka. Zato joj ne dodeljujem stalni ID transakcije.

Čim pokrenem komandu analizirati (ANALYZE), isti upit mi daje stalni ID transakcije. Pogledajte kako se to promenilo. Pre nisam imao ovaj ID, sada se pojavio.

Dakle, ovde imamo još jedan upit, još jednu transakciju. Virtuelni broj transakcije je 2/13. I ako zatražim stalni ID transakcije, dobiću ga kada pokrenem upit.

Dakle, još jednom. Imamo virtuelni ID transakcije i stalni ID transakcije. Samo razumite tu tačku kako biste shvatili ponašanje Postgresa.

Prelazimo na treći deo. U ovom delu ćemo samo proći kroz različite tipove zaključavanja u Postgresu. To nije baš zanimljivo. Poslednji deo će biti mnogo zanimljiviji. Ali moramo razmotriti osnovne stvari, jer inače nećemo razumeti šta dolazi dalje.
Proći ćemo kroz ovaj deo i pogledati svaki tip zaključavanja. Pokazaću vam primere kako se postavljaju, kako funkcionišu, i pokazaću vam neke upite koje možete koristiti da vidite kako zaključavanje radi u Postgresu.

Da bismo kreirali upit i videli šta se dešava u Postgresu, moramo izvršiti upit u sistemskom pregledu. U ovom slučaju, crvenom bojom je označen pg_lock. Pg_lock je sistemska tabela koja nam kaže koje se zaključavanje trenutno koristi u Postgresu.
Ipak, veoma mi je teško da vam pokažem pg_lock sam po sebi, jer je to prilično složeno. Zato sam kreirao pregled koji prikazuje pg_locks. Takođe obavlja određeni posao za mene, što mi pomaže da bolje razumem. To jest, isključuje moja zaključavanja, moju sesiju itd. To je samo standardni SQL i omogućava mi da bolje pokažem šta se dešava.

Još jedan problem je što je ovaj pregled veoma širok, pa moram kreirati drugi - lockview2.
I on mi prikazuje još kolona iz tabele. I još jedan, koji mi prikazuje ostale kolone. To je dovoljno složeno, pa sam se trudio da to predstavim što jednostavnije.

Dakle, kreirali smo tabelu koja se zove Lockdemo. I dodali smo jedan red. To je naša uzorna tabela. I kreiraćemo sekcije da bismo vam jednostavno pokazali primere zaključavanja.

Dakle, jedan red, jedna kolona. Prvi tip zaključavanja se zove ACCESS SHARE. To je najmanje restriktivno zaključavanje. To znači da gotovo ne sukobljava sa ostalim zaključavanjima.
Ako želimo eksplicitno odrediti blokadu, pokrećemo komandu „lock table“. Ova komanda jasno blokira, tj. u režimu ACCESS SHARE pokrećemo lock table. Ako pokrenem PSQL u pozadini, pokrećem tako drugu sesiju iz svoje prve sesije. Šta ću ovde uraditi? Prelazim na drugu sesiju i kažem joj „prikaži mi lockview za ovaj upit“. I ovde imam AccessShareLock u ovoj tabeli. To je upravo ono što sam tražio. I ona kaže da je blokada dodeljena. Veoma jednostavno.

Dalje, ako pogledamo drugu kolonu, tamo nema ničega. One su prazne.

Ako izvršim komandu „SELECT“, to je implicitni (jasan) način zahtevati AccessShareLock. Zato otpuštam svoju tabelu i pokrećem upit, a upit vraća nekoliko redova. U jednom od redova vidimo AccessShareLock. Tako SELECT izaziva AccessShareLock u tabeli. Ova blokada praktično ne konfliktuje s ničim, jer je to blokada niskog nivoa.

Šta ako pokrenem SELECT i imam tri različite tabele? Ranije sam pokretao samo jednu tabelu, sada pokrećem tri: pg_class, pg_namespace i pg_attribute.

Sada, kada gledam upit, vidim 9 AccessShareLocks u tri tabele. Zašto? Plavom bojom su označene tri tabele: pg_attribute, pg_class, pg_namespace. Takođe možete videti da svi indeksi koji su definisani kroz ove tabele takođe imaju AccessShareLock.
Ova blokada praktično ne konfliktuje s drugima. Sve što radi je da nam ne dopušta da otpuštamo tabelu dok je biramo. To ima smisla. Tj. ako biramo tabelu, ona u tom trenutku nestaje, što nije ispravno, stoga AccessShare je niska nivo blokada koja nam kaže "ne brišite ovu tabelu dok radim". U suštini, to je sve što ona radi.

ROW SHARE – ova blokada je malo drugačija.

Uzmimo primer. SELECT ROW SHARE je način blokiranja svake linije pojedinačno. Tako niko ne može da ih obriše ili izmeni dok ih gledamo.
Dakle, šta radi SHARE LOCK? Vidimo da je ID transakcije 681 za SELECT. I to je zanimljivo. Šta se ovde desilo? Prvi put vidimo broj u polju „Lock“. Uzimamo ID transakcije, i on govori da ga blokira u ekskluzivnom režimu. Sve što radi je da kaže da imam red koji je tehnički blokiran negde u tabeli. Ali ne kaže gde tačno. Malo kasnije ćemo to detaljnije razmotriti.

Ovde govorimo da se blokada koristi od strane nas.

Dakle, ekskluzivna blokada eksplicitno (jasno) kaže da je ekskluzivna. I takođe, ako obrišete red u ovoj tabeli, to će se upravo desiti, kao što možete videti.

SHARE EXCLUSIVE – to je duža blokada.

To je (ANALYZE) komanda analitičara koja će se koristiti.

SHARE LOCK – možete eksplicitno blokirati u režimu deljenja.

Takođe možete kreirati jedinstveni indeks. I tamo možete videti SHARE LOCK, koji je deo toga. I on blokira tabelu i postavlja na nju SHARE LOCK.
Podrazumevana SHARE LOCK na tabeli znači da drugi mogu čitati tabelu, ali niko je ne može modifikovati. I to se dešava kada kreirate jedinstveni indeks.
Ako kreiram jedinstveni indeks istovremeno, biće drugačija vrsta blokade, jer, kao što se sećate, korišćenje istovremenih indeksa smanjuje zahteve za blokadom. I ako koristim normalnu blokadu, normalni indeks, tada ću tako sprečiti upis u indeks tabele tokom njegovog kreiranja. Ako koristim istovremeni indeks, moraću koristiti drugu vrstu blokade.

SHARE ROW EXCLUSIVE – opet, može se postaviti eksplicitno (jasno).

Ili možemo kreirati pravilo, tj. uzeti neki određeni slučaj u kojem će se koristiti.

EXCLUSIVE blokada znači da niko drugi ne može menjati tabelu.

Ovde vidimo različite vrste blokada.

ACCESS EXCLUSIVE, na primer, to je komanda za zaključavanje. Na primer, ako radite CLUSTER table, to će značiti da niko neće moći da upisuje tamo. I ona blokira ne samo samu tabelu, već i indekse takođe.

To je druga stranica blokade ACCESS EXCLUSIVE, gde konkretno vidimo šta blokira u tabeli. Blokira pojedinačne redove tabele, što je prilično zanimljivo.
Ovo su sve osnovne informacije koje sam hteo da pružim. Govorili smo o blokadama, o ID-jevima transakcija, govorili smo o virtuelnim ID-jevima transakcija, o stalnim ID-jevima transakcija.

Sada ćemo proći kroz primere blokada. To je najzanimljiviji deo. Pogledaćemo veoma zanimljive slučajeve. Moj zadatak u ovoj prezentaciji je da vam pružim bolju predstavu o tome šta Postgres zaista radi kada pokušava da blokira određene stvari. Čini mi se da veoma dobro blokira pojedine delove.
Razmotrimo određene primere.

Počećemo sa tabelama i jednom vrstom u tabeli. Kada nešto umetnem, pojavljuje se ExclusiveLock, ID transakcije i ExclusiveLock na tabeli.

A šta će se dogoditi ako umetnem još dva reda? Sada imamo tri reda u našoj tabeli. Umetnuo sam jedan red i dobio ovo kao izlaz. Ako umetnem još dva reda, šta je ovde neobično? Postoji neobičnost, jer sam dodao tri reda u ovu tabelu, ali još uvek imam dva reda u tabeli blokade. I to je u suštini temeljno ponašanje Postgresa.
Mnogi misle da ako u bazi podataka blokirate 100 redova, biće potrebno napraviti 100 unosa blokada. Ako blokiram odjednom 1.000 redova, tada će mi trebati 1.000 takvih zahteva. Ako mi je potrebno da blokiram milion ili milijardu. Ali ako budemo tako radili, to neće dobro funkcionisati. Ako ste koristili sistem koji pravi unose blokada za svaki pojedinačni red, vidite da je to komplikovano. Jer treba da odredite istovremeno tabelu blokade, koja može preplaviti, ali Postgres to ne radi.
Na ovom slajdu je veoma važno napomenuti da se ovde jasno pokazuje da postoji još jedan sistem koji radi unutar MVCC-a, koji blokira pojedinačne redove. Zato, kada blokirate milijarde redova, Postgres ne stvara milijardu pojedinačnih komandi za blokiranje. I to veoma pozitivno utiče na performanse.

Šta je sa ažuriranjem? Trenutno ažuriram red, i možete primijetiti da je odmah izvršio dvije različite operacije. Istovremeno je blokirao tabelu, ali je također blokirao i indeks. Trebalo je da blokira indeks jer postoje jedinstvena ograničenja na ovoj tabeli. Želimo biti sigurni da ga niko ne mijenja, zato ga blokiramo.

A šta ako želim ažurirati dva reda? Vidimo da se ponaša na isti način. Obavljamo dvostruko više ažuriranja, ali tačno onoliko redova blokiramo koliko i prije.
Ako vas zanima kako to Postgres radi, trebate poslušati moja izlaganja o MVCC-u da saznate kako Postgres interno označava te redove koje mijenja. Postgres ima način na koji to radi, ali ne radi to na nivou blokiranja tabela, već to radi na nižem i učinkovitijem nivou.

A šta ako želim nešto obrisati? Ako brišem, na primjer, jedan red i dalje imam svoja dva unosa o blokadama, i čak i ako želim obrisati sve njih, oni i dalje ostaju prisutni.

Na primjer, ako želim umetnuti 1.000 redova, a zatim ili obrisati ili dodati još 1.000 redova, pojedinačni redovi koje dodajem ili mijenjam, ne snimaju se ovdje. Oni se snimaju na nižoj razini unutar samog reda. I tokom izlaganja o MVCC-u govorio sam o tome u detalje. Ali je vrlo važno, kada analizirate blokade, osigurati da imate blokadu na nivou tabela i da ovdje ne vidite kako se pojedinačni redovi snimaju.

A šta je sa eksplicitnim zaključavanjem?

Ako pritisnem „ažuriraj“, tada imam dva zaključana reda. I ako ih sve selektujem i pritisnem „ažuriraj svuda“, i dalje imam dvije zapisane blokade.

Ne kreiramo posebne zapise za svaki pojedinačni red. Jer tada opada performansa, može ih biti previše. I možemo se naći u neugodnoj situaciji.

I isto tako, ako radimo shared, možemo to raditi 30 puta.

Obnavljamo našu tabelu, sve brišemo, a zatim ponovo umetnemo jedan red.

Još jedan tip ponašanja koji vidite u Postgresu je vrlo dobro poznato i poželjno ponašanje – možete izvoditi update ili select. I možete to raditi istovremeno. Select ne blokira update i obrnuto. Govorimo čitatelju da ne blokira onog koji piše, a onaj koji piše ne blokira čitatelja.
Pokazaću vam primer ovog. Sada ću napraviti izbor. Kasnije ćemo napraviti INSERT. I tada ćete moći da vidite – 694. Videćete ID transakcije koja je izvršila ovu umetanje. I to je način na koji to funkcioniše.

I ako sada pogledam svoj backend ID, postao je – 695.

I mogu da vidim da 695 pojavljuje u mojoj tabeli.

I ako ovde izvršim ažuriranje ovako, dobijam drugi slučaj. U ovom slučaju 695 – ekskluzivna blokada, a kod update-a ponašanje je isto, ali između njih ne dolazi do sukoba, što je prilično neobično.
I možete primetiti da je na vrhu – to je ShareLock, a na dnu – to je ExclusiveLock. I obe transakcije su se desile.
I treba poslušati moje predavanje o MVCC da bismo razumeli kako se to dešava. Ali, ovo je ilustracija da to možete raditi istovremeno, tj. istovremeno izvoditi SELECT i UPDATE.

Hajde da resetujemo i ponovo izvršimo jednu operaciju.

Ako pokušate da pokrenete dva update-a istovremeno na istom redu, biće blokirano. I zapamtite, rekao sam da čitatelj ne blokira pisca, a pisac čitatelja, ali jedan pisac blokira drugog pisca. To jest, ne možemo omogućiti da dve osobe istovremeno ažuriraju isti red. Moramo sačekati da jedan od njih završi.

I da bih to ilustrovao, pogledam Lockdemo tabelu. I pogledaćemo jedan red. Na transakciju 698.
Ažurirali smo to na 2. 699 – to je prvo ažuriranje. I prošlo je uspešno ili se nalazi u čekanju i očekuje da potvrdimo ili otkažemo.

Ali pogledajte nešto drugo – 2/51 – ovo je naša prva transakcija, naša prva sesija. 3/112 – to je drugi zahtev koji se pojavio i promenio ovu vrednost na 3. Ako primetite, gornji blokira samog sebe, tj. 699. Ali 3/112 nije izvršio blokadu. U koloni Lock_mode piše da čeka. Čeka 699. A ako pogledate gde je 699, on je iznad. Šta je uradila prva sesija? Napravila je ekskluzivnu blokadu na svom vlastitom transakcionom ID. To je način na koji Postgres to radi. On blokira sopstveni transakcioni ID. I ako želite čekati dok neko ne potvrdi ili otkaže, treba čekati dok postoji čekajući transakcija. I zato možemo videti čudnu liniju.
Hajde da pogledamo ponovo. S leve strane vidimo naše procesno ID. U drugoj koloni vidimo naš virtuelni ID transakcije, a u trećoj vidimo lock_type. Šta to znači? U suštini, to govori da blokira transakcioni ID. Ali primetite da u svim redovima ispod piše relation. I zato imate dva tipa blokada u tabeli. Postoji blokada relation. Takođe postoji blokada transactionid, gde sami blokirate, to je upravo ono što se dešava u prvom redu ili na samom dnu, gde transactionid, čekamo da 699 završi svoju operaciju.
Gledam šta se ovde dešava. I ovde se istovremeno dešavaju dve stvari. Gledate na blokadu po transakcionom ID u prvom redu, koja sama sebe blokira. I ona blokira samu sebe da bi natirala ljude da čekaju.
Ako pogledate 6. red, to je ista stavka kao i prva. I tako je transakcija 699 blokirana. 700 se takođe samoblokira. A zatim u donjem redu vidite da čekamo kada 699 završi svoju operaciju.

I u lock_type, tuple vidite brojeve.

Možete videti da je to 0/10. I to je broj stranice, kao i offset ove konkretne stavke.

I vidite da postaje 0/11 kada ažuriramo.

Ali u stvari – to je 0/10, jer se čeka na ovu operaciju. Imamo mogućnost da vidimo da je to taj redak koji čekam da potvrdim.

Kada smo ga potvrdili i pritisnuli commit, i kada je ažuriranje završeno, to je ono što ponovo dobijamo. Transakcija 700 je jedina blokada, ne čeka nikoga više, jer je zakomitana. Samo čeka da se transakcija završi. Kada 699 završi, ne čekamo više ništa. Sada transakcija 700 kaže da je sve u redu, da su sve blokade koje su joj potrebne na svim dozvoljenim tabelama.

I da bismo sve to dodatno zakomplikovali, kreiramo još jedan prikaz, koji će nam ovaj put pružiti hijerarhiju. Ne očekujem da razumete ovaj upit. Ali će nam dati jasniji uvid u to šta se dešava.

To je rekurzivni prikaz, koji takođe ima još jedan deo. I zatim ponovo vraća sve zajedno. Hajde da to iskoristimo.

Šta ako napravimo tri paralelna ažuriranja i kažemo da je red sada tri. I promenimo 3 u 4.

I evo vidimo 4. I transakcijski ID 702.

A zatim menja 4 u 5. A 5 u 6, a 6 u 7. I formiram red ljudi koji će čekati da ova jedna transakcija završi.

I sve postaje jasno. Koji je prvi red? To je 702. To je transakcijski ID koji je prvobitno postavio ovu vrednost. A šta piše u koloni Granted? Imam oznake. f. To su moja ažuriranja (5, 6, 7) koja ne mogu biti odobrena, jer čekamo da transakcijski ID 702 završi. Tamo imamo blokadu transakcijskog ID. I dobijamo 5 transakcijskih blokada ID.
I ako pogledate 704, na 705, tu još ništa nije napisano, jer još ne znaju šta se događa. Samo pišu, ne znajući šta se dešava. Samo će zaspati, jer čekaju da neko završi i probudi ih kada se ukaže prilika da promene red.

Ovako to izgleda. Jasno je da svi čekaju 12. red.

To je ono što smo ovde videli. Evo 0/12.

Dakle, kada je prva transakcija odobrena, možete videti kako funkcioniše hijerarhija. I sada postaje sve jasno. Svi postaju čisti. I zapravo su još uvek u čekanju.

Evo šta se dešava. 702 se komitira. A sada 703 dobija ovu blokadu reda, a zatim 704 počinje da čeka dok se 703 ne komitira. I 705 takođe čeka to. Kada se sve ovo završi, sami se rešavaju. Hteo bih da naglasim da se svi postavljaju u red. I to veoma podseća na situaciju u saobraćaju, gde svi čekaju prvu automobil. Prvi automobil se zaustavio i svi se postavljaju u dugačku liniju. Onda se pomera, zatim sledeći automobil može da prođe napred i dobije svoju blokadu, itd.

I ako vam se ovo učinilo nedovoljno složenim, sada ćemo razgovarati o deadlock-ovima. Ne znam ko od vas se susreo sa njima. To je prilično uobičajen problem u sistemima baza podataka. Deadlock-ovi su situacije kada jedna sesija čeka da nešto izvrši druga sesija. U tom trenutku druga sesija čeka da prva sesija izvrši nešto.
Na primer, ako Ivan kaže: „Daj mi nešto“, a ja kažem: „Ne, daću ti to samo ako mi daš nešto drugo“. A on kaže: „Ne, neću ti to dati ako ti ne daš“. I nalazimo se u situaciji deadlock-a. Siguran sam da Ivan to ne bi uradio, ali razumete poentu, imamo dvoje ljudi koji žele nešto da dobiju, a ne žele to da daju dok im druga osoba ne da ono što žele. I ovde nema rešenja.
U suštini, vaša baza podataka treba to da otkrije. Zatim je potrebno da se ukloni ili zatvori jedna od sesija, jer inače će tamo ostati zauvek. To vidimo u bazama podataka, vidimo to u operativnim sistemima. I u svim mestima gde imamo paralelne procese, to može da se desi.

Sada ćemo postaviti dva deadlock-a. Postavićemo 50 i 80. U prvom redu ću napraviti ažuriranje od 50 do 50. Naći ću broj transakcije 710.

Zatim ću promeniti 80 u 81, a 50 u 51.

Evo kako će to izgledati. Zato 710 ima blokadu reda, a 711 čeka potvrdu. Videli smo ovo tokom ažuriranja. 710 je vlasnik našeg reda. A 711 čeka da 710 završi transakciju.

Čak piše na kojem tačno redu se dešavaju deadlock-ovi. I tu stvari počinju da postaju čudne.

Sada ažuriramo 80 na 80.

I ovdje započinju mrtve blokade. 710 očekuje odgovor od 711, a 711 očekuje 710. I to se neće dobro završiti. I nema izlaza iz ovog problema. Čekat će međusobno odgovor.

I to će jednostavno sve početi usporavati. A to ne želimo.

U Postgresu postoje načini da se uoči kada se to događa. I kada se to dogodi, dobijate ovakvu grešku. To jasno pokazuje da jedan proces čeka SHARE LOCK od drugog procesa, odnosno koji je blokiran procesom 711. A taj je proces čekao da bude dodijeljen SHARE LOCK na određenom transakcijskom ID-u i bio je blokiran nekim procesom. Tako da imamo situaciju mrtve blokade.

A je li moguće trostruka mrtva blokada? Može li to biti moguće? Da.

Unosimo te brojeve u tabelu. Mijenjamo 40 u 40, vršimo blokadu.

Mijenjamo 60 u 61, 80 u 81.

A onda mijenjamo 80, a onda – bum!

I 714 sada čeka 715. 716 čeka 715. I s tim već ne možemo ništa učiniti.

Ovdje više nisu dva čovjeka, ovdje su već tri čovjeka. Ja želim nešto od tebe, on želi nešto od treće osobe, a treća osoba želi nešto od mene. I ulazimo u trostruko čekanje jer svi čekamo da druga osoba završi ono što treba uraditi.

I Postgres zna na kojem redu se to događa. I zato će vam dati sljedeću poruku koja pokazuje da imate problem gdje se tri ulaza međusobno blokiraju. I ovdje nema ograničenja. To može biti slučaj gdje 20 zapisa blokira jedni druge.

Sljedeći problem – to je serializable.

Ako dođe do posebno serializable blokade.

I vraćamo se na 719. Ima sasvim normalan ishod.

I možete kliknuti da napravite transakciju iz serializable.

I shvatate da sada imate drugi tip blokade SA – što znači serializable.


I zato imamo novi tip blokade koji se zove SARieadLock, koji je serijska blokada i omogućava unos serijskih brojeva.

Također možete umetati jedinstvene indekse.

U ovoj tabeli imamo jedinstvene indekse.

Dakle, ako ovdje upišem broj 2, imam 2. Ali na samom vrhu unosim još jednu 2. I možete vidjeti da 721 ima ekskluzivnu blokadu. Ali sada 722 čeka da 721 završi svoju operaciju, jer ne može umetati 2 dok ne zna što će se dogoditi s 721.

A ako radimo subtransaction.

Evo, imamo 723.

Ako zadržimo tačku i zatim je ažuriramo, dobijamo novi ID transakcije. Ovo je još jedno ponašanje koje treba da znate. Ako se vratimo na to, ID transakcije nestaje. 724 nestaje. Ali sada imamo 725.
Šta pokušavam da uradim ovde? Pokušavam da vam pokažem primere neobičnih blokada koje možete pronaći: bilo da su to serializable blokade ili SAVEPOINT – to su različite vrste blokada koje će se pojaviti u tabeli blokada.

To je kreiranje eksplicitnih (jasnih) blokada, koje imaju pg_advisory_lock.

Vidite da je tip blokade ovde naveden kao advisory. I ovde u crvenoj boji piše 'advisory'. I možete istovremeno zaključati s pg_advisory_unlock.

Na kraju, želeo bih da vam pokažem još jednu zanimljivu stvar. Kreiraću još jedan tip. Ali ću spojiti tabelu pg_locks sa tabelom pg_stat_activity. Zašto to radim? Zato što će mi omogućiti da pogledam i vidim sve trenutne sesije i koje blokade tačno očekuju. I to je prilično zanimljivo kada spojimo tabelu blokada i tabelu zahteva.

Ovde kreiramo pg_stat_view.

Ažuriramo red za jedan. I ovde vidimo 724. A zatim ažuriramo naš red na tri. Šta sada vidite ovde? Ovo su zahtevi, tj. vidite celu listu zahteva koja je navedena u levoj koloni. A zatim na desnoj strani možete videti blokade i ono što one kreiraju. I to može biti jasnije za vas, da ne morate svaki put vraćati se ka svakoj sesiji i gledati – da li treba da se pridružim ili ne. To za nas rade.
Još jedna funkcija koja je veoma korisna je pg_blocking_pids. Vjerovatno niste nikada čuli o tome. Šta ona radi? Omogućava nam da kažemo koji tačno ID procesi su za ovu sesiju 11740. Možete vidjeti da 11740 očekuje 724. A 724 je na vrhu. A 11306 je vaš ID proces. Suštinski, ova funkcija prolazi kroz vašu tabelu zaključavanja. Znam da to zvuči malo komplikovano, ali uspijevate to da razumijete. Suštinski, ova funkcija prolazi kroz tu tabelu i pokušava pronaći gdje je taj proces ID, s obzirom na zaključavanja koja ona očekuje. Takođe pokušava izračunati koji tačno proces ID ima proces koji očekuje zaključavanja. Dakle, možete pokrenuti ovu funkciju pg_blocking_pids.
I to može biti veoma korisno. Dodali smo to samo u verziji 9.6, tako da ova funkcija postoji samo 5 godina, ali je zaista veoma korisna. Isto se odnosi i na drugi upit. On pokazuje upravo ono što treba da vidimo.

To je ono o čemu sam želeo da razgovaram s vama. I kao što sam očekivao, iskoristili smo sav naš vreme, jer je bilo toliko mnogo slajdova. I slajdovi su dostupni za preuzimanje. Htio bih da vam se zahvalim što ste bili ovde. Siguran sam da ćete uživati u ostaku konferencije, hvala vam puno!
Pitanja:
Na primjer, ako pokušavam da ažuriram redove, a druga sesija pokušava da obriše celu tabelu. Koliko razumem, tamo bi trebalo da bude nešto poput intent lock-a. Ima li toga u Postgresu?

Vraćamo se na sam početak. Možda se sjećate da kada radite bilo šta, na primjer, kada radite SELECT, izdaje se AccessShareLock. I to sprečava brisanje tabele. Dakle, ako, na primjer, želite da ažurirate red u tabeli ili obrišete red, neko ne može da obriše celu tabelu u to vreme, jer imate taj AccessShareLock iznad cele tabele i iznad reda. I čim završite, mogu to obrisati. Ali dok ne završite sa promenama, neće moći.
Hajde još jednom. Pređimo na primer brisanja. I vidite kako ima ekskluzivan zaključak nad celom tabelom.
To će izgledati kao lock exclusive, zar ne?
Da, izgleda tako. Razumem o čemu govorite. Govorite da, ako izvršim SELECT, tada će moja odluka biti ShareExclusive, a zatim to prebacim u stanje Row Exclusive, da li bi to postalo problem? Ali iznenađujuće, to ne stvara problem. To izgleda kao povećanje nivoa zaključavanja, ali, u suštini, imam zaključavanje koje sprečava brisanje. I sada, kada pojačavam ovo zaključavanje, ono i dalje sprečava brisanje. Dakle, nije to da se ja zapravo pomeram u vis. To jest, sprečavao je to čak i kada je bio na nižem nivou, tako da kada povećavam njegov nivo, i dalje sprečava brisanje tabele.
Razumem o čemu govorite. Ovde nije slučaj da se povećava nivo zaključavanja, gde pokušavate da se oslobodite jednog zaključavanja da biste uneli jače. Ovde jednostavno povećava to sprečavanje, tako da ne izaziva nikakve sukobe. Ali to je dobro pitanje. Hvala vam što ste ga postavili!
Šta trebamo učiniti da bismo izbegli situaciju deadlock-a kada imamo puno sesija, veliki broj korisnika?
Postgres automatski primeti situacije deadlock-a. I automatski će ukloniti jednu od sesija. Jedini način da se izbegnu mrtvi blokovi je da zaključavate ljude u istom redosledu. Dakle, kada pogledate vašu aplikaciju, često je uzrok deadlock-ova... Zamislimo da želim da zaključam dve različite stvari. Jedna aplikacija zaključava tabelu 1, a druga aplikacija zaključava tabelu 2, a zatim tabelu 1. I najjednostavniji način da se izbegnu deadlock-ovi je da pogledate vašu aplikaciju i pokušate se uveriti da se zaključavanje odvija u istom redosledu u svim aplikacijama. A to obično uklanja 80% problema, jer razni ljudi pišu ove aplikacije. I ako ih zaključavate u istom redosledu, tada se ne susrećete sa situacijom deadlock-a.
Hvala vam puno za vaše izlaganje! Govorili ste o vacuum full, i ako dobro razumem, vacuum full deformiše redosled zapisa u odvojenom skladištu, tako da trenutni zapisi ostaju nepromenjeni. A zašto vacuum full zahteva ekskluzivnu blokadu i zašto ona sukobljava sa operacijama pisanja?
To je dobro pitanje. Razlog je u tome što vacuum full uzima tabelu. I u suštini, mi kreiramo novu verziju tabele. Tabela će biti nova. Tako da će to biti potpuno nova verzija tabele. Problem je u tome što, kada to radimo, ne želimo da ljudi čitaju ovu staru verziju, jer nam treba da vide novu tabelu. I zato se ovo povezuje sa prethodnim pitanjem. Da možemo istovremeno čitati, ne bismo mogli da je premestimo i usmerimo ljude na novu tabelu. Morali bismo da sačekamo da svi završe sa čitanjem stare tabele, i tako da je to situacija exkluzivne zaključavanja.
Samo kažemo da blokiramo od samog početka, jer znamo da će nam na kraju biti potrebna exkluzivna zaključavanje da bismo sviju prebacili na novu kopiju. Stoga to potencijalno možemo da omogućimo. I radimo to sa istovremenim indeksiranjem. No, to je mnogo složenije. I to se odnosi na vaše prethodno pitanje o exkluzivnom zaključavanju.
Da li je moguće dodati timeout za zaključavanje u Postgres? U Oracle-u mogu, na primer, napisati 'izaberi za ažuriranje' i čekati 50 sekundi pre ažuriranja. To je bilo dobro za aplikaciju. Ali u Postgres-u moram ili odmah da izvedem to ili da čekam nekog vremena.
Da, možete postaviti timeout za vaše zaključavanje. Takođe možete izdati komandu no way koja će …, ako ne možete odmah dobiti zaključavanje. Tako da ili lock timeout, ili nešto drugo što će vam to omogućiti. To se ne radi na sintaktičkom nivou. To se radi kao promenljiva na serveru. Ponekad to nije moguće koristiti.
Možete li otvoriti 75. slajd?
Da.

I moje pitanje je sledeće. Zašto oba procesa ažuriranja čekaju 703?
I ovo je sjajno pitanje. Ne razumem, inače, zašto Postgres to radi. Ali kada je 703 kreiran, očekivao je 702. A kada se pojave 704 i 705, čini se da ne znaju šta čekaju, jer tamo još ništa nema. I Postgres to radi ovako: kada ne možete da dobijete zaključavanje, piše "A kakav je smisao obraditi vas?", jer već čekate nekoga. Zato ga jednostavno pustimo da visi u vazduhu, on to uopšte ne ažurira. Ali šta se ovde desilo? Čim je 702 završio proces i 703 dobio svoje zaključavanje, sistem se vratio. I rekao je da sada imamo dvoje ljudi koji čekaju. A onda ih možemo zajedno ažurirati. I da kažemo da oboje čekaju.
Ne znam zašto Postgres to tako radi. Ali postoji problem koji se zove f.... Mislim da to nije termin na ruskom. To je kada svi čekaju na jedan zaključak, čak i ako ima 20 instanci koje čekaju na zaključak. I odjednom se svi probude istovremeno. I svi pokušavaju da reaguju. Ali sistem to radi tako da svi čekaju 703. Jer svi čekaju i odmah ćemo ih sve staviti u red. I ako se pojavi bilo koji drugi novi zahtev, koji je formulisan posle toga, na primer, 707, tada će ponovno biti praznina.
I činim se da je to učinjeno kako bismo mogli reći da u ovoj fazi 702 čeka 703, a svi oni koji dođu posle toga, neće imati nikakvu evidenciju u ovom polju. Ali čim prvi čekajući napusti, svi koji su čekali u tom trenutku do ažuriranja dobijaju isti marker. I zato mislim da je to učinjeno kako bismo mogli da obrađujemo redom, da su pravilno raspoređeni.
Oduvek sam gledao na to kao na prilično čudan fenomen. Jer ovde, na primer, uopšte ih ne navodimo. Ali, čini mi se da svaki put kada dodelimo novi lock, gledamo na sve one koji su u procesu čekanja. Tada ih sve postavljamo u red. A zatim, bilo koji novi koji dolazi, ulazi u red samo kada sledeća osoba završi obradu. Veoma dobro pitanje. Hvala vam puno na pitanju!
Mislim da je mnogo logičnije kada 705 čeka 704.
Ali je ovdje sljedeći problem. Tehnički, možete probuditi ili jedan ili drugi. I zbog toga ćemo probuditi jedan ili drugi. No što se događa u radu sustava? Vidite kako 703 na samom vrhu blokira svoj vlastiti ID transakcije. To je način na koji Postgres radi. I 703 se blokira vlastitim ID-om transakcije, pa ako netko želi čekati, čekat će 703. U suštini, 703 završava. I samo nakon njegovog završetka, neki od procesa se budi. I ne znamo koji će točno proces biti. Tada polako obrađujemo sve. No nije jasno koji će se proces probuditi prvi, jer to može biti bilo koji od tih procesa. U suštini, imali smo planirator koji je rekao da sada možemo buditi bilo koji od tih procesa. Samo nasumično biramo jedan. Zato oboje treba označiti, jer možemo buditi bilo koji od njih.
I problem je u tome što imamo CP-beskonačnost. I zbog toga je sasvim moguće da probudimo kasniji. I ako, na primjer, budimo kasniji, onda ćemo očekivati onoga tko je upravo dobio zaključavanje, stoga ne određujemo tko će točno biti probuđen prvi. Jednostavno stvaramo takvu situaciju, a sustav će ih buditi u nasumičnom redoslijedu.
Postoji . Pogledajte, oni su također zanimljivi i korisni. Tema je, naravno, strašno složena. Hvala puno, Bruce!
Izvor: habr.com
