Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Prezentacija iz 2020. godine Brusa Momzijana "Otkriće Postgres Lock Manager-a".

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

(Napomena: Sve SQL upite sa slajdova možete dobiti na ovoj poveznici: http://momjian.us/main/writings/pgsql/locking.sql)

Zdravo! Divno je ponovo biti ovde u Rusiji. Želim se izvinuti što nisam mogao doći prošle godine, ali ove godine Ivan i ja imamo velike planove. Nadam se da ću biti ovde mnogo češće. Obračanje ovde, u Rusiji, mi je uvek drago. Posetiću Tjumene i Tver. Veoma sam uzbuđen što ću moći posetiti ta mesta.

Zovem se Brus Momzijan. Radim u EnterpriseDB i radim sa Postgres više od 23 godine. Živim u Filadelfiji, SAD. Putujem otprilike 90 dana godišnje. Posetim oko 40 konferencija. Moj web site, koji sadrži slajdove koje ću vam sada pokazati. Tako da posle konferencije možete preuzeti sa mog ličnog sajta. Takođe se nalazi oko 30 prezentacija. Kao i video i veliki broj blog postova, više od 500. Ovo je veoma informativan resurs. Ako vas zanima ovaj materijal, pozivam vas da ga iskoristite.

Pre toga sam bio predavač, profesor pre nego što sam počeo da radim sa Postgres. Uvek sam srećan kada mogu da vam kažem ono što planiram. Ovo je jedna od mojih najzanimljivijih prezentacija. Ova prezentacija sadrži 110 slajdova. Počet ćemo sa jednostavnim temama, a na kraju će izlaganje postati sve složenije i složenije, što će biti prilično izazovno.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ovo je prilično neugodna tema. Blokiranje nije najpopularnija tema. Želimo da nestane. To je kao odlazak kod stomatologa.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

  1. Blokiranje je problem za mnoge ljude koji rade sa bazama podataka i gde više procesa radi istovremeno. Potrebno je im blokiranje. Danas ću vam dati osnovno znanje o blokiranju.
  2. Identifikatori transakcija. Ovo je prilično dosadan deo prezentacije, ali ga treba razumeti.
  3. Zatim ćemo razgovarati o vrstama blokiranja. To je prilično mehanički deo.
  4. I zatim ćemo dati neke primere blokiranja. Ovo će biti prilično teško za razumevanje.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Hajde da razgovaramo o blokadama.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Terminologija je kod nas prilično složena. Koliko vas zna odakle je ovaj odlomak? Dvojica. To je iz igre koja se zove 'Kolosalna avantura u pećini'. To je bila tekstualna kompjuterska igra iz 80-ih, čini mi se. Tamo je trebalo da se uđe u pećinu, u labirint, a tekst se menjao, ali je sadržaj bio otprilike isti svaki put. Tako se ja sećam te igre.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ovde vidimo nazive blokada koje smo dobili iz Oracle-a. Koristimo ih.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ovde su termini koji me zbunjuju. Na primer, SHARE UPDATE EXCLUSIVE. Zatim SHARE RAW EXCLUSIVE. Iskreno, ovi nazivi nisu baš jasni. Pokušat ćemo ih detaljnije razmotriti. Neki sadrže reč 'share', što znači – odvojiti se. Neki sadrže reč 'exclusive' – ekskluzivan. U nekima su prisutne obe reči. Hteo bih da počnem s tim kako te blokade funkcionišu.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Takođe je vrlo važno reč 'dostup' – access. I reč 'row' – red. Čini se, raspodela pristupa, raspodela redova.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Još jedan problem koji treba shvatiti u Postgres-u, nažalost, neću moći da pričam o njemu u svom izlaganju, to je MVCC. Imam posebnu prezentaciju na ovu temu na svojoj veb stranici. I ako mislite da je ova prezentacija složena, onda je MVCC verovatno moja najteža. Ako vas zanima, možete je pogledati na sajtu. Možete pogledati video.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Još jedna stvar koju treba da razumemo – identifikatori transakcija. Mnoge transakcije ne mogu funkcionisati bez jedinstvenih identifikatora. Ovdje je objašnjenje šta je transakcija. U Postgres-u postoje dva sistema numerisanja transakcija. Znam, to nije baš lepo rešenje.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Takođe imajte na umu da će slajdovi biti prilično kompleksni za percepciju, zato treba obratiti pažnju na ono što je naglašeno crvenom bojom.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

http://momjian.us/main/writings/pgsql/locking.sql

Gledamo. Crvenom bojom je istaknut broj transakcije. Ovde je prikazana funkcija SELECT pg_back. Ona vraća moju transakciju i ID te transakcije.

Još jedna stvar, ako vam se ova prezentacija sviđa i želite je pokrenuti u svojoj bazi podataka, možete proći putem ove veze označene ružičastom bojom i preuzeti SQL za ovu prezentaciju. Možete je jednostavno pokrenuti u svom PSQL-u i cela prezentacija će se odmah pojaviti na vašem ekranu. Neće sadržavati boje, ali barem ćemo je moći videti.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

U ovom slučaju vidimo ID transakcije. To je broj koji smo joj dodelili. Postoji još jedan tip ID transakcije u Postgresu koji se zove virtuelni ID transakcije.

I moramo to da shvatimo. To je veoma važno, inače nećemo moći da razumemo blokadu u Postgresu.

Virtuelni ID transakcije je ID transakcije koji ne sadrži stalne vrednosti. Na primer, ako pokrećem komandu SELECT, verovatno neću menjati bazu podataka, neću ništa blokirati. Zbog toga, kada pokrećemo prost SELECT, ne dodeljujemo ovoj transakciji stalni ID. Tamo joj dodeljujemo samo virtuelni ID.

I to povećava performanse Postgresa, poboljšava mogućnosti za čišćenje, tako da se virtuelni ID transakcije sastoji od dva broja. Prvi broj pre kosa crte je ID backend-a. A s desne strane vidimo samo brojač.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Dakle, ako pokrenem upit, on kaže da je ID backend – 2.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

A ako pokrenem seriju takvih transakcija, vidimo da se brojač svaki put povećava kada pokrenem upit. Na primer, kada pokrenem upit 2/10, 2/11, 2/12 itd.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Imajte na umu da ovde imamo dve kolone. S leva vidimo virtuelni ID transakcije – 2/12. A s desne strane imamo stalni ID transakcije. I ovo polje je prazno. Ova transakcija ne modifikuje bazu podataka. Zato joj ne dodeljujem stalni ID transakcije.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Čim pokrenem komandu analizirati (ANALYZE), isti upit mi daje stalni ID transakcije. Pogledajte kako se to promenilo. Pre nisam imao ovaj ID, sada se pojavio.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Dakle, ovde imamo još jedan upit, još jednu transakciju. Virtuelni broj transakcije je 2/13. I ako zatražim stalni ID transakcije, dobiću ga kada pokrenem upit.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Dakle, još jednom. Imamo virtuelni ID transakcije i stalni ID transakcije. Samo razumite tu tačku kako biste shvatili ponašanje Postgresa.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Prelazimo na treći deo. U ovom delu ćemo samo proći kroz različite tipove zaključavanja u Postgresu. To nije baš zanimljivo. Poslednji deo će biti mnogo zanimljiviji. Ali moramo razmotriti osnovne stvari, jer inače nećemo razumeti šta dolazi dalje.

Proći ćemo kroz ovaj deo i pogledati svaki tip zaključavanja. Pokazaću vam primere kako se postavljaju, kako funkcionišu, i pokazaću vam neke upite koje možete koristiti da vidite kako zaključavanje radi u Postgresu.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Da bismo kreirali upit i videli šta se dešava u Postgresu, moramo izvršiti upit u sistemskom pregledu. U ovom slučaju, crvenom bojom je označen pg_lock. Pg_lock je sistemska tabela koja nam kaže koje se zaključavanje trenutno koristi u Postgresu.

Ipak, veoma mi je teško da vam pokažem pg_lock sam po sebi, jer je to prilično složeno. Zato sam kreirao pregled koji prikazuje pg_locks. Takođe obavlja određeni posao za mene, što mi pomaže da bolje razumem. To jest, isključuje moja zaključavanja, moju sesiju itd. To je samo standardni SQL i omogućava mi da bolje pokažem šta se dešava.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Još jedan problem je što je ovaj pregled veoma širok, pa moram kreirati drugi - lockview2.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan I on mi prikazuje još kolona iz tabele. I još jedan, koji mi prikazuje ostale kolone. To je dovoljno složeno, pa sam se trudio da to predstavim što jednostavnije.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Dakle, kreirali smo tabelu koja se zove Lockdemo. I dodali smo jedan red. To je naša uzorna tabela. I kreiraćemo sekcije da bismo vam jednostavno pokazali primere zaključavanja.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Dakle, jedan red, jedna kolona. Prvi tip zaključavanja se zove ACCESS SHARE. To je najmanje restriktivno zaključavanje. To znači da gotovo ne sukobljava sa ostalim zaključavanjima.

Ako želimo eksplicitno odrediti blokadu, pokrećemo komandu „lock table“. Ova komanda jasno blokira, tj. u režimu ACCESS SHARE pokrećemo lock table. Ako pokrenem PSQL u pozadini, pokrećem tako drugu sesiju iz svoje prve sesije. Šta ću ovde uraditi? Prelazim na drugu sesiju i kažem joj „prikaži mi lockview za ovaj upit“. I ovde imam AccessShareLock u ovoj tabeli. To je upravo ono što sam tražio. I ona kaže da je blokada dodeljena. Veoma jednostavno.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Dalje, ako pogledamo drugu kolonu, tamo nema ničega. One su prazne.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ako izvršim komandu „SELECT“, to je implicitni (jasan) način zahtevati AccessShareLock. Zato otpuštam svoju tabelu i pokrećem upit, a upit vraća nekoliko redova. U jednom od redova vidimo AccessShareLock. Tako SELECT izaziva AccessShareLock u tabeli. Ova blokada praktično ne konfliktuje s ničim, jer je to blokada niskog nivoa.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Šta ako pokrenem SELECT i imam tri različite tabele? Ranije sam pokretao samo jednu tabelu, sada pokrećem tri: pg_class, pg_namespace i pg_attribute.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Sada, kada gledam upit, vidim 9 AccessShareLocks u tri tabele. Zašto? Plavom bojom su označene tri tabele: pg_attribute, pg_class, pg_namespace. Takođe možete videti da svi indeksi koji su definisani kroz ove tabele takođe imaju AccessShareLock.

Ova blokada praktično ne konfliktuje s drugima. Sve što radi je da nam ne dopušta da otpuštamo tabelu dok je biramo. To ima smisla. Tj. ako biramo tabelu, ona u tom trenutku nestaje, što nije ispravno, stoga AccessShare je niska nivo blokada koja nam kaže "ne brišite ovu tabelu dok radim". U suštini, to je sve što ona radi.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

ROW SHARE – ova blokada je malo drugačija.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Uzmimo primer. SELECT ROW SHARE je način blokiranja svake linije pojedinačno. Tako niko ne može da ih obriše ili izmeni dok ih gledamo.

Otključavanje Postgres menadžera zaključavanja. Brus MomdžijanDakle, šta radi SHARE LOCK? Vidimo da je ID transakcije 681 za SELECT. I to je zanimljivo. Šta se ovde desilo? Prvi put vidimo broj u polju „Lock“. Uzimamo ID transakcije, i on govori da ga blokira u ekskluzivnom režimu. Sve što radi je da kaže da imam red koji je tehnički blokiran negde u tabeli. Ali ne kaže gde tačno. Malo kasnije ćemo to detaljnije razmotriti.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ovde govorimo da se blokada koristi od strane nas.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Dakle, ekskluzivna blokada eksplicitno (jasno) kaže da je ekskluzivna. I takođe, ako obrišete red u ovoj tabeli, to će se upravo desiti, kao što možete videti.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

SHARE EXCLUSIVE – to je duža blokada.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

To je (ANALYZE) komanda analitičara koja će se koristiti.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

SHARE LOCK – možete eksplicitno blokirati u režimu deljenja.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Takođe možete kreirati jedinstveni indeks. I tamo možete videti SHARE LOCK, koji je deo toga. I on blokira tabelu i postavlja na nju SHARE LOCK.

Podrazumevana SHARE LOCK na tabeli znači da drugi mogu čitati tabelu, ali niko je ne može modifikovati. I to se dešava kada kreirate jedinstveni indeks.

Ako kreiram jedinstveni indeks istovremeno, biće drugačija vrsta blokade, jer, kao što se sećate, korišćenje istovremenih indeksa smanjuje zahteve za blokadom. I ako koristim normalnu blokadu, normalni indeks, tada ću tako sprečiti upis u indeks tabele tokom njegovog kreiranja. Ako koristim istovremeni indeks, moraću koristiti drugu vrstu blokade.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

SHARE ROW EXCLUSIVE – opet, može se postaviti eksplicitno (jasno).

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ili možemo kreirati pravilo, tj. uzeti neki određeni slučaj u kojem će se koristiti.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

EXCLUSIVE blokada znači da niko drugi ne može menjati tabelu.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ovde vidimo različite vrste blokada.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

ACCESS EXCLUSIVE, na primer, to je komanda za zaključavanje. Na primer, ako radite CLUSTER table, to će značiti da niko neće moći da upisuje tamo. I ona blokira ne samo samu tabelu, već i indekse takođe.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

To je druga stranica blokade ACCESS EXCLUSIVE, gde konkretno vidimo šta blokira u tabeli. Blokira pojedinačne redove tabele, što je prilično zanimljivo.

Ovo su sve osnovne informacije koje sam hteo da pružim. Govorili smo o blokadama, o ID-jevima transakcija, govorili smo o virtuelnim ID-jevima transakcija, o stalnim ID-jevima transakcija.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Sada ćemo proći kroz primere blokada. To je najzanimljiviji deo. Pogledaćemo veoma zanimljive slučajeve. Moj zadatak u ovoj prezentaciji je da vam pružim bolju predstavu o tome šta Postgres zaista radi kada pokušava da blokira određene stvari. Čini mi se da veoma dobro blokira pojedine delove.

Razmotrimo određene primere.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Počećemo sa tabelama i jednom vrstom u tabeli. Kada nešto umetnem, pojavljuje se ExclusiveLock, ID transakcije i ExclusiveLock na tabeli.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

A šta će se dogoditi ako umetnem još dva reda? Sada imamo tri reda u našoj tabeli. Umetnuo sam jedan red i dobio ovo kao izlaz. Ako umetnem još dva reda, šta je ovde neobično? Postoji neobičnost, jer sam dodao tri reda u ovu tabelu, ali još uvek imam dva reda u tabeli blokade. I to je u suštini temeljno ponašanje Postgresa.

Mnogi misle da ako u bazi podataka blokirate 100 redova, biće potrebno napraviti 100 unosa blokada. Ako blokiram odjednom 1.000 redova, tada će mi trebati 1.000 takvih zahteva. Ako mi je potrebno da blokiram milion ili milijardu. Ali ako budemo tako radili, to neće dobro funkcionisati. Ako ste koristili sistem koji pravi unose blokada za svaki pojedinačni red, vidite da je to komplikovano. Jer treba da odredite istovremeno tabelu blokade, koja može preplaviti, ali Postgres to ne radi.

Na ovom slajdu je veoma važno napomenuti da se ovde jasno pokazuje da postoji još jedan sistem koji radi unutar MVCC-a, koji blokira pojedinačne redove. Zato, kada blokirate milijarde redova, Postgres ne stvara milijardu pojedinačnih komandi za blokiranje. I to veoma pozitivno utiče na performanse.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Šta je sa ažuriranjem? Trenutno ažuriram red, i možete primijetiti da je odmah izvršio dvije različite operacije. Istovremeno je blokirao tabelu, ali je također blokirao i indeks. Trebalo je da blokira indeks jer postoje jedinstvena ograničenja na ovoj tabeli. Želimo biti sigurni da ga niko ne mijenja, zato ga blokiramo.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

A šta ako želim ažurirati dva reda? Vidimo da se ponaša na isti način. Obavljamo dvostruko više ažuriranja, ali tačno onoliko redova blokiramo koliko i prije.

Ako vas zanima kako to Postgres radi, trebate poslušati moja izlaganja o MVCC-u da saznate kako Postgres interno označava te redove koje mijenja. Postgres ima način na koji to radi, ali ne radi to na nivou blokiranja tabela, već to radi na nižem i učinkovitijem nivou.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

A šta ako želim nešto obrisati? Ako brišem, na primjer, jedan red i dalje imam svoja dva unosa o blokadama, i čak i ako želim obrisati sve njih, oni i dalje ostaju prisutni.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Na primjer, ako želim umetnuti 1.000 redova, a zatim ili obrisati ili dodati još 1.000 redova, pojedinačni redovi koje dodajem ili mijenjam, ne snimaju se ovdje. Oni se snimaju na nižoj razini unutar samog reda. I tokom izlaganja o MVCC-u govorio sam o tome u detalje. Ali je vrlo važno, kada analizirate blokade, osigurati da imate blokadu na nivou tabela i da ovdje ne vidite kako se pojedinačni redovi snimaju.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

A šta je sa eksplicitnim zaključavanjem?

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ako pritisnem „ažuriraj“, tada imam dva zaključana reda. I ako ih sve selektujem i pritisnem „ažuriraj svuda“, i dalje imam dvije zapisane blokade.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ne kreiramo posebne zapise za svaki pojedinačni red. Jer tada opada performansa, može ih biti previše. I možemo se naći u neugodnoj situaciji.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I isto tako, ako radimo shared, možemo to raditi 30 puta.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Obnavljamo našu tabelu, sve brišemo, a zatim ponovo umetnemo jedan red.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Još jedan tip ponašanja koji vidite u Postgresu je vrlo dobro poznato i poželjno ponašanje – možete izvoditi update ili select. I možete to raditi istovremeno. Select ne blokira update i obrnuto. Govorimo čitatelju da ne blokira onog koji piše, a onaj koji piše ne blokira čitatelja.

Pokazaću vam primer ovog. Sada ću napraviti izbor. Kasnije ćemo napraviti INSERT. I tada ćete moći da vidite – 694. Videćete ID transakcije koja je izvršila ovu umetanje. I to je način na koji to funkcioniše.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I ako sada pogledam svoj backend ID, postao je – 695.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I mogu da vidim da 695 pojavljuje u mojoj tabeli.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I ako ovde izvršim ažuriranje ovako, dobijam drugi slučaj. U ovom slučaju 695 – ekskluzivna blokada, a kod update-a ponašanje je isto, ali između njih ne dolazi do sukoba, što je prilično neobično.

I možete primetiti da je na vrhu – to je ShareLock, a na dnu – to je ExclusiveLock. I obe transakcije su se desile.

I treba poslušati moje predavanje o MVCC da bismo razumeli kako se to dešava. Ali, ovo je ilustracija da to možete raditi istovremeno, tj. istovremeno izvoditi SELECT i UPDATE.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Hajde da resetujemo i ponovo izvršimo jednu operaciju.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ako pokušate da pokrenete dva update-a istovremeno na istom redu, biće blokirano. I zapamtite, rekao sam da čitatelj ne blokira pisca, a pisac čitatelja, ali jedan pisac blokira drugog pisca. To jest, ne možemo omogućiti da dve osobe istovremeno ažuriraju isti red. Moramo sačekati da jedan od njih završi.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I da bih to ilustrovao, pogledam Lockdemo tabelu. I pogledaćemo jedan red. Na transakciju 698.

Ažurirali smo to na 2. 699 – to je prvo ažuriranje. I prošlo je uspešno ili se nalazi u čekanju i očekuje da potvrdimo ili otkažemo.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ali pogledajte nešto drugo – 2/51 – ovo je naša prva transakcija, naša prva sesija. 3/112 – to je drugi zahtev koji se pojavio i promenio ovu vrednost na 3. Ako primetite, gornji blokira samog sebe, tj. 699. Ali 3/112 nije izvršio blokadu. U koloni Lock_mode piše da čeka. Čeka 699. A ako pogledate gde je 699, on je iznad. Šta je uradila prva sesija? Napravila je ekskluzivnu blokadu na svom vlastitom transakcionom ID. To je način na koji Postgres to radi. On blokira sopstveni transakcioni ID. I ako želite čekati dok neko ne potvrdi ili otkaže, treba čekati dok postoji čekajući transakcija. I zato možemo videti čudnu liniju.

Hajde da pogledamo ponovo. S leve strane vidimo naše procesno ID. U drugoj koloni vidimo naš virtuelni ID transakcije, a u trećoj vidimo lock_type. Šta to znači? U suštini, to govori da blokira transakcioni ID. Ali primetite da u svim redovima ispod piše relation. I zato imate dva tipa blokada u tabeli. Postoji blokada relation. Takođe postoji blokada transactionid, gde sami blokirate, to je upravo ono što se dešava u prvom redu ili na samom dnu, gde transactionid, čekamo da 699 završi svoju operaciju.

Gledam šta se ovde dešava. I ovde se istovremeno dešavaju dve stvari. Gledate na blokadu po transakcionom ID u prvom redu, koja sama sebe blokira. I ona blokira samu sebe da bi natirala ljude da čekaju.

Ako pogledate 6. red, to je ista stavka kao i prva. I tako je transakcija 699 blokirana. 700 se takođe samoblokira. A zatim u donjem redu vidite da čekamo kada 699 završi svoju operaciju.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I u lock_type, tuple vidite brojeve.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Možete videti da je to 0/10. I to je broj stranice, kao i offset ove konkretne stavke.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I vidite da postaje 0/11 kada ažuriramo.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ali u stvari – to je 0/10, jer se čeka na ovu operaciju. Imamo mogućnost da vidimo da je to taj redak koji čekam da potvrdim.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Kada smo ga potvrdili i pritisnuli commit, i kada je ažuriranje završeno, to je ono što ponovo dobijamo. Transakcija 700 je jedina blokada, ne čeka nikoga više, jer je zakomitana. Samo čeka da se transakcija završi. Kada 699 završi, ne čekamo više ništa. Sada transakcija 700 kaže da je sve u redu, da su sve blokade koje su joj potrebne na svim dozvoljenim tabelama.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I da bismo sve to dodatno zakomplikovali, kreiramo još jedan prikaz, koji će nam ovaj put pružiti hijerarhiju. Ne očekujem da razumete ovaj upit. Ali će nam dati jasniji uvid u to šta se dešava.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

To je rekurzivni prikaz, koji takođe ima još jedan deo. I zatim ponovo vraća sve zajedno. Hajde da to iskoristimo.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Šta ako napravimo tri paralelna ažuriranja i kažemo da je red sada tri. I promenimo 3 u 4.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I evo vidimo 4. I transakcijski ID 702.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

A zatim menja 4 u 5. A 5 u 6, a 6 u 7. I formiram red ljudi koji će čekati da ova jedna transakcija završi.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I sve postaje jasno. Koji je prvi red? To je 702. To je transakcijski ID koji je prvobitno postavio ovu vrednost. A šta piše u koloni Granted? Imam oznake. f. To su moja ažuriranja (5, 6, 7) koja ne mogu biti odobrena, jer čekamo da transakcijski ID 702 završi. Tamo imamo blokadu transakcijskog ID. I dobijamo 5 transakcijskih blokada ID.

I ako pogledate 704, na 705, tu još ništa nije napisano, jer još ne znaju šta se događa. Samo pišu, ne znajući šta se dešava. Samo će zaspati, jer čekaju da neko završi i probudi ih kada se ukaže prilika da promene red.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ovako to izgleda. Jasno je da svi čekaju 12. red.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

To je ono što smo ovde videli. Evo 0/12.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Dakle, kada je prva transakcija odobrena, možete videti kako funkcioniše hijerarhija. I sada postaje sve jasno. Svi postaju čisti. I zapravo su još uvek u čekanju.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Evo šta se dešava. 702 se komitira. A sada 703 dobija ovu blokadu reda, a zatim 704 počinje da čeka dok se 703 ne komitira. I 705 takođe čeka to. Kada se sve ovo završi, sami se rešavaju. Hteo bih da naglasim da se svi postavljaju u red. I to veoma podseća na situaciju u saobraćaju, gde svi čekaju prvu automobil. Prvi automobil se zaustavio i svi se postavljaju u dugačku liniju. Onda se pomera, zatim sledeći automobil može da prođe napred i dobije svoju blokadu, itd.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I ako vam se ovo učinilo nedovoljno složenim, sada ćemo razgovarati o deadlock-ovima. Ne znam ko od vas se susreo sa njima. To je prilično uobičajen problem u sistemima baza podataka. Deadlock-ovi su situacije kada jedna sesija čeka da nešto izvrši druga sesija. U tom trenutku druga sesija čeka da prva sesija izvrši nešto.

Na primer, ako Ivan kaže: „Daj mi nešto“, a ja kažem: „Ne, daću ti to samo ako mi daš nešto drugo“. A on kaže: „Ne, neću ti to dati ako ti ne daš“. I nalazimo se u situaciji deadlock-a. Siguran sam da Ivan to ne bi uradio, ali razumete poentu, imamo dvoje ljudi koji žele nešto da dobiju, a ne žele to da daju dok im druga osoba ne da ono što žele. I ovde nema rešenja.

U suštini, vaša baza podataka treba to da otkrije. Zatim je potrebno da se ukloni ili zatvori jedna od sesija, jer inače će tamo ostati zauvek. To vidimo u bazama podataka, vidimo to u operativnim sistemima. I u svim mestima gde imamo paralelne procese, to može da se desi.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Sada ćemo postaviti dva deadlock-a. Postavićemo 50 i 80. U prvom redu ću napraviti ažuriranje od 50 do 50. Naći ću broj transakcije 710.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Zatim ću promeniti 80 u 81, a 50 u 51.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Evo kako će to izgledati. Zato 710 ima blokadu reda, a 711 čeka potvrdu. Videli smo ovo tokom ažuriranja. 710 je vlasnik našeg reda. A 711 čeka da 710 završi transakciju.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Čak piše na kojem tačno redu se dešavaju deadlock-ovi. I tu stvari počinju da postaju čudne.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Sada ažuriramo 80 na 80.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I ovdje započinju mrtve blokade. 710 očekuje odgovor od 711, a 711 očekuje 710. I to se neće dobro završiti. I nema izlaza iz ovog problema. Čekat će međusobno odgovor.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I to će jednostavno sve početi usporavati. A to ne želimo.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

U Postgresu postoje načini da se uoči kada se to događa. I kada se to dogodi, dobijate ovakvu grešku. To jasno pokazuje da jedan proces čeka SHARE LOCK od drugog procesa, odnosno koji je blokiran procesom 711. A taj je proces čekao da bude dodijeljen SHARE LOCK na određenom transakcijskom ID-u i bio je blokiran nekim procesom. Tako da imamo situaciju mrtve blokade.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

A je li moguće trostruka mrtva blokada? Može li to biti moguće? Da.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Unosimo te brojeve u tabelu. Mijenjamo 40 u 40, vršimo blokadu.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Mijenjamo 60 u 61, 80 u 81.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

A onda mijenjamo 80, a onda – bum!

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I 714 sada čeka 715. 716 čeka 715. I s tim već ne možemo ništa učiniti.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ovdje više nisu dva čovjeka, ovdje su već tri čovjeka. Ja želim nešto od tebe, on želi nešto od treće osobe, a treća osoba želi nešto od mene. I ulazimo u trostruko čekanje jer svi čekamo da druga osoba završi ono što treba uraditi.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I Postgres zna na kojem redu se to događa. I zato će vam dati sljedeću poruku koja pokazuje da imate problem gdje se tri ulaza međusobno blokiraju. I ovdje nema ograničenja. To može biti slučaj gdje 20 zapisa blokira jedni druge.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Sljedeći problem – to je serializable.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ako dođe do posebno serializable blokade.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I vraćamo se na 719. Ima sasvim normalan ishod.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I možete kliknuti da napravite transakciju iz serializable.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I shvatate da sada imate drugi tip blokade SA – što znači serializable.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I zato imamo novi tip blokade koji se zove SARieadLock, koji je serijska blokada i omogućava unos serijskih brojeva.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Također možete umetati jedinstvene indekse.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

U ovoj tabeli imamo jedinstvene indekse.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Dakle, ako ovdje upišem broj 2, imam 2. Ali na samom vrhu unosim još jednu 2. I možete vidjeti da 721 ima ekskluzivnu blokadu. Ali sada 722 čeka da 721 završi svoju operaciju, jer ne može umetati 2 dok ne zna što će se dogoditi s 721.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

A ako radimo subtransaction.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Evo, imamo 723.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ako zadržimo tačku i zatim je ažuriramo, dobijamo novi ID transakcije. Ovo je još jedno ponašanje koje treba da znate. Ako se vratimo na to, ID transakcije nestaje. 724 nestaje. Ali sada imamo 725.

Šta pokušavam da uradim ovde? Pokušavam da vam pokažem primere neobičnih blokada koje možete pronaći: bilo da su to serializable blokade ili SAVEPOINT – to su različite vrste blokada koje će se pojaviti u tabeli blokada.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

To je kreiranje eksplicitnih (jasnih) blokada, koje imaju pg_advisory_lock.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Vidite da je tip blokade ovde naveden kao advisory. I ovde u crvenoj boji piše 'advisory'. I možete istovremeno zaključati s pg_advisory_unlock.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Na kraju, želeo bih da vam pokažem još jednu zanimljivu stvar. Kreiraću još jedan tip. Ali ću spojiti tabelu pg_locks sa tabelom pg_stat_activity. Zašto to radim? Zato što će mi omogućiti da pogledam i vidim sve trenutne sesije i koje blokade tačno očekuju. I to je prilično zanimljivo kada spojimo tabelu blokada i tabelu zahteva.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ovde kreiramo pg_stat_view.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Ažuriramo red za jedan. I ovde vidimo 724. A zatim ažuriramo naš red na tri. Šta sada vidite ovde? Ovo su zahtevi, tj. vidite celu listu zahteva koja je navedena u levoj koloni. A zatim na desnoj strani možete videti blokade i ono što one kreiraju. I to može biti jasnije za vas, da ne morate svaki put vraćati se ka svakoj sesiji i gledati – da li treba da se pridružim ili ne. To za nas rade.

Još jedna funkcija koja je veoma korisna je pg_blocking_pids. Vjerovatno niste nikada čuli o tome. Šta ona radi? Omogućava nam da kažemo koji tačno ID procesi su za ovu sesiju 11740. Možete vidjeti da 11740 očekuje 724. A 724 je na vrhu. A 11306 je vaš ID proces. Suštinski, ova funkcija prolazi kroz vašu tabelu zaključavanja. Znam da to zvuči malo komplikovano, ali uspijevate to da razumijete. Suštinski, ova funkcija prolazi kroz tu tabelu i pokušava pronaći gdje je taj proces ID, s obzirom na zaključavanja koja ona očekuje. Takođe pokušava izračunati koji tačno proces ID ima proces koji očekuje zaključavanja. Dakle, možete pokrenuti ovu funkciju pg_blocking_pids.

I to može biti veoma korisno. Dodali smo to samo u verziji 9.6, tako da ova funkcija postoji samo 5 godina, ali je zaista veoma korisna. Isto se odnosi i na drugi upit. On pokazuje upravo ono što treba da vidimo.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

To je ono o čemu sam želeo da razgovaram s vama. I kao što sam očekivao, iskoristili smo sav naš vreme, jer je bilo toliko mnogo slajdova. I slajdovi su dostupni za preuzimanje. Htio bih da vam se zahvalim što ste bili ovde. Siguran sam da ćete uživati u ostaku konferencije, hvala vam puno!

Pitanja:

Na primjer, ako pokušavam da ažuriram redove, a druga sesija pokušava da obriše celu tabelu. Koliko razumem, tamo bi trebalo da bude nešto poput intent lock-a. Ima li toga u Postgresu?

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

Vraćamo se na sam početak. Možda se sjećate da kada radite bilo šta, na primjer, kada radite SELECT, izdaje se AccessShareLock. I to sprečava brisanje tabele. Dakle, ako, na primjer, želite da ažurirate red u tabeli ili obrišete red, neko ne može da obriše celu tabelu u to vreme, jer imate taj AccessShareLock iznad cele tabele i iznad reda. I čim završite, mogu to obrisati. Ali dok ne završite sa promenama, neće moći.

Hajde još jednom. Pređimo na primer brisanja. I vidite kako ima ekskluzivan zaključak nad celom tabelom.

To će izgledati kao lock exclusive, zar ne?

Da, izgleda tako. Razumem o čemu govorite. Govorite da, ako izvršim SELECT, tada će moja odluka biti ShareExclusive, a zatim to prebacim u stanje Row Exclusive, da li bi to postalo problem? Ali iznenađujuće, to ne stvara problem. To izgleda kao povećanje nivoa zaključavanja, ali, u suštini, imam zaključavanje koje sprečava brisanje. I sada, kada pojačavam ovo zaključavanje, ono i dalje sprečava brisanje. Dakle, nije to da se ja zapravo pomeram u vis. To jest, sprečavao je to čak i kada je bio na nižem nivou, tako da kada povećavam njegov nivo, i dalje sprečava brisanje tabele.

Razumem o čemu govorite. Ovde nije slučaj da se povećava nivo zaključavanja, gde pokušavate da se oslobodite jednog zaključavanja da biste uneli jače. Ovde jednostavno povećava to sprečavanje, tako da ne izaziva nikakve sukobe. Ali to je dobro pitanje. Hvala vam što ste ga postavili!

Šta trebamo učiniti da bismo izbegli situaciju deadlock-a kada imamo puno sesija, veliki broj korisnika?

Postgres automatski primeti situacije deadlock-a. I automatski će ukloniti jednu od sesija. Jedini način da se izbegnu mrtvi blokovi je da zaključavate ljude u istom redosledu. Dakle, kada pogledate vašu aplikaciju, često je uzrok deadlock-ova... Zamislimo da želim da zaključam dve različite stvari. Jedna aplikacija zaključava tabelu 1, a druga aplikacija zaključava tabelu 2, a zatim tabelu 1. I najjednostavniji način da se izbegnu deadlock-ovi je da pogledate vašu aplikaciju i pokušate se uveriti da se zaključavanje odvija u istom redosledu u svim aplikacijama. A to obično uklanja 80% problema, jer razni ljudi pišu ove aplikacije. I ako ih zaključavate u istom redosledu, tada se ne susrećete sa situacijom deadlock-a.

Hvala vam puno za vaše izlaganje! Govorili ste o vacuum full, i ako dobro razumem, vacuum full deformiše redosled zapisa u odvojenom skladištu, tako da trenutni zapisi ostaju nepromenjeni. A zašto vacuum full zahteva ekskluzivnu blokadu i zašto ona sukobljava sa operacijama pisanja?

To je dobro pitanje. Razlog je u tome što vacuum full uzima tabelu. I u suštini, mi kreiramo novu verziju tabele. Tabela će biti nova. Tako da će to biti potpuno nova verzija tabele. Problem je u tome što, kada to radimo, ne želimo da ljudi čitaju ovu staru verziju, jer nam treba da vide novu tabelu. I zato se ovo povezuje sa prethodnim pitanjem. Da možemo istovremeno čitati, ne bismo mogli da je premestimo i usmerimo ljude na novu tabelu. Morali bismo da sačekamo da svi završe sa čitanjem stare tabele, i tako da je to situacija exkluzivne zaključavanja.
Samo kažemo da blokiramo od samog početka, jer znamo da će nam na kraju biti potrebna exkluzivna zaključavanje da bismo sviju prebacili na novu kopiju. Stoga to potencijalno možemo da omogućimo. I radimo to sa istovremenim indeksiranjem. No, to je mnogo složenije. I to se odnosi na vaše prethodno pitanje o exkluzivnom zaključavanju.

Da li je moguće dodati timeout za zaključavanje u Postgres? U Oracle-u mogu, na primer, napisati 'izaberi za ažuriranje' i čekati 50 sekundi pre ažuriranja. To je bilo dobro za aplikaciju. Ali u Postgres-u moram ili odmah da izvedem to ili da čekam nekog vremena.

Da, možete postaviti timeout za vaše zaključavanje. Takođe možete izdati komandu no way koja će …, ako ne možete odmah dobiti zaključavanje. Tako da ili lock timeout, ili nešto drugo što će vam to omogućiti. To se ne radi na sintaktičkom nivou. To se radi kao promenljiva na serveru. Ponekad to nije moguće koristiti.

Možete li otvoriti 75. slajd?

Da.

Otključavanje Postgres menadžera zaključavanja. Brus Momdžijan

I moje pitanje je sledeće. Zašto oba procesa ažuriranja čekaju 703?

I ovo je sjajno pitanje. Ne razumem, inače, zašto Postgres to radi. Ali kada je 703 kreiran, očekivao je 702. A kada se pojave 704 i 705, čini se da ne znaju šta čekaju, jer tamo još ništa nema. I Postgres to radi ovako: kada ne možete da dobijete zaključavanje, piše "A kakav je smisao obraditi vas?", jer već čekate nekoga. Zato ga jednostavno pustimo da visi u vazduhu, on to uopšte ne ažurira. Ali šta se ovde desilo? Čim je 702 završio proces i 703 dobio svoje zaključavanje, sistem se vratio. I rekao je da sada imamo dvoje ljudi koji čekaju. A onda ih možemo zajedno ažurirati. I da kažemo da oboje čekaju.

Ne znam zašto Postgres to tako radi. Ali postoji problem koji se zove f.... Mislim da to nije termin na ruskom. To je kada svi čekaju na jedan zaključak, čak i ako ima 20 instanci koje čekaju na zaključak. I odjednom se svi probude istovremeno. I svi pokušavaju da reaguju. Ali sistem to radi tako da svi čekaju 703. Jer svi čekaju i odmah ćemo ih sve staviti u red. I ako se pojavi bilo koji drugi novi zahtev, koji je formulisan posle toga, na primer, 707, tada će ponovno biti praznina.

I činim se da je to učinjeno kako bismo mogli reći da u ovoj fazi 702 čeka 703, a svi oni koji dođu posle toga, neće imati nikakvu evidenciju u ovom polju. Ali čim prvi čekajući napusti, svi koji su čekali u tom trenutku do ažuriranja dobijaju isti marker. I zato mislim da je to učinjeno kako bismo mogli da obrađujemo redom, da su pravilno raspoređeni.

Oduvek sam gledao na to kao na prilično čudan fenomen. Jer ovde, na primer, uopšte ih ne navodimo. Ali, čini mi se da svaki put kada dodelimo novi lock, gledamo na sve one koji su u procesu čekanja. Tada ih sve postavljamo u red. A zatim, bilo koji novi koji dolazi, ulazi u red samo kada sledeća osoba završi obradu. Veoma dobro pitanje. Hvala vam puno na pitanju!

Mislim da je mnogo logičnije kada 705 čeka 704.

Ali je ovdje sljedeći problem. Tehnički, možete probuditi ili jedan ili drugi. I zbog toga ćemo probuditi jedan ili drugi. No što se događa u radu sustava? Vidite kako 703 na samom vrhu blokira svoj vlastiti ID transakcije. To je način na koji Postgres radi. I 703 se blokira vlastitim ID-om transakcije, pa ako netko želi čekati, čekat će 703. U suštini, 703 završava. I samo nakon njegovog završetka, neki od procesa se budi. I ne znamo koji će točno proces biti. Tada polako obrađujemo sve. No nije jasno koji će se proces probuditi prvi, jer to može biti bilo koji od tih procesa. U suštini, imali smo planirator koji je rekao da sada možemo buditi bilo koji od tih procesa. Samo nasumično biramo jedan. Zato oboje treba označiti, jer možemo buditi bilo koji od njih.

I problem je u tome što imamo CP-beskonačnost. I zbog toga je sasvim moguće da probudimo kasniji. I ako, na primjer, budimo kasniji, onda ćemo očekivati onoga tko je upravo dobio zaključavanje, stoga ne određujemo tko će točno biti probuđen prvi. Jednostavno stvaramo takvu situaciju, a sustav će ih buditi u nasumičnom redoslijedu.

Postoji članci o zaključavanjima Egora Rogova. Pogledajte, oni su također zanimljivi i korisni. Tema je, naravno, strašno složena. Hvala puno, Bruce!

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster