Otključavanje Postgres Lock Managera. Bruce Momjian

Dešifriranje izvještaja Brucea Momzijana iz 2020. "Otključavanje Postgres upravitelja zaključavanja".

Otključavanje Postgres Lock Managera. Bruce Momjian

(Napomena: Sve SQL upite sa slajdova možete dobiti putem ovog linka: http://momjian.us/main/writings/pgsql/locking.sql)

Pozdrav! Divno je ponovno biti ovdje u Rusiji. Ispričavam se što nisam mogao doći prošle godine, ali ove godine Ivan i ja imamo velike planove. Nadam se da ću biti ovdje puno češće. Obožavam dolaziti u Rusiju. Posjetit ću Tjumen, Tver. Jako sam uzbuđen što ću imati priliku posjetiti ova mjesta.

Zovem se Bruce Momjian. Radim u EnterpriseDB-u i radim s Postgresom više od 23 godine. Živim u Philadelphiji, SAD. Putujem otprilike 90 dana godišnje. Sudjelujem na oko 40 konferencija. Moj web sajt, koji sadrži slajdove koje ću vam sada pokazati. Dakle, nakon konferencije možete ih preuzeti sa moje osobne web stranice. Tamo se nalazi i oko 30 prezentacija. Također postoje videa i veliki broj blog postova, više od 500. To je prilično obiman resurs. A ako vas zanima ovaj materijal, pozivam vas da ga iskoristite.

Prije sam bio učitelj, profesor prije nego što sam počeo raditi s Postgresom. Jako sam sretan što ću vam sada moći ispričati ono što sam planirao. Ovo je jedna od mojih najzanimljivijih prezentacija. Ova prezentacija sadrži 110 slajdova. Počet ćemo s jednostavnim stvarima, a do kraja će izlaganje postati sve složenije.

Otključavanje Postgres Lock Managera. Bruce Momjian

To je prilično neugodan razgovor. Zaključavanje nije najpopularnija tema. Želimo da to nekako nestane. To je kao ići kod stomatologa.

Otključavanje Postgres Lock Managera. Bruce Momjian

  1. Zaključavanje je problem za mnoge ljude koji rade s bazama podataka i imaju više procesa koji rade istovremeno. Potrebno im je zaključavanje. Dakle, danas ću vam dati osnovno znanje o zaključavanju.
  2. Identifikatori transakcija. Ovo je prilično dosadna-dijelovi prezentacije, ali ih je potrebno razumjeti.
  3. Zatim ćemo razgovarati o vrstama zaključavanja. Ovo je prilično mehanički dio.
  4. I zatim ćemo navesti neke primjere zaključavanja. I to će biti prilično teško za razumjeti.

Otključavanje Postgres Lock Managera. Bruce Momjian

Hajde da razgovaramo o zaključavanjima.

Otključavanje Postgres Lock Managera. Bruce Momjian

Terminologija je kod nas prilično složena. Koliko vas zna odakle je ovaj isječak? Dvoje ljudi. To je iz igre koja se zove "Kolosalna avantura u špilji". To je bila tekstualna računalna igra 80-ih godina, čini mi se. Tamo je trebalo ući u špilju, u labirint i tekst se mijenjao, ali je sadržaj svaki put bio otprilike isti. Tako se sjećam te igre.

Otključavanje Postgres Lock Managera. Bruce Momjian

I ovdje vidimo nazive zaključavanja koja su nam došla iz Oraclea. Koristimo ih.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ovdje vidimo termine koji me zbunjuju. Na primjer, SHARE UPDATE EXCLUSIVE. Zatim SHARE RAW EXCLUSIVE. Iskreno, ti nazivi nisu baš jasni. Pokušat ćemo ih detaljnije razmotriti. Neki sadrže riječ "share", što znači – odvojiti se. Neki sadrže riječ "exclusive" – ekskluzivan. U nekima se nalaze obje te riječi. Htio bih započeti s tim kako ta zaključavanja funkcioniraju.

Otključavanje Postgres Lock Managera. Bruce Momjian

Također, vrlo je važno riječ "pristup" – access. I riječ "row" – redak. Dakle, raspodjela pristupa, raspodjela redaka.

Otključavanje Postgres Lock Managera. Bruce Momjian

Još jedan problem koji je potrebno razumjeti u Postgresu, nažalost, neću moći obraditi u svom izlaganju, to je MVCC. Imam posebnu prezentaciju na tu temu na svojoj web stranici. A ako mislite da je ova prezentacija složena, onda je MVCC vjerojatno moja najteža. Ako vas zanima, možete je pogledati na webu. Možete gledati video.

Otključavanje Postgres Lock Managera. Bruce Momjian

Još jedna stvar koju trebamo razumjeti – to su identifikatori transakcije. Mnoge transakcije ne mogu raditi bez jedinstvenih identifikatora. I ovdje imamo objašnjenje što je transakcija. U Postgresu postoje dva sustava numeriranja transakcija. Znam da to nije baš lijepo rješenje.

Otključavanje Postgres Lock Managera. Bruce Momjian

Također imajte na umu da će slajdovi biti dovoljno složeni za razumijevanje, stoga obratite pažnju na ono što je označeno crvenom bojom, to je ono na što treba obratiti pažnju.

Otključavanje Postgres Lock Managera. Bruce Momjian

http://momjian.us/main/writings/pgsql/locking.sql

Pogledajmo. Crvenom bojom označen je broj transakcije. Ovdje je prikazana funkcija SELECT pg_back. Ona vraća moju transakciju i ID te transakcije.

Još jedan bit, ako vam se sviđa ova prezentacija i želite je pokrenuti u svojoj bazi podataka, možete proći kroz ovu vezu označenu ružičastom bojom i preuzeti SQL za ovu prezentaciju. Možete je odmah pokrenuti u vašem PSQL-u i cijela prezentacija će se prikazati na vašem ekranu. Neće sadržavati boje, ali barem ćemo je moći vidjeti.

Otključavanje Postgres Lock Managera. Bruce Momjian

U ovom slučaju vidimo ID transakcije. To je broj koji smo mu dodijelili. Također postoji još jedan tip ID-a transakcije u Postgresu koji se naziva virtualni ID transakcije.

I trebamo to razumjeti. To je vrlo važno, inače ne možemo shvatiti zaključavanje u Postgresu.

Virtualni ID transakcije je ID transakcije koji ne sadrži stalne vrijednosti. Na primjer, ako pokrenem naredbu SELECT, vjerojatno neću mijenjati bazu podataka i ništa neću zaključavati. Zato, kada pokrenemo jednostavni SELECT, ne dodjeljujemo ovoj transakciji stalni ID. Dajemo joj samo virtualni ID.

To poboljšava performanse Postgres-a i poboljšava mogućnosti čišćenja, tako da se virtualni ID transakcije sastoji od dva broja. Prvi broj prije kose crte je ID pozadine. A s desne strane vidimo samo brojač.

Otključavanje Postgres Lock Managera. Bruce Momjian

Stoga, ako pokrenem upit, on kaže da je ID pozadine – 2.

Otključavanje Postgres Lock Managera. Bruce Momjian

A ako pokrenem niz takvih transakcija, vidimo da se brojač svaki put povećava kada pokrenem upit. Na primjer, kada pokrenem upit 2/10, 2/11, 2/12 itd.

Otključavanje Postgres Lock Managera. Bruce Momjian

Imajte na umu da ovdje postoje dvije kolone. S lijeve strane vidimo virtualni ID transakcije – 2/12. A s desne strane imamo stalni ID transakcije. I ovo polje je prazno. Ova transakcija ne mijenja bazu podataka. Zato joj ne dodjeljujem stalni ID transakcije.

Otključavanje Postgres Lock Managera. Bruce Momjian

Čim pokrenem naredbu za analizu (ANALYZE), isti upit mi daje stalni ID transakcije. Pogledajte kako se to promijenilo. Prije nisam imao ovaj ID, a sada je tu.

Otključavanje Postgres Lock Managera. Bruce Momjian

Dakle, ovdje je još jedan upit, još jedna transakcija. Virtualni broj transakcije – 2/13. I ako zatražim stalni ID transakcije, dobit ću ga kada pokrenem upit.

Otključavanje Postgres Lock Managera. Bruce Momjian

Dakle, još jednom. Imamo virtualni ID transakcije i stalni ID transakcije. Samo shvatite ovu stvar kako biste razumjeli ponašanje Postgres-a.

Otključavanje Postgres Lock Managera. Bruce Momjian

Prelazimo na treći odjeljak. Ovdje ćemo samo proći kroz različite vrste zaključavanja u Postgresu. To nije baš zanimljivo. Posljednji odjeljak bit će mnogo zanimljiviji. No, moramo razmotriti osnovne stvari, inače nećemo razumjeti što slijedi.

Proći ćemo kroz ovaj odjeljak, pogledat ćemo svaku vrstu zaključavanja. I pokazat ću vam primjere kako se postavljaju, kako rade, i pokazat ću vam neke upite koje možete koristiti kako biste vidjeli kako zaključavanje funkcionira u Postgresu.

Otključavanje Postgres Lock Managera. Bruce Momjian

Da bismo stvorili upit i vidjeli što se događa u Postgresu, trebamo izvršiti upit u sistemskom prikazu. U ovom slučaju, u crvenoj boji imamo istaknuti pg_lock. Pg_lock je sistemska tablica koja nam govori koje se zaključavanje trenutno koristi u Postgresu.

Ipak, jako je teško pokazati vam pg_lock sam po sebi, jer je to prilično složeno. Stoga sam stvorio prikaz koji prikazuje pg_locks. Također obavlja određeni posao koji mi pomaže bolje razumjeti. Odnosno, isključuje moje zaključavanje, moju vlastitu sesiju itd. To je jednostavan standardni SQL i pomaže vam bolje prikazati što se događa.

Otključavanje Postgres Lock Managera. Bruce Momjian

Još jedan problem je što je ovaj prikaz vrlo širok, pa moram stvoriti drugi – lockview2.

Otključavanje Postgres Lock Managera. Bruce Momjian I on mi prikazuje još stupaca iz tablice. I još jedan, koji mi prikazuje ostale stupce. To je prilično složeno, pa sam se potrudio predstaviti to što jednostavnije.

Otključavanje Postgres Lock Managera. Bruce Momjian

Dakle, stvorili smo tablicu koja se zove Lockdemo. I u njoj smo stvorili jedan redak. To je naša primjerna tablica. I stvorit ćemo odjeljke kako bismo vam samo pokazali primjere zaključavanja.

Otključavanje Postgres Lock Managera. Bruce Momjian

Dakle, jedan redak, jedan stupac. Prva vrsta zaključavanja se zove ACCESS SHARE. To je najmanje restriktivno zaključavanje. To znači da praktički ne ulazi u sukob s drugim zaključavanjima.

Ako želimo eksplicitno definirati blokadu, pokrećemo naredbu «lock table». Ona će jasno blokirati, tj. u ACCESS SHARE modu pokrećemo lock table. Ako pokrenem PSQL u pozadini, tada na taj način otvaram drugu sesiju iz svoje prve sesije. Što ću ovdje učiniti? Prelazim u drugu sesiju i kažem joj «prikaži mi lockview za ovaj upit». I ovdje imam AccessShareLock u ovoj tablici. To je upravo ono što sam tražio. I on kaže da je blokada dodijeljena. Veoma jednostavno.

Otključavanje Postgres Lock Managera. Bruce Momjian

Nadalje, ako pogledamo drugu kolonu, tamo nema ništa. One su prazne.

Otključavanje Postgres Lock Managera. Bruce Momjian

I ako pokrenem naredbu «SELECT», to je implicitni (jasni) način traženja AccessShareLock. Dakle, otpuštam svoju tablicu i pokrećem upit, a upit vraća nekoliko redaka. U jednom od redaka vidimo AccessShareLock. Tako SELECT izaziva AccessShareLock u tablici. I gotovo se ni s čim ne sukobljava jer je to blokada niskog nivoa.

Otključavanje Postgres Lock Managera. Bruce Momjian

Što ako pokrenem SELECT i imam tri različite tablice? Ranije sam pokretao samo jednu tablicu, sada pokrećem tri: pg_class, pg_namespace i pg_attribute.

Otključavanje Postgres Lock Managera. Bruce Momjian

I sada, kada pogledam upit, vidim 9 AccessShareLocks u tri tablice. Zašto? Plavom bojom su označene tri tablice: pg_attribute, pg_class, pg_namespace. Ali također možete vidjeti da svi indeksi koji su definirani putem ovih tablica također imaju AccessShareLock.

To je blokada koja se praktički ne sukobljava s drugima. A sve što radi je da nam ne dopušta da ispraznimo tablicu dok je odabiremo. To ima smisla. Dakle, ako odabiremo tablicu, ona u tom trenutku nestaje, što nije ispravno, stoga AccessShare – to je blokada niskog nivoa koja nam govori "ne brišite ovu tablicu dok ja radim".. U suštini, to je sve što ona radi.

Otključavanje Postgres Lock Managera. Bruce Momjian

ROW SHARE – to je blokada koja se malo razlikuje.

Otključavanje Postgres Lock Managera. Bruce Momjian

Uzmimo primjer. SELECT ROW SHARE je način blokiranja svake pojedinačne stavke.. Tako nitko ne može izbrisati ili promijeniti njih dok ih gledamo.

Otključavanje Postgres Lock Managera. Bruce MomjianDakle, što radi SHARE LOCK? Vidimo da je ID transakcije 681 za SELECT. I to je zanimljivo. Što se ovdje dogodilo? Prvi put vidimo broj u polju "Lock". Uzimamo ID transakcije, a on kaže da ga blokira u ekskluzivnom režimu. Sve što radi je to da kaže da imam redak koji je tehnički blokiran negdje u tablici. No ne kaže gdje točno. Malo later ćemo to detaljnije razmotriti.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ovdje govorimo da se zaključavanje koristi od strane nas.

Otključavanje Postgres Lock Managera. Bruce Momjian

Dakle, ekskluzivno zaključavanje izričito (jasno) ukazuje da je ono ekskluzivno. Također, ako brišete redak u ovoj tablici, to će se točno dogoditi, kao što možete vidjeti.

Otključavanje Postgres Lock Managera. Bruce Momjian

SHARE EXCLUSIVE – to je duže zaključavanje.

Otključavanje Postgres Lock Managera. Bruce Momjian

To je (ANALYZE) analiza koja će se koristiti.

Otključavanje Postgres Lock Managera. Bruce Momjian

SHARE LOCK – možete izričito zaključati u režimu dijeljenja.

Otključavanje Postgres Lock Managera. Bruce Momjian

Također možete stvoriti jedinstveni indeks. I tu možete vidjeti SHARE LOCK, koji je njegov dio. I on blokira tablicu i postavlja na nju SHARE LOCK.

Prema zadanim postavkama, SHARE LOCK na tablici znači da drugi ljudi mogu čitati tablicu, ali nitko je ne može modificirati. I to se događa kada stvorite jedinstveni indeks.

Ako stvorim jedinstveni indeks paralelno, imat ću drugi tip blokade, jer, kao što se sjećate, korištenje paralelnih indeksa smanjuje zahtjev za blokade. I ako koristim normalnu blokadu, normalni indeks, na taj način ću spriječiti zapisivanje u indeks tablice tijekom njegove izrade. Ako koristim paralelni indeks, onda moram koristiti drugi tip blokade.

Otključavanje Postgres Lock Managera. Bruce Momjian

SHARE ROW EXCLUSIVE – opet se može izričito (jasno) postaviti.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ili možemo stvoriti pravilo, tj. uzeti neki određeni slučaj kada će se koristiti.

Otključavanje Postgres Lock Managera. Bruce Momjian

EXCLUSIVE zaključavanje znači da nitko drugi ne može mijenjati tablicu.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ovdje vidimo različite tipove zaključavanja.

Otključavanje Postgres Lock Managera. Bruce Momjian

ACCESS EXCLUSIVE, primjerice, to je zapovijed za zaključavanje. Na primjer, ako radite CLUSTER tablica, to će značiti da nitko ne može zapisivati u nju. I ona blokira ne samo samu tablicu, već i indekse također.

Otključavanje Postgres Lock Managera. Bruce Momjian

To je druga stranica zaključavanja ACCESS EXCLUSIVE, gdje konkretno vidimo što blokira u tablici. Ona blokira pojedinačne retke tablice, što je prilično zanimljivo.

To je sve osnovne informacije koje sam htio dati. Razgovarali smo o blokadama, o ID-ima transakcija, o virtualnim ID-ima transakcija, o stalnim ID-ima transakcija.

Otključavanje Postgres Lock Managera. Bruce Momjian

Sada ćemo proći kroz primjere blokada. To je najzanimljiviji dio. Proučit ćemo vrlo zanimljive slučajeve. A moja je zadaća na ovoj prezentaciji dati vam bolje razumijevanje onoga što Postgres zapravo radi kada pokušava blokirati različite stvari. Mislim da vrlo dobro blokira pojedinačne dijelove.

Pogledajmo određene primjere.

Otključavanje Postgres Lock Managera. Bruce Momjian

Započet ćemo s tablicama i jednom stavkom u tablici. Kada umetnem nešto, prikazuje mi se ExclusiveLock, ID transakcije i ExclusiveLock na tablici.

Otključavanje Postgres Lock Managera. Bruce Momjian

A što će se dogoditi ako umetnem još dva reda? Sada imamo tri reda u našoj tablici. Umetnuo sam jedan red i dobio ovo kao izlaz. Ako umetnem još dva reda, što je ovdje neobično? Ima neobičnosti, jer sam dodao tri reda u ovu tablicu, ali još uvijek imam dva reda u tablici blokade. I to je, u suštini, temeljno ponašanje Postgresa.

Mnogi misle da ako blokirate 100 redova u bazi podataka, morat ćete stvoriti 100 unosa blokada. Ako blokiram 1 000 redova odjednom, tada će mi trebati 1 000 takvih zahtjeva. A ako trebam blokirati milijun ili milijardu. No, ako to učinimo, nećemo baš dobro funkcionirati. Ako ste koristili sustav koji stvara unose blokada za svaki pojedinačni red, vidite da je to komplicirano. Jer morate odmah definirati tablicu blokade, koja može preplaviti, ali Postgres to ne radi.

Na ovoj slajdu vrlo je važno da se jasno prikazuje da postoji još jedan sustav koji radi unutar MVCC, koji blokira pojedinačne redove. Dakle, kada blokirate milijarde redova, Postgres ne stvara milijardu pojedinačnih komandi za blokiranje. I to vrlo povoljno utječe na performanse.

Otključavanje Postgres Lock Managera. Bruce Momjian

A što je s ažuriranjem? Trenutno ažuriram redove, i možete primijetiti da je odmah izvršio dvije različite operacije. Istodobno je zaključao tablicu, ali također je zaključao i indeks. Trebao je zaključati indeks jer postoje jedinstvena ograničenja na ovoj tablici. Želimo osigurati da ga nitko ne mijenja, pa ga zaključavamo.

Otključavanje Postgres Lock Managera. Bruce Momjian

A što ako želim ažurirati dva reda? Onda vidimo da se ponaša isto. Izvode se dvostruka ažuriranja, ali isto tako imamo isto toliko redova zaključavanja.

Ako vas zanima kako to Postgres radi, trebate poslušati moje prezentacije o MVCC-u da biste saznali kako Postgres interno označava te redove koje mijenja. Postgres ima način kako to radi, ali to ne radi na razini zaključavanja tablica, već na nižoj i učinkovitijoj razini.

Otključavanje Postgres Lock Managera. Bruce Momjian

A što ako želim nešto izbrisati? Ako, na primjer, brišem jedan red, a još uvijek imam svoja dva ulazna zaključavanja, i čak i ako želim izbrisati sve njih, ona još uvijek ostaju prisutna.

Otključavanje Postgres Lock Managera. Bruce Momjian

Na primjer, ako želim umetnuti 1.000 redova, a zatim ili izbrisati ili dodati još 1.000 redova, te pojedinačne redove koje dodajem ili mijenjam, ne bilježe se ovdje. Bilježe se na nižoj razini unutar samog reda. O tome sam detaljno govorio tijekom prezentacije o MVCC-u. No, vrlo je važno, kada analizirate zaključavanja, osigurati da imate zaključavanje na razini tablice i da ne vidite kako se evidentiraju pojedinačni redovi ovdje.

Otključavanje Postgres Lock Managera. Bruce Momjian

A što je s eksplicitnim zaključavanjem?

Otključavanje Postgres Lock Managera. Bruce Momjian

Ako pritisnem 'ažurirati', imat ću dva zaključana reda. I ako označim sve njih i pritisnem 'ažuriraj svuda', još uvijek će mi ostati dva zapisa zaključavanja.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ne kreiramo posebne zapise za svaki pojedinačni red. Jer bi tada performanse pale, moglo bi ih biti previše. I mogli bismo se naći u neugodnoj situaciji.

Otključavanje Postgres Lock Managera. Bruce Momjian

I isto tako, ako radimo shared, možemo to raditi 30 puta.

Otključavanje Postgres Lock Managera. Bruce Momjian

Obnavljamo našu tablicu, sve brišemo, a zatim ponovno umetnemo jedan red.

Otključavanje Postgres Lock Managera. Bruce Momjian

Jedna od vrsta ponašanja koju vidite u Postgresu je vrlo dobro poznato i poželjno ponašanje – možete izvoditi update ili select. I to možete raditi istovremeno. Select ne blokira update, niti obrnuto. Kažemo čitatelju da ne blokira onoga tko piše, a onaj tko piše ne blokira čitatelja.

Pokazat ću vam primjer toga. Sada ću napraviti odabir. Zatim ćemo napraviti INSERT. I kasnije ćete moći vidjeti – 694. Možete vidjeti ID transakcije koja je izvršila ovu umetanje. I tako to radi.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ako sada pogledam svoj backend ID, postao je – 695.

Otključavanje Postgres Lock Managera. Bruce Momjian

I mogu vidjeti da se 695 prikazuje u mojoj tablici.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ako ovdje napravim ažuriranje na ovaj način, dobijam drugi slučaj. U ovom slučaju 695 se koristi ekskluzivna blokada, dok update ima isto ponašanje, ali između njih ne dolazi do sukoba, što je prilično neobično.

Možete primijetiti da je na vrhu – to je ShareLock, a na dnu – to je ExclusiveLock. I obje transakcije su se dogodile.

Morate poslušati moje izlaganje u MVCC-u da biste razumjeli kako se to odvija. Ali ovo je ilustracija toga da možete raditi ovo istovremeno, tj. raditi SELECT i UPDATE simultano.

Otključavanje Postgres Lock Managera. Bruce Momjian

Hajde da resetiramo i ponovo napravimo jednu operaciju.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ako pokušate izvršiti dva updatea na istom redu istovremeno, doći će do blokade. I zapamtite, rekao sam da čitatelj ne blokira pisca, a pisac čitatelja, ali jedan pisac blokira drugog piscem. To jest, ne možemo omogućiti da dvoje ljudi istovremeno ažuriraju isti red. Moraju čekati da jedan od njih završi.

Otključavanje Postgres Lock Managera. Bruce Momjian

Da bih to ilustrirao, pogledat ću Lockdemo tablicu. I pogledat ćemo jedan red. Na transakciju 698.

Ažurirali smo to na 2. 699 – to je prvo ažuriranje. I prošlo je uspješno ili je u čekanju transakcije i čeka da potvrdimo ili otkažemo.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ali pogledajte drugo – 2/51 – to je naš prvi transakcijski ID, naša prva sesija. 3/112 – to je drugi zahtjev koji se pojavio i koji je promijenio ovu vrijednost na 3. Ako primijetite, gornji zahtjev je blokirao sam sebe, onaj 699. Međutim, 3/112 nije dodijelio blokadu. U stupcu Lock_mode piše da čeka. Čeka 699. Ako pogledate gdje je 699, on je iznad. I što je prva sesija učinila? Stvorila je ekskluzivnu blokadu na svom vlastitom transakcijskom ID-u. To je način na koji Postgres to radi. Blokira svoj vlastiti transakcijski ID. Ako želite čekati da netko potvrdi ili poništi, trebate čekati dok postoji transakcija koja se očekuje. I zato možemo vidjeti čudan redak.

Pogledajmo još jednom. Lijevo vidimo naš procesorski ID. U drugom stupcu vidimo naš virtualni ID transakcije, a u trećem vidimo lock_type. Što to znači? U suštini to govori da blokira transakcijski ID. Ali primijetite da u svim redovima ispod piše relation. I zato imate dva tipa blokade u tablici. Postoji blokada relation. Također postoji blokada transactionid, gdje se blokirate sami, točno je to što se događa u prvom redu ili na dnu, gdje je transationid, gdje čekamo da 699 završi svoju operaciju.

Gledam što se ovdje događa. I ovdje se istovremeno događaju dvije stvari. Gledate na blokadu prema transakcijskom ID-u u prvom redu, koja blokira samu sebe. I ona blokira samu sebe kako bi natjerala ljude da čekaju.

Ako pogledate 6. redak, tada je zapis isti kao i prvi. I zato se transakcija 699 blokira. 700 se također samoblocira. A zatim u donjem redu vidite da čekamo kada 699 završi svoju operaciju.

Otključavanje Postgres Lock Managera. Bruce Momjian

I u lock_type, tuple vidite brojeve.

Otključavanje Postgres Lock Managera. Bruce Momjian

Možete vidjeti da je to 0/10. I to je broj stranice, a također i offset ovog konkretnog reda.

Otključavanje Postgres Lock Managera. Bruce Momjian

I vidite da postaje 0/11 kada ažuriramo.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ali zapravo – to je 0/10, jer se čeka ova operacija. Imamo priliku vidjeti da je to onaj redak koji čekam da potvrdim.

Otključavanje Postgres Lock Managera. Bruce Momjian

Čim smo to potvrdili i pritisnuli commit, i kada je ažuriranje završeno, ovo je ono što opet dobijamo. Transakcija 700 je jedina blokada, više ne čeka nikoga, jer je zakomitirala. Samo čeka da transakcija završi. Čim 699 završi, više ništa ne čekamo. I sada transakcija 700 govori da je sve u redu, da sve blokade koje su potrebne ima u svim dozvoljenim tablicama.

Otključavanje Postgres Lock Managera. Bruce Momjian

I kako bismo dodatno zakomplicirali sve to, stvaramo još jedan prikaz, koji će nam ovaj put pružiti hijerarhiju. Ne očekujem da ćete razumjeti ovaj upit. Ali će nam to dati jasniji uvid u ono što se događa.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ovo je rekurzivni prikaz, koji također ima još jedan odjeljak. I on se zatim ponovo vraća sve zajedno. Hajde da to iskoristimo.

Otključavanje Postgres Lock Managera. Bruce Momjian

Što ako napravimo tri istovremena ažuriranja i kažemo da je niz sada jednak tri. I promijenimo 3 na 4.

Otključavanje Postgres Lock Managera. Bruce Momjian

I evo nas, vidimo 4. I ID transakcije 702.

Otključavanje Postgres Lock Managera. Bruce Momjian

Zatim ćemo promijeniti 4 na 5. A 5 na 6, a 6 na 7. I postavljam red ljudi koji će čekati da ova jedna transakcija završi.

Otključavanje Postgres Lock Managera. Bruce Momjian

I sve postaje jasno. Koji je prvi red? To je 702. To je ID transakcije koji je izvorno postavio ovu vrijednost. A što piše u stupcu Granted? Imam oznake f. To su moja ažuriranja, koja (5, 6, 7) ne mogu biti odobrena, jer čekamo da ID transakcije 702 završi. Tamo imamo blokadu ID transakcije. I ispada da imamo 5 transakcijskih blokada ID.

I ako pogledate 704, 705, još ništa nije napisano, jer oni još ne znaju što se događa. Oni samo pišu da nemaju pojma što se događa. I jednostavno će zaspati, jer čekaju da netko završi i probudi ih kada se otvori mogućnost promjene reda.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ovako to izgleda. Jasno je da svi čekaju 12. red.

Otključavanje Postgres Lock Managera. Bruce Momjian

To je ono što smo vidjeli ovdje. Evo 0/12.

Otključavanje Postgres Lock Managera. Bruce Momjian

Dakle, čim je prva transakcija odobrena, ovdje možete vidjeti kako hijerarhija funkcioniše. I sada postaje sve jasno. Svi postaju čisti. I oni su zapravo još uvijek u čekanju.

Otključavanje Postgres Lock Managera. Bruce Momjian

Evo što se događa. 702 se potvrđuje. A sada 703 dobiva ovu blokadu reda, a zatim 704 počinje čekati da se 703 potvrdi. I 705 također to čeka. Kada se sve to završi, sami se očiste. Htio bih istaknuti da se svi postavljaju u red. To vrlo sliči situaciji s prometnom gužvom, kada svi čekaju prvu vozilo. Prvo vozilo se zaustavilo, i svi se postavljaju u dugi red. Zatim se kreće, zatim sljedeće vozilo može proći unaprijed i dobiti svoju blokadu itd.

Otključavanje Postgres Lock Managera. Bruce Momjian

I ako vam to nije bilo dovoljno komplicirano, sada ćemo razgovarati o deadlocks. Ne znam tko od vas se s tim suočio. To je prilično uobičajen problem u sustavima baza podataka. Deadlocks su slučaj kada jedna sesija čeka da nešto izvrši druga sesija. A u tom trenutku druga sesija čeka da prva sesija izvrši nešto.

Na primjer, ako Ivan kaže: "Daj mi nešto", a ja kažem: "Ne, dat ću ti to samo ako mi ti daš nešto drugo". A on kaže: "Ne, neću ti to dati ako mi ne daš". I tada se nalazimo u situaciji mrtve blokade. Siguran sam da Ivan to ne bi učinio, ali razumijete poantu — imamo dvoje ljudi koji žele nešto dobiti i nisu spremni to dati dok im druga osoba ne da ono što žele. A tu nema rješenja.

U suštini, vašoj bazi podataka to treba identificirati. Zatim je potrebno ukloniti ili zatvoriti jednu od sesija, jer u suprotnom će tamo ostati zauvijek. To vidimo u bazama podataka, to vidimo u operativnim sustavima. I na svim mjestima gdje imamo paralelne procese, to se može dogoditi.

Otključavanje Postgres Lock Managera. Bruce Momjian

Sada ćemo postaviti dva deadlocks. Postavit ćemo 50 i 80. U prvom redu ću izvršiti ažuriranje s 50 na 50. Dobit ću broj transakcije 710.

Otključavanje Postgres Lock Managera. Bruce Momjian

Zatim ću promijeniti 80 na 81, i 50 na 51.

Otključavanje Postgres Lock Managera. Bruce Momjian

I tako će to izgledati. Stoga 710 ima blokadu reda, a 711 čeka na potvrdu. To smo vidjeli kada smo ažurirali. 710 je vlasnik našeg reda. A 711 čeka da 710 završi transakciju.

Otključavanje Postgres Lock Managera. Bruce Momjian

I čak piše na kojem točno redu imamo deadlocks. I tu postaje zanimljivo.

Otključavanje Postgres Lock Managera. Bruce Momjian

Sada ažuriramo 80 na 80.

Otključavanje Postgres Lock Managera. Bruce Momjian

I tu započinju deadlockovi. 710 čeka odgovor od 711, a 711 čeka od 710. I ovo neće dobro završiti. A izlaza nema. I oni će čekati jedno drugo.

Otključavanje Postgres Lock Managera. Bruce Momjian

I to će jednostavno početi kasniti. A to ne želimo.

Otključavanje Postgres Lock Managera. Bruce Momjian

I u Postgresu postoje načini da se primijeti kada se to dogodi. I kada se to dogodi, dobijate ovakvu grešku. I iz toga je jasno da neki proces čeka SHARE LOCK od drugog procesa, tj. koji je blokiran procesom 711. A taj proces je čekao da mu se da SHARE LOCK na određenom ID-u transakcije i bio je blokiran nekim procesom. Stoga je ovdje situacija mrtvog zaključavanja.

Otključavanje Postgres Lock Managera. Bruce Momjian

A postoji li trostruko mrtvo zaključavanje? Je li to moguće? Da.

Otključavanje Postgres Lock Managera. Bruce Momjian

Unosimo te brojeve u tablicu. Mijenjamo 40 u 40, radimo zaključavanje.

Otključavanje Postgres Lock Managera. Bruce Momjian

Mijenjamo 60 u 61, 80 u 81.

Otključavanje Postgres Lock Managera. Bruce Momjian

A zatim mijenjamo 80, a zatim – bum!

Otključavanje Postgres Lock Managera. Bruce Momjian

I 714 sada čeka 715. 716. čeka 715. I s tim se više ništa ne može učiniti.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ovdje više nisu samo dva čovjeka, ovdje su tri. Ja želim nešto od tebe, ovaj želi nešto od treće osobe, a treća osoba želi nešto od mene. I dolazimo u trostruko čekanje, jer svi čekamo da druga osoba završi ono što treba učiniti.

Otključavanje Postgres Lock Managera. Bruce Momjian

I Postgres zna na kojem redu se to događa. I stoga će vam dati sljedeću poruku koja pokazuje da imate problem, gdje se tri unesena zaključa međusobno blokiraju. I ovdje nema ograničenja. To može biti slučaj gdje 20 zapisa blokira jedno drugo.

Otključavanje Postgres Lock Managera. Bruce Momjian

Sljedeći problem je serializabilan.

Otključavanje Postgres Lock Managera. Bruce Momjian

Ako je specijalna serializabilna blokada.

Otključavanje Postgres Lock Managera. Bruce Momjian

I vraćamo se na 719. Ima sasvim normalan izlaz.

Otključavanje Postgres Lock Managera. Bruce Momjian

I možete pritisnuti da obavite transakciju iz serializabilnog.

Otključavanje Postgres Lock Managera. Bruce Momjian

I shvaćate da sada imate još jedan tip zaključavanja SA – to znači serializabilno.

Otključavanje Postgres Lock Managera. Bruce Momjian

Otključavanje Postgres Lock Managera. Bruce Momjian

I stoga imamo novi tip zaključavanja, koji se zove SARieadLock, što je serijska blokada i omogućuje unos serijala.

Otključavanje Postgres Lock Managera. Bruce Momjian

I također možete unositi jedinstvene indekse.

Otključavanje Postgres Lock Managera. Bruce Momjian

U ovom preglednom imamo jedinstvene indekse.

Otključavanje Postgres Lock Managera. Bruce Momjian

Dakle, ako ovdje unesem broj 2, zato imam 2. Ali na samom vrhu unosim još jedan 2. I možete vidjeti da 721. ima ekskluzivnu blokadu. Ali sada 722. čeka da 721. završi svoju operaciju, jer ne može umetnuti 2 dok ne zna što će se dogoditi s 721.

Otključavanje Postgres Lock Managera. Bruce Momjian

I ako radimo subtransakciju.

Otključavanje Postgres Lock Managera. Bruce Momjian

Evo nas 723.

Otključavanje Postgres Lock Managera. Bruce Momjian

A ako zadržavamo točku i kasnije je ažuriramo, dobijamo novi transakcijski ID. To je još jedno ponašanje koje trebate znati. Ako to vratimo, transakcijski ID nestaje. 724 nestaje. No sada imamo 725.

I što ovdje pokušavam učiniti? Pokušavam vam pokazati primjere neobičnih blokada koje možete pronaći: bilo da su to serializable blokade ili SAVEPOINT – to su različite vrste blokada koje će se pojaviti u tablici blokada.

Otključavanje Postgres Lock Managera. Bruce Momjian

To je stvaranje eksplicitnih (jasnih) blokada s pg_advisory_lock.

Otključavanje Postgres Lock Managera. Bruce Momjian

Vidite da je tip blokade ovdje naveden kao advisory. I ovdje crvenim slovima piše 'advisory'. A možete istovremeno blokirati s pg_advisory_unlock.

Otključavanje Postgres Lock Managera. Bruce Momjian

I završavajući, želio bih vam pokazati još jednu zanimljivu stvar. Stvorit ću još jedan tip. No, spojit ću tablicu pg_locks s tablicom pg_stat_activity. I zašto to želim učiniti? Zato što će mi to omogućiti da pogledam sve trenutne sesije i vidim koje konkretne blokade očekuju. I to je prilično zanimljivo kada spojimo tablicu blokada i tablicu upita.

Otključavanje Postgres Lock Managera. Bruce Momjian

I ovdje stvaramo pg_stat_view.

Otključavanje Postgres Lock Managera. Bruce Momjian

A ažuriramo redak za jedan. I ovdje vidimo 724. Zatim ažuriramo naš redak na tri. I što sada vidite ovdje? To su upiti, tj. vidite cijeli popis upita koji su navedeni u lijevom stupcu. A zatim na desnoj strani možete vidjeti blokade i ono što stvaraju. I to može biti jasnije za vas kako ne biste morali svaki put vraćati se svakoj sesiji i gledati – treba li se pridružiti ili ne. To za nas obavljaju.

Još jedna funkcija koja je jako korisna – to je pg_blocking_pids. Vjerojatno nikada niste čuli za to. Što ona radi? Omogućuje nam da kažemo koji točno ID procesa očekuje za ovu sesiju 11740. I možete vidjeti da 11740 očekuje 724. A 724 je na vrhu. ID vašeg procesa je 11306. U suštini, ova funkcija prolazi kroz vašu tablicu zaključavanja. Znam da je ovo malo komplicirano, ali vi to razumijete. U suštini, ova funkcija prolazi kroz ovu tablicu zaključavanja i pokušava pronaći gdje je taj ID procesa, uzimajući u obzir te zaključke koje očekuje. Također pokušava izračunati koji točno ID procesa ima onaj proces koji čeka na zaključke. Zato možete pokrenuti ovu funkciju pg_blocking_pids.

I to može biti jako korisno. Dodali smo to tek u verziji 9.6, pa ova funkcija postoji samo 5 godina, ali je vrlo i vrlo korisna. Isto se odnosi i na drugi upit. On točno pokazuje ono što trebamo vidjeti.

Otključavanje Postgres Lock Managera. Bruce Momjian

To je ono o čemu sam želio razgovarati s vama. I kako sam i očekivao, iskoristili smo svo vrijeme jer je bilo toliko slajdova. Slajdovi su dostupni za preuzimanje. Želio bih vam zahvaliti što ste bili ovdje. Siguran sam da ćete uživati u ostatku konferencije, hvala vam veliko!

Pitanja:

Na primjer, ako pokušavam ažurirati redove, a druga sesija pokušava obrisati cijelu tablicu. Koliko ja razumijem, trebao bi postojati nešto poput intent lock-a. Ima li toga u Postgresu?

Otključavanje Postgres Lock Managera. Bruce Momjian

Vraćamo se na sam početak. Možda se sjećate da kada radite bilo što, na primjer, kada radite SELECT, izdaje se AccessShareLock. I to sprječava brisanje tablice. Zato ako, na primjer, želite ažurirati red u tablici ili obrisati red, netko ne može obrisati cijelu tablicu istovremeno s tim, jer držite taj AccessShareLock nad cijelom tablicom i redom. I čim završite, oni to mogu obrisati. No dok vi izravno nešto mijenjate, oni to neće moći učiniti.

Idemo ponovo. Pređimo na primjer s brisanjem. I vidite kako je na redu ekskluzivni zaključak nad cijelom tablicom.

Izgledat će kao ekskluzivni zaključak, zar ne?

Da, to izgleda kao to. Razumijem o čemu govorite. Govorite da, ako izvršim SELECT, imat ću ShareExclusive, a zatim to pretvorim u stanje Row Exclusive, da li to postaje problem? No iznenađujuće, to ne stvara problem. Izgleda kao povećanje nivoa zaključavanja, ali u suštini imam zaključavanje koje sprečava brisanje. A sada, kada činim to zaključavanje jačim, još uvek sprečava brisanje. Dakle, nije kao da se podižem. To jest, sprečavao je to i kada je bio na nižem nivou, tako da, kada ga podižem, još uvek sprečava brisanje tabele.

Razumem o čemu govorite. Ovde nije slučaj povećanja nivoa zaključavanja, gde pokušavate da se odreknete jednog zaključavanja kako biste uveli jače. Ovde jednostavno uopšte povećava to sprečavanje, tako da ne izaziva nikakve konflikte. Ali to je dobro pitanje. Hvala vam što ste ga postavili!

Što nam je potrebno da učinimo kako bismo izbegli situaciju deadlock-a kada imamo puno sesija, veliki broj korisnika?

Postgres automatski uočava situacije deadlock-a. I automatski će ukloniti jednu od sesija. Jedini način da se izbegne situacija mrtvog zaključavanja je ako zaključavate ljude u istom redosledu. Stoga, kada pogledate svoju aplikaciju, često je uzrok deadlock-ova… Zamislite da želim zaključati dve različite stvari. Jedna aplikacija zaključava tabelu 1, a druga aplikacija zaključava 2, a zatim tabelu 1. I najjednostavniji način da se izbegnu deadlock-ovi je da pogledate svoju aplikaciju i potrudite se da zaključavanje bude u istom redosledu u svim aplikacijama. I to obično uklanja 80% problema, jer razni ljudi pišu te aplikacije. A ako ih zaključavate u istom redosledu, ne suočavate se sa situacijom deadlock-a.

Hvala vam puno na vašem izlaganju! Govorili ste o vacuum full i, ako dobro razumem, vacuum full deformira redosled zapisa u pojedinačnom skladištu, tako da trenutni zapisi ostaju nepromenjeni. A zašto vacuum full uzima pravo ekskluzivnog zaključavanja i zašto se sukobljava sa operacijama pisanja?

To je dobro pitanje. Razlog je u tome što vacuum full uzima tabelu. I suštinski, kreiramo novu verziju tabele. Tabela će biti nova. Dakle, to će biti potpuno nova verzija tabele. Problem je što, kada to radimo, ne želimo da ljudi čitaju ovu tabelu, jer treba da vide novu tabelu. I zato se to povezuje s prethodnim pitanjem. Kada bismo mogli čitati istovremeno, ne bismo mogli da je prebacimo i usmerimo ljude na novu tabelu. Morali bismo čekati da svi završe sa čitanjem ove tabele, a to je, suštinski, situacija sa ekskluzivnom zaključavanjem.
Jednostavno kažemo da blokiramo od starta, jer znamo da će na kraju biti potrebna ekskluzivna blokada kako bismo prebacili sve na novu kopiju. Stoga to možemo potencijalno rešiti. A to činimo sa istovremenim indeksiranjem. Ali to je mnogo složenije. I to se veoma odnosi na vaše prethodno pitanje o ekskluzivnom zaključavanju.

Da li je moguće dodati locking timeout u Postgres? U Oracle-u mogu napisati, na primer, „izabrati za ažuriranje“ i čekati 50 sekundi pre ažuriranja. To je dobro funkcionisalo za aplikaciju. Ali u Postgres-u moram ili to uraditi odmah i ne čekati uopšte, ili čekati određeno vreme.

Da, možete izabrati timeout za svoje blokade. Takođe možete izdati komandu no way, koja će biti …, ako ne možete odmah dobiti blokadu. Dakle, ili lock timeout ili nešto drugo što će vam to omogućiti. To se ne radi na sintaktičkom nivou. To se postavlja kao promenljiva na serveru. Ponekad to ne može da se koristi.

Možete li otvoriti 75. slajd?

Da.

Otključavanje Postgres Lock Managera. Bruce Momjian

I moje pitanje je sledeće. Zašto oba procesa ažuriranja čekaju 703?

I to je divno pitanje. Ne razumijem, usput, zašto Postgres to radi. No kada je 703 stvoren, očekivao je 702. A kada se pojave 704 i 705, izgleda da ne znaju što čekaju, jer još uvijek ništa nema. I Postgres to radi ovako: kada ne možete dobiti zaključavanje, piše "Koja je svrha obraditi vas?", jer već čekate nekoga. Zato ga jednostavno pustimo da visi u zraku, uopće to ne ažurira. No što se ovdje dogodilo? Čim je 702 završio proces i 703 dobio svoje zaključavanje, sustav se vratio. I rekao je da sada imamo dvoje ljudi koji su u čekanju. A onda ćemo ih zajedno ažurirati. I označimo da oboje čekaju.

Ne znam zašto Postgres to radi. No postoji problem koji se zove f…. Čini mi se da to nije termin na hrvatskom. To je kada svi čekaju na jedan zaključak, čak i ako ima 20 instanci koje čekaju na zaključak. I odjednom se svi bude istovremeno. I svi pokušavaju reagirati. No sustav radi tako da svi čekaju na 703. Jer oni svi čekaju, i odmah ćete ih sve posložiti u red. I ako se pojavi bilo koji drugi novi zahtjev, koji je formiran nakon toga, na primjer 707, onda će opet biti praznina.

I čini mi se da je to učinjeno kako bi se moglo reći da u toj fazi 702 čeka 703, a svi oni koji dođu poslije toga, neće imati nikakvu evidenciju u ovom polju. No čim prvi čekatelj ode, i svi oni koji su čekali u tom trenutku prije ažuriranja, dobiju istu oznaku. I zato mi se čini da je to učinjeno kako bismo mogli obrađivati redom, kako bi bili ispravno poredani.

Uvijek sam to gledao kao na prilično čudan fenomen. Jer ovdje, na primjer, ih uopće ne nabrajamo. No, čini mi se, svaki put kada damo novu blokadu, gledamo na sve one koji su u procesu čekanja. Tada ih sve posložimo u red. A zatim bilo tko novi tko dođe, ulazi u red samo kada sljedeća osoba završi s obradom. Veoma dobro pitanje. Hvala vam puno na pitanju!

Čini mi se logičnijim kada 705 čeka 704.

No, problem je sljedeći. Tehnički, možete probuditi ovaj ili onaj. Zbog toga ćemo probuditi onaj ili ovaj. No što se događa u radu sustava? Vidite da je 703 na samom vrhu blokirao svoj vlastiti transakcijski ID. To je način na koji Postgres radi. I 703 se blokira vlastitim transakcijskim ID-om, pa ako netko želi čekati, čeka 703. U suštini, 703 se završava. I tek nakon njegovog završetka, neki od procesa se budi. A mi ne znamo koji će točno proces biti. Zatim postupno obrađujemo sve. No nije jasno koji će se proces prvo probuditi, jer to može biti bilo koji od tih procesa. U suštini, imamo raspoređivač koji kaže da sada možemo buditi bilo koji od tih procesa. Jednostavno biramo jedan nasumično. Stoga oba trebate označiti, jer možemo buditi bilo koji od njih.

I problem je u tome što imamo CP-beskraj. Zbog toga je vrlo vjerojatno da možemo probuditi kasniji. I ako, na primjer, budemo budili kasnijeg, očekujemo onog koji je upravo dobio zaključavanje, pa ne određujemo koji će točno biti budan prvi. Stvaramo jednostavno takvu situaciju, i sustav će ih buditi nasumično.

Postoji članci o zaključavanjima Egora Rogova. Pogledajte, oni su također zanimljivi i korisni. Tema je, naravno, strašno složena. Hvala puno, Bruce!

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster