{"id":79039,"date":"2020-04-23T19:43:26","date_gmt":"2020-04-23T17:43:26","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/ekonomim-kopeechku-na-bolshih-obemah-v-postgresql"},"modified":"2020-04-23T19:43:26","modified_gmt":"2020-04-23T17:43:26","slug":"ekonomim-kopeechku-na-bolshih-obemah-v-postgresql","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/ekonomim-kopeechku-na-bolshih-obemah-v-postgresql","title":{"rendered":"S\u00e4\u00e4stame sentti suurte mahtude puhul PostgreSQL-is","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

J\u00e4tkates teemat suurte andmevoogude salvestamisest, mis t\u00f5statati eelnevas artiklis jaotamisest<\/a><\/noindex>, vaatame selles, kuidas v\u00e4hendada PostgreSQL-is salvestatava \"f\u00fc\u00fcsilise\" suuruse<\/b> ja nende m\u00f5ju serveri j\u00f5udlusele.<\/p>\n

R\u00e4\u00e4gime TOAST seadistustest ja andmete joondamisest.<\/b>. \"Keskelt\" need meetodid v\u00f5imaldavad s\u00e4\u00e4sta mitte liiga palju ressursse, kuid t\u00e4iesti ilma rakenduskoodi modifitseerimata.<\/p>\n

\"S\u00e4\u00e4stame
\nKuid meie kogemus osutus selles osas \u00fcsna produktiivseks, kuna peaaegu igasugune j\u00e4lgimine on olemuselt enamasti append-only<\/b> salvestatavate andmete osas. Ja kui teid huvitab, kuidas \u00f5petada andmebaasi kirjutama kettale 200MB\/s<\/b> pool v\u00e4hem - palun lugege edasi.
\n<\/a><\/noindex><\/p>\n

V\u00e4ikesed saladused suurtest andmetest<\/h2>\n

\nMeie teenuse profiil<\/a><\/noindex>, sellele saadetakse regulaarselt logidest teksti paketid.<\/b>.<\/p>\n

Ja kuna SBIS-i kompleks<\/a><\/noindex>, mille andmebaase me j\u00e4lgime, on mitmekomponentne toode keeruliste andmestruktuuridega, siis tekivad ka p\u00e4ringud maksimaalse j\u00f5udluse saavutamiseks<\/b> \u00fcpris selliseid \"multivihikutes\" keeruka algoritmilise loogikaga.<\/a><\/noindex>Nii et iga eraldi p\u00e4ringu v\u00f5i tulemuse t\u00e4itmise plaani maht, mis meile logisse j\u00f5uab, osutub \"keskmiselt\" piisavalt suureks.<\/p>\n

Vaadakem \u00fchte tabeli struktuuri, kuhu kirjutame \"toored\" andmed - see t\u00e4hendab algset tekstiv\u00e4li logikirjest:<\/p>\n

CREATE TABLE rawdata_orig(\n  pack -- PK\n    uuid NOT NULL\n, recno -- PK\n    smallint NOT NULL\n, dt -- sektori v\u00f5ti\n    date\n, data -- k\u00f5ige olulisem\n    text\n, PRIMARY KEY(pack, recno)\n);<\/code><\/pre>\n
\nT\u00fc\u00fcpiline selline tabel (juba jaotatud, loomulikult, seet\u00f5ttu on see - sektsiooni mall), kus k\u00f5ige olulisem on tekst. Aeg-ajalt piisavalt mahukas.<\/p>\n
K\u00fcll aga meenutame, et PG-s \u00fche salvestuse \"f\u00fc\u00fcsiline\" suurus ei saa olla suurem kui \u00fcks andmeleht, kuid \"loogiline\" suurus - see on hoopis teine asi. Mahuka v\u00e4\u00e4rtuse (varchar\/text\/bytea) salvestamiseks kasutatakse TOAST tehnoloogiat.<\/a><\/noindex>:<\/p>\n
PostgreSQL kasutab fikseeritud lehe suurust (tavaliselt 8 KB) ja ei luba tuple'idel h\u00f5ivata mitu lehte. Seet\u00f5ttu ei saa v\u00e4ga suuri v\u00e4li v\u00e4\u00e4rtusi otse salvestada. Selle piirati \u00fcletamiseks suurte v\u00e4li v\u00e4\u00e4rtused kompressitakse ja\/v\u00f5i jagatakse mitmeks f\u00fc\u00fcsiliseks reaks. See toimub kasutajale m\u00e4rkamatult ja m\u00f5jutab suurem osa serveri koodist vaid v\u00e4he. See meetod on tuntud kui TOAST \u2026<\/p><\/blockquote>\n
\nTegelikult luuakse iga tabeli jaoks, millel on \"potentsiaalselt suured\" v\u00e4ljad, automaatselt paaristabel \"t\u00fckkide\" jaoks<\/a><\/noindex> iga \"suur\" kirje segmentideks 2KB:<\/p>\n
TOAST(\n  chunk_id\n    integer\n, chunk_seq\n    integer\n, chunk_data\n    bytea\n, PRIMARY KEY(chunk_id, chunk_seq)\n);<\/code><\/pre>\n
\nSeega, kui peame salvestama rea, millel on \"suur\" v\u00e4\u00e4rtus data<\/code>, siis toimub tegelik salvestamine mitte ainult p\u00f5hitaotlusse ja selle PK-sse, vaid ka TOAST-i ja selle PK-sse<\/b>.<\/p>\n
V\u00e4hendame TOAST-i m\u00f5ju<\/h4>\n
\nKuid enamik meie kirjetest ei ole siiski nii suured, peaksid 8KB mahtuma<\/b> \u2014 kuidas selle pealt s\u00e4\u00e4sta?..<\/p>\n
Siin tuleb meile appi atribuuti STORAGE<\/code><\/a><\/noindex> tabeli veerus:<\/p>\n
\n