stub.go a k\u00e9t vil\u00e1g: Go \u00e9s assembly \u00f6sszek\u00f6ttet\u00e9s\u00e9hez sz\u00fcks\u00e9ges f\u00fcggv\u00e9nyfejl\u00e9cekkel.\n<\/li>\n<\/ul>\n\n
El\u0151sz\u00f6r n\u00e9zz\u00fck meg a skal\u00e1ris verzi\u00f3kat.
Sajnos nem tudjuk r\u00e1venni a ford\u00edt\u00f3t, hogy in-line-ba integr\u00e1lja az assembly-ben \u00edrt funkci\u00f3inkat. A Go ford\u00edt\u00f3nak jelenleg nincs ilyen lehet\u0151s\u00e9ge, b\u00e1r a k\u00e9r\u00e9s, hogy ezt hozz\u00e1adj\u00e1k, m\u00e1r r\u00e9g\u00f3ta l\u00e9tezik.<\/p>\n
Ez\u00e9rt nem lehet semmilyen el\u0151nyt szerezni a kis assembly funkci\u00f3kb\u00f3l. Vagy nagy funkci\u00f3kat kell \u00edrnunk, vagy \u00faj math\/bits csomagot kell haszn\u00e1lnunk, vagy el kell ker\u00fcln\u00fcnk az assembly-t.<\/p>\n
N\u00e9zz\u00fck most meg a vektoriz\u00e1lt v\u00e1ltozatait a funkci\u00f3inknak.
A m\u00e1sodik \u00fajdons\u00e1g, hogy optimaliz\u00e1l\u00e1st alkalmaztam, amelyet cikluskib\u0151v\u00edt\u00e9snek (loop unrolling) h\u00edvunk, azaz nyolc ciklusm\u0171veletet v\u00e9geztem el manu\u00e1lisan, miel\u0151tt visszaugran\u00e9k a ciklus elej\u00e9re. Ez az optimaliz\u00e1l\u00e1s cs\u00f6kkenti a k\u00f3dban l\u00e9v\u0151 \u00e1gv\u00e1laszt\u00e1sokat, \u00e9s a rendelkez\u00e9sre \u00e1ll\u00f3 szabad regiszterek sz\u00e1ma korl\u00e1tozza.
Bitmap-indexek probl\u00e9m\u00e1i<\/h2>\n \nMost, hogy megvizsg\u00e1ltuk a bitmap-index egyszer\u0171 Go implement\u00e1ci\u00f3j\u00e1t \u00e9s a sokkal teljes\u00edtm\u00e9nyesebb assembly v\u00e1ltozat\u00e1t, v\u00e9gre besz\u00e9lj\u00fcnk arr\u00f3l, hogy mi\u00e9rt haszn\u00e1lj\u00e1k olyan ritk\u00e1n a bitmap-indexeket.
A magas kardinalit\u00e1s probl\u00e9m\u00e1ja<\/h2>\n \nTeh\u00e1t azt mondj\u00e1k nek\u00fcnk, hogy a bitmap-indexek csak alacsony kardinalit\u00e1s\u00fa mez\u0151kh\u00f6z alkalmasak, vagyis olyanokhoz, ahol kev\u00e9s \u00e9rt\u00e9k tal\u00e1lhat\u00f3 (p\u00e9ld\u00e1ul nem vagy szemsz\u00edn), \u00e9s ennek az az oka, hogy a szok\u00e1sos reprezent\u00e1ci\u00f3 (egy bit \u00e9rt\u00e9kenk\u00e9nt) nagy kardinalit\u00e1s eset\u00e9n t\u00fal sok helyet foglalna el, \u00e9s emellett ezek a bitmap-indexek alig (ritk\u00e1n) lenn\u00e9nek kit\u00f6ltve.
Roaring bitmapokkal a legn\u00e9pszer\u0171bb alkalmaz\u00e1sokban is tal\u00e1lkozhatunk. M\u00e1r l\u00e9tezik hatalmas sz\u00e1m\u00fa implement\u00e1ci\u00f3 a legk\u00fcl\u00f6nb\u00f6z\u0151bb programoz\u00e1si nyelvekhez, t\u00f6bb mint h\u00e1rom implement\u00e1ci\u00f3 p\u00e9ld\u00e1ul Go-hoz is.
Ez\u00e9rt csoportos\u00edthatjuk a hasonl\u00f3 \u00e9rt\u00e9keket 1 cm-en bel\u00fcl.<\/p>\n
Ha pedig tudjuk, hogy nagyon kev\u00e9s ember van 50 cm-n\u00e9l alacsonyabb vagy 250 cm-n\u00e9l magasabb, akkor l\u00e9nyeg\u00e9ben egy v\u00e9gtelen kardinalit\u00e1s\u00fa mez\u0151t k\u00f6r\u00fclbel\u00fcl 200 \u00e9rt\u00e9k\u0171 mez\u0151v\u00e9 alak\u00edthatunk.<\/p>\n
Term\u00e9szetesen, sz\u00fcks\u00e9g eset\u00e9n tov\u00e1bbi sz\u0171r\u00e9st is v\u00e9gezhet\u00fcnk k\u00e9s\u0151bb.<\/p>\n
A nagy s\u00e1vsz\u00e9less\u00e9g probl\u00e9m\u00e1ja<\/h2>\n \nA bitmap-indexek k\u00f6vetkez\u0151 probl\u00e9m\u00e1ja az, hogy a friss\u00edt\u00e9s\u00fck nagyon k\u00f6lts\u00e9ges lehet.<\/p>\n
Az adatb\u00e1zisoknak lehet\u0151v\u00e9 kell tenni\u00fck az adatok friss\u00edt\u00e9s\u00e9t abban a pillanatban, amikor potenci\u00e1lisan sz\u00e1z m\u00e1sik k\u00e9r\u00e9s keres ezekben az adatokban. Z\u00e1rakra van sz\u00fcks\u00e9g, hogy elker\u00fclj\u00fck az adatok egyidej\u0171 hozz\u00e1f\u00e9r\u00e9s\u00e9vel kapcsolatos probl\u00e9m\u00e1kat, vagy m\u00e1s megoszt\u00e1si probl\u00e9m\u00e1kat. Ahol egy nagy z\u00e1r van, ott probl\u00e9ma van - a lock contention, amikor ez a z\u00e1r sz\u0171k keresztmetszett\u00e9 v\u00e1lik.
A shardol\u00e1s egyszer\u0171 \u00e9s k\u00f6zismert dolog. A bitmap-indexet ugyan\u00fagy shardolhatja, ahogy b\u00e1rmilyen m\u00e1s adatot. Ahelyett, hogy egy nagy z\u00e1r lenne, sok kis z\u00e1rat kap, \u00edgy megszabadul a lock contention-t\u0151l.<\/p>\n
A probl\u00e9ma m\u00e1sodik megold\u00e1sa a verzi\u00f3zott indexek haszn\u00e1lata. Lehet egy m\u00e1solat az indexb\u0151l, amit keres\u00e9sre vagy olvas\u00e1sra haszn\u00e1l, \u00e9s egy m\u00e1sik a \u00edr\u00e1sra vagy friss\u00edt\u00e9sre. \u00c9s egy adott id\u0151k\u00f6z\u00f6nk\u00e9nt (p\u00e9ld\u00e1ul 100 ms vagy 500 ms-onk\u00e9nt) megdupl\u00e1zz\u00e1k \u00e9s felcser\u00e9lik \u0151ket. Nyilv\u00e1nval\u00f3, hogy ez a megk\u00f6zel\u00edt\u00e9s csak akkor alkalmazhat\u00f3, ha az alkalmaz\u00e1sod el tud m\u0171k\u00f6dni egy kiss\u00e9 elmarad\u00f3 keres\u00e9si indexszel.<\/p>\n
Ezek a k\u00e9t megk\u00f6zel\u00edt\u00e9s egyidej\u0171leg is haszn\u00e1lhat\u00f3: lehet egy shardolt verzi\u00f3zott indexed.<\/p>\n
Bonyolultabb lek\u00e9rdez\u00e9sek<\/h2>\n A bitmap-indexek utols\u00f3 probl\u00e9m\u00e1ja az, hogy ahogy mondj\u00e1k, nem igaz\u00e1n alkalmasak bonyolultabb k\u00e9rd\u00e9st\u00edpusokhoz, p\u00e9ld\u00e1ul a \"tartom\u00e1ny alapj\u00e1n\" k\u00e9rd\u00e9sekhez.<\/p>\n
Val\u00f3ban, ha belegondolunk, a bitm\u0171veletek, mint AND, OR stb. nem igaz\u00e1n alkalmasak olyan k\u00e9rd\u00e9sekre, mint \"Mutasd meg a sz\u00e1llod\u00e1kat, ahol a szoba \u00e1ra 200 \u00e9s 300 doll\u00e1r k\u00f6z\u00f6tt van \u00e9jszak\u00e1nk\u00e9nt\".
De a probl\u00e9ma k\u00f6nnyen megoldhat\u00f3 egy olyan \u00e1br\u00e1zol\u00e1s seg\u00edts\u00e9g\u00e9vel, amelyet kifejezetten az ilyen t\u00edpus\u00fa lek\u00e9rdez\u00e9sekhez k\u00e9sz\u00edtettek. Tudom\u00e1nyos k\u00f6r\u00f6kben ezt tartom\u00e1ny-k\u00f3dolt bitk\u00e9peknek nevezik.
Ezen \u00e1br\u00e1zol\u00e1s seg\u00edts\u00e9g\u00e9vel ilyen t\u00edpus\u00fa keres\u00e9si k\u00e9rd\u00e9sre \u00fagy tudunk v\u00e1laszolni, hogy v\u00e9gigmegy\u00fcnk az indexen mind\u00f6ssze k\u00e9tszer. El\u0151sz\u00f6r megkapjuk a hotelek list\u00e1j\u00e1t, ahol a szoba \u00e1ra kevesebb, mint 300 doll\u00e1r, majd elt\u00e1vol\u00edtjuk bel\u0151le azokat, ahol a szoba \u00e1ra kevesebb, mint 199 doll\u00e1r. K\u00e9sz.
K\u00e9sz megold\u00e1sok<\/h2>\n \nRem\u00e9lem, hogy egy kicsit \u00e9rdekesnek tal\u00e1lta, \u00e9s most egy \u00fajabb hasznos eszk\u00f6z ker\u00fclt a tarsoly\u00e1ba. Ha valaha sz\u00fcks\u00e9ge lenne hasonl\u00f3ra, tudni fogja, hogy melyik ir\u00e1nyba kell n\u00e9znie.<\/p>\n
Azonban nem mindenki rendelkezik id\u0151vel, t\u00fcrelemmel \u00e9s er\u0151forr\u00e1sokkal ahhoz, hogy a bitmap-indexeket a null\u00e1r\u00f3l l\u00e9trehozza. K\u00fcl\u00f6n\u00f6sen a fejlettebbek, p\u00e9ld\u00e1ul a SIMD haszn\u00e1lat\u00e1val.<\/p>\n
Szerencs\u00e9re van n\u00e9h\u00e1ny k\u00e9sz megold\u00e1s, amelyek seg\u00edtenek \u00d6nnek.
Roaring bitk\u00e9pek<\/h2>\n \nEl\u0151sz\u00f6r is, itt van az a roaring bitmaps k\u00f6nyvt\u00e1r, amir\u0151l m\u00e1r besz\u00e9ltem. Tartalmazza az \u00f6sszes sz\u00fcks\u00e9ges kont\u00e9nert \u00e9s bitm\u0171veletet, amelyekre sz\u00fcks\u00e9ge lesz a teljes \u00e9rt\u00e9k\u0171 bitmap-index l\u00e9trehoz\u00e1s\u00e1hoz.
Pilosa<\/h2>\n \nA m\u00e1sik term\u00e9k, amely seg\u00edthet \u00d6nnek, a Pilosa DB, amely l\u00e9nyeg\u00e9ben csak bitmap-indexekkel rendelkezik. Ez egy viszonylag \u00faj megold\u00e1s, de rendk\u00edv\u00fcl gyorsan h\u00f3d\u00edtja meg a sz\u00edveket.
N\u00e9zz\u00fck meg gyorsan a Pilosa haszn\u00e1lat\u00e1nak p\u00e9ld\u00e1j\u00e1t a m\u00e1r j\u00f3l ismert k\u00e9rd\u00e9s megv\u00e1laszol\u00e1s\u00e1ra.
Ezt k\u00f6vet\u0151en a \u00abdr\u00e1ga\u00bb mez\u0151n NOT-ot haszn\u00e1lunk, majd a tal\u00e1latot (vagy AND-ot) keresztezz\u00fck a \u00abteraszos\u00bb \u00e9s a \u00abfoglal\u00e1sok\u00bb mez\u0151kkel. V\u00e9g\u00fcl megkapjuk a v\u00e9gs\u0151 eredm\u00e9nyt.
Z\u00e1r\u00e1s<\/h2>\n \n
J\u00f3 tudni a bitmap indexekr\u0151l, m\u00e9g akkor is, ha jelenleg nincs sz\u00fcks\u00e9ged r\u00e1juk. Legyenek m\u00e9g egy eszk\u00f6z az arzen\u00e1lodban.<\/p>\n
Megvizsg\u00e1ltunk k\u00fcl\u00f6nb\u00f6z\u0151 tr\u00fckk\u00f6ket a Go teljes\u00edtm\u00e9ny\u00e9nek n\u00f6vel\u00e9s\u00e9re, \u00e9s azokat a dolgokat, amelyekkel a Go ford\u00edt\u00f3ja m\u00e9g nem b\u00e1nik j\u00f3l. Ezt mindenk\u00e9ppen tudnia kell minden Go fejleszt\u0151nek.<\/p>\n
Ez minden, amit el akartam mondani. K\u00f6sz\u00f6n\u00f6m!habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0412\u0441\u0442\u0443\u043f\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u042f \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u043b \u0441 \u044d\u0442\u0438\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u043c \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 GopherCon Russia 2019 \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u2014 \u043d\u0430 \u043c\u0438\u0442\u0430\u043f\u0435 \u0432 \u041d\u0438\u0436\u043d\u0435\u043c \u041d\u043e\u0432\u0433\u043e\u0440\u043e\u0434\u0435. \u0420\u0435\u0447\u044c \u0432 \u043d\u0451\u043c \u0438\u0434\u0451\u0442 \u043e bitmap-\u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u2014 \u043c\u0435\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u043c, \u0447\u0435\u043c B-tree, \u043d\u043e \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u043c. \u0414\u0435\u043b\u044e\u0441\u044c \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u043e\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25469,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33793","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Bitmap-indexek](\"\/wp-content\/uploads\/2019\/05\/86ef928e6741022b2c0e5885a031408a.jpeg\")