stub.go met functiekopteksten voor de verbinding tussen de twee werelden: Go en assembler.\n<\/li>\n<\/ul>\n\n
Laten we eerst naar de scalare versies kijken.
Helaas kunnen we de compiler niet dwingen om onze in assembly geschreven functies inline te maken. De Go-compiler heeft momenteel niet de mogelijkheid om dit te doen, hoewel het verzoek om deze functie al geruime tijd bestaat.<\/p>\n
Daarom is het onmogelijk om enige voordelen te halen uit kleine functies in assembly. We moeten ofwel grote functies schrijven, of de nieuwe package math\/bits gebruiken, of assembly vermijden.<\/p>\n
Laten we nu eens kijken naar de vectorversies van onze functies.
Een tweede nieuwigheid is dat ik besloot een optimalisatie toe te passen die loop unrolling wordt genoemd, dat wil zeggen, acht loopbewerkingen handmatig te doen voordat ik naar het begin van de loop spring. Deze optimalisatie vermindert het aantal branches in de code en is beperkt door het aantal beschikbare vrije registers.
Problemen met bitmap-indexen<\/h2>\n \nNu we de eenvoudige implementatie van bitmap-indexen in Go en de veel productievere implementatie in assembly hebben bekeken, laten we eindelijk bespreken waarom bitmap-indexen zo zelden worden gebruikt.
Probleem van hoge cardinaliteit<\/h2>\n \nMen zegt ons dus dat bitmap-indexen alleen geschikt zijn voor velden met een lage cardinaliteit, dat wil zeggen velden met weinig waarden (zoals geslacht of oogkleur), en de reden is dat de gebruikelijke representatie van dergelijke velden (\u00e9\u00e9n bit per waarde) in het geval van hoge cardinaliteit te veel ruimte zou innemen en bovendien deze bitmap-indexen slecht (zelden) gevuld zouden zijn.
Je kunt roaring bitmaps tegenkomen in de meest populaire applicaties. Er zijn al talloze implementaties voor verschillende programmeertalen, waaronder meer dan drie implementaties voor Go.
Dus we kunnen vergelijkbare waarden binnen 1 cm groeperen.<\/p>\n
En als we ook weten dat er zeer weinig mensen zijn die een lengte hebben van minder dan 50 cm of meer dan 250 cm, kunnen we het veld met oneindige cardinaliteit in feite omzetten in een veld met ongeveer 200 waarden.<\/p>\n
Natuurlijk kunnen we indien nodig extra filtering toepassen.<\/p>\n
Het probleem van hoge doorvoersnelheid<\/h2>\n \nEen volgend probleem van bitmap-indexen is dat hun bijwerking zeer kostbaar kan zijn.<\/p>\n
Databases moeten in staat zijn om gegevens bij te werken op het moment dat potentieel honderden andere aanvragen deze gegevens doorzoeken. We hebben locks nodig om problemen met gelijktijdige toegang tot gegevens of andere problemen met gedeelde toegang te vermijden. En waar er \u00e9\u00e9n grote lock is, is er een probleem \u2014 lock contention, wanneer die lock een bottleneck wordt.
Sharding is een eenvoudige en algemeen bekende techniek. U kunt een bitmap-index sharden zoals u andere gegevens zou sharden. In plaats van \u00e9\u00e9n grote lock krijgt u verschillende kleine locks en voorkomt u zo lock contention.<\/p>\n
Een tweede manier om het probleem op te lossen, is door versieversie-indexen te gebruiken. U kunt \u00e9\u00e9n kopie van de index hebben die u gebruikt voor zoeken of lezen, en \u00e9\u00e9n voor schrijven of bijwerken. En om de paar tijdseenheden (bijvoorbeeld elke 100 ms of 500 ms) dupliceert u ze en verwisselt u ze. Dit is natuurlijk alleen toepasbaar als uw applicatie kan werken met een iets achterlopende zoekindex.<\/p>\n
Deze twee benaderingen kunnen tegelijkertijd worden gebruikt: u kunt een gedistribueerde versieversie-index hebben.<\/p>\n
Complexere queries<\/h2>\n Het laatste probleem van bitmap-indexen is dat, zoals ons wordt verteld, ze slecht geschikt zijn voor complexere soorten queries, zoals 'tussen'-queries.<\/p>\n
En dat is waar, als je erover nadenkt, zijn bitbewerkingen zoals AND, OR enz. niet echt geschikt voor queries als 'Toon mij hotels met kamerprijzen van 200 tot 300 dollar per nacht'.
Maar het probleem kan ook eenvoudig worden opgelost door gebruik te maken van een representatie die speciaal is gemaakt voor dit soort verzoeken. In wetenschappelijke werken wordt dit range-encoded bitmaps genoemd.
Door deze representatie te gebruiken, kunnen we dit soort zoekopdrachten beantwoorden door slechts twee keer door de index te gaan. Eerst krijgen we een lijst met hotels waar de kamerprijs minder is dan 300 dollar, en vervolgens verwijderen we de hotels waar de kamerprijs minder is dan 199 dollar. Klaar.
Kant-en-klare oplossingen<\/h2>\n \nIk hoop dat ik je een beetje heb ge\u00efnteresseerd en dat je een nuttige tool aan je arsenaal hebt toegevoegd. Als je ooit zoiets moet doen, weet je in welke richting je moet kijken.<\/p>\n
Echter, niet iedereen heeft de tijd, geduld en middelen om bitmap-indexen vanaf nul op te bouwen. Vooral de geavanceerdere, met behulp van SIMD, bijvoorbeeld.<\/p>\n
Gelukkig zijn er een aantal kant-en-klare oplossingen die je kunnen helpen.
Roaring bitmaps<\/h2>\n \nTen eerste is er de roaring bitmaps-bibliotheek waar ik het al over had. Deze bevat alle benodigde containers en bitbewerkingen die je nodig hebt om een volledige bitmap-index te maken.
Pilosa<\/h2>\n \nEen ander product dat je kan helpen is de database Pilosa, die in wezen alleen bitmap-indexen heeft. Dit is een relatief nieuwe oplossing, maar het verovert snel de harten.
Laten we snel kijken naar een voorbeeld van het gebruik van Pilosa om een vraag te beantwoorden die je al bekend is.
Daarna gebruiken we NOT op het veld 'expensive', kruisen vervolgens het resultaat (of AND) met het veld 'terrace' en met het veld 'reservations'. En uiteindelijk krijgen we het eindresultaat.
Conclusie<\/h2>\n \n
Het is goed om iets te weten over bitmap-indexen, zelfs als je ze op dit moment niet nodig hebt. Laat ze een extra gereedschap in je gereedschapskist zijn.<\/p>\n
We hebben verschillende trucs bekeken om de prestaties voor Go te verbeteren en de dingen waarmee de Go-compiler momenteel nog niet zo goed overweg kan. Dit is absoluut nuttig om te weten voor elke Go-programmeur.<\/p>\n
Dat is alles wat ik wilde vertellen. Dank je!habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0412\u0441\u0442\u0443\u043f\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u042f \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u043b \u0441 \u044d\u0442\u0438\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u043c \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 GopherCon Russia 2019 \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u2014 \u043d\u0430 \u043c\u0438\u0442\u0430\u043f\u0435 \u0432 \u041d\u0438\u0436\u043d\u0435\u043c \u041d\u043e\u0432\u0433\u043e\u0440\u043e\u0434\u0435. \u0420\u0435\u0447\u044c \u0432 \u043d\u0451\u043c \u0438\u0434\u0451\u0442 \u043e bitmap-\u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u2014 \u043c\u0435\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u043c, \u0447\u0435\u043c B-tree, \u043d\u043e \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u043c. \u0414\u0435\u043b\u044e\u0441\u044c \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u043e\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25469,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33793","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Bitmap-indexen](\"\/wp-content\/uploads\/2019\/05\/86ef928e6741022b2c0e5885a031408a.jpeg\")