stub.go mit Funktionskopfzeilen zur Verbindung der beiden Welten: Go und Assembler.\n<\/li>\n<\/ul>\n\n
Zuerst werfen wir einen Blick auf die skalaren Versionen.
Leider kann der Compiler unsere in Assembler geschriebenen Funktionen nicht inline einf\u00fcgen. Der Go-Compiler bietet diese M\u00f6glichkeit derzeit nicht, obwohl die Bitte, dies hinzuzuf\u00fcgen, schon seit geraumer Zeit besteht.<\/p>\n
Genau deshalb ist es nicht m\u00f6glich, irgendwelche Vorteile aus kleineren Assembler-Funktionen zu ziehen. Wir m\u00fcssen gro\u00dfe Funktionen schreiben, ein neues Paket math\/bits verwenden oder Assembler ganz umgehen.<\/p>\n
Lassen Sie uns nun die vektorisierten Versionen unserer Funktionen betrachten.
Die zweite Neuerung besteht darin, dass ich eine Optimierung eingef\u00fchrt habe, die als Loop Unrolling bekannt ist. Das bedeutet, dass ich acht Schleifenoperationen manuell durchgef\u00fchrt habe, bevor ich zum Anfang der Schleife zur\u00fccksprung. Diese Optimierung verringert die Anzahl der Verzweigungen im Code und ist durch die Anzahl der verf\u00fcgbaren Register begrenzt.
Probleme mit Bitmap-Indizes<\/h2>\n \nJetzt, da wir bereits die einfache Implementierung des Bitmap-Index in Go und die deutlich leistungsf\u00e4higere Version in Assembler betrachtet haben, lassen Sie uns endlich dar\u00fcber sprechen, warum Bitmap-Indizes so selten verwendet werden.
Das Problem der hohen Kardinalit\u00e4t<\/h2>\n \nEs wird darauf hingewiesen, dass Bitmap-Indizes nur f\u00fcr Felder mit niedriger Kardinalit\u00e4t geeignet sind, also solche mit wenigen Werten (zum Beispiel Geschlecht oder Augenfarbe). Der Grund daf\u00fcr ist, dass die \u00fcbliche Darstellung solcher Felder (ein Bit pro Wert) bei hoher Kardinalit\u00e4t zu viel Platz ben\u00f6tigen w\u00fcrde und zudem diese Bitmap-Indizes sparsamer (selten) gef\u00fcllt w\u00e4ren.
Roaring-Bitmaps finden Sie in vielen beliebten Anwendungen. Es gibt bereits eine gro\u00dfe Anzahl von Implementierungen in verschiedenen Programmiersprachen, darunter mehr als drei f\u00fcr Go.
Das bedeutet, wir k\u00f6nnen \u00e4hnliche Werte in Gruppen innerhalb von 1 cm zusammenfassen.<\/p>\n
Und wenn wir zudem wissen, dass nur sehr wenige Menschen eine Gr\u00f6\u00dfe von weniger als 50 cm oder mehr als 250 cm haben, k\u00f6nnen wir das Feld mit unendlicher Kardinalit\u00e4t im Grunde genommen in ein Feld mit ungef\u00e4hr 200 Werten umwandeln.<\/p>\n
Nat\u00fcrlich k\u00f6nnen wir, wenn n\u00f6tig, eine zus\u00e4tzliche Filterung auch nachtr\u00e4glich vornehmen.<\/p>\n
Das Problem mit der hohen Bandbreite<\/h2>\n \nEin weiteres Problem der Bitmap-Indizes ist, dass deren Aktualisierung sehr kostspielig sein kann.<\/p>\n
Datenbanken m\u00fcssen in der Lage sein, Daten zu aktualisieren, w\u00e4hrend potenziell Hunderte anderer Anfragen diese Daten abfragen. Wir ben\u00f6tigen Locks, um Probleme mit gleichzeitigen Datenzugriffen oder anderen Problemen des gemeinsamen Zugriffs zu vermeiden. Wo es einen gro\u00dfen Lock gibt, treten Probleme auf \u2014 Lock-Kontention, wenn dieser Lock zum Flaschenhals wird.
Sharding ist einfach und allgemein bekannt. Sie k\u00f6nnen einen Bitmap-Index auf die gleiche Weise sharden, wie Sie andere Daten shardieren w\u00fcrden. Anstelle eines gro\u00dfen Locks erhalten Sie viele kleine Locks und vermeiden damit Lock-Kontention.<\/p>\n
Eine zweite M\u00f6glichkeit zur Probleml\u00f6sung ist die Verwendung versionierter Indizes. Sie k\u00f6nnen eine Kopie des Indexes haben, die Sie f\u00fcr Suchanfragen oder Lesevorg\u00e4nge verwenden, und eine weitere f\u00fcr das Schreiben oder Aktualisieren. In regelm\u00e4\u00dfigen Abst\u00e4nden (zum Beispiel alle 100 ms oder 500 ms) duplizieren Sie diese und tauschen sie aus. Nat\u00fcrlich ist dieser Ansatz nur anwendbar, wenn Ihre Anwendung mit einem leicht verz\u00f6gerten Suchindex arbeiten kann.<\/p>\n
Diese beiden Ans\u00e4tze k\u00f6nnen gleichzeitig verwendet werden: Sie k\u00f6nnen einen shardierten versionierten Index haben.<\/p>\n
Komplexere Abfragen<\/h2>\n Das letzte Problem der Bitmap-Indizes ist, dass sie, wie uns gesagt wird, schlecht f\u00fcr komplexere Abfragetypen geeignet sind, wie zum Beispiel Abfragen \"im Intervall\".<\/p>\n
Tats\u00e4chlich sind bitweise Operationen wie AND, OR und \u00c4hnliches nicht besonders geeignet f\u00fcr Anfragen wie: \"Zeig mir Hotels mit Preisen zwischen 200 und 300 Dollar pro Nacht\".
Das Problem l\u00e4sst sich jedoch ebenfalls leicht durch eine speziell f\u00fcr diese Art von Anfragen entwickelte Darstellung l\u00f6sen. In wissenschaftlichen Arbeiten wird sie als range-encoded Bitmaps bezeichnet.
Mit dieser Darstellung k\u00f6nnen wir solche Suchanfragen beantworten, indem wir den Index nur zweimal durchsuchen. Zuerst erhalten wir eine Liste von Hotels, in denen der Preis unter 300 Euro liegt, und filtern dann diejenigen heraus, bei denen der Zimmerpreis unter 199 Euro liegt. Fertig.
Fertige L\u00f6sungen<\/h2>\n \nIch hoffe, ich habe Ihr Interesse geweckt und Sie haben ein weiteres n\u00fctzliches Werkzeug in Ihrem Arsenal. Wenn Sie jemals etwas \u00c4hnliches ben\u00f6tigen, wissen Sie, in welche Richtung Sie schauen sollten.<\/p>\n
Allerdings haben nicht alle die Zeit, Geduld und Ressourcen, um Bitmap-Indizes von Grund auf neu zu erstellen. Besonders die fortschrittlicheren, die SIMD nutzen, zum Beispiel.<\/p>\n
Zum Gl\u00fcck gibt es einige fertige L\u00f6sungen, die Ihnen helfen k\u00f6nnen.
Roaring Bitmaps<\/h2>\n \nZun\u00e4chst gibt es die besagte Roaring Bitmaps-Bibliothek, von der ich bereits gesprochen habe. Sie enth\u00e4lt alle erforderlichen Container und Bitoperationen, die Sie ben\u00f6tigen, um einen vollst\u00e4ndigen Bitmap-Index zu erstellen.
Pilosa<\/h2>\n \nEin weiteres Produkt, das Ihnen helfen kann, ist die Datenbank Pilosa, die im Wesentlichen nur Bitmap-Indizes verwendet. Es ist eine relativ neue L\u00f6sung, die jedoch schnell an Beliebtheit gewinnt.
Lassen Sie uns schnell einen Blick auf ein Beispiel werfen, wie Pilosa zum Beantworten einer Ihnen bereits bekannten Frage verwendet wird.
Danach verwenden wir NOT im Feld \u201eexpensive\u201c, kreuzen das Ergebnis (oder AND) mit dem Feld \u201eterrace\u201c und dem Feld \u201ereservations\u201c und erhalten schlie\u00dflich das Endergebnis.
Fazit<\/h2>\n \n
Es ist gut, \u00fcber Bitmap-Indizes Bescheid zu wissen, auch wenn sie Ihnen gerade nicht n\u00fctzen. Lassen Sie sie ein weiteres Werkzeug in Ihrer Werkzeugkiste sein.<\/p>\n
Wir haben verschiedene Tricks zur Leistungssteigerung f\u00fcr Go besprochen sowie die Aspekte, bei denen der Go-Compiler noch Schwierigkeiten hat. Diese Informationen sind absolut wichtig f\u00fcr jeden Go-Programmierer.<\/p>\n
Das ist alles, was ich Ihnen mitteilen wollte. Vielen Dank!habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0412\u0441\u0442\u0443\u043f\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u042f \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u043b \u0441 \u044d\u0442\u0438\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u043c \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 GopherCon Russia 2019 \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u2014 \u043d\u0430 \u043c\u0438\u0442\u0430\u043f\u0435 \u0432 \u041d\u0438\u0436\u043d\u0435\u043c \u041d\u043e\u0432\u0433\u043e\u0440\u043e\u0434\u0435. \u0420\u0435\u0447\u044c \u0432 \u043d\u0451\u043c \u0438\u0434\u0451\u0442 \u043e bitmap-\u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u2014 \u043c\u0435\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u043c, \u0447\u0435\u043c B-tree, \u043d\u043e \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u043c. \u0414\u0435\u043b\u044e\u0441\u044c \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u043e\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25469,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33793","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Bitmap-Indizes](\"\/wp-content\/uploads\/2019\/05\/86ef928e6741022b2c0e5885a031408a.jpeg\")