stub.go mit den Funktionsprototypen f\u00fcr die Verbindung der beiden Welten: Go und Assembler.\n<\/li>\n<\/ul>\n\n
Zuerst schauen wir uns die skalarischen Versionen an.
Leider k\u00f6nnen wir den Compiler nicht dazu bringen, unsere in Assembly geschriebenen Funktionen zu inlinisieren. Der Go-Compiler hat derzeit diese M\u00f6glichkeit nicht, obwohl der Wunsch, sie hinzuzuf\u00fcgen, schon seit einiger Zeit besteht.<\/p>\n
Genau aus diesem Grund ist es unm\u00f6glich, irgendwelche Vorteile aus kleinen Funktionen in Assembly zu ziehen. Wir m\u00fcssen entweder gro\u00dfe Funktionen schreiben, das neue Paket math\/bits verwenden oder Assembly ganz vermeiden.<\/p>\n
Lassen Sie uns nun die Vektorversionen unserer Funktionen betrachten.
Eine zweite Neuerung besteht darin, dass ich beschlossen habe, eine Optimierung zu verwenden, die als Loop Unrolling bezeichnet wird, also acht Schleifenoperationen manuell auszuf\u00fchren, bevor ich zum Schleifenanfang springe. Diese Optimierung reduziert die Anzahl der Verzweigungen im Code und ist durch die Anzahl der verf\u00fcgbaren freien Register begrenzt.
Probleme mit Bitmap-Indizes<\/h2>\n \nJetzt, da wir die einfache Implementierung des Bitmap-Indexes in Go und die weitaus leistungsf\u00e4higere in Assembly betrachtet haben, lassen Sie uns endlich dar\u00fcber sprechen, warum Bitmap-Indizes so selten verwendet werden.
Das Problem der hohen Kardinalit\u00e4t<\/h2>\n \nUns wird gesagt, dass Bitmap-Indizes nur f\u00fcr Felder mit niedriger Kardinalit\u00e4t geeignet sind, also f\u00fcr solche mit wenigen Werten (zum Beispiel Geschlecht oder Augenfarbe), und der Grund daf\u00fcr ist, dass die gew\u00f6hnliche Darstellung solcher Felder (ein Bit pro Wert) bei hoher Kardinalit\u00e4t zu viel Speicherplatz beanspruchen w\u00fcrde und dar\u00fcber hinaus schlecht (selten) gef\u00fcllt w\u00e4re.
Sie k\u00f6nnen Roaring Bitmaps in den beliebtesten Anwendungen antreffen. Es gibt bereits eine gro\u00dfe Anzahl von Implementierungen f\u00fcr verschiedene Programmiersprachen, einschlie\u00dflich mehr als drei Implementierungen f\u00fcr Go.
Wir k\u00f6nnen also \u00e4hnliche Werte innerhalb von 1 cm gruppieren.<\/p>\n
Und wenn wir zudem wissen, dass es sehr wenig Menschen mit einer Gr\u00f6\u00dfe von 50 cm oder weniger und 250 cm oder mehr gibt, k\u00f6nnen wir im Wesentlichen ein Feld mit unendlicher Kardinalit\u00e4t in ein Feld mit einer Kardinalit\u00e4t von etwa 200 Werten umwandeln.<\/p>\n
Nat\u00fcrlich k\u00f6nnen wir bei Bedarf zus\u00e4tzliche Filterungen auch danach durchf\u00fchren.<\/p>\n
Das Problem mit der hohen Bandbreite<\/h2>\n \nDas n\u00e4chste Problem der Bitmap-Indizes besteht darin, dass deren Aktualisierung sehr kostspielig sein kann.<\/p>\n
Datenbanken m\u00fcssen es erm\u00f6glichen, Daten zu aktualisieren, w\u00e4hrend potenziell Hunderte anderer Anfragen auf diese Daten zugreifen. Wir ben\u00f6tigen Lock-Mechanismen, um Probleme mit gleichzeitigen Datenzugriffen oder andere Probleme des gleichzeitigen Zugriffs zu vermeiden. Wo es ein gro\u00dfes Lock gibt, besteht das Problem der Lock-Konkurrenz, wenn dieses Lock zum Engpass wird.
Sharding ist ein einfaches und allgemein bekanntes Konzept. Sie k\u00f6nnen einen Bitmap-Index genauso sharden, wie Sie es mit anderen Daten tun w\u00fcrden. Anstelle eines gro\u00dfen Locks erhalten Sie viele kleine Locks und beseitigen damit die Lock-Konkurrenz.<\/p>\n
Eine zweite L\u00f6sung f\u00fcr das Problem ist die Verwendung von versionierten Indizes. Sie k\u00f6nnen eine Kopie des Index haben, die Sie zum Suchen oder Lesen verwenden, und eine andere, die Sie zum Schreiben oder Aktualisieren verwenden. In bestimmten Zeitintervallen (zum Beispiel alle 100 ms oder 500 ms) duplizieren Sie diese und tauschen sie aus. Nat\u00fcrlich ist dieser Ansatz nur dann anwendbar, wenn Ihre Anwendung mit einem etwas veralteten Suchindex arbeiten kann.<\/p>\n
Diese beiden Ans\u00e4tze k\u00f6nnen gleichzeitig verwendet werden: Sie k\u00f6nnen einen sharden versionierten Index haben.<\/p>\n
Komplexere Anfragen<\/h2>\n Das letzte Problem der Bitmap-Indizes besteht darin, dass sie, wie man uns sagt, schlecht f\u00fcr komplexere Anfragearten geeignet sind, z.B. \u201eIntervall\u201c-Anfragen.<\/p>\n
Das ist wahr, wenn man dar\u00fcber nachdenkt, sind bitweise Operationen wie AND, OR usw. nicht besonders geeignet f\u00fcr Anfragen wie \u201eZeige mir Hotels mit Preisen zwischen 200 und 300 Dollar pro Nacht\u201c.
Das Problem l\u00e4sst sich jedoch auch leicht l\u00f6sen, indem man eine Darstellung verwendet, die speziell f\u00fcr diese Art von Anfragen erstellt wurde. In wissenschaftlichen Arbeiten wird sie als range-encoded bitmaps bezeichnet.
Mit dieser Darstellung k\u00f6nnen wir auf solche Suchanfragen reagieren, indem wir den Index nur zweimal durchlaufen. Zuerst erhalten wir eine Liste von Hotels, in denen der Zimmerpreis weniger als 300 Dollar betr\u00e4gt, und werfen dann die heraus, bei denen der Zimmerpreis weniger als 199 Dollar betr\u00e4gt. Fertig.
Fertige L\u00f6sungen<\/h2>\n \nIch hoffe, ich habe Ihr Interesse ein wenig geweckt und Sie haben ein weiteres n\u00fctzliches Werkzeug in Ihrem Arsenal. Wenn Sie jemals etwas \u00c4hnliches tun m\u00fcssen, werden Sie wissen, in welche Richtung Sie suchen m\u00fcssen.<\/p>\n
Allerdings haben nicht alle die Zeit, Geduld und Ressourcen, um Bitmap-Indizes von Grund auf neu zu erstellen. Besonders die fortgeschritteneren, die SIMD verwenden, zum Beispiel.<\/p>\n
Gl\u00fccklicherweise gibt es einige fertige L\u00f6sungen, die Ihnen helfen werden.
Roaring Bitmaps<\/h2>\n \nZun\u00e4chst gibt es die erw\u00e4hnte Roaring Bitmaps-Bibliothek, die alle notwendigen Container und Bitoperationen enth\u00e4lt, die Sie ben\u00f6tigen, um einen vollst\u00e4ndigen Bitmap-Index zu erstellen.
Pilosa<\/h2>\n \nEin weiteres Produkt, das Ihnen helfen k\u00f6nnte, ist die Datenbank Pilosa, die im Grunde genommen nur Bitmap-Indizes enth\u00e4lt. Es handelt sich um eine relativ neue L\u00f6sung, die jedoch schnell an Beliebtheit gewinnt.
Lassen Sie uns schnell einen Blick auf ein Beispiel f\u00fcr die Verwendung von Pilosa werfen, um eine Ihnen bereits bekannte Frage zu beantworten.
Danach verwenden wir NOT auf dem Feld \"expensive\", schneiden das Ergebnis (oder AND-Verkn\u00fcpfung) mit dem Feld \"terrace\" und dem Feld \"reservations\" zusammen. Schlie\u00dflich erhalten wir das endg\u00fcltige Ergebnis.
Fazit<\/h2>\n \n
Es ist gut, \u00fcber Bitmap-Indizes Bescheid zu wissen, auch wenn Sie sie gerade jetzt nicht ben\u00f6tigen. Lassen Sie sie ein weiteres Werkzeug in Ihrer Toolbox sein.<\/p>\n
Wir haben verschiedene Tricks zur Leistungssteigerung f\u00fcr Go betrachtet und die Dinge, mit denen der Go-Compiler derzeit noch nicht sehr gut zurechtkommt. Das ist auf jeden Fall etwas, das jeder Go-Programmierer wissen sollte.<\/p>\n
Das ist alles, was ich erz\u00e4hlen wollte. Vielen Dank!habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0412\u0441\u0442\u0443\u043f\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u042f \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u043b \u0441 \u044d\u0442\u0438\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u043c \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 GopherCon Russia 2019 \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u2014 \u043d\u0430 \u043c\u0438\u0442\u0430\u043f\u0435 \u0432 \u041d\u0438\u0436\u043d\u0435\u043c \u041d\u043e\u0432\u0433\u043e\u0440\u043e\u0434\u0435. \u0420\u0435\u0447\u044c \u0432 \u043d\u0451\u043c \u0438\u0434\u0451\u0442 \u043e bitmap-\u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u2014 \u043c\u0435\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u043c, \u0447\u0435\u043c B-tree, \u043d\u043e \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u043c. \u0414\u0435\u043b\u044e\u0441\u044c \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u043e\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25469,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33793","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Bitmap-Indizes](\"\/wp-content\/uploads\/2019\/05\/86ef928e6741022b2c0e5885a031408a.jpeg\")