stub.go avec les en-t\u00eates de fonctions pour relier les deux mondes : Go et assembleur.\n<\/li>\n<\/ul>\n\n
Commen\u00e7ons par examiner les versions scalaires.
Malheureusement, nous ne pouvons pas forcer le compilateur \u00e0 inliner nos fonctions \u00e9crites en assembleur. Actuellement, le compilateur Go ne dispose pas de cette possibilit\u00e9, bien que la demande d'ajout de cette fonctionnalit\u00e9 existe depuis un certain temps.<\/p>\n
C'est pourquoi il est impossible d'obtenir des avantages en utilisant de petites fonctions en assembleur. Nous devons soit \u00e9crire de grandes fonctions, soit utiliser le nouveau paquet math\/bits, soit \u00e9viter l'assembleur.<\/p>\n
Regardons maintenant les versions vectorielles de nos fonctions.
La deuxi\u00e8me innovation concerne le fait que j'ai d\u00e9cid\u00e9 d'utiliser une optimisation appel\u00e9e d\u00e9roulement de boucle (loop unrolling), c'est-\u00e0-dire de r\u00e9aliser huit op\u00e9rations de boucle manuellement avant de sauter au d\u00e9but de la boucle. Cette optimisation r\u00e9duit le nombre de branches dans le code et est limit\u00e9e par le nombre de registres libres disponibles.
Probl\u00e8mes des index bitmap<\/h2>\n \nMaintenant que nous avons examin\u00e9 une simple impl\u00e9mentation d'index bitmap en Go et une version beaucoup plus performante en assembleur, parlons enfin de la raison pour laquelle les index bitmap sont si rarement utilis\u00e9s.
Probl\u00e8me de grande cardinalit\u00e9<\/h2>\n \nOn nous dit donc que les index bitmap sont adapt\u00e9s uniquement aux champs \u00e0 faible cardinalit\u00e9, c'est-\u00e0-dire ceux qui ont peu de valeurs (comme le sexe ou la couleur des yeux), et la raison en est que la repr\u00e9sentation classique de ces champs (un bit par valeur) en cas de grande cardinalit\u00e9 occuperait trop d'espace et, de plus, ces index bitmap seraient faiblement (rarement) remplis.
Vous pouvez trouver des bitmap roaring dans les applications les plus populaires. Il existe d\u00e9j\u00e0 un grand nombre d'impl\u00e9mentations pour divers langages de programmation, y compris plus de trois impl\u00e9mentations pour Go.
Nous pouvons donc regrouper des valeurs similaires en groupes dans une plage de 1 cm.<\/p>\n
Et si nous savons en plus que tr\u00e8s peu de personnes mesurent moins de 50 cm ou plus de 250 cm, nous pouvons, en fait, transformer un champ \u00e0 cardinalit\u00e9 infinie en un champ avec une cardinalit\u00e9 d'environ 200 valeurs.<\/p>\n
Bien s\u00fbr, si n\u00e9cessaire, nous pouvons effectuer un filtrage suppl\u00e9mentaire par la suite.<\/p>\n
Le probl\u00e8me de la grande bande passante<\/h2>\n \nLe probl\u00e8me suivant des index bitmap est que leur mise \u00e0 jour peut \u00eatre tr\u00e8s co\u00fbteuse.<\/p>\n
Les bases de donn\u00e9es doivent permettre la mise \u00e0 jour des donn\u00e9es au moment o\u00f9 potentiellement des centaines d'autres requ\u00eates recherchent ces donn\u00e9es. Nous avons besoin de verrous pour \u00e9viter les probl\u00e8mes d'acc\u00e8s concurrent aux donn\u00e9es ou d'autres probl\u00e8mes d'acc\u00e8s partag\u00e9. L\u00e0 o\u00f9 il y a un grand verrou, il y a un probl\u00e8me \u2014 la contention de verrou, lorsque ce verrou devient un goulet d'\u00e9tranglement.
Le sharding est une chose simple et bien connue. Vous pouvez shardiser un index bitmap de la m\u00eame mani\u00e8re que vous shardisiez d'autres donn\u00e9es. Au lieu d'un grand verrou, vous obtiendrez un tas de petits verrous et ainsi vous \u00e9liminerez la contention de verrou.<\/p>\n
Un autre moyen de r\u00e9soudre le probl\u00e8me est d'utiliser des index versionn\u00e9s. Vous pouvez avoir une copie de l'index que vous utilisez pour la recherche ou la lecture, et une autre pour l'\u00e9criture ou la mise \u00e0 jour. Et \u00e0 intervalles r\u00e9guliers (par exemple, toutes les 100 ms ou 500 ms), vous les dupliquez et les \u00e9changez. Bien s\u00fbr, cette approche n'est applicable que dans les cas o\u00f9 votre application peut fonctionner avec un index de recherche l\u00e9g\u00e8rement obsol\u00e8te.<\/p>\n
Ces deux approches peuvent \u00eatre utilis\u00e9es simultan\u00e9ment : vous pouvez avoir un index versionn\u00e9 shard\u00e9.<\/p>\n
Requ\u00eates plus complexes<\/h2>\n Le dernier probl\u00e8me des index bitmap est que, comme on nous le dit, ils ne conviennent pas bien aux types de requ\u00eates plus complexes, comme les requ\u00eates \u00ab par intervalle \u00bb.<\/p>\n
En effet, si l'on y r\u00e9fl\u00e9chit, les op\u00e9rations bit \u00e0 bit comme AND, OR, etc., ne sont pas tr\u00e8s adapt\u00e9es aux requ\u00eates de type \u00ab Montre-moi les h\u00f4tels avec un prix de chambre entre 200 et 300 dollars par nuit \u00bb.
Mais le probl\u00e8me est \u00e9galement facilement r\u00e9solu en utilisant une repr\u00e9sentation con\u00e7ue sp\u00e9cifiquement pour ce type de requ\u00eates. Dans les travaux de recherche, cela s'appelle des bitmaps cod\u00e9s par plage.
En utilisant cette repr\u00e9sentation, nous pouvons r\u00e9pondre \u00e0 ce genre de requ\u00eates de recherche en parcourant l'index seulement deux fois. D'abord, nous obtenons la liste des h\u00f4tels o\u00f9 le tarif est inf\u00e9rieur \u00e0 300 dollars, puis nous \u00e9liminons ceux dont le tarif est inf\u00e9rieur \u00e0 199 dollars. C'est pr\u00eat.
Solutions pr\u00eates \u00e0 l'emploi<\/h2>\n \nJ'esp\u00e8re vous avoir int\u00e9ress\u00e9 un peu et que vous avez d\u00e9sormais un autre outil utile dans votre arsenal. Si jamais vous avez besoin de faire quelque chose de similaire, vous saurez dans quelle direction regarder.<\/p>\n
Cependant, tout le monde n'a pas le temps, la patience et les ressources pour cr\u00e9er des index bitmap \u00e0 partir de z\u00e9ro. Surtout des index plus avanc\u00e9s utilisant SIMD, par exemple.<\/p>\n
Heureusement, il existe plusieurs solutions toutes pr\u00eates qui peuvent vous aider.
Bitmaps Roaring<\/h2>\n \nTout d'abord, il y a la biblioth\u00e8que roaring bitmaps que j'ai d\u00e9j\u00e0 mentionn\u00e9e. Elle contient tous les conteneurs n\u00e9cessaires et les op\u00e9rations bit \u00e0 bit dont vous aurez besoin pour cr\u00e9er un index bitmap complet.
Pilosa<\/h2>\n \nUn autre produit qui peut vous aider est la base de donn\u00e9es Pilosa, qui est essentiellement uniquement compos\u00e9e d'index bitmap. C'est une solution relativement nouvelle, mais qui conquiert les c\u0153urs \u00e0 une vitesse incroyable.
Jetons un coup d'\u0153il rapide \u00e0 un exemple d'utilisation de Pilosa pour r\u00e9pondre \u00e0 une question que vous connaissez d\u00e9j\u00e0.
Ensuite, nous utilisons NOT sur le champ \u00ab expensive \u00bb, puis nous croisons le r\u00e9sultat (ou avec AND) avec le champ \u00ab terrace \u00bb et le champ \u00ab reservations \u00bb. Enfin, nous obtenons le r\u00e9sultat final.
Conclusion<\/h2>\n \n
Il est bon de conna\u00eetre les index bitmap, m\u00eame si vous n'en avez pas besoin pour l'instant. Qu'ils soient un outil suppl\u00e9mentaire dans votre bo\u00eete \u00e0 outils.<\/p>\n
Nous avons examin\u00e9 divers trucs pour am\u00e9liorer les performances de Go et les choses que le compilateur Go ne g\u00e8re pas encore tr\u00e8s bien. Cela, en revanche, est absolument essentiel \u00e0 savoir pour tout programmeur Go.<\/p>\n
C'est tout ce que je voulais dire. Merci !habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0412\u0441\u0442\u0443\u043f\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u042f \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u043b \u0441 \u044d\u0442\u0438\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u043c \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 GopherCon Russia 2019 \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u2014 \u043d\u0430 \u043c\u0438\u0442\u0430\u043f\u0435 \u0432 \u041d\u0438\u0436\u043d\u0435\u043c \u041d\u043e\u0432\u0433\u043e\u0440\u043e\u0434\u0435. \u0420\u0435\u0447\u044c \u0432 \u043d\u0451\u043c \u0438\u0434\u0451\u0442 \u043e bitmap-\u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u2014 \u043c\u0435\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u043c, \u0447\u0435\u043c B-tree, \u043d\u043e \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u043c. \u0414\u0435\u043b\u044e\u0441\u044c \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u043e\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25469,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33793","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Index](\"\/wp-content\/uploads\/2019\/05\/86ef928e6741022b2c0e5885a031408a.jpeg\")