stub.go con le intestazioni delle funzioni per collegare i due mondi: Go e Assembly.\n<\/li>\n<\/ul>\n\n
Iniziamo con le versioni scalari.
Sfortunatamente, non possiamo costringere il compilatore a inlinare le nostre funzioni scritte in assembly. Al momento, il compilatore Go non ha questa capacit\u00e0, anche se la richiesta di aggiungerla \u00e8 in circolazione da tempo.<\/p>\n
Ecco perch\u00e9 non \u00e8 possibile ottenere vantaggi da piccole funzioni in assembly. Dobbiamo scrivere funzioni pi\u00f9 grandi, utilizzare il nuovo pacchetto math\/bits, oppure evitare l'assembly del tutto.<\/p>\n
Ora diamo un'occhiata alle versioni vettoriali delle nostre funzioni.
La seconda novit\u00e0 riguarda la mia decisione di utilizzare un'ottimizzazione chiamata loop unrolling, ovvero eseguire manualmente otto operazioni di ciclo prima di tornare all'inizio del ciclo. Questa ottimizzazione riduce il numero di branch nel codice ed \u00e8 limitata al numero di registri liberi disponibili.
Problemi degli indici bitmap<\/h2>\n \nOra che abbiamo esaminato la semplice implementazione dell'indice bitmap in Go e quella molto pi\u00f9 performante in assembly, parliamo finalmente del perch\u00e9 gli indici bitmap siano cos\u00ec poco utilizzati.
Il problema dell'alta cardinalit\u00e0<\/h2>\n \nQuindi, ci viene detto che gli indici bitmap sono adatti solo per campi con bassa cardinalit\u00e0, cio\u00e8 quelli con pochi valori (ad esempio, sesso o colore degli occhi), e la ragione \u00e8 che la rappresentazione normale di tali campi (un bit per valore) occuperebbe troppo spazio in caso di alta cardinalit\u00e0 e, inoltre, questi indici bitmap sarebbero scarsamente (raramente) popolati.
Puoi incontrare i roaring bitmaps nelle applicazioni pi\u00f9 popolari. Esistono gi\u00e0 un numero enorme di implementazioni per tanti linguaggi di programmazione, comprese pi\u00f9 di tre implementazioni per Go.
Di conseguenza, possiamo raggruppare i valori simili in intervalli di 1 cm.<\/p>\n
E se sappiamo che molto poche persone hanno un'altezza inferiore a 50 cm e superiore a 250 cm, possiamo, di fatto, trasformare un campo con cardinalit\u00e0 infinita in un campo con circa 200 valori.<\/p>\n
Certo, se necessario, possiamo effettuare ulteriori filtri anche in un secondo momento.<\/p>\n
Problema di ampia larghezza di banda<\/h2>\n \nIl problema successivo degli indici bitmap \u00e8 che il loro aggiornamento pu\u00f2 essere molto costoso.<\/p>\n
I database devono consentire l'aggiornamento dei dati nel momento in cui potenzialmente centinaia di altre richieste stanno cercando quei dati. Abbiamo bisogno di lock per evitare problemi di accesso concorrente o altri problemi di condivisione. E dove c'\u00e8 un grande lock, c'\u00e8 un problema \u2014 il lock contention, quando quel lock diventa un collo di bottiglia.
Lo sharding \u00e8 un concetto semplice e ben noto. Puoi shardingare un indice bitmap proprio come faresti con qualsiasi altro dato. Invece di un grande lock, avrai un mucchio di piccoli lock e in questo modo eliminerai il lock contention.<\/p>\n
Un secondo modo per risolvere il problema \u00e8 utilizzare indici versionati. Puoi avere una copia dell'indice che usi per cercare o leggere, e una per scrivere o aggiornare. E a intervalli di tempo prestabiliti (ad esempio, ogni 100 ms o 500 ms) li duplichi e li scambi. Naturalmente, questo approccio \u00e8 applicabile solo quando la tua applicazione pu\u00f2 lavorare con un indice di ricerca leggermente obsoleto.<\/p>\n
Questi due approcci possono essere utilizzati contemporaneamente: puoi avere un indice versionato sharded.<\/p>\n
Richieste pi\u00f9 complesse<\/h2>\n L'ultimo problema degli indici bitmap \u00e8 che, come ci dicono, non sono adatti per tipologie di richieste pi\u00f9 complesse, come le richieste 'per intervallo'.<\/p>\n
E in effetti, se ci pensi, le operazioni bit a bit come AND, OR ecc. non sono molto adatte per richieste del tipo 'Mostrami gli hotel con tariffe comprese tra 200 e 300 dollari a notte'.
Ma il problema pu\u00f2 essere facilmente risolto utilizzando una rappresentazione creata appositamente per questo tipo di query. Nelle pubblicazioni scientifiche viene chiamata bitmap a intervallo codificato.
Utilizzando questa rappresentazione, possiamo rispondere a questo tipo di query di ricerca passando attraverso l'indice solo due volte. Prima otteniamo un elenco di hotel dove il prezzo \u00e8 inferiore a 300 dollari, e poi eliminiamo quelli dove il prezzo \u00e8 inferiore a 199 dollari. Fatto.
Soluzioni pronte<\/h2>\n \nSpero di aver suscitato un po' il vostro interesse e che ora abbiate uno strumento utile nel vostro arsenale. Se mai un giorno vi servir\u00e0 fare qualcosa di simile, saprete dove guardare.<\/p>\n
Tuttavia, non tutti hanno il tempo, la pazienza e le risorse per creare indici bitmap da zero. Soprattutto quelli pi\u00f9 avanzati, utilizzando SIMD, per esempio.<\/p>\n
Fortunatamente, ci sono alcune soluzioni pronte che possono aiutarvi.
Bitmap Roaring<\/h2>\n \nInnanzitutto, c'\u00e8 quella famosissima libreria roaring bitmaps di cui ho gi\u00e0 parlato. Essa include tutti i contenitori e le operazioni sui bit necessari per creare un indice bitmap completo.
Pilosa<\/h2>\n \nUn altro prodotto che pu\u00f2 esserti utile \u00e8 il database Pilosa, che sostanzialmente si basa esclusivamente su indici bitmap. \u00c8 una soluzione relativamente nuova, ma sta rapidamente conquistando il mercato.
Diamo rapidamente un'occhiata a un esempio di utilizzo di Pilosa per rispondere a una domanda che gi\u00e0 conosci.
Dopo di ci\u00f2, utilizziamo NOT sul campo \"expensive\", quindi incrociamo il risultato (o facciamo un AND) con il campo \"terrace\" e con il campo \"reservations\". Infine, otteniamo il risultato finale.
Conclusione<\/h2>\n \n
\u00c8 bene conoscere gli indici bitmap, anche se al momento non vi servono. Sono un ulteriore strumento nella vostra cassetta degli attrezzi.<\/p>\n
Abbiamo esaminato vari trucchi per migliorare le prestazioni in Go e le cose con cui il compilatore Go non riesce ancora a gestire bene. Questa \u00e8 sicuramente una conoscenza utile per ogni programmatore Go.<\/p>\n
Questo \u00e8 tutto ci\u00f2 che volevo condividere. Grazie!habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0412\u0441\u0442\u0443\u043f\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u042f \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u043b \u0441 \u044d\u0442\u0438\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u043c \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 GopherCon Russia 2019 \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u2014 \u043d\u0430 \u043c\u0438\u0442\u0430\u043f\u0435 \u0432 \u041d\u0438\u0436\u043d\u0435\u043c \u041d\u043e\u0432\u0433\u043e\u0440\u043e\u0434\u0435. \u0420\u0435\u0447\u044c \u0432 \u043d\u0451\u043c \u0438\u0434\u0451\u0442 \u043e bitmap-\u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u2014 \u043c\u0435\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u043c, \u0447\u0435\u043c B-tree, \u043d\u043e \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u043c. \u0414\u0435\u043b\u044e\u0441\u044c \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u043e\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25469,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33793","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Bitmap](\"\/wp-content\/uploads\/2019\/05\/86ef928e6741022b2c0e5885a031408a.jpeg\")