stub.go con le intestazioni delle funzioni per collegare i due mondi: Go e assembly.\n<\/li>\n<\/ul>\n\n
Iniziamo a guardare le versioni scalari.
Sfortunatamente, non possiamo costringere il compilatore ad applicare inline le nostre funzioni scritte in assembly. Al momento, il compilatore Go non ha questa possibilit\u00e0, anche se la richiesta di aggiungerla esiste gi\u00e0 da tempo.<\/p>\n
Proprio per questo motivo \u00e8 impossibile ottenere vantaggi da piccole funzioni in assembly. Dobbiamo scrivere funzioni pi\u00f9 grandi, oppure utilizzare il nuovo pacchetto math\/bits, oppure evitare totalmente l'assembly.<\/p>\n
Ora diamo un'occhiata alle versioni vettoriali delle nostre funzioni.
La seconda novit\u00e0 riguarda l'ottimizzazione che ho deciso di utilizzare, chiamata espansione del ciclo (loop unrolling), ovvero eseguire otto operazioni del ciclo manualmente prima di tornare all'inizio del ciclo. Questa ottimizzazione riduce il numero di branch nel codice e \u00e8 limitata dal numero di registri liberi disponibili.
Problemi degli indici bitmap<\/h2>\n \nOra che abbiamo esaminato una semplice implementazione dell'indice bitmap in Go e una molto pi\u00f9 performante in assembly, parliamo finalmente del motivo per cui gli indici bitmap sono cos\u00ec raramente utilizzati.
Il problema dell'alta cardinalit\u00e0<\/h2>\n \nDunque, ci viene detto che gli indici bitmap sono adatti solo per campi con bassa cardinalit\u00e0, cio\u00e8 quelli che hanno pochi valori (ad esempio, sesso o colore degli occhi), e la ragione \u00e8 che la rappresentazione comune di tali campi (un bit per valore) nel caso di alta cardinalit\u00e0 occuperebbe troppo spazio e, inoltre, questi indici bitmap sarebbero scarsamente (raramente) popolati.
Puoi incontrare bitmap roaring nelle applicazioni pi\u00f9 popolari. Gi\u00e0 esistono un'enorme quantit\u00e0 di implementazioni per i pi\u00f9 svariati linguaggi di programmazione, incluse oltre tre implementazioni per Go.
In effetti, possiamo raggruppare valori simili in gruppi all'interno di 1 cm.<\/p>\n
E se sappiamo anche che ci sono molto poche persone che hanno un'altezza inferiore a 50 cm e superiore a 250 cm, allora possiamo, in sostanza, trasformare un campo con una cardinalit\u00e0 infinita in un campo con una cardinalit\u00e0 di circa 200 valori.<\/p>\n
Certo, se necessario, possiamo effettuare un'ulteriore filtrazione anche in seguito.<\/p>\n
Problema di grande capacit\u00e0 di elaborazione<\/h2>\n \nIl problema degli indici bitmap \u00e8 che il loro aggiornamento pu\u00f2 essere molto costoso.<\/p>\n
I database devono consentire l'aggiornamento dei dati nel momento in cui centinaia di altre query stanno cercando in questi dati. Abbiamo bisogno di lock per evitare problemi di accesso concorrente ai dati o altri problemi di accesso condiviso. Dove c'\u00e8 un grande lock, c'\u00e8 un problema: la contention da lock, quando quel lock diventa un collo di bottiglia.
Lo sharding \u00e8 una cosa semplice e ben nota. Puoi shardare un indice bitmap proprio come shardaresti qualsiasi altro dato. Invece di un grande lock avrai molti piccoli lock e cos\u00ec facendo eliminerai la contention da lock.<\/p>\n
Un secondo modo per risolvere il problema \u00e8 utilizzare indici versionati. Puoi avere una copia dell'indice che utilizzi per cercare o leggere, e una per scrivere o aggiornare. E ogni tot tempo (ad esempio, ogni 100 ms o 500 ms) le duplicati e scambi le loro posizioni. Naturalmente, questo approccio \u00e8 applicabile solo nei casi in cui la tua applicazione pu\u00f2 lavorare con un indice di ricerca leggermente in ritardo.<\/p>\n
Questi due approcci possono essere utilizzati simultaneamente: puoi avere un indice versionato shardato.<\/p>\n
Query pi\u00f9 complesse<\/h2>\n L'ultimo problema degli indici bitmap \u00e8 che, come ci dicono, non si adattano bene a tipi di query pi\u00f9 complessi, ad esempio le query \"per intervallo\".<\/p>\n
E in effetti, se ci pensi, le operazioni bitwise come AND, OR, ecc. non si adattano molto bene a richieste come \"Mostrami gli hotel con prezzi delle stanze da 200 a 300 dollari a notte\".
Ma il problema si risolve facilmente utilizzando una rappresentazione creata appositamente per questo tipo di richieste. Nei lavori scientifici viene chiamata bitmap codificata per intervallo.
Utilizzando questa rappresentazione, possiamo rispondere a questo tipo di ricerca passando attraverso l'indice solo due volte. Prima otteniamo un elenco di hotel in cui il costo della camera \u00e8 inferiore a 300 dollari, e poi eliminiamo quelli in cui il costo della camera \u00e8 inferiore a 199 dollari. Fatto.
Soluzioni pronte<\/h2>\n \nSpero di aver suscitato un po' il vostro interesse e che ora abbiate un altro strumento utile nel vostro arsenale. Se mai avrete bisogno di fare qualcosa di simile, saprete in quale direzione guardare.<\/p>\n
Tuttavia, non tutti hanno il tempo, la pazienza e le risorse per creare indici bitmap da zero. Soprattutto quelli pi\u00f9 avanzati, con l'uso di SIMD, ad esempio.<\/p>\n
Fortunatamente, ci sono alcune soluzioni pronte che possono aiutarvi.
Bitmap Roaring<\/h2>\n \nPer prima cosa, c'\u00e8 la biblioteca di bitmap roaring di cui ho gi\u00e0 parlato. Contiene tutti i contenitori e le operazioni bit necessarie per creare un indice bitmap completo.
Pilosa<\/h2>\n \nUn altro prodotto che pu\u00f2 aiutarvi \u00e8 il database Pilosa, il quale \u00e8 essenzialmente basato esclusivamente su indici bitmap. \u00c8 una soluzione relativamente nuova, ma sta conquistando consensi a una velocit\u00e0 incredibile.
Diamo un'occhiata veloce a un esempio di utilizzo di Pilosa per rispondere a una domanda che gi\u00e0 conosci.
Dopo di che utilizziamo NOT sul campo 'costoso', quindi intersechiamo il risultato (o AND) con il campo 'terrazza' e con il campo 'prenotazioni'. E infine, otteniamo il risultato finale.
Conclusione<\/h2>\n \n
\u00c8 bene sapere degli indici bitmap, anche se al momento non ne hai bisogno. Siano un altro strumento nella tua cassetta degli attrezzi.<\/p>\n
Abbiamo esaminato vari trucchi per aumentare le prestazioni di Go e quelle cose con cui il compilatore Go non gestisce molto bene. Questo \u00e8 assolutamente utile da sapere per ogni programmatore Go.<\/p>\n
Questo \u00e8 tutto ci\u00f2 che volevo raccontarti. Grazie!habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0412\u0441\u0442\u0443\u043f\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u042f \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u043b \u0441 \u044d\u0442\u0438\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u043c \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 GopherCon Russia 2019 \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u2014 \u043d\u0430 \u043c\u0438\u0442\u0430\u043f\u0435 \u0432 \u041d\u0438\u0436\u043d\u0435\u043c \u041d\u043e\u0432\u0433\u043e\u0440\u043e\u0434\u0435. \u0420\u0435\u0447\u044c \u0432 \u043d\u0451\u043c \u0438\u0434\u0451\u0442 \u043e bitmap-\u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u2014 \u043c\u0435\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u043c, \u0447\u0435\u043c B-tree, \u043d\u043e \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u043c. \u0414\u0435\u043b\u044e\u0441\u044c \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u043e\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25469,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33793","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Indici](\"\/wp-content\/uploads\/2019\/05\/86ef928e6741022b2c0e5885a031408a.jpeg\")