stub.go con las cabeceras de funciones para conectar dos mundos: Go y ensamblador.\n<\/li>\n<\/ul>\n\n
Primero, echemos un vistazo a las versiones escalares.
Desafortunadamente, no podemos hacer que el compilador inlinet nuestras funciones escritas en ensamblador. Hasta la fecha, el compilador de Go no tiene tal capacidad, aunque existe una solicitud para agregarla desde hace bastante tiempo.<\/p>\n
Es por eso que es imposible obtener ventajas de las funciones peque\u00f1as en ensamblador. Debemos escribir funciones grandes, utilizar el nuevo paquete math\/bits, o evitar el ensamblador por completo.<\/p>\n
Ahora, veamos las versiones vectoriales de nuestras funciones.
La segunda novedad es que decid\u00ed usar una optimizaci\u00f3n llamada desenrollado de bucles (loop unrolling), es decir, realizar ocho operaciones del bucle manualmente antes de saltar al inicio del bucle. Esta optimizaci\u00f3n reduce la cantidad de ramas en el c\u00f3digo y est\u00e1 limitada por la cantidad de registros libres disponibles.
Problemas de \u00edndices bitmap<\/h2>\n \nAhora que hemos revisado la implementaci\u00f3n simple de un \u00edndice bitmap en Go y una mucho m\u00e1s eficiente en ensamblador, hablemos finalmente sobre por qu\u00e9 los \u00edndices bitmap se utilizan tan raramente.
El problema de alta cardinalidad<\/h2>\n \nEntonces, nos dicen que los \u00edndices bitmap son adecuados solo para campos de baja cardinalidad, es decir, aquellos que tienen pocos valores (por ejemplo, sexo o color de ojos), y la raz\u00f3n es que la representaci\u00f3n est\u00e1ndar de tales campos (un bit por valor) ocupar\u00eda demasiado espacio en caso de alta cardinalidad y, adem\u00e1s, estos \u00edndices bitmap estar\u00edan poco (raramente) llenos.
Puedes encontrar bitmaps roaring en las aplicaciones m\u00e1s populares. Ya existen una gran cantidad de implementaciones para muchos lenguajes de programaci\u00f3n, incluyendo m\u00e1s de tres implementaciones para Go.
As\u00ed que podemos agrupar valores similares en grupos dentro de 1 cm.<\/p>\n
Y si adem\u00e1s sabemos que hay muy pocas personas con altura menor a 50 cm y mayor a 250 cm, entonces podemos, en esencia, convertir un campo de cardinalidad infinita en un campo con aproximadamente 200 valores \u00fanicos.<\/p>\n
Por supuesto, si es necesario, podemos hacer una filtraci\u00f3n adicional despu\u00e9s.<\/p>\n
El problema del gran ancho de banda<\/h2>\n \nEl siguiente problema de los \u00edndices bitmap es que su actualizaci\u00f3n puede ser muy costosa.<\/p>\n
Las bases de datos deben permitir la actualizaci\u00f3n de datos en el momento en que potencialmente cientos de otras solicitudes est\u00e1n buscando esos datos. Necesitamos bloqueos para evitar problemas de acceso concurrente a los datos o cualquier otro problema de concurrencia. Y donde hay un gran bloqueo, surge un problema: contenti\u00f3n de bloqueo, cuando ese bloqueo se convierte en un cuello de botella.
El sharding es una cosa simple y bien conocida. Puedes shardear un \u00edndice bitmap de la misma manera que shardear\u00edas cualquier otro dato. En lugar de un gran bloqueo, obtienes un mont\u00f3n de bloqueos peque\u00f1os y as\u00ed evitas la contenti\u00f3n de bloqueo.<\/p>\n
La segunda forma de abordar el problema es utilizar \u00edndices versionados. Puedes tener una copia del \u00edndice que utilizas para buscar o leer, y otra para escribir o actualizar. Y cada cierto tiempo (por ejemplo, cada 100 ms o 500 ms) las duplicas y cambias de lugar. Por supuesto, este enfoque solo es aplicable en aquellos casos en los que tu aplicaci\u00f3n puede trabajar con un \u00edndice de b\u00fasqueda ligeramente desfasado.<\/p>\n
Estos dos enfoques se pueden utilizar al mismo tiempo: puedes tener un \u00edndice versionado shardizado.<\/p>\n
Consultas m\u00e1s complejas<\/h2>\n El \u00faltimo problema de los \u00edndices bitmap es que, como se nos dice, no son adecuados para tipos de consultas m\u00e1s complejas, como las consultas \"por rango\".<\/p>\n
Y es cierto, si lo piensas, las operaciones bit a bit como AND, OR, etc. no son muy adecuadas para consultas tipo \"Mu\u00e9strame hoteles con precios de habitaciones entre 200 y 300 d\u00f3lares por noche\".
Pero el problema tambi\u00e9n se resuelve f\u00e1cilmente utilizando una representaci\u00f3n creada espec\u00edficamente para este tipo de consultas. En trabajos acad\u00e9micos, se llama bitmaps codificados por rango.
Usando esta representaci\u00f3n, podemos responder a este tipo de consulta de b\u00fasqueda recorriendo el \u00edndice solo dos veces. Primero obtendremos una lista de hoteles donde el precio de la habitaci\u00f3n es inferior a 300 d\u00f3lares, y luego eliminaremos aquellos donde el costo de la habitaci\u00f3n es inferior a 199 d\u00f3lares. Listo.
Soluciones listas<\/h2>\n \nEspero haber despertado un poco de tu inter\u00e9s y que ahora tengas otra herramienta \u00fatil en tu arsenal. Si alguna vez necesitas hacer algo similar, sabr\u00e1s en qu\u00e9 direcci\u00f3n mirar.<\/p>\n
Sin embargo, no todos tienen el tiempo, la paciencia y los recursos para crear \u00edndices bitmap desde cero. Especialmente los m\u00e1s avanzados, que utilizan SIMD, por ejemplo.<\/p>\n
Afortunadamente, hay varias soluciones listas que pueden ayudarte.
Bitmaps roaring<\/h2>\n \nPrimero, est\u00e1 la biblioteca de bitmaps roaring de la que ya he hablado. Contiene todos los contenedores y operaciones de bits necesarias para crear un \u00edndice bitmap completo.
Pilosa<\/h2>\n \nOtro producto que puede ayudarte es la base de datos Pilosa, que b\u00e1sicamente solo tiene \u00edndices bitmap. Es una soluci\u00f3n relativamente nueva, pero est\u00e1 ganando adeptos a una velocidad incre\u00edble.
Echemos un vistazo r\u00e1pido a un ejemplo de uso de Pilosa para responder a una pregunta que ya conocen.
Despu\u00e9s de esto, utilizamos NOT en el campo 'expensive', luego cruzamos el resultado (o AND) con el campo 'terrace' y con el campo 'reservations'. Y al final, obtenemos el resultado final.
Conclusi\u00f3n<\/h2>\n \n
Es bueno conocer los \u00edndices bitmap, incluso si no los necesitan en este momento. Que sean una herramienta m\u00e1s en su caja.<\/p>\n
Hemos revisado varios trucos para aumentar el rendimiento en Go y aquellas cosas con las que el compilador de Go a\u00fan no se maneja muy bien. Esto es, sin duda, algo que todos los programadores de Go deben saber.<\/p>\n
Eso es todo lo que quer\u00eda contar. \u00a1Gracias!habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0412\u0441\u0442\u0443\u043f\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u042f \u0432\u044b\u0441\u0442\u0443\u043f\u0438\u043b \u0441 \u044d\u0442\u0438\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u043e\u043c \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 GopherCon Russia 2019 \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u2014 \u043d\u0430 \u043c\u0438\u0442\u0430\u043f\u0435 \u0432 \u041d\u0438\u0436\u043d\u0435\u043c \u041d\u043e\u0432\u0433\u043e\u0440\u043e\u0434\u0435. \u0420\u0435\u0447\u044c \u0432 \u043d\u0451\u043c \u0438\u0434\u0451\u0442 \u043e bitmap-\u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u2014 \u043c\u0435\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u043e\u043c, \u0447\u0435\u043c B-tree, \u043d\u043e \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u043c. \u0414\u0435\u043b\u044e\u0441\u044c \u0437\u0430\u043f\u0438\u0441\u044c\u044e \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0439 \u0440\u0430\u0441\u0448\u0438\u0444\u0440\u043e\u0432\u043a\u043e\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25469,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33793","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"\u00cdndices](\"\/wp-content\/uploads\/2019\/05\/86ef928e6741022b2c0e5885a031408a.jpeg\")