introductio
Hanc relationem Anglice dedi in colloquio GopherCon Russiae 2019 in Moscuae et in Russia in conventu Nizhny Novgorod. Loquimur de bitmap indice - minus commune quam B arbore, sed non minus interesting. Socius orationes in colloquio Anglice et in textu russico transcripto.
Videbimus quomodo index operum bitmaporum, cum melior sit, cum aliis indicibus deterior sit, et in quibus casibus insigniter velocius sit; Videamus quos populares DBMSs iam bitmap indices habent; Conemur scribere nostra in Go. Et "pro mensa" bibliothecas paratas utemur ad creandum proprium datorum specialium super-celerium.
Vere spero opera mea tibi utilem ac studium fore. Perge!
introduction
Hi omnes! Sex vespere est et omnes super fessi sumus. Magnum tempus loqui de taediosum datorum index theoria, vox? Ne cures, habebo duas lineas de fonte codicis passim. π
Omnes omissis iocis, fama est scelesta notitiarum plena, et non multum temporis habemus. Itaque incipias.
Hodie de sequentibus dicam:
- quae sunt indices;
- quid bitmap index;
- ubi is used and ubi is not used and quare;
- simplex actio in Go et parum certaminis cum compilator;
- paullo minus simplex, sed multo uberius in Go assembler;
- problemata de bitmap indice;
- exsistens implementum.
Quid ergo sunt indices?
Index notitiarum separatarum est structura quam servamus et renovamus praeter notitias principales. Adhibetur accelerare inquisitionem. Sine indicibus, investigatio per notas omnino (processus qui plenus scan vocatur) requireret, et hic processus complexionem algorithmicam linearem habet. At plerumque databases ingentes copiae notitiarum et complexionum linearium continentes nimis tarde sunt. Specimen, logarithmum vel constantem volumus accipere.
Hic locus enormiter complexus est, subtilitatibus et commercio refertus, sed postquam decennia evolutionis datorum et investigationis inspiciebat, dicere nolo paucas esse accessiones late usui ad indices datorum creandos.
Primus aditus est ad spatium inquisitionis hierarchice reducere, inquisitionis spatium in partes minores dividens.
Hoc facere solemus diversis generibus arborum utendo. Exemplum esset magna capsula materiarum in thalamo tuo, qui continet minora pixides materiarum in diversa argumenta divisa. Si materias eges, probabiliter quaeres eas in capsula quae "Materia" dicit, quam ea quae "Crustulae" recte dicit?
Secundus modus est eligere elementum vel coetus elementorum desideratum statim eligere. Hoc facimus in mappis Nullam vel indices e contrario. Nullam utens mappis praecedente exemplo simillimum est, sed pro pyxide cistae, fasciculum capsulae rerum ultimarum in thalamo tuo habes.
Tertius modus est ad tollendam necessitatem quaerendi. Hoc utendo fibras vel cuculi columellas facimus. Primae statim responsum dant, cum te quaesitum non habebunt.
Novissima accessio est ad plenam usum omnium potentiarum quam modernorum ferramentorum nobis praebet. Hoc ipsum est quod in bitmap indicibus facimus. Imo cum his utentes, interdum per totum indicem necesse est ire, sed id efficaciter eximie facimus.
Thema, ut dixi, index datorum amplissimus et compromissorum plenus est. Id significat interdum pluribus simul accessibus uti possumus: si opus est inquisitionem accelerare magis vel si necesse est omnes rationes investigationum possibilium comprehendere.
Hodie de minimis notis accessu horum - bitmap indices loquar.
Quis de hoc loco loquor?
In Badoo laboro ut turmae plumbeae (fortasse magis nota es cum alio producto nostro, Bumble). Iam plus quam 400 decies centena milia usorum circum orbem terrarum habemus et multas notas quae optimam par illis seligunt. Hoc facimus usus operae usitatae, inter indices bitmap.
Quid est ergo bitmap index?
Indices bitmap, ut nomen innuit, bitmaps vel bitsulae utuntur ad indicem inquisitionis efficiendum. Ex visu oculi avium, index hic unus vel plures constat bitmaps quaelibet entia (ut homines) repraesentans earumque proprietates seu parametri (aetatis, oculi, coloris etc.), et algorithmus utens operationes aliquas (AND, VEL, NON. ) quaestioni respondere.
Pronunciatum est nobis indices bitmap aptiores esse et admodum faciendos ad casus in quibus quaesita sunt quae quaerentes per multas columnas cardinalitates demissas coniungunt (cogitare "colorem oculi" vel "statum maritalem" versus aliquid simile "distantiam a centro civitatis"). Sed postea demonstrabo se tam bene operari ad altas etiam columnas cardinalitias.
Intueamur exemplum simplicissimum bitmap index.
Finge nos habere album popinae Moscuae cum proprietatibus binariis his similibus:
- prope metro;
- ibi raedam privata est;
- est pergula (has atrox);
- mensam reservare potes (reservationes accepts);
- apta ad vegetarians (vegan amica);
- sumptuosus (pretiosus).
Demus unicuique cauponam sequentem numerum ab 0 incipiens et memoriam collocant pro 6 bitmaps (unum pro singulis notis). Hos bitmapos tunc frequentamus, num caupona hanc possessionem habeat necne. Si caupona 4 veranda habet, tunc No. 4 in "veranda" habet bitmap ad 1 (si veranda non est, tunc ad 0).
Nunc habemus index possibilis bitmap simplicissimus, eoque uti possumus ut ad interrogationes respondeat similes:
- "Ostende mihi leo-amicas popinae";
- "Ostende mihi vilis popinae cum veranda ubi mensam reservare potes."
Quam? Demus aspectum. Prima petitio est valde simplex. Omnes opus facere est accipere "amicam leo" bitmap et in album popinae converte cuius frena exposita sunt.
Secunda petitio est paulo multiplex. Non opus est bitmap uti in "pretiosa" bitmap ut indicem cauponarum vilisrum accipias, tum et cum "possum librum tabulam" bitmap et et exitum cum "veranda est" bitmap. Proventus bitmap album continebit constitutionum quae omnibus nostris criteriis occurrent. In hoc exemplo, hoc solum popina Yunost.
Theoriae multae involvit, sed ne cures, codicem propediem videbimus.
Ubi bitmap index usus est?
Si Google bitmap indices, 90% responsionum ad Oraculum DB alio modo referetur. Sed alia DBMSs probabiliter etiam talem rem frigidissimam sustinent, vox? Non realiter.
Eamus per summam suspectorum.
MySQL nondum adiuvat bitmap indices, sed est propositio suggerens hanc optionem addens ().
PostgreSQL index bitmaporum non adiuvat, sed simplices bitmapas utitur et operationibus frenum ut proventus investigationum per plures alios indices coniungat.
Tarantool indices momordit et subsidia simplicium inquisitionum in eis habet.
Redis est simplex bitfields) sine facultate quaerendi.
MongoDB nondum indices bitmap suppeditat, sed etiam propositio suggerens hanc optionem adiciendam est.
Elasticsearch utitur bitmaps interne).
- Novus autem proximus apparuit in domo nostra: Pilosa. Haec nova database non relationis scripta in Go. Continet tantum notas bitmap et omnia in eis bases. De hoc paulo post loquemur.
Exsequendam in Go
Sed cur tam raro indices bitmap adhibentur? Priusquam huic quaestioni respondeas, monstrare tibi vellem quomodo ad efficiendum in indice bitmap simplicissimo in Go.
Bitmaps essentialiter sunt pieces of notitia. In Go, byte pecias ad hoc utamur.
Unum bitmap habemus pro una caupona proprium, et quodlibet bit in bitmap indicat utrum particularis caupona hanc possessionem habeat necne.
Duo munera adiutoris egebimus. Una adhibebitur ad implendas bitmaps nostras temere data. Temere, sed certo probabilius cauponam singulas res habere. Exempli causa, credo, paucas esse popinae Moscuae ubi mensam asservare non potes, et mihi videtur circiter XX% institutionum vegetarianis aptas esse.
Secundum munus bitmap in album popinae convertet.
Ad quaestionem responde "Ostende mihi cauponas vilis patio habentes et reservationes facere", duabus operationibus paulum opus est: NON et ET.
Codicem nostrum simpliciorem reddere possumus paulo adhibitis multiplicioribus ET NON operantibus.
Munera habemus pro unaquaque harum operationum. Ambae per segmenta eunt, elementa respondentia ab unoquoque capiunt, eas cum aliquantula operatione coniungunt et exitum in segmentum inde ponebant.
Nunc iam nostris bitmatibus ac muneribus uti possumus ad interrogationi respondere.
Euismod non est ille princeps, quamquam functiones valde simplices sunt et multam pecuniam servavimus non reddendo novum munus consequens segmentum singulis diebus appellabatur.
Postquam aliquid profiling cum pprof facere, animadverti Go compilator deesse unum valde simplex sed ipsum optimizationem maximi momenti: munus inlining.
Re vera est quod Go compilator terribiliter timet ansas quae per crustas transeunt, et categorice recusat functiones linearum quae tales ansulas continent.
Sed non timeo et compilator ineptire possum utendo loco ansa gata, sicut in diebus antiquis.
Et, ut vides, iam compilator munus nostrum feliciter inlinet! Quam ob rem curo 2 microseconds servare. Non malus!
Alterum bottleneck perspicitur, si conventus output inspicias. Compilator segmentum limitis reprimendi rectum intra ansam nostram calidissimam addidit. Ita est quod Ire lingua tuta est, compilator timet ne tres rationes (tres crustae) diversae magnitudinum sint. Post omnes ergo possibilitas theorica erit occursus quiddam superfluum quod dicitur.
Confirmemus compilator ostendens omnes crustae magnitudinis eiusdem esse. Hoc facere possumus addendo simplicem perspicientiam in initio muneris nostri.
Hoc viso, compilator bene repressam transmittit, et alterum 500 nanoseconds salvis finire debemus.
Magnum carnificinam
Bene, ex simplicibus nostris exsecutionibus aliqua peractio exprimenda curavimus, sed hoc evenit multo peius quam fieri potest cum ferramentis currentibus.
Omnes agimus operationes praecipuae frenum, et nostri processores eas efficacissime praestant. Sed, proh dolor, processus nostri "pascamur" cum minimis operis fragmentis. Munera nostra operationes exercent in basi byte-byte. Facillime tweak possumus nostrum codicem laborare cum 8-byte chunkis UInt64 segmentis utentibus.
Ut vides, haec parva mutatio progressio nostrum octies acceleravit, massam molem octies augendo. Lucrum lineari dici potest.
Exsequendam in assembler
Sed hoc non est finis. Processores nostri chunkis 16 32 et etiam 64 bytes laborare possunt. Huiusmodi operationes "latae" dicuntur unicae instructionis multiplex notitia (SIMD; una instructio, multae notitiae), et processus transmutandi codicem ut talibus utitur operationibus, vectorization appellatur.
Infeliciter, Go compiler procul vectorizatione praestantissimum est. In statu, unicus modus ad vectorizes Go code est capiendi et ponendi has operationes manually utens Go assembler.
Ite conventio jumentum minim. Probabiliter scis linguam conventum aliquid esse quod graviter ligatur ad architecturam computatrum quod scribis, sed in Go casu non est. Ite convocator similior est IRL (lingua repraesentatio mediata) vel lingua media: est fere suggestus independent. Robo Pike dedit optimum perficientur de hoc argumento ante aliquot annos apud GopherCon in Denver.
Praeterea, Ite inusitato consilio 9 forma utitur, quae ab communi AT&T et Intel formarum receptarum differt.
Tutum est dicere quod scribens Go assembler per manus non est maxime fun.
Sed, feliciter, duo instrumenta alta iam sunt quae nos adiuvant scribe Go assembler: PeachPy et avo. Utraque utilitas generant Go Congregatorem ex codice gradu superiore in Pythone et Go, respective.
Hae utilitates simplificant res sicut destinatio tabulariorum, scripturae ansarum, et plerumque simpliciores fiunt processus in mundum programmandi conventus in Go.
Utemur avo, ita programmata nostra fere regularis progressiones erunt.
Hoc est quod simplicissimum exemplum progressionis avo similis est. Praecipuum munus habemus, quod munus Add() in se definit, cuius significatio duos numeros addere est. Munera adiuvantia hic sunt ut nominatim parametros accipias et unam ex liberis et congruis processus registris accipias. Quaelibet operationis processus processus in avo respondentem habet functionem, ut visum est in ADDQ. Denique videmus munus adiutorium ad valorem consequentium reponendam.
Vocando ire generare, propositum in avo faciemus et per consequens duo tabulae generabuntur;
- add.s cum inde codice in Go assembler;
- stub.go cum munere capitis duos mundos coniungere: Vade et convoca.
Nunc quod avo facit et quomodo vidimus, munera nostra inspiciamus. versiones functionum tam scalares quam vector (SIMD) explevi.
Inspice versiones scalares priores.
Sicut in exemplo praecedente, rogamus pro registro liberum et validum propositi generalis, non necesse habemus exsertiones et magnitudinum pro argumentis computare. avo haec omnia nobis.
Titulis utebantur et gata (vel salit) ad emendandum faciendum et fallendum Go compilator, nunc illud ab initio facimus. Punctum est quod cyclos conceptus altioris gradus sunt. In coetu, tantum pittacia et saltus habemus.
Reliquum codicem notum et intellectum iam esse debet. Aemulari ansam cum pittaciis et saltibus, parvam particulam notitiarum ex duobus segmentis accipimus, eas cum aliquantula operatione (ET NON in hoc casu) coniunge ac deinde eventum in segmentum inde pone. Omnis.
Hoc est quod spectat ad ultimam congregationis codicem simile. Non habemus exsertiones et magnitudinum computare (expressit in viridi) vel vestigia chartarum adhibitorum (in rubro illustravit).
Si conventus linguae exsecutionem cum observantia optimae exsecutionis in Go comparemus, idem esse videbimus. Etiam id malesuada est. Post omnes, non aliquid speciale fecimus - modo expressimus quid agat compilator Go.
Infeliciter, compilator urgere non possumus munera nostra in lingua ecclesiali scripta instruere. The Go compilator currently tale plumam non habet, quamvis rogatio aliquo tempore eam addat.
Inde est, quod impossibile est aliquod beneficium ex parvis functionibus in lingua conventus obtinere. Necesse est nos vel magnas functiones scribere, vel novam sarcinam math/fabulam adhibere, vel linguam congregatorem praeterire.
Nunc videamus versiones vector functionum nostrarum.
Ad hoc exemplum AVX2 uti decrevi, sic utemur operationibus quae in 32-byte chunks agunt. Structura Codicis simillima est versioni scalari: parametri onerantium, rogans pro registro gratuito communicato, etc.
Una innovatio est, qua vector operationes amplioris registris specialibus latis utuntur. In casu 32-byte chunks, haec tabula cum Y. praefixa sunt, quam ob rem vides functionem YMM () in codice. Si uti AVX-512 cum 64-frenis, praepositio Z esset.
Secunda innovatio est quod decrevi "optimizationem uti nomine ansa revolvens", quod significat octo operationes ansam facere manually ante saliendo ad principium ansa. Haec optimatio numerum ramorum in codice minuit et numero liberorum tabularum in promptu terminatur.
Quid de observantia? Pulchra est! Nos celeritatem circiter septies ad optimam solutionem Go comparatam consecuti sumus. Infigo, vox?
Sed etiam haec exsecutio potentiam accelerari potuit utendo AVX-512, praefingendo vel JIT (modo compilator) pro interrogatione schedula. Sed hoc argumento distincto referendum est certe.
Problemata cum bitmap indices
Nunc quod iam vidimus simplicem exsecutionem bitmap indicis in Go et multo uberiorem in lingua conventus, tandem loquimur cur indices bitmap tam raro adhibeantur.
Vetustiores tabulae tres problemata cum bitmap indice nominant, sed recentiores chartas et argumentor eas non amplius pertinentes esse. Non penitus in singulas has quaestiones infigemus, sed eas leviter intuebimur.
Quaestio de summo cardinality
Itaque, nobis nuntiatum est indices bitmaporum esse solum aptos ad agros humilitatis cardinalitati, id est, iis qui paucas valores habent (exempli gratia, genus vel colorem oculi), et ratio est quia consueta repraesentatio talium agrorum (unum. in casu magno cardinalitatis, nimium spatium capiet et praeterea bitmap index hi male (raro) implebuntur.
Aliquando potest alia repraesentatione uti, sicut vexillum quo utimur ad repraesentandum numeros. Sed adveniens compressionis algorithms omnia mutabat. Praeteritis decenniis, phisici et investigatores ascenderunt cum magna algorithmarum compressione pro bitmaps. Praecipua earum utilitas est quod bitmaps decompressere non est opus ad operationes aliquas faciendas - frenum operationes directe praestare possumus in bitmaps compressis.
Nuper accessus hybrid apparere inceperunt, ut bitmaps rugiens. Simul tres repraesentationes varias utuntur pro bitmaps - bitmaps ipsae, vestit et sic dictae frenum currit - et inter eas ad maximize perficiendi ac extenuandi memoriam consummationem accommodare.
Bitmaps rugiens invenire potes in applicationibus maxime popularibus. Ingens numerus exsecutionum pro programmandi linguarum varietate iam sunt, cum plus quam tres exsecutiones Go.
Alius accessus qui nos adiuvare potest ad altam cardinalitatem tractandam appellatur binning. Finge te agrum repraesentans hominis altitudinem. Fluctuabilis altitudo numeri punctum est, sed nos homines de illo modo non cogitamus. Nulla differentia nobis est inter altitudo 185,2 cm et 185,3 cm.
Evenit ut similes valores in circulos intra 1 cm iungere possimus.
Et si etiam novimus paucissimos homines esse breviores quam 50 cm et ultra 250 cm proceriores, tum per se campum cum infinito cardinalitate in campum vertere cum cardinalitate circiter 200 valorum.
Utique, si opus est, percolationem postea facere possumus.
High Bandwidth Problem
Proxima quaestio cum indicibus bitmap est ut adaequationis eas valde pretiosas esse possit.
Databases notitias renovare poterimus, dum potentialiter centena aliarum quaesitionum notitias quaerunt. Opus est comis ad vitanda problemata cum accessu notitiarum concurrentium vel problematum communium. Ubi autem est una magna sera, ibi quaestio est - lock contentio, cum hoc cincinno fit bottleneck.
Quaestio haec solvi vel circumveniri potest utendo shardificatione vel indice adhibitis versionatis.
Sharding simplex et nota res est. Potes shard a bitmap indice ut alia notitia velis. Loco unius magnae serae, fasciculum cincinnorum capies et sic contentionem seram auferes.
Secundus modus solvendi quaestionem est indices versionatis utendi. Unum exemplum habere potes indicem quem ad quaerendum vel legendi uteris, et unum quo scribendo vel augendo uteris. Et semel in certo temporis spatio (exempli gratia, semel in singulis 100 ms vel 500 ms) eas duplicas et permuto. Utique, haec accessio solum locum habet in casibus in quibus applicatio tua tractare potest indicem inquisitionis aliquantulum pigri.
Hae duae accessus simul adhiberi possunt: ββindicem positos in posito habere potes.
Magis implicatae queries
Postrema quaestio cum indicibus bitmapicis est quod narratur non esse bene aptae generibus quaestionibus implicatae, sicut quaestionibus span.
Immo, si cogitas, operationes quasi ET, OR, etc. non admodum idoneae sunt ad quaerendum a la "Ostende mihi hotels cum lecti cella ab 200 ad 300 dollariis per noctem."
Simplex et insipiens solutio foret pro singulis pretii pupa eventus accipere et cum cantili VEL operatione coniungere.
Paulo melius solutionem uti copula. Exempli gratia, in coetibus 50 dollariis. Hoc nostrum processum 50 temporibus acceleraretur.
Sed quaestio etiam facile solvitur per visum specialiter creatum ad hoc genus petitionis. In tabellis scientificis dicitur bitmaps range-encoded.
In hac repraesentatione non solum unam partem alicuius pretii (exempli gratia 200 posui), sed hoc valorem et omnia superiora constituimus. 200 et supra. Idem pro CCC: CCC et supra. Et sic porro.
Hac repraesentatione, hoc genus interrogationi respondere possumus per indicem iustum bis percurso. Primum indicem hotelum habebimus ubi cella minus constat vel $ 300, et inde eas removebimus ubi locus sumptus minus est vel 199$. Paratus.
Miraberis, sed etiam geoqueria possibilia sunt indices bitmap utentes. Dolus est uti repraesentatione geometrica, quae cum figura geometrica coordinare debet. Exempli gratia S2 from Google . Figura repraesentari debet in forma trium linearum vel plurium secantium quae numerari possunt. Hoc modo geoqueriam nostram in plures interrogationes "per hiatum" (per has lineas numeratas" converti possumus.
paratam solutionem factam
Spero te parum interesse et aliud instrumentum utile nunc habes in armamentario tuo. Si quando aliquid simile hoc facere debes, quo se spectet scies.
Nihilominus non omnes tempus, patientiam, vel opes habent ad indices bitmap de integro creandos. Praesertim provectis adhibitis SIMD, exempli gratia.
Feliciter, plures solutiones paratae ad te adiuvandum sunt.
rugiens bitmaps
Uno modo est eadem bibliotheca rugiens bitmaps de qua iam dixi. Continet omnia necessaria continentia et aliquas operationes quas debes reddere index bitmap plenus.
Infeliciter, tempore, nullae exsecutiones Go SIMD utuntur, quod significat Go implementationes minus praestare quam C implementationes, exempli gratia.
Pilosa
Productum alterum quod tibi prodesse potest est Pilosa DBMS, qui re vera tantum indices bitmap habet. Haec solutio relative nova est, sed magna celeritate animos conciliat.
Pilosa rugiens bitmaps interne utitur et dat facultatem illis utendi, simplificat et explicat omnia quae de supra dixi: copula, bitmaps range-encoded, conceptus agri, etc.
Cito inspiciamus exemplum utendi Pilosa ad quaestionem respondendam tibi iam nota est.
Exemplum simillimum est quod ante vidisti. Clientem clienti Pilosae creamus, agros indices et necessarios creamus, agros nostros incertis notitia probabilibus implemus ac denique interrogationem familiarem exequimur.
Post hoc in agro NON utimur, tum eventum (vel ET) secant cum agro "atrox" et cum "reservationibus" campum. Postremo consequimur exitum.
Vere spero me in praeviso futuro hoc novi generis index etiam in DBMSs sicut MySQL et PostgreSQL - bitmap index apparebit.
conclusio,
Si nondum dormisti, gratias ago tibi. Breviter perstringam multa argumenta propter tempus, sed spero loqui utilem et fortasse etiam motivam.
Indices Bitmap boni sunt ad cognoscendum, etiam si his nunc non opus est. Aliud instrumentum sint in instrumento tuo.
Inspeximus varias effectus praestigias pro Vade et res quas Go compilator non tractat optime adhuc. Sed hoc omnino utile est programmatorem quemlibet Ite cognoscere.
Haec omnia tibi dicere volui. Gratias tibi!
Source: www.habr.com