Rehefa miasa miaraka amin'ny angon-drakitra be dia be, ny olana amin'ny tsy fahampian'ny habaka kapila dia mety hipoitra indraindray. Ny fomba iray hamahana ity olana ity dia ny famatrarana, noho izany, amin'ny fitaovana iray ihany, azonao atao ny mampitombo ny habetsaky ny fitahirizana. Ato amin'ity lahatsoratra ity dia hojerentsika ny fomba fiasan'ny famatrarana data ao amin'ny Apache Ignite. Ity lahatsoratra ity dia mamaritra ny fomba fanerena kapila ampiharina ao anatin'ilay vokatra ihany. Ny fomba hafa amin'ny famatrarana data (amin'ny tambajotra, amin'ny fitadidiana), na ampiharina na tsia, dia hijanona ivelan'ny sehatra.
Noho izany, amin'ny alΓ lan'ny fomba fikirizana, vokatry ny fiovan'ny angon-drakitra ao anaty cache, dia manomboka manoratra amin'ny kapila i Ignite:
- Ny votoatin'ny cache
- Soraty Ahead Log (WAL tsotra izao)
Efa ela be izao no nisy ny fomba fanerena WAL, antsoina hoe WAL compaction. Ny Apache Ignite 2.8 vao navoaka vao haingana dia nampiditra rafitra roa hafa ahafahanao manindry ny angona amin'ny kapila: famatrarana pejy kapila ho an'ny fanindriana ny votoatin'ny cache sy faneriterena sarin'ny pejy WAL amin'ny fanerena ny fidirana WAL sasany. Ny antsipiriany bebe kokoa momba ireo mekanika telo ireo eto ambany.
Famoretana pejy kapila
Inona no manao izany asa
Voalohany, andeha hojerentsika fohy ny fomba fitehirizana angon-drakitra Ignite. Ny fitadidiana pejy dia ampiasaina amin'ny fitahirizana. Ny haben'ny pejy dia napetraka eo am-piandohan'ny node ary tsy azo ovaina amin'ny dingana manaraka; ary koa, ny haben'ny pejy dia tokony ho hery roa sy maromaro amin'ny haben'ny rafitra fichier. Ny pejy dia ampidirina ao amin'ny RAM avy amin'ny kapila araka izay ilaina; ny haben'ny angona ao amin'ny kapila dia mety mihoatra ny habetsaky ny RAM natokana. Raha tsy ampy ny habaka ao amin'ny RAM hametahana pejy iray avy amin'ny kapila, dia esorina ao amin'ny RAM ny pejy efa tsy ampiasaina intsony.
Ny angon-drakitra dia voatahiry ao amin'ny kapila amin'ny endrika manaraka: misy rakitra misaraka noforonina ho an'ny fizarana tsirairay isaky ny vondrona cache; amin'ity rakitra ity dia miseho ny pejy amin'ny filaharan'ny indeksa miakatra. Ny mpamantatra pejy feno dia ahitana ny famantarana vondrona cache, laharan'ny fizarazarana, ary fanondro pejy ao amin'ny rakitra. Noho izany, amin'ny fampiasana ny famantarana pejy feno, dia azontsika atao ny mamaritra manokana ny rakitra sy ny offset ao amin'ny rakitra ho an'ny pejy tsirairay. Afaka mamaky bebe kokoa momba ny fitadidiana pejy ianao ao amin'ny lahatsoratra Apache Ignite Wiki: .
Ny mekanika famatrarana pejy kapila, araka ny mety ho vinavinao amin'ny anarana, dia miasa amin'ny haavon'ny pejy. Rehefa alefa io mekanika io, ny angon-drakitra ao amin'ny RAM dia voahodina toy ny mahazatra, tsy misy fanerena, fa rehefa voatahiry avy amin'ny RAM mankany amin'ny kapila ny pejy dia voatsindry.
Saingy tsy vahaolana amin'ny olana ny famoretana ny pejy tsirairay; mila ahena ny haben'ny rakitra angona vokatra. Raha tsy raikitra intsony ny haben'ny pejy, dia tsy afaka manoratra pejy amin'ny rakitra iray intsony isika, satria mety hiteraka olana maromaro izany:
- Amin'ny fampiasana ny fanondroan'ny pejy dia tsy ho afaka kajy ny offset izay misy azy ao amin'ny rakitra.
- Tsy mazava ny tokony hatao amin'ny pejy tsy eo amin'ny faran'ny rakitra ary manova ny habeny. Raha mihena ny haben'ny pejy dia hanjavona ny habaka navelany. Raha mitombo ny haben'ny pejy dia mila mitady toerana vaovao ao amin'ny rakitra ianao.
- Raha misy pejy mihetsika amin'ny byte maromaro izay tsy maromaro amin'ny haben'ny sakana rafitra rakitra, dia mila hikasika sakana rafitra fisie iray hafa ny famakiana na fanoratana azy, izay mety hiteraka fahasimbana amin'ny asa.
Mba hialana amin'ny famahana ireo olana ireo amin'ny ambaratongany manokana, ny famatrarana pejy kapila ao amin'ny Apache Ignite dia mampiasa rafitra rafitra fichier antsoina hoe rakitra sparse. Ny rakitra kely dia iray izay misy faritra feno aotra azo marihina ho "lavaka". Amin'ity tranga ity, tsy misy sakana rafitra fichier hatokana hitehirizana ireo lavaka ireo, ka mitsitsy ny habaka kapila.
Lojika fa raha te hanafaka ny sakana rafitra fichier dia tsy maintsy lehibe noho na mitovy amin'ny sakana rafitra rakitra ny haben'ny lavaka, izay mametraka fetra fanampiny amin'ny haben'ny pejy sy Apache Ignite: mba hisy vokany ny famatrarana, ny haben'ny pejy dia tokony ho lehibe kokoa noho ny haben'ny sakana rafitra rakitra. Raha mitovy amin'ny haben'ny sakana ny haben'ny pejy, dia tsy ho afaka hanafaka sakana iray na oviana na oviana isika, satria raha te hanafaka sakana iray dia tsy maintsy mibodo 0 bytes ny pejy voaporitra. Raha mitovy amin'ny haben'ny bloc 2 na 4 ny haben'ny pejy, dia efa afaka manafaka sakana iray farafahakeliny isika raha voatsindry ho 50% na 75% farafahakeliny ny pejintsika.
Noho izany, ny famaritana farany ny fomba fiasan'ny mekanika: Rehefa manoratra pejy amin'ny kapila, dia misy andrana manindry ny pejy. Raha ny haben'ny pejy voatsindry mamela ny iray na maromaro rafitra fichier blocs ho afaka, dia ny pejy dia voasoratra amin'ny endrika compressed, ary ny "lavaka" natao ho solon'ny nafahana blocs (antsoina ny rafitra dia tanterahina. fallocate() miaraka amin'ny sainan'ny punch hole). Raha toa ka tsy mamela ireo sakana ho afaka ny haben'ny pejy voaporitra, dia voatahiry toy ny mahazatra ilay pejy, tsy voatsindry. Ny fanonerana pejy rehetra dia kajy mitovy amin'ny tsy misy famoretana, amin'ny fampitomboana ny fanondro pejy amin'ny haben'ny pejy. Tsy mila mamindra pejy samirery. Ny fanonerana pejy, toy ny tsy misy famoretana, dia mianjera amin'ny sisin'ny sakana amin'ny rafi-drakitra.
Amin'ny fampiharana amin'izao fotoana izao, ny Ignite dia tsy afaka miasa afa-tsy amin'ny rakitra kely ao ambanin'ny Linux OS; araka izany, ny famatrarana pejy kapila dia tsy azo atao raha tsy mampiasa Ignite amin'ity rafitra miasa ity.
Algorithm famoretana azo ampiasaina amin'ny famatrarana pejy kapila: ZSTD, LZ4, Snappy. Ankoatra izany, misy ny fomba fiasa (SKIP_GARBAGE), izay tsy misy afa-tsy toerana tsy ampiasaina ao amin'ny pejy dia ariana tsy misy fanerena amin'ny angon-drakitra sisa, izay mampihena ny enta-mavesatra amin'ny CPU raha oharina amin'ireo algorithm voatanisa teo aloha.
Fiantraikan'ny fahombiazana
Indrisy anefa, tsy nanao fandrefesana tena zava-bita tamin'ny toerana tena izy aho, satria tsy mikasa ny hampiasa an'io mekanika io amin'ny famokarana izahay, fa afaka manombatombana ara-teorika hoe aiza no ho resy ary aiza no handresy.
Mba hanaovana izany dia mila mitadidy ny fomba famakiana sy fanoratana pejy rehefa miditra:
- Rehefa manao asa famakiana dia karohina voalohany amin'ny RAM; raha tsy mahomby ny fikarohana dia ampidirina ao amin'ny RAM avy amin'ny kapila ny pejy amin'ny kofehy iray izay manao ny famakiana.
- Rehefa vita ny asa fanoratana dia voamarika ho maloto ny pejy ao amin'ny RAM, saingy tsy voatahiry ara-batana ao anaty kapila avy hatrany ny pejy amin'ny alΓ lan'ny kofehy manao ny fanoratana. Ny pejy maloto rehetra dia voatahiry ao anaty kapila any aoriana any amin'ny dingana fisavana amin'ny kofehy misaraka.
Noho izany, ny fiantraikany amin'ny asa famakiana dia:
- Positive (kapila IO), noho ny fihenan'ny isan'ny blocs rafitra rakitra mamaky.
- Negative (CPU), noho ny enta-mavesatra fanampiny takian'ny rafitra miasa mba hiasa amin'ny rakitra zara. Azo atao ihany koa fa ny asa IO fanampiny dia hiseho an-kolaka eto mba hitahiry firafitry ny rakitra manjavozavo kokoa (indrisy fa tsy fantatro ny antsipiriany rehetra momba ny fomba fiasan'ny rakitra kely).
- Negative (CPU), noho ny filΓ na decompresses pejy.
- Tsy misy fiantraikany amin'ny asa fanoratana.
- Fiantraikany amin'ny fizotry ny fisavana (mitovitovy amin'ny asa famakiana ny zava-drehetra eto):
- Positive (disk IO), noho ny fihenan'ny isan'ny sakana rafitra rakitra voasoratra.
- Negative (CPU, mety ho kapila IO), noho ny fiasana amin'ny rakitra kely.
- Negative (CPU), noho ny filΓ na fanerena pejy.
Iza amin'ny sisiny no hanondro ny mizana? Miankina be dia be amin'ny tontolo iainana izany rehetra izany, saingy mirona amin'ny finoana aho fa ny famatrarana pejy kapila dia mety hiteraka fahasimbana amin'ny ankamaroan'ny rafitra. Ankoatr'izay, ny fitsapana amin'ny DBMS hafa izay mampiasa fomba mitovy amin'ny rakitra vitsy dia mampiseho ny fihenan'ny fampisehoana rehefa alefa ny famatrarana.
Ahoana ny fomba ahafahana sy manitsy
Araka ny voalaza etsy ambony, ny kinova farany ambany indrindra amin'ny Apache Ignite izay manohana ny famatrarana pejy kapila dia 2.8 ary ny rafitra fandidiana Linux ihany no tohana. Alefaso sy amboary toy izao manaraka izao:
- Tsy maintsy misy mody fanerena mirehitra ao amin'ny lalan'ny kilasy. Amin'ny alΓ lan'ny default dia hita ao amin'ny fizarana Apache Ignite ao amin'ny lahatahiry libs/optional izy io ary tsy tafiditra ao amin'ny lalan'ny kilasy. Azonao atao ny mamindra fotsiny ny lahatahiry miakatra iray mankany amin'ny libs ary rehefa mandeha amin'ny alΓ lan'ny ignite.sh ianao dia ho alefa ho azy.
- Tsy maintsy alefa ny fikirizana (Enabled via
DataRegionConfiguration.setPersistenceEnabled(true)). - Ny haben'ny pejy dia tokony ho lehibe kokoa noho ny haben'ny rafitra fichier block (azonao atao ny mametraka izany amin'ny fampiasana
DataStorageConfiguration.setPageSize()). - Ho an'ny cache tsirairay izay tsy maintsy amboarina ny angona, dia tsy maintsy amboarinao ny fomba fanerena ary (azo atao) ny haavon'ny famatrarana (fomba).
CacheConfiguration.setDiskPageCompression() , CacheConfiguration.setDiskPageCompressionLevel()).
WAL compaction
Inona no manao izany asa
Inona no atao hoe WAL ary nahoana no ilaina izany? Fohy dia fohy: dia diary iray mirakitra hetsika rehetra izay manova ny fitahirizana pejy amin'ny farany. Ilaina voalohany indrindra izany mba ho tafarina raha sendra lavo. Ny asa rehetra, alohan'ny hanomezana fifehezana ny mpampiasa, dia tsy maintsy mirakitra hetsika iray ao amin'ny WAL aloha, ka raha misy tsy fahombiazana, dia azo averina ao amin'ny log izany ary avereno amin'ny laoniny ny asa rehetra nahazoan'ny mpampiasa valiny mahomby, na dia ireo asa ireo aza. tsy nanam-potoana hita taratra tao amin'ny fitehirizana pejy ao amin'ny kapila (efa voalaza etsy ambony fa ny tena fanoratana amin'ny fivarotana pejy dia atao amin'ny dingana iray antsoina hoe "checkpointing" miaraka amin'ny fahatarana amin'ny kofehy misaraka).
Ny fidirana ao amin'ny WAL dia mizara ho lojika sy ara-batana. Ny Boolean no fanalahidy sy sandany. Fizika - maneho ny fiovana amin'ny pejy ao amin'ny fivarotana pejy. Na dia mety ilaina amin'ny tranga hafa aza ny firaketana lojika, ny firaketana ara-batana dia ilaina amin'ny fanarenana raha misy fianjerana ary ny firaketana dia tsy ilaina raha tsy amin'ny toeram-pisavana nahomby farany. Eto isika dia tsy hiditra amin'ny antsipiriany sy hanazava ny antony mahatonga azy io ho toy izany, fa ireo liana dia afaka manondro ilay lahatsoratra efa voalaza ao amin'ny Apache Ignite Wiki: .
Matetika misy firaketana ara-batana maromaro isaky ny rakitsoratra lojika. Izany hoe, ohatra, ny fampandehanana iray ao anaty cache dia misy fiantraikany amin'ny pejy maromaro amin'ny fitadidiana pejy (pejy misy ny angona, pejy misy index, pejy misy lisitra maimaim-poana). Tamin'ny fitsapana synthetic sasany, hitako fa nibodo hatramin'ny 90% ny rakitra WAL ny rakitra ara-batana. Na izany aza, ilaina mandritra ny fotoana fohy izy ireo (amin'ny alΓ lan'ny default, ny elanelana eo anelanelan'ny toeram-pisavana dia 3 minitra). Mety ho lojika ny fanalana an'io data io rehefa very ny lanjany. Izany indrindra no ataon'ny mekanika famandrihan-toerana WAL: manala ny firaketana ara-batana ary manindry ireo firaketana lojika sisa amin'ny alΓ lan'ny zip, raha toa ka mihena be ny haben'ny rakitra (indraindray am-polony).
Amin'ny lafiny ara-batana, ny WAL dia ahitana fizarana maromaro (10 amin'ny alΓ lan'ny default) amin'ny habeny raikitra (64MB raha default), izay soratana amin'ny fomba boribory. Raha vantany vao feno ny ampahany amin'izao fotoana izao, ny fizarana manaraka dia voatendry ho amin'izao fotoana izao, ary ny ampahany feno dia adika amin'ny arisiva amin'ny kofehy misaraka. Ny WAL compaction dia efa miasa miaraka amin'ireo fizarana arsiva. Ary koa, amin'ny maha kofehy misaraka, dia manara-maso ny fanatanterahana ny toeram-pisavana izy io ary manomboka ny fanerena amin'ny fizarana arisiva izay tsy ilana firaketana ara-batana intsony.
Fiantraikan'ny fahombiazana
Satria ny WAL compaction dia mandeha toy ny kofehy misaraka, dia tsy tokony hisy fiantraikany mivantana amin'ny asa atao. Saingy mbola mametraka enta-mavesatra fanampiny eo amin'ny CPU (compression) sy ny disk (mamaky ny fizarana WAL tsirairay avy amin'ny arisiva ary manoratra ny ampahany voatsindry), ka raha mandeha amin'ny fahafahany ambony indrindra ny rafitra, dia hitarika amin'ny fahasimban'ny fampisehoana ihany koa.
Ahoana ny fomba ahafahana sy manitsy
Azonao atao ny mamela ny WAL compaction amin'ny alΓ lan'ny fananana WalCompactionEnabled Π² DataStorageConfiguration (DataStorageConfiguration.setWalCompactionEnabled(true)). Ary koa, amin'ny fampiasana ny DataStorageConfiguration.setWalCompactionLevel() fomba, azonao atao ny mametraka ny haavon'ny famatrarana raha tsy afa-po amin'ny sanda mahazatra (BEST_SPEED).
WAL famatrarana sary sary
Inona no manao izany asa
Efa hitantsika fa ao amin'ny WAL firaketana dia mizara ho lojika sy ara-batana. Ho an'ny fanovana tsirairay amin'ny pejy tsirairay dia misy rakitsoratra WAL ara-batana novolavolaina ao amin'ny fitadidiana pejy. Ny firaketana ara-batana, indray, dia mizara ho karazany 2: firaketana snapshot pejy sy firaketana delta. Isaky ny manova zavatra ao amin'ny pejy iray isika ary mamindra izany avy amin'ny fanjakana madio mankany amin'ny fanjakana maloto, dia voatahiry ao amin'ny WAL ny kopia feno an'ity pejy ity (rakitra snapshot pejy). Na dia byte iray monja aza no novanay tamin'ny WAL, dia ho lehibe kokoa noho ny haben'ny pejy ny rakitra. Raha manova zavatra amin'ny pejy efa maloto isika, dia misy firaketana delta miforona ao amin'ny WAL, izay tsy ahitana afa-tsy fiovana raha oharina amin'ny toetry ny pejy teo aloha, fa tsy ny pejy manontolo. Koa satria ny famerenana ny toetry ny pejy manomboka amin'ny maloto ho madio dia atao mandritra ny dingan'ny fisavana, avy hatrany aorian'ny nanombohan'ny toby fisavana, saika ny firaketana ara-batana rehetra dia tsy ahitana afa-tsy sarin'ny pejy (satria madio avokoa ny pejy rehetra aorian'ny nanombohan'ny toeram-pisavana) , dia rehefa manatona ny toera-pisavana manaraka isika, dia manomboka mitombo ny ampahany amin'ny firaketana delta ary miverina indray eo amin'ny fiandohan'ny toby fisavana manaraka. Ny fandrefesana tamin'ny fitsapana sintetika sasany dia naneho fa mahatratra 90% ny ampahany amin'ny sarin'ny pejy amin'ny fitambaran'ny firaketana ara-batana.
Ny hevitra momba ny famandrihan'ny pejy WAL dia ny fanerena ireo sary amin'ny pejy amin'ny fampiasana fitaovana fanerena pejy efa vita (jereo ny famatrarana pejy kapila). Amin'izay fotoana izay ihany koa, ao amin'ny WAL, ny rakitsoratra dia voatahiry misesy amin'ny fomba append-only ary tsy ilaina ny mamatotra ny firaketana amin'ny sisin-tanin'ny rafitra fichier, noho izany, eto, tsy toy ny mekanika famatrarana pejy kapila, tsy mila rakitra kely isika amin'ny rehetra; araka izany, ity mekanika ity dia tsy hiasa amin'ny OS Linux ihany. Fanampin'izay, tsy zava-dehibe amintsika intsony ny habetsahan'ny fahafahantsika manindry ny pejy. Na dia navotsotra 1 byte aza izahay, dia efa vokatra tsara izany ary afaka mitahiry angon-drakitra voaporitra ao amin'ny WAL, tsy toy ny famatrarana pejy kapila, izay tsy mitahiry ny pejy voatsindry raha tsy misy bloc rafitra rakitra mihoatra ny 1.
Ny pejy dia angon-drakitra azo ovaina be, ny anjarany amin'ny totalin'ny WAL dia avo dia avo, ka raha tsy manova ny endrika rakitra WAL dia afaka mahazo fihenam-bidy lehibe amin'ny habeny. Ny famatrarana, ao anatin'izany ny firaketana lojika, dia mitaky fanovana endrika sy fahaverezan'ny fifanarahana, ohatra, ho an'ny mpanjifa ivelany izay mety ho liana amin'ny firaketana lojika, saingy tsy hitarika amin'ny fampihenana lehibe ny haben'ny rakitra.
Tahaka ny amin'ny famatrarana pejin'ny kapila, ny famatrarana sary amin'ny pejin'ny WAL dia afaka mampiasa ZSTD, LZ4, Algorithm de compression Snappy, ary koa ny maody SKIP_GARBAGE.
Fiantraikan'ny fahombiazana
Tsy sarotra ny manamarika fa ny fampandehanana mivantana ny famandrihan'ny pejy WAL dia misy fiantraikany amin'ny kofehy manoratra angona amin'ny fitadidiana pejy, izany hoe ireo kofehy manova angona ao anaty cache. Ny famakiana rakitsoratra ara-batana avy amin'ny WAL dia mitranga indray mandeha ihany, amin'izao fotoana izao dia atsangana ny node aorian'ny fianjerana (ary raha mianjera mandritra ny toeram-pisavana ihany).
Misy fiantraikany amin'ny kofehy manova angon-drakitra amin'ny fomba manaraka izany: mahazo fiantraikany ratsy (CPU) isika noho ny filana hanery ny pejy isaky ny manoratra amin'ny kapila, ary misy fiantraikany tsara (kapila IO) noho ny fihenan'ny habetsaky ny data voasoratra. Noho izany, tsotra ny zava-drehetra eto: raha voafetra amin'ny CPU ny fahombiazan'ny rafitra, dia mahazo fihenam-bidy kely isika, raha voafetra amin'ny disk I/O, dia mahazo fitomboana.
Amin'ny fomba ankolaka, ny fampihenana ny haben'ny WAL dia misy fiantraikany amin'ny renirano (tsara) izay manary ny ampahan'ny WAL ao amin'ny arisiva sy ny renirano fametahana WAL.
Ny fitsapana tena zava-bita teo amin'ny tontolo misy antsika tamin'ny fampiasana angon-drakitra sentetika dia nampiseho fitomboana kely (nitombo 10% -15%, nihena 10% -15%) ny fahatarana.
Ahoana ny fomba ahafahana sy manitsy
Dika farany ambany indrindra amin'ny Apache Ignite: 2.8. Alefaso sy amboary toy izao manaraka izao:
- Tsy maintsy misy mody fanerena mirehitra ao amin'ny lalan'ny kilasy. Amin'ny alΓ lan'ny default dia hita ao amin'ny fizarana Apache Ignite ao amin'ny lahatahiry libs/optional izy io ary tsy tafiditra ao amin'ny lalan'ny kilasy. Azonao atao ny mamindra fotsiny ny lahatahiry miakatra iray mankany amin'ny libs ary rehefa mandeha amin'ny alΓ lan'ny ignite.sh ianao dia ho alefa ho azy.
- Tsy maintsy alefa ny fikirizana (Enabled via
DataRegionConfiguration.setPersistenceEnabled(true)). - Ny fomba famatrarana dia tsy maintsy apetraka amin'ny fampiasana ny fomba
DataStorageConfiguration.setWalPageCompression(), ny famatrarana dia kilemaina amin'ny alΓ lan'ny default (mode DISABLED). - Optionally, azonao atao ny mametraka ny haavon'ny famatrarana mampiasa ny fomba
DataStorageConfiguration.setWalPageCompression(), jereo ny javadoc ho an'ny fomba hahazoana sanda manan-kery ho an'ny fomba tsirairay.
famaranana
Azo ampiasaina tsy miankina amin'ny tsirairay ireo mekanika fanerena angon-drakitra ao amin'ny Apache Ignite, saingy azo ekena ihany koa ny fitambaran'izy ireo. Ny fahatakarana ny fomba fiasan'izy ireo dia ahafahanao mamaritra ny maha-mety azy ireo amin'ny asanao eo amin'ny tontolo iainanao sy ny zavatra tsy maintsy ataonao sorona rehefa mampiasa azy ireo. Ny famatrarana pejy kapila dia natao hanenjehana ny fitahirizana lehibe ary afaka manome salan'isa fanerena antonony. Ny famatrarana sary amin'ny pejin'ny WAL dia hanome ambaratonga antonony amin'ny famatrarana ho an'ny rakitra WAL, ary mety hanatsara ny fampisehoana mihitsy aza. Tsy hisy fiantraikany tsara eo amin'ny zava-bita ny fametahana WAL, fa hampihena ny haben'ny rakitra WAL araka izay azo atao amin'ny fanesorana ny firaketana ara-batana.
Source: www.habr.com