E toʻatele tagata e tauivi ma Elasticsearch. Ae o le a le mea e tupu pe a e manaʻo e faʻaaogaina e teu ai ogalaau "i se voluma tele"? Ma e leai foi se tiga e iloa ai le toilalo o soʻo se tele o nofoaga autu o faʻamatalaga? O le a le ituaiga fausaga e tatau ona e faia, ma o a mailei e te tautevateva ai?
O matou i Odnoklassniki na filifili e faʻaoga elasticsearch e foia ai le mataupu o le puleaina o ogalaau, ma o lea matou te faʻasoa atu lo matou poto masani ma Habr: e uiga i le tusiata ma e uiga i faʻalavelave.
O aʻu o Pyotr Zaitsev, ou te galue o se pule faʻatonu i Odnoklassniki. Aʻo leʻi oʻo i lena, sa avea foi aʻu ma pule, galue ma Manticore Search, Sphinx search, Elasticsearch. Masalo, afai e aliali mai se isi ...su'esu'e, masalo o le a ou galue foi i ai. Ou te auai foʻi i le tele o galuega faʻavae tatala i luga o se faʻavae ofo fua.
Ina ua ou sau i Odnoklassniki, sa ou fai atu ma le le mafaufau i le faatalanoaga e mafai ona ou galue ma Elasticsearch. Ina ua uma ona ou iloa ma faamaeaina nisi o galuega faigofie, sa tuuina mai ia te au le galuega tele o le toe fuataiina o le pulega o ogalaau sa i ai i lena taimi.
manaoga
O mana'oga faiga na fa'atulagaina e pei ona taua i lalo:
- O le Graylog e tatau ona faʻaaogaina e fai ma pito i luma. Talu ai ua uma ona maua e le kamupani le poto masani i le faʻaaogaina o lenei oloa, na iloa e le au fai polokalame ma suʻega, sa masani ma faigofie ia i latou.
- Faʻamaumauga faʻamaumauga: i le averesi 50-80 afe feʻau i le sekone, ae afai e malepe se mea, ona le faʻatapulaʻaina lea o fefaʻatauaiga i soo se mea, e mafai ona 2-3 miliona laina i le sekone
- I le faʻatalanoaina ma tagata faʻatau i manaʻoga mo le saoasaoa o suʻesuʻega suʻesuʻega, na matou iloa ai o le masani masani o le faʻaaogaina o sea faiga o lenei: o loʻo sailia e tagata ni ogalaau o la latou talosaga mo aso e lua mulimuli ma e le manaʻo e faʻatali sili atu nai lo se lona lua mo le i'uga o se fesili ua fa'atulagaina.
- Na tauanau e le au pulega ia faigofie le faʻaogaina o le faiga pe a manaʻomia, e aunoa ma le manaʻomia o latou e suʻesuʻe loloto i le auala e galue ai.
- E na o le pau lava le galuega o le tausiga e manaʻomia e nei faiga i taimi taʻitasi o le suia lea o nisi meafaigaluega.
- E le gata i lea, o le Odnoklassniki o loʻo i ai se tu masani faʻapitoa faʻapitoa: soʻo se auaunaga matou te faʻalauiloaina e tatau ona ola i se faʻaletonu o faʻamaumauga (faʻafuaseʻi, le fuafuaina ma matuaʻi i soo se taimi).
O le manaʻoga mulimuli i le faʻatinoga o lenei poloketi e sili ona taugata ia i matou, lea o le a ou talanoa atili i ai.
Aso Lulu
Matou te galulue i nofoaga autu o faʻamaumauga e fa, aʻo Elasticsearch faʻamaumauga faʻamaumauga e mafai ona maua i totonu o le tolu (mo le tele o mafuaaga e le faʻapitoa).
O nei nofoaga autu e fa o loʻo i ai le tusa ma le 18 punaoa ogalaau eseese - meafaigaluega, koneteina, masini masini.
Vaega taua: e amata le fuifui i totonu o koneteina e le o luga o masini faaletino, ae i luga . O koneteina e fa'amaonia 2 cores, e tutusa ma le 2.0Ghz v4, fa'atasi ai ma le avanoa e toe fa'aaogaina ai pusa o lo'o totoe pe a leai se aoga.
I se isi faaupuga:
Topology
Na ou vaai muamua i le tulaga lautele o le fofo e faapea:
- 3-4 VIPs o loʻo i tua o le A-record o le Graylog domain, o le tuatusi lea e lafo i ai ogalaau.
- VIP taitasi o se LVS paleni.
- A maeʻa, o ogalaau e alu i le Graylog maa, o nisi o faʻamatalaga o loʻo i le GELF format, o nisi i le syslog format.
- Ona tusia uma lea o mea uma i vaega tetele i se maa o Elasticsearch coordinators.
- Ma latou, i le isi itu, auina atu tusi ma faitau talosaga i nodes faamatalaga talafeagai.
Faʻamatalaga
Masalo e le o tagata uma e malamalama i faʻamatalaga auiliili, o lea ou te fia mafaufau ai i ai.
Elasticsearch e tele ituaiga o nodes - matai, fa'amaopoopo, fa'amaumauga fa'amaumauga. E lua isi ituaiga mo suiga eseese ogalaau ma fesoʻotaʻiga i le va o fuifui eseese, ae na matou faʻaaogaina naʻo mea na lisiina.
aliʻi
E ping uma pona o lo'o i totonu o le fuifui, tausia se fa'afanua fa'aonaponei fa'apipi'i ma tufatufa i le va o pona, fa'agasolo fa'atatau o mea e tutupu, ma fa'atino ituaiga eseese o fuifui fa'alelei fale.
Faʻatonu
Fa'atino se galuega e tasi: talia le faitau pe tusi talosaga mai tagata fa'atau ma fa'ata'avaleina lenei felauaiga. I le tulaga o loʻo i ai se tusi talosaga, e foliga mai, o le a fesili i le matai poʻo le a le vaega o le faasino igoa talafeagai e tatau ona tuʻuina i totonu, ma o le a toe faʻafeiloaʻi atili le talosaga.
Node fa'amaumauga
Teu fa'amaumauga, fa'atino su'esu'ega o lo'o taunu'u mai fafo ma fa'atino galuega i luga o shards o lo'o i ai.
graylog
Ole mea lea e pei ole fusuaga ole Kibana ma Logstash ile fa'aputuga ELK. Ua tu'ufa'atasia e Graylog se UI ma se laina paipa e gaosia ai ogalaau. I lalo o le pulou, e faʻatautaia e Graylog Kafka ma Zookeeper, lea e maua ai le fesoʻotaʻiga i Graylog o se fuifui. E mafai e le Graylog ona fa'aoga ogalaau (Kafka) pe a le maua le Elasticsearch ma toe fai le faitau ma le tusi talosaga, fa'aputu ma maka ogalaau e tusa ai ma tulafono fa'apitoa. E pei o Logstash, e iai galuega a Graylog e sui ai laina a'o le'i tusia i le Elasticsearch.
E le gata i lea, o loʻo i ai i le Graylog se suʻesuʻega o loʻo fausia e mafai ai, e faʻavae i luga o se tasi o avanoa Elasticsearch node, e maua ai le faʻafanua atoa o le fuifui ma faʻamama e se pine faʻapitoa, lea e mafai ai ona faʻatonu talosaga i pusa faʻapitoa.
I le va'aiga e pei o lenei:
O se fa'amalama mai se fa'ata'ita'iga fa'apitoa. O iinei tatou te fausia ai se histogram e faʻavae i luga ole suʻesuʻega ma faʻaalia laina talafeagai.
Faasino igoa
Toe foʻi i le faʻatulagaina o le fausaga, ou te fia nofo atili i auiliiliga i le auala na matou fausia ai le faʻataʻitaʻiga faʻataʻitaʻiga ina ia saʻo uma.
I le ata o loʻo i luga, o le pito sili lea ona maualalo: Elasticsearch data nodes.
O se fa'asinomaga o se fa'alapotopotoga fa'apitoa tele e faia i le Elasticsearch shards. I totonu ia te ia lava, o vaega taʻitasi e leai se mea e sili atu nai lo le Lucene index. Ma o fa'asino igoa ta'itasi a Lucene, e aofia ai se tasi pe sili atu vaega.
Pe a mamanuina, matou te manatu ina ia mafai ona ausia le manaʻoga mo le faitau saoasaoa i luga o le tele o faʻamaumauga, matou te manaʻomia le "faasalalauina" o nei faʻamatalaga tutusa i luga o nodes faʻamatalaga.
O le mea lea na mafua ai le mea moni o le numera o shards i le faʻasino (faʻatasi ai ma faʻataʻitaʻiga) e tatau ona matua tutusa ma le numera o nodes faʻamatalaga. Muamua, ina ia faʻamautinoa le tutusa o le faʻasologa o le lua (o lona uiga, e mafai ona tatou leiloa le afa o le fuifui). Ma, lona lua, ina ia mafai ona faʻagasolo le faitau ma tusi talosaga i luga ole afa o le fuifui.
Na matou fuafuaina muamua le taimi e teu ai e 30 aso.
O le tufatufaga o shards e mafai ona faʻatusalia faʻatusa e pei ona taua i lalo:
O le ta'ifa'ata'i fa'aefuefu pogisa atoa o se fa'asino. O le sikuea mumu agavale o lo'o i totonu o le fasimea muamua, o le muamua i le fa'ailoga. Ma o le sikuea lanumoana o se faʻataʻitaʻiga shard. O lo'o iai i nofoaga fa'amaumauga eseese.
A matou faʻaopoopoina se isi shard, e alu i le nofoaga autu o faʻamatalaga lona tolu. Ma, i le faaiuga, matou te maua lenei fausaga, lea e mafai ai ona leiloa DC e aunoa ma le leiloa o faʻamaumauga tutusa:
Fa'aliliuga o fa'ailoga, i.e. fatuina o se faasino igoa fou ma tape le mea tuai, na matou faia e tutusa ma le 48 itula (e tusa ai ma le mamanu o le faasino igoa: o le 48 itula mulimuli e masani ona suʻeina).
Ole taimi ole suiga ole faasinoupu e mafua ona o mafuaaga nei:
A oʻo mai se talosaga suʻesuʻe i se node faʻamatalaga patino, o lona uiga, mai se vaaiga faʻatinoga, e sili atu le aoga pe a fesiligia se tasi shard, pe afai o lona tele e faʻatusatusa i le tele o le suilapalapa o le node. O lenei mea e mafai ai ona e teuina le "vevela" vaega o le faasino igoa i se faaputuga ma vave ona maua. A tele "vaega vevela", o le saoasaoa o suʻesuʻega faʻasino e faʻaleagaina.
A amata ona fa'atino e se node se su'esu'ega i luga o le tasi shard, e fa'asoa se numera o filo e tutusa ma le aofa'i o fa'aulu fa'asolo o le masini faaletino. Afai o se su'esu'ega e a'afia ai se numera tele o shards, o lona uiga o le numera o filo e tupu fa'atatau. E i ai se aafiaga le lelei i luga o le saoasaoa o sailiga ma e afaina ai le faasinoupuina o faʻamatalaga fou.
Ina ia tuʻuina atu le suʻesuʻega talafeagai, na matou filifili e faʻaaoga se SSD. Ina ia vave faʻagasolo talosaga, o masini e faʻafeiloaʻi nei koneteina e tatau ona i ai a itiiti ifo ma le 56 cores. O le fuainumera o le 56 na filifilia e avea o se tulaga talafeagai e fuafua ai le numera o filo o le a gaosia e Elasticsearch i le taimi o le taotoga. I le Elasitcsearch, o le tele o filo vaitaele e faʻalagolago saʻo i le numera o pusa avanoa, lea e aʻafia ai le numera manaʻomia o nodes i le fuifui e tusa ai ma le mataupu faavae "itiiti cores - tele nodes".
O le iʻuga, na matou iloa ai e tusa ma le 20 gigabytes le mamafa o le shard, ma e 1 shards i le faʻasino. E tusa ai, afai tatou te fesuiaʻi tasi i le 360 itula, ona maua lea o le 48 o latou. O fa'amaumauga ta'itasi o lo'o iai fa'amaumauga mo le 15 aso.
Fa'amatalaga tusitusia ma faitau ta'amilosaga
Se'i va'ai pe fa'apefea ona fa'amaumau fa'amaumauga i lenei faiga.
Fa'apea ua o'o mai se talosaga mai Graylog i le fa'amaopoopo. Mo se faʻataʻitaʻiga, matou te mananaʻo e faʻasino le 2-3 afe laina.
O le taitai faamaopoopo, ina ua maua se talosaga mai ia Graylog, sa ia fesiligia ai le matai: “I le talosaga o le faasino igoa, sa matou faamaoti patino mai ai se faasino igoa, ae o le fea vaega e tusi ai sa lei faamaotiina.”
Tali mai le matai: "Tusi lenei faʻamatalaga i le numera 71," a maeʻa ona tuʻu saʻo atu i le node faʻamatalaga talafeagai, lea o loʻo i ai le numera muamua-shard 71.
A maeʻa ona toe faʻafeiloaʻi le faʻamaumauga o fefaʻatauaiga i se kopi-shard, lea o loʻo i totonu o se isi nofoaga autu o faʻamatalaga.
Ua o'o mai se talosaga su'esu'e mai Graylog i le fa'amaopoopo. E toe faʻafeiloaʻi e le faʻamaopoopo e tusa ai ma le faʻamaufaʻailoga, aʻo tufatufaina atu e Elasticsearch talosaga i le va o le primer-shard ma le replica-shard e faʻaaoga ai le faʻavae-robin.
O le 180 nodes e tali le tutusa, ma aʻo latou tali mai, o loʻo faʻaputuina e le faʻamaopoopo faʻamatalaga ua uma ona "tuu i fafo" e ala i nodes faʻamatalaga vave. A maeʻa lenei, pe a oʻo mai faʻamatalaga uma, poʻo le talosaga ua oʻo i se taimi malolo, e tuʻuina saʻo mea uma i le kalani.
Ole faiga atoa lea ile averesi ole faiga ole su'esu'ega mo le 48 itula mulimuli ile 300-400ms, e le aofia ai na fesili o lo'o i ai se ta'imua.
Fugalaau ma Elasticsearch: Java setup
Ina ia faʻaogaina uma i le auala na matou manaʻo ai, na matou faʻaaluina se taimi umi e faʻapipiʻi ai le tele o mea eseese i totonu o le fuifui.
O le vaega muamua o faʻafitauli na maua e fesoʻotaʻi ma le auala na faʻapipiʻiina ai Java e ala ile faaletonu ile Elasticsearch.
Fa'afitauli muamua
Ua matou vaaia se numera tele o lipoti e faapea i le tulaga o Lucene, a o faagasolo galuega i tua, e le manuia le tuufaatasia o le vaega o Lucene ma se mea sese. I le taimi lava e tasi, na manino i totonu o ogalaau o se OutOfMemoryError sese. Na matou vaaia mai le telemetry e leai se totogi o le suilapalapa, ma e le o manino pe aisea ua le manuia ai lenei taotoga.
Na aliali mai o Lucene index merges e tupu i fafo atu o le suilapalapa. Ma o koneteina e matua fa'atapula'aina lava i tulaga o punaoa fa'aaogaina. E na'o le fa'aputuga e mafai ona ofi i totonu o nei puna'oa (o le tau o le heap.size e tusa ma le RAM), ma o nisi fa'agaoioiga i fafo-fa'aputuga na pa'u ma se mea e manatua ai le fa'asoasoaina pe a fai o nisi mafua'aga latou te le'i ofi i le ~500MB na totoe i luma o le tapula'a.
O le faʻatonuga e matua le taua lava: o le aofaʻi o le RAM o loʻo avanoa mo le koneteina na faʻateleina, mulimuli ane ua galo ia i matou na i ai foi ia matou faafitauli.
Faafitauli lua
4-5 aso talu ona maeʻa le faʻalauiloaina o le fuifui, na matou matauina na amata ona paʻu ese faʻamaumauga o faʻamaumauga mai le fuifui ma faʻapipiʻi pe a uma le 10-20 sekone.
Ina ua amata ona matou mafaufau i ai, na aliali mai o lenei faʻaputuga manatua i Elasticsearch e le pulea i soo se auala. Ina ua matou tuuina atu le tele o manatuaga i le atigipusa, sa mafai ona matou faatumu le vaitaele tuusao i faamatalaga eseese, ma na faatoa kilia ina ua uma ona faalauiloa manino le GC mai Elasticsearch.
I nisi tulaga, o lenei taotoga na umi se taimi, ma i le taimi lea na mafai ai e le fuifui ona faailoga lenei node ua uma ona alu ese. Ua lelei ona faamatalaina lenei faafitauli .
O le fofo o loʻo mulimuli mai: matou faʻatapulaʻaina le gafatia o Java e faʻaoga le tele o manatua i fafo atu o le faʻaputuga mo nei gaioiga. Matou te faʻatapulaʻaina i le 16 gigabytes (-XX: MaxDirectMemorySize = 16g), faʻamautinoa o le GC manino na valaʻau i le tele o taimi ma faʻagasolo vave, ma le toe faʻaleagaina ai le fuifui.
Faafitauli lona tolu
Afai e te manatu ua maeʻa faʻafitauli i "nodes o loʻo tuʻua le fuifui i le taimi e sili ona le faʻamoemoeina", ua e sese.
Ina ua matou faʻatulagaina le galuega ma faʻasino igoa, matou filifili mmapfs i i luga o fasipepa fou ma se vaega tele. O se mea sese, aua a faʻaaoga mmapfs o loʻo faʻapipiʻi le faila i le RAM, ona matou galulue ai lea ma le faila faila. Ona o lenei mea, e foliga mai pe a taumafai le GC e taofi filo i totonu o le talosaga, matou te o atu i le nofoaga saogalemu mo se taimi umi lava, ma i luga o le ala i ai, o le talosaga e taofi le tali atu i talosaga a le matai pe o ola. . E tusa ai, e talitonu le matai e le o toe iai le node i le fuifui. A maeʻa lenei mea, a maeʻa le 5-10 sekone, e galue le lapisi lapisi, e ola le node, toe ulufale i totonu o le fuifui ma amata amataina shards. Na lagona uma lava e pei o le "gaosiga ua tatau ai" ma e le talafeagai mo se mea ogaoga.
Ina ia faʻaumatia lenei amio, na matou faʻafeiloaʻi muamua i niofs masani, ona matou malaga mai ai lea mai le lima o lomiga o Elastic i le ono, matou te taumafai hybridfs, lea e leʻi toe faia ai lenei faʻafitauli. E mafai ona e faitau atili e uiga i ituaiga teuina .
Faafitauli
Ona i ai lea o se isi faafitauli mataʻina na matou togafitia mo se taimi faʻamaumau. Na matou mauaina mo le 2-3 masina ona o lona mamanu na matua le malamalama.
O nisi taimi e alu ai o matou taitai faamaopoopo i le GC atoa, e masani lava i se taimi pe a uma le aoauli, ma e le toe foi mai iina. I le taimi lava e tasi, pe a faʻapipiʻi le tuai o le GC, e pei o lenei: o loʻo sologa lelei mea uma, lelei, lelei, ona faʻafuaseʻi loa lea ona leaga mea uma.
I le taimi muamua sa matou manatu o loʻo i ai sa matou tagata faʻaoga leaga o loʻo faʻalauiloaina se ituaiga o talosaga na tuʻituʻi ai le faamaopoopo mai le faiga faigaluega. Sa matou faʻamauina talosaga mo se taimi umi lava, taumafai e iloa le mea o loʻo tupu.
O le iʻuga, na faʻaalia i le taimi lava e faʻalauiloa ai e le tagata faʻaoga se talosaga tele, ma oʻo atu i se faʻamaopoopo faʻapitoa Elasticsearch, o nisi nodes e tali umi atu nai lo isi.
Ma aʻo faʻatali le faʻamaopoopo mo se tali mai nodes uma, na te faʻaputuina iʻuga na lafoina mai nodes ua uma ona tali mai. Mo le GC, o lona uiga e vave ona suia a tatou mamanu faʻaogaina. Ma o le GC na matou faʻaaogaina e le mafai ona faʻafetaui lenei galuega.
Pau lava le mea na matou maua e suia ai le amio a le fuifui i lenei tulaga o le faimalaga i le JDK13 ma le faʻaaogaina o le lapisi Shenandoah. O lenei mea na foia ai le faafitauli, na le toe pa'u'u a matou taitai faamaopoopo.
O le mea lea na muta ai faʻafitauli ma Java ma amata ai faʻafitauli o le bandwidth.
"Berries" faʻatasi ma Elasticsearch: faʻaogaina
O fa'afitauli i le fa'aogaina o lona uiga o le matou fuifui e galue malosi, ae i le maualuga o le numera o fa'amaumauga fa'asinomaga ma taimi o gaioiga, e le lava le fa'atinoga.
O le faʻailoga muamua na faʻafeiloaʻi: i le taimi o "faʻalavelave" i le gaosiga, pe a faʻafuaseʻi ona faʻatupuina se numera tele o ogalaau, o le faʻasologa o igoa es_rejected_execution e amata ona moli soo i Graylog.
Na mafua lenei mea ona o le thread_pool.write.queue i luga o le tasi node faʻamatalaga, seia oʻo i le taimi e mafai ai e Elasticsearch ona faʻagasolo le talosaga o le faasino igoa ma tuʻuina atu le faʻamatalaga i le shard i luga o le disk, e mafai ona faʻapipiʻi na o le 200 talosaga e le mafai. Ma i totonu E itiiti lava se tala e uiga i lenei parakalafa. E na'o le numera aupito maualuga o filo ma le lapopo'a fa'aletonu o lo'o fa'aalia.
Ioe, na matou o atu e mimilo lenei tau ma maua ai mea nei: aemaise lava, i la matou seti, e oʻo atu i le 300 talosaga o loʻo teuina lelei, ma o se tau maualuga e tumu i le mea moni tatou te toe lele i le GC atoa.
E le gata i lea, talu ai o vaega ia o feʻau e oʻo mai i totonu o le talosaga e tasi, e tatau ona faʻapipiʻi Graylog ina ia le masani ona tusia i ni vaega laiti, ae i ni vaega tetele pe tasi i le 3 sekone pe a le maeʻa le vaega. I lenei tulaga, e foliga mai o faʻamatalaga matou te tusia i le Elasticsearch e le maua i le lua sekone, ae i le lima (lea e fetaui lelei ma i matou), ae o le numera o toe faʻafeiloaʻi e tatau ona faia ina ia mafai ai ona tuleia se tele. fa'aputuina o fa'amatalaga ua fa'aitiitia.
E taua tele lenei mea i na taimi pe a iai se mea na paʻu i se mea ma lipoti atu ma le ita tele e uiga i ai, ina ia le maua ai se Elastic atoatoa spammed, ma a maeʻa sina taimi - Graylog nodes e le mafai ona faʻaogaina ona o pa puipui.
E le gata i lea, ina ua matou maua nei lava faʻalavelave i le gaosiga, matou te maua faitioga mai le au fai polokalame ma suʻega: i le taimi na latou manaʻomia moni ai nei ogalaau, na tuʻuina atu ia i latou lemu tele.
Sa amata ona latou malamalama i ai. I le tasi itu, na manino lava o fesili suʻesuʻe ma faʻasino igoa na faʻagasolo, i luga o masini faʻapitoa lava e tasi, ma i se tasi itu poʻo se isi o le ai ai ni faʻamaufaʻailoga.
Ae o lenei mea e mafai ona faʻafefeina ona o le mea moni e faapea i le lona ono o lomiga o Elasticsearch, o se algorithm na faʻaalia e mafai ai e oe ona tufatufa faʻamatalaga i le va o nodes faʻamatalaga talafeagai e le tusa ai ma le taʻiala faʻasolosolo-robin (o le atigipusa e faia faʻasino igoa ma umia le tulaga muamua. -shard e mafai ona pisi tele, o le a leai se auala e tali vave ai), ae tuʻuina atu lenei talosaga i se atigipusa itiiti le utaina ma se kopi-shard, lea o le a tali vave atu. I se isi faaupuga, na matou taunuu i use_adaptive_replica_selection: moni.
O le ata faitau e amata ona foliga faapenei:
O le suiga i lenei algorithm na mafai ai ona faʻaleleia atili le taimi o fesili i na taimi na matou maua ai le tele o ogalaau e tusi ai.
Mulimuli ane, o le faʻafitauli autu o le aveesea le tiga o le nofoaga autu o faʻamatalaga.
Le mea na matou manaʻomia mai le fuifui i le taimi lava na leiloa ai le fesoʻotaʻiga ma le tasi DC:
- Afai ei ai se matou matai o loʻo i ai nei i le nofoaga autu o faʻamatalaga ua le manuia, ona toe filifilia lea ma faʻanofo o se matafaioi i se isi node i se isi DC.
- O le a vave ona aveese e le matai mea uma e le mafai ona maua mai le fuifui.
- Faʻavae i luga o isi mea o totoe, o le a ia malamalama: i totonu o le nofoaga autu o faʻamaumauga ua leiloloa na matou maua ai sea ma na mea autu, o le a vave ona ia faʻalauiloaina faʻataʻitaʻiga faʻataʻitaʻiga i totonu o nofoaga autu o loʻo totoe, ma o le a matou faʻaauau le faʻasinoina o faʻamaumauga.
- O se taunuuga o lenei mea, o le a faasolosolo malie le faʻaleagaina o le tusitusi ma le faitau aofaʻi o le fuifui, ae i se tulaga lautele o le a aoga mea uma, e ui lava i le lemu, ae o le mautu.
O le mea na tupu, matou te manaʻo i se mea e pei o lenei:
Ma sa matou mauaina mea nei:
Na faapefea ona tupu lenei mea?
Ina ua pa'u le nofoaga autu o faamatalaga, na avea lo matou matai ma fagufagu.
Aisea?
O le mea moni o le matai o loʻo i ai se TaskBatcher, lea e nafa ma le tufatufaina atu o nisi o galuega ma mea e tutupu i le fuifui. So'o se node e alu i fafo, so'o se fa'alauiloa o se shard mai le fa'atusa i le tulaga muamua, so'o se galuega e fai ai se shard i se mea - o nei mea uma e alu muamua i TaskBatcher, lea e fa'agasolo fa'asolosolo ma i le tasi filo.
I le taimi o le faaui i tua o se tasi nofoaga autu o faamatalaga, na aliali mai o faʻamaumauga uma o faʻamaumauga i totonu o nofoaga autu o loʻo ola na manatu o lo latou tiute le taʻu atu i le matai "ua matou leiloa ia mea ma ia mea ma mea faapena ma ia faʻamaumauga."
I le taimi lava e tasi, o faʻamaumauga o loʻo ola na tuʻuina atu nei faʻamatalaga uma i le matai o loʻo iai nei ma taumafai e faʻatali mo se faʻamaoniga na ia taliaina. Latou te leʻi faʻatali mo lenei mea, talu ai na maua e le matai galuega e vave atu nai lo le tali atu. O nodes na faʻamaeʻaina le toe faia o talosaga, ma o le matai i le taimi lea e leʻi taumafai e tali ia i latou, ae sa matuaʻi atoatoa i le galuega o le faʻavasegaina o talosaga i le faʻamuamua.
I le fa'ailoga fa'amau, na fa'aalia ai o fa'amatalaga fa'amatalaga na fa'asalaina le matai i le tulaga na alu i le GC atoa. Ina ua uma lena, na siitia atu le matou matai i se isi node, e matua tutusa lava le mea na tupu i ai, ma o se taunuuga na paʻu atoa le fuifui.
Na matou faia fua, ma aʻo leʻi faʻaogaina le 6.4.0, lea na faʻamautu ai, na lava mo i matou e faʻapipiʻi na o le 10 faʻamaumauga mai le 360 ina ia mafai ona tapunia atoa le fuifui.
Na foliga mai e pei o lenei:
Ina ua maeʻa le version 6.4.0, lea na faʻamautu ai lenei pusa mataʻutia, na taofia e nodes faʻamaumauga le fasiotia o le matai. Ae e leʻi avea lea ma mea na “atamai ai” o ia. O lona uiga: pe a matou faʻaalia 2, 3 poʻo le 10 (soʻo se numera e ese mai i le tasi) faʻamatalaga faʻamatalaga, e maua e le matai se savali muamua e fai mai ua alu ese le node A, ma taumafai e taʻu le node B, node C e uiga i lenei mea, node D.
Ma i le taimi nei, e mafai ona taulimaina lenei mea e ala i le setiina o se taimi malolo mo taumafaiga e taʻu atu i se tasi e uiga i se mea, e tutusa ma le 20-30 sekone, ma faʻapea ona pulea le saoasaoa o le nofoaga autu o faʻamatalaga e alu ese mai le fuifui.
I le mataupu faavae, o lenei mea e fetaui ma manaʻoga na muamua tuʻuina atu i le oloa mulimuli o se vaega o le poloketi, ae mai le manatu o le "saienisi mama" o se pusa. Lea, i le ala, na faʻamautuina lelei e le au atinaʻe i le version 7.2.
E le gata i lea, ina ua alu ese se node faʻamatalaga, na faʻaalia ai o le faʻasalalauina o faʻamatalaga e uiga i lona alu ese atu e sili atu le taua nai lo le taʻuina atu i le fuifui atoa o loʻo i ai faʻapea ma ia mea muamua-shards i luga (ina ia faʻalauiloaina se kopi-shard i isi faʻamatalaga. totonugalemu i le tulaga muamua, ma i faamatalaga e mafai ona tusia i luga oi latou).
O le mea lea, pe a uma ona mate mea uma, o faʻamaumauga faʻasalalau e leʻo vave faʻailogaina e pei o se mea. E tusa ai ma lea, ua faʻamalosia i matou e faʻatali seʻia maeʻa uma pings i faʻamaumauga o faʻamaumauga tuʻufaʻatasia, ma e naʻo le maeʻa ai o le matou fuifui amata ona taʻu mai ia i matou o iina, iina, ma o iina e tatau ona matou faʻaauau le pueina o faʻamatalaga. E mafai ona e faitau atili e uiga i lenei mea .
O le i'uga, o le fa'agaioiga o le fa'aui i tua o se nofoaga autu o fa'amaumauga i aso nei e tusa ma le 5 minute e alu ai i le taimi vave. Mo se lapo'a lapo'a ma fa'a'ese'ese, ose fa'ai'uga lelei tele lea.
O se taunuuga, na matou oʻo mai i le filifiliga lenei:
- E i ai a matou 360 faʻamaumauga faʻamaumauga ma 700 gigabyte tisiki.
- 60 fa'amaopoopo mo le fa'atonutonuina o femalaga'iga i nei lava fa'amaumauga fa'amaumauga.
- 40 matai na matou tuua o se ituaiga o talatuu talu mai lomiga i luma o le 6.4.0 - ina ia mafai ona sao mai le faaui i tua o le nofoaga autu o faamatalaga, sa matou saunia faalemafaufau e leiloa le tele o masini ina ia mautinoa e maua se korama a matai e oo lava i totonu. o le tulaga sili ona leaga
- So'o se taumafaiga e tu'ufa'atasia matafaioi i luga o se atigipusa e tasi na fetaui ma le mea moni e le o toe mamao pe mulimuli ane o le a malepe le node i lalo o le uta.
- O lo'o fa'aogaina e le fuifui atoa se fa'aputuga o le 31 gigabytes: o taumafaiga uma e fa'aitiitia le lapo'a na i'u ai i le fa'amateina o ni pona i luga o su'esu'ega mamafa fa'atasi ma le ta'uta'ua ta'uta'ua po'o le mauaina o le va'a ta'avale i le Elasticsearch lava ia.
- E le gata i lea, ina ia mautinoa le faʻatinoga o suʻesuʻega, sa matou taumafai e faʻatumauina le numera o mea i totonu o le fuifui i le laʻititi e mafai ai, ina ia faʻagasolo ai ni nai mea na tutupu i totonu o le fagu na matou maua i le matai.
Mulimuli ane e uiga i le mataituina
Ina ia mautinoa o loʻo galue uma nei mea e pei ona faʻamoemoeina, matou te mataʻituina mea nei:
- O node faʻamatalaga taʻitasi e lipoti atu i la tatou ao o loʻo i ai, ma o loʻo i ai faʻapena ma mea faapena i luga. Pe a tatou tapeina se mea i se mea, e lipotia e le fuifui pe a uma le 2-3 sekone o le ogatotonu A matou te tapeina nodes 2, 3, ma le 4 - o lona uiga i isi nofoaga autu o faʻamatalaga matou te le mafai lava ona tape na nodes lea e na o le tasi le shard. taumatau.
- I le iloaina o le natura o le amio a le matai, matou te vaʻavaʻai totoʻa i le numera o galuega o loʻo faʻatali. Talu ai e tusa lava pe tasi le galuega tumau, pe afai e le uma le taimi, theoretically i nisi faʻalavelave faʻafuaseʻi e mafai ona avea ma mafuaʻaga, mo se faʻataʻitaʻiga, o le faʻalauiloaina o se faʻataʻitaʻiga o se faʻataʻitaʻiga i le tulaga muamua e le aoga, o le mea lea o le a le toe galue ai le faasino igoa.
- Matou te vaʻavaʻai totoʻa foʻi i le tuai o le aoina o lapisi, aua ua uma ona matou feagai ma faigata tele i lenei mea i le taimi o le faʻaleleia.
- Teena e ala i filo ina ia malamalama muamua po o fea o iai le fagu.
- Ia, fua fa'atatau e pei ole fa'aputuga, RAM ma I/O.
Pe a mataʻituina le fausiaina, e tatau ona e amanaʻia foliga o Thread Pool i Elasticsearch. o lo'o fa'amatalaina ai filifiliga fa'atulagaina ma tulaga fa'aletonu mo su'esu'ega ma fa'asino igoa, ae e matua lemu lava e uiga i thread_pool.management O nei filo e fa'agasolo, aemaise lava, fesili e pei o _cat/shards ma isi mea faapena, e faigofie ona fa'aoga pe a tusitusi mata'ituina. O le tele o le fuifui, o le tele o ia talosaga e faʻatinoina i le iunite o le taimi, ma o le thread_pool.management ua taʻua muamua e le gata ina le tuʻuina atu i totonu o faʻamaumauga aloaia, ae faʻatapulaʻaina foi e ala i le le mafai ona faʻaaogaina i filo 5, lea e vave ona lafoai, pe a uma. lea mataituina e le toe galue sa'o.
O le mea ou te fia fai atu i le faaiuga: na matou faia! Na mafai ona matou tuʻuina atu ia matou tagata fai polokalame ma atinaʻe se meafaigaluega e, toetoe lava o soʻo se tulaga, e mafai ona vave ma faʻatuatuaina faʻamatalaga e uiga i mea o loʻo tupu i le gaosiga.
Ioe, na foliga mai e fai si faigata, ae, e ui i lea, na mafai ona faʻafetaui o matou manaʻoga i oloa o loʻo i ai nei, lea matou te le tau faʻapipiʻiina ma toe tusi mo i matou lava.
puna: www.habr.com