Batho ba bangata ba thatafalloa ke Elasticsearch. Empa ho etsahala'ng ha u batla ho e sebelisa ho boloka li-log "ka molumo o moholo haholo"? Hona na ha ho bohloko ho utloa ho hloleha ha litsi tse 'maloa tsa data? Ke mofuta ofe oa meralo eo u lokelang ho e etsa, 'me u tla khoptjoa ke maraba afe?
Rona ho Odnoklassniki re nkile qeto ea ho sebelisa elasticsearch ho rarolla bothata ba taolo ea li-log, 'me joale re arolelana boiphihlelo ba rona le Habr: ka meralo ea kaho le ka likotsi.
Ke Pyotr Zaitsev, ke sebetsa ke le motsamaisi oa tsamaiso ho Odnoklassniki. Pele ho moo, ke ne ke boetse ke le admin, ke sebetsa le Manticore Search, Sphinx search, Elasticsearch. Mohlomong, haeba e 'ngoe ... ho batla ho hlaha, mohlomong ke tla sebetsa le eona. Ke boetse ke kenya letsoho mererong e mengata ea mohloli o bulehileng ka boithaopo.
Ha ke fihla Odnoklassniki, ke ile ka bua ka bohlasoa lipuisanong hore nka sebetsa le Elasticsearch. Ka mor’a hore ke e phethe ’me ke qete mesebetsi e meng e bonolo, ke ile ka fuoa mosebetsi o moholo oa ho fetola tsamaiso ea likutu e neng e le teng ka nako eo.
litlhokahalo
Litlhoko tsa tsamaiso li entsoe ka tsela e latelang:
- Graylog e ne e tla sebelisoa e le sebaka se ka pele. Hobane k'hamphani e ne e se e ntse e e-na le phihlelo ea ho sebelisa sehlahisoa sena, baetsi ba mananeo le bahlahlobi ba ne ba e tseba, e ne e tloaelehile ebile e le bonolo ho bona.
- Bophahamo ba data: ka karolelano melaetsa e likete tse 50-80 motsotsoana, empa haeba ho hong ho robeha, joale sephethephethe ha se felle ka letho, e ka ba mela e limilione tse 2-3 motsotsoana.
- Ha re se re buisane le bareki ka litlhoko tsa lebelo la ho sebetsana le lipotso tsa lipatlisiso, re hlokometse hore mokhoa o tloaelehileng oa ho sebelisa mokhoa o joalo ke ona: batho ba batla li-log tsa kopo ea bona matsatsing a mabeli a fetileng mme ha ba batle ho ema ho feta ea bobeli bakeng sa sephetho sa potso e hlophisitsoeng.
- Batsamaisi ba ile ba tsitlallela hore sistimi e ka senyeha habonolo ha ho hlokahala, ntle le ho ba hloka hore ba hlahlobe ka botebo hore na e sebetsa joang.
- E le hore mosebetsi o le mong feela oa tlhokomelo oo litsamaiso tsena li o hlokang nako le nako ke ho fetola hardware e itseng.
- Ntle le moo, Odnoklassniki e na le moetlo o motle oa tekheniki: ts'ebeletso efe kapa efe eo re e qalang e tlameha ho pholoha ho hloleha ha setsi sa data (ka tšohanyetso, se sa reroang le ka nako efe kapa efe).
Tlhokahalo ea ho qetela ts'ebetsong ea morero ona e re jesitse chelete e ngata, eo ke tla bua ka eona ka botlalo.
Laboraro
Re sebetsa litsing tse 'ne tsa data, ha lintlha tsa data tsa Elasticsearch li ka fumaneha feela ho tse tharo (ka mabaka a mangata ao e seng a theknoloji).
Litsi tsena tse 'ne tsa data li na le mehloli e ka bang likete tse 18 tse fapaneng - li-hardware, lijana, mechini e fumanehang.
Tšobotsi ea bohlokoa: sehlopha se qala ka lijaneng eseng ka mechini ea 'mele, empa ho ea pele . Lits'oants'o li netefalitsoe li-cores tse 2, tse ts'oanang le 2.0Ghz v4, ka monyetla oa ho sebelisa li-cores tse setseng haeba li sa sebetse.
Ka mantsoe a mang:
Topology
Qalong ke bone mofuta o akaretsang oa tharollo ka tsela e latelang:
- Li-VIP tsa 3-4 li ka morao ho A-rekoto ea sebaka sa Graylog, ena ke aterese eo li-log li romelloang ho eona.
- VIP e 'ngoe le e' ngoe ke sekala sa LVS.
- Ka mor'a moo, lifate li ea betri ea Graylog, tse ling tsa data li ka sebopeho sa GELF, tse ling ka mokhoa oa syslog.
- Ebe sena sohle se ngotsoe ka lihlopha tse kholo ho betri ea bahokahanyi ba Elasticsearch.
- Mme le bona, ba romella mangolo le ho bala likopo ho li-node tsa data tse amehang.
Terminology
Mohlomong ha se motho e mong le e mong ea utloisisang poleloana ka botlalo, kahoo ke rata ho lula ho eona hanyane.
Elasticsearch e na le mefuta e mengata ea li-node - master, mohokahanyi, node ea data. Ho na le mefuta e meng e 'meli bakeng sa liphetoho tse fapaneng tsa log le puisano lipakeng tsa lihlopha tse fapaneng, empa re sebelisitse tse thathamisitsoeng feela.
Master
E ts'oara li-node tsohle tse teng sehlopheng, e boloka 'mapa oa sehlopha sa morao-rao le ho o aba lipakeng tsa li-node, e sebetsana le logic ea liketsahalo,' me e etsa mefuta e fapaneng ea tlhokomelo ea lihlopha ka bophara.
Mohokahanyi
E etsa mosebetsi o le mong: e amohela ho bala kapa ho ngola likopo tsa bareki le litsela tsa sephethephethe sena. Haeba ho na le kopo ea ho ngola, mohlomong, e tla botsa master hore na ke karolo efe ea index eo e lokelang ho e kenya ho eona, 'me e tla khutlisetsa kopo ho ea pele.
Node ya data
E boloka data, e etsa lipatlisiso tse tsoang kantle mme e etsa ts'ebetso ho li-shards tse ho eona.
Greylog
Sena ke ntho e kang fusion ea Kibana le Logstash ka har'a stack ea ELK. Graylog e kopanya UI le lipeipi tsa ts'ebetso ea log. Tlas'a hood, Graylog e tsamaisa Kafka le Zookeeper, e fanang ka khokahanyo ho Graylog joalo ka sehlopha. Graylog e ka boloka li-logs (Kafka) haeba Elasticsearch e sa fumanehe 'me e pheta likopo tse sa atleheng tsa ho bala le ho ngola, sehlopha le ho tšoaea likutu ho latela melao e boletsoeng. Joalo ka Logstash, Graylog e na le ts'ebetso ea ho fetola mela pele e e ngolla Elasticsearch.
Ho phaella moo, Graylog e na le ho sibolloa ha tšebeletso e hahelletsoeng e lumellang, ho latela node e le 'ngoe e fumanehang ea Elasticsearch, ho fumana' mapa oohle oa lihlopha le ho o sefa ka tag e itseng, e leng se etsang hore ho khonehe ho lebisa likōpo ho lijana tse itseng.
Ka pono e shebahala tjena:
Ena ke skrini se hlahang ketsahalong e itseng. Mona re theha histogram ho latela potso ea ho batla le ho bonts'a mela e amehang.
Li-index
Ha ke khutlela mohahong oa tsamaiso, ke rata ho lula ka ho qaqileng haholoanyane mabapi le hore na re hahile mohlala oa index joang hore o sebetse hantle.
Setšoantšong se ka holimo, ona ke boemo bo tlaase ka ho fetisisa: Elasticsearch data node.
Lenane ke ntho e kholo e entsoeng ka lishaka tsa Elasticsearch. Ka boeona, e 'ngoe le e' ngoe ea li-shards ha e letho ho feta index ea Lucene. 'Me lethathamo le leng le le leng la Lucene, le lona, le na le karolo e le' ngoe kapa ho feta.
Ha re etsa moralo, re ile ra nahana hore e le hore re finyelle tlhokahalo ea lebelo la ho bala ka bongata bo bongata ba data, re ne re hloka ho "hasanya" data ena ka ho lekana ho pholletsa le libaka tsa data.
Sena se ile sa fella ka taba ea hore palo ea li-shards ka index (e nang le likopi) e lokela ho lekana hantle le palo ea lintlha tsa data. Taba ea pele, e le ho etsa bonnete ba hore ho na le ntlha ea ho ikatisa e lekanang le tse peli (ke hore, re ka lahleheloa ke halofo ea sehlopha). 'Me, ea bobeli, e le ho sebetsana le likopo tsa ho bala le ho ngola bonyane halofo ea sehlopha.
Re ile ra qala ka ho tseba hore nako ea polokelo ke matsatsi a 30.
Kabo ea li-shards e ka emeloa ka mokhoa o hlakileng ka tsela e latelang:
Rectangle eohle e boputsoa bo lefifi ke index. Lebala le letšehali le khubelu ho lona ke shard e ka sehloohong, ea pele ho index. 'Me sekoere se seputsoa ke sekotoana se tšoanang. Li fumaneha litsing tse fapaneng tsa data.
Ha re eketsa shard e 'ngoe, e ea setsing sa boraro sa data. 'Me, qetellong, re fumana sebopeho sena, se etsang hore ho khonehe ho lahleheloa ke DC ntle le ho lahleheloa ke botsitso ba data:
Ho potoloha ha li-index, i.e. ho theha index e ncha le ho hlakola ea khale ka ho fetisisa, re e entse hore e lekane le lihora tse 48 (ho ea ka mohlala oa tšebeliso ea index: lihora tse 48 tse fetileng li batlisisoa hangata).
Nako ena ea ho potoloha ha index e bakoa ke mabaka a latelang:
Ha kopo ea ho batla e fihla sebakeng se itseng sa data, joale, ho latela pono ea ts'ebetso, e na le phaello e ngata ha shard e le 'ngoe e botsoa, haeba boholo ba eona bo bapisoa le boholo ba letheka la node. Sena se u nolofalletsa ho boloka karolo e "chesang" ea index ka har'a qubu 'me u fihle ho eona kapele. Ha ho na le "likarolo tse chesang" tse ngata, lebelo la ho batla li-index le fokotseha.
Ha node e qala ho etsa patlisiso ho shard e le 'ngoe, e fana ka likhoele tse ngata tse lekanang le palo ea li-hyperthreading cores tsa mochini oa 'mele. Haeba potso ea ho batla e ama palo e kholo ea li-shards, joale palo ea likhoele e ntse e hōla ka ho lekana. Sena se na le phello e mpe ho lebelo la ho batla 'me se ama hampe indexing ea data e ncha.
Ho fana ka nako e hlokahalang ea ho batla, re nkile qeto ea ho sebelisa SSD. Ho sebetsana le likopo kapele, mechini e tsamaisang lijana tsena e ne e tlameha ho ba le bonyane li-cores tse 56. Palo ea 56 e khethiloe e le boleng bo lekaneng ba maemo bo khethollang palo ea likhoele tseo Elasticsearch e tla li hlahisa nakong ea ts'ebetso. Ho Elasitcsearch, li-parameter tse ngata tsa likhoele li itšetlehile ka ho toba palo ea li-cores tse fumanehang, tseo ka ho toba li amang palo e hlokahalang ea li-node sehlopheng ho ea ka molao-motheo oa "li-cores tse fokolang - li-node tse ngata".
Ka lebaka leo, re fumane hore ka karolelano shard e boima ba li-gigabyte tse 20, 'me ho na le li-shards tse 1 ka index. Ka hona, haeba re li fetola hang ka mor'a lihora tse 360, re tla ba le tse 48 tsa tsona. Lenane le leng le le leng le na le lintlha tsa matsatsi a 15.
Li-circuits tsa ho ngola le ho bala lintlha
Ha re boneng hore na data e tlalehiloe joang tsamaisong ena.
Ha re re kopo e 'ngoe e fihla ho tsoa ho Graylog ho mohokahanyi. Mohlala, re batla ho supa mela e likete tse 2-3.
Mohokahanyi, ha a se a fumane kōpo e tsoang ho Graylog, o botsa mong’a sona sena: “Kopong ea indexing, re ile ra bolela ka ho khetheha index, empa ha hoa boleloa hore na ho ngoloe eng ho eona.”
Monghali o araba ka ho re: "Ngola tlhahisoleseding ena ho nomoro ea shard 71," ka mor'a moo e romelloa ka ho toba ho node ea data e nepahetseng, moo nomoro ea mantlha ea 71 e leng teng.
Ka mor'a moo log ea transaction e kopitsoa ho replica-shard, e leng setsing se seng sa data.
Kopo ea ho batla e fihla ho tsoa ho Graylog ho ea ho mohokahanyi. Mohokahanyi o e tsamaisa ho latela index, ha Elasticsearch e aba likopo lipakeng tsa "primary-shard" le "replica-shard" e sebelisa molao-motheo oa "round-robin".
Li-node tsa 180 li arabela ka tsela e sa tšoaneng, 'me ha li ntse li arabela, mohokahanyi o bokella boitsebiso bo seng bo ntse bo "tšoa" ke li-node tsa data tse potlakileng. Ka mor'a sena, ha boitsebiso bohle bo fihlile, kapa kopo e fihlile nako ea nako, e fana ka ntho e 'ngoe le e' ngoe ka ho toba ho mofani.
Sistimi ena kaofela ka kakaretso e sebetsana le lipotso tsa ho batla lihora tse 48 tse fetileng ka 300-400ms, ho sa kenyeletsoe lipotso tse nang le karete e hlaha e etellang pele.
Lipalesa tse nang le Elasticsearch: tlhophiso ea Java
Ho etsa hore tsohle li sebetse ka tsela eo re neng re e batla qalong, re qetile nako e telele re lokisa lintho tse ngata tse fapaneng sehlopheng.
Karolo ea pele ea mathata a sibollotsoeng e ne e amana le tsela eo Java e hlophisitsoeng esale pele ka eona ho Elasticsearch.
Bothata bo bong
Re hlokometse palo e kholo ea litlaleho tsa hore maemong a Lucene, ha mesebetsi ea morao-rao e ntse e tsoela pele, karolo ea Lucene e kopanya e hloleha ka phoso. Ka nako e ts'oanang, ho ne ho hlakile ho li-log hore ena e ne e le phoso ea OutOfMemoryError. Re bone ka telemetry hore letheka le lokolohile, 'me ho ne ho sa hlaka hore na ke hobane'ng ha ts'ebetso ena e hlōleha.
Ho ile ha fumaneha hore li-index tsa Lucene li kopantsoe ka ntle ho letheka. 'Me li-container li na le moeli o fokolang ho latela lisebelisoa tse sebelisoang. Ke qubu feela e neng e ka kena mehloling ena (heap.size value e ne e batla e lekana le RAM), 'me lits'ebetso tse ling tse kantle ho qubu li ile tsa senyeha ka phoso ea kabo ea mohopolo haeba ka lebaka le itseng li ne li sa kenelle ho ~ 500MB e setseng pele ho moeli.
Tokiso e ne e le nyane haholo: palo ea RAM e fumanehang bakeng sa setshelo e ile ea eketseha, ka mor'a moo ra lebala hore re bile le mathata a joalo.
Bothata ba bobeli
Matsatsi a 4-5 ka mor'a ho qalisoa ha sehlopha, re hlokometse hore li-node tsa data li qalile ho theoha nako le nako ho tsoa sehlopheng ebe li li kenya ka mor'a metsotsoana ea 10-20.
Ha re qala ho e utloisisa, ho ile ha fumaneha hore memori ena e se nang qubu ho Elasticsearch ha e laoloe ka tsela efe kapa efe. Ha re fana ka mohopolo o eketsehileng ho setshelo, re ile ra khona ho tlatsa matamo a buffer ka kotloloho ka tlhaiso-leseling e fapaneng, mme e ile ea hlakoloa feela kamora hore GC e hlakileng e hlahisoe ho tsoa ho Elasticsearch.
Maemong a mang, ts'ebetso ena e ile ea nka nako e telele, 'me nakong ena sehlopha se khonne ho tšoaea node ena e se e tsoile. Bothata bona bo hlalositsoe hantle .
Tharollo e bile ka tsela e latelang: re ile ra fokotsa bokhoni ba Java ba ho sebelisa boholo ba memori ka ntle ho qubu bakeng sa ts'ebetso ena. Re e lekanyelitse ho li-gigabytes tse 16 (-XX:MaxDirectMemorySize=16g), ho netefatsa hore GC e hlakileng e bitsoa hangata le ho sebetsoa ka potlako haholo, kahoo ha e sa hlola e senya sehlopha.
Bothata ba boraro
Haeba u nahana hore mathata a "node a tlohelang sehlopha ka nako e sa lebelloang" a felile, u fositse.
Ha re hlophisa mosebetsi ka li-index, re ile ra khetha mmapfs ho ka li-shards tse ncha tse nang le karohano e kholo. Hona e ne e le phoso e kholo, hobane ha u sebelisa mmapfs faele e etsoa 'mapa ho RAM, ebe re sebetsa ka faele e bōpiloeng. Ka lebaka lena, ho hlaha hore ha GC e leka ho emisa likhoele kopong, re ea sebakeng se sireletsehileng nako e telele haholo, mme ha re le tseleng e eang ho eona, kopo e emisa ho araba likopo tsa monghali mabapi le hore na e ntse e phela. . Ka hona, master o lumela hore node ha e sa le teng sehlopheng. Ka mor'a sena, ka mor'a metsotsoana ea 5-10, 'mokelli oa lithōle o sebetsa, node ea phela, e kena sehlopheng hape' me e qala ho qala li-shards. Tsohle li ne li ikutloa eka ke "tlhahiso eo re neng re e tšoanela" 'me e ne e sa tšoanelehe bakeng sa ntho leha e le efe e tebileng.
E le hore re tlose boitšoaro bona, re ile ra qala ho fetohela ho li-niofs tse tloaelehileng, 'me joale, ha re tloha liphetolelong tsa bohlano tsa Elastic ho ea ho ea botšelela, re ile ra leka li-hybridfs, moo bothata bona bo sa kang ba hlahisoa hape. U ka bala ho eketsehileng ka mefuta ea polokelo .
Bothata ba bone
Joale ho ne ho e-na le bothata bo bong bo thahasellisang boo re ileng ra bo tšoara ka nako e telele. Re e tšoere ka likhoeli tse 2-3 hobane mokhoa oa eona o ne o sa utloisisehe ho hang.
Ka linako tse ling bahokahanyi ba rona ba ne ba e-ea Full GC, hangata ka mor'a lijo tsa motšehare, 'me ha baa ka ba khutla ho tloha moo. Ka nako e ts'oanang, ha ho rengoa ho lieha ha GC, ho ne ho shebahala tjena: ntho e 'ngoe le e' ngoe e tsamaea hantle, hantle, hantle, ebe ka tšohanyetso ntho e 'ngoe le e' ngoe e tsamaea hampe haholo.
Qalong re ne re nahana hore re na le mosebelisi ea khopo ea neng a qala mofuta o itseng oa kopo o ileng oa tlosa mohokahanyi mosebetsing. Re ile ra kenya likopo nako e telele haholo, re leka ho fumana hore na ho etsahala eng.
Ka lebaka leo, ho ile ha fumaneha hore nakong eo mosebelisi a hlahisang kopo e kholo, mme e fihla ho mohokahanyi ea itseng oa Elasticsearch, li-node tse ling li arabela nako e telele ho feta tse ling.
'Me ha mohokahanyi a ntse a emetse karabo ho tsoa ho li-node tsohle, o bokella liphetho tse rometsoeng ho tloha ho li-node tse seng li arabile. Bakeng sa GC, sena se bolela hore mekhoa ea rona ea tšebeliso ea qubu e fetoha kapele haholo. Mme GC eo re e sebelisitseng e ne e sitoa ho sebetsana le mosebetsi ona.
Tokiso e le 'ngoe eo re e fumaneng ho fetola boitšoaro ba sehlopha boemong bona ke ho fallela JDK13 le tšebeliso ea moqokelli oa lithōle oa Shenandoah. Sena se ile sa rarolla bothata, bahokahanyi ba rona ba khaotsa ho oa.
Mona ke moo mathata a Java a ileng a fela mme mathata a bandwidth a qalile.
"Berries" ka Elasticsearch: throughput
Mathata a ho sebetsa a bolela hore sehlopha sa rona se sebetsa ka mokhoa o tsitsitseng, empa tlhōrōng ea palo ea litokomane tse ngolisitsoeng le nakong ea ts'ebetso, ts'ebetso ha ea lekana.
Letšoao la pele le ileng la kopana le lona: nakong ea "liqhomane" tse ling tlhahisong, ha palo e kholo haholo ea li-log e hlahisoa ka tšohanyetso, phoso ea indexing es_rejected_execution e qala ho khantša khafetsa Graylog.
Sena se ne se bakoa ke taba ea hore thread_pool.write.queue ho node e le 'ngoe ea data, ho fihlela nako eo Elasticsearch e khonang ho sebetsana le kopo ea indexing le ho kenya boitsebiso ho shard ho disk, e khona ho boloka likopo tse 200 feela ka ho feletseng. Mme ka hare Ho boleloa hanyane haholo ka paramente ena. Ke palo e kholo feela ea likhoele le boholo ba kamehla bo bontšitsoeng.
Ehlile, re ile ra sotha boleng bona mme ra fumana tse latelang: ka ho khetheha, ho setupong sa rona, likopo tse fihlang ho 300 li bolokiloe hantle, 'me boleng bo holimo bo tletse taba ea hore re boetse re fofela ho Full GC.
Ho phaella moo, kaha tsena ke lihlopha tsa melaetsa e fihlang ka hare ho kopo e le 'ngoe, ho ne ho hlokahala ho fetola Graylog e le hore e ngole hangata le ka lihlopha tse nyenyane, empa ka lihlopha tse kholo kapa hang ka metsotsoana e meng le e meng ea 3 haeba batch e ntse e sa phethoa. Tabeng ena, ho ile ha fumaneha hore tlhahisoleseling eo re e ngolang ho Elasticsearch ha e fumanehe ka metsotsoana e 'meli, empa ka metsotsoana e mehlano (e re tšoanelang hantle), empa palo ea li-retrays tse lokelang ho etsoa e le hore li khone ho phunyeletsa. palo ea litaba e fokotsehile.
Sena ke sa bohlokoa ka ho khetheha linakong tseo ha ntho e 'ngoe e soahlamane kae-kae 'me e tlaleha ka bohale ka eona, e le hore u se ke ua fumana Elastic ea spammed ka ho feletseng,' me ka mor'a nako e itseng - li-node tsa Graylog tse sa sebetseng ka lebaka la li-buffers tse koetsoeng.
Ho phaella moo, ha re ne re e-na le liqhomane tse tšoanang tsa tlhahiso, re ile ra fumana litletlebo ho baetsi ba mananeo le bahlahlobi: ka nako eo ba neng ba hlile ba hloka li-log tsena, ba ile ba li fuoa butle-butle.
Ba ile ba qala ho e utloisisa. Ka lehlakoreng le leng, ho ne ho hlakile hore lipotso tse peli tsa lipatlisiso le lipotso tsa indexing li ne li sebetsoa, ha e le hantle, ka mechine e tšoanang ea 'mele,' me ka tsela e 'ngoe ho ne ho tla ba le likhaello tse itseng.
Empa sena se ka qojoa hanyane ka lebaka la hore liphetolelong tsa botšelela tsa Elasticsearch, ho hlahile algorithm e u lumellang ho tsamaisa lipotso lipakeng tsa lintlha tse amehang tsa data eseng ho latela molao-motheo o sa reroang (setshelo se etsang indexing le ho ts'oara ea mantlha). -shard e ka ba e phathahaneng haholo, ho ke ke ha e-ba le mokhoa oa ho arabela ka potlako), empa ho fetisetsa kopo ena ho setshelo se fokolang se nang le replica-shard, se tla arabela ka potlako haholo. Ka mantsoe a mang, re fihlile ho use_adaptive_replica_selection: true.
Setšoantšo se baloang se qala ho shebahala tjena:
Phetoho ho algorithm ena e entse hore ho khonehe ho ntlafatsa haholo nako ea ho botsa nakong eo re neng re e-na le phallo e kholo ea li-logs tseo re lokelang ho li ngola.
Qetellong, bothata bo boholo e ne e le ho tlosoa ho se nang bohloko ha setsi sa data.
Seo re neng re se batla ho sehlopha hang kamora ho lahleheloa ke khokahano le DC e le 'ngoe:
- Haeba re e-na le mong'a hona joale setsing sa data se hlōlehileng, joale se tla khethoa hape 'me se fallisetsoe e le karolo ho node e' ngoe ho DC e 'ngoe.
- Monghali o tla tlosa ka potlako li-node tsohle tse sa fumaneheng ho tloha sehlopheng.
- Ho itšetlehile ka ba setseng, o tla utloisisa: setsing sa data se lahlehileng re ne re e-na le li-shards tse joalo le tse joalo tse ka sehloohong, o tla potlakela ho khothalletsa li-replica shards tse tlatsetsang litsing tse setseng tsa data, 'me re tla tsoelapele ho ngolisa lintlha.
- Ka lebaka la sena, ho ngola le ho bala ha sehlopha ho tla fokotseha butle-butle, empa ka kakaretso ntho e 'ngoe le e' ngoe e tla sebetsa, le hoja butle-butle, empa e tsitsitse.
Ha e le hantle, re ne re batla ntho e kang ena:
Mme re na le tse latelang:
See se etsahetse joang?
Ha setsi sa data se oela, mong'a rona o ile a fetoha bothata.
Hobane'ng?
'Nete ke hore monghali o na le TaskBatcher, e ikarabellang bakeng sa ho aba mesebetsi le liketsahalo tse itseng sehlopheng. Ho tsoa ha node efe kapa efe, papatso efe kapa efe ea shard ho tloha ho replica ho ea ho ea mantlha, mosebetsi ofe kapa ofe oa ho theha shard kae-kae - tsena tsohle li ea pele ho TaskBatcher, moo e sebetsoang ka tatellano le ka khoele e le 'ngoe.
Nakong ea ho tlosoa ha setsi se le seng sa data, ho ile ha fumaneha hore lits'ebeletso tsohle tsa data litsing tsa data tse ntseng li le teng li ne li nka e le boikarabelo ba tsona ho tsebisa monghali "re lahlehetsoe ke li-shards tse joalo le tse joalo le tse joalo."
Ka nako e ts'oanang, li-node tsa data tse setseng li ile tsa romela tlhahisoleseding ena ho mong'a hona joale 'me tsa leka ho emela tiiso ea hore o e amohetse. Ha baa ka ba emela sena, kaha monghali o ne a fumana mesebetsi kapele ho feta kamoo a neng a ka khona ho araba. Li-node li ile tsa qeta nako ea likopo tse pheta-phetoang, 'me ka nako ena mong'a tsona ha aa ka a leka le ho li araba, empa o ne a ikakhetse ka setotsoana mosebetsing oa ho hlophisa likōpo ka pele.
Ka mokhoa oa ho qetela, ho ile ha fumaneha hore li-node tsa data li ile tsa senya mong'a tsona hoo li ileng tsa ea ho GC e feletseng. Ka mor'a moo, karolo ea rona e kholo e ile ea fallela sebakeng se seng se latelang, ho ile ha etsahala ntho e tšoanang ka eona, 'me ka lebaka leo sehlopha se ile sa putlama ka ho feletseng.
Re ile ra nka litekanyo, 'me pele ho mofuta oa 6.4.0, moo sena se neng se tsitsitse, ho ne ho lekane hore ka nako e le' ngoe re fane ka li-node tsa data tse 10 ho tsoa ho 360 e le hore re koale sehlopha ka ho feletseng.
E ne e shebahala tjena:
Ka mor'a phetolelo ea 6.4.0, moo kokoana-hloko ena e tšabehang e neng e lokisitsoe, li-node tsa data li ile tsa khaotsa ho bolaea monghali. Empa seo ha sea ka sa mo etsa "ea hlalefileng." E leng: ha re hlahisa 2, 3 kapa 10 (nomoro efe kapa efe ntle le e le 'ngoe), monghali o fumana molaetsa oa pele o reng node A e tlohile, 'me o leka ho bolella node B, node C ka sena, node D.
'Me hona joale, sena se ka sebetsanoa feela ka ho beha nako ea ho leka ho bolella motho ka ntho e itseng, e lekanang le metsotsoana e ka bang 20-30,' me kahoo e laola lebelo la setsi sa data se tlohang sehlopheng.
Ha e le hantle, sena se lumellana le litlhoko tse neng li hlahisoa qalong ho sehlahisoa sa ho qetela e le karolo ea morero, empa ho ea ka pono ea "saense e hloekileng" ena ke kokoana. Eo, ka tsela, e ileng ea lokisoa ka katleho ke bahlahisi ba mofuta oa 7.2.
Ho feta moo, ha node e itseng ea data e tsoa, ho ile ha fumaneha hore ho phatlalatsa tlhahisoleseding e mabapi le ho tsoa ha eona ho ne ho le bohlokoa ho feta ho bolella sehlopha sohle hore ho na le li-shards tse joalo le tse joalo tse ka sehloohong ho eona (e le ho ntšetsa pele replica-shard ho data e 'ngoe. setsing sa mathomo, 'me ka boitsebiso bo ne bo ka ngoloa holim'a tsona).
Ka hona, ha ntho e 'ngoe le e' ngoe e se e felile, li-node tsa data tse lokollotsoeng ha li tšoauoa hang-hang e le tsa khale. Ka lebaka leo, re qobelloa ho ema ho fihlela li-pings tsohle li se li felile ho li-node tsa data tse lokollotsoeng, 'me feela ka mor'a hore sehlopha sa rona se qala ho re bolella hore moo, moo, le moo re lokelang ho tsoela pele ho rekota tlhahisoleseding. U ka bala haholoanyane ka sena .
Ka lebaka leo, ts'ebetso ea ho tlosa setsi sa data kajeno e re nka metsotso e ka bang 5 nakong ea hora e potlakileng. Bakeng sa colossus e kholo joalo le e bohlasoa, sena ke sephetho se setle haholo.
Ka lebaka leo, re fihletse qeto e latelang:
- Re na le li-node tsa data tse 360 tse nang le li-disk tsa gigabyte tse 700.
- Bahokahanyi ba 60 ba ho tsamaisa sephethephethe ka har'a libaka tsena tsa data.
- Beng ba 40 bao re ba siileng e le mofuta oa lefa ho tloha liphetolelong pele ho 6.4.0 - e le hore re pholohe ho tlosoa ha setsi sa data, re ne re itokiselitse kelellong ho lahleheloa ke mechine e mengata e le hore re tiisetsoe ho ba le quorum ea masters esita le ho boemo bo bobe ka ho fetisisa
- Boiteko leha e le bofe ba ho kopanya likarolo holim'a setshelo se le seng bo ile ba kopana le taba ea hore kapele kapa hamorao node e ne e tla robeha tlas'a mojaro.
- Sehlopha sohle se sebelisa heap.size ea 31 gigabytes: boiteko bohle ba ho fokotsa boholo bo ile ba fella ka ho bolaea li-node tse ling lipotsong tse boima tsa lipatlisiso ka wildcard e etellang pele kapa ho fumana mochine oa potoloho ho Elasticsearch ka boeona.
- Ho phaella moo, ho netefatsa ts'ebetso ea ho batla, re ile ra leka ho boloka palo ea lintho tse ka har'a sehlopha e le nyenyane ka hohle kamoo ho ka khonehang, e le ho sebetsana le liketsahalo tse fokolang ka hohle kamoo ho ka khonehang ka har'a botlolo eo re e fumaneng ho monghali.
Qetellong mabapi le ho beha leihlo
Ho etsa bonnete ba hore sena sohle se sebetsa kamoo se reriloeng, re beha leihlo tse latelang:
- Node e 'ngoe le e' ngoe ea data e tlaleha leru la rona hore e teng, 'me ho na le li-shards tse joalo le tse joalo ho eona. Ha re tima ntho e itseng kae-kae, sehlopha se tlaleha ka mor'a metsotsoana ea 2-3 hore bohareng ba A re tima li-node 2, 3, le 4 - sena se bolela hore litsing tse ling tsa data re ka se khone ho tima li-node tseo ho tsona ho nang le shard e le 'ngoe feela. letsetsoa.
- Ho tseba mofuta oa boitšoaro ba monghali, re sheba ka hloko palo ea mesebetsi e emetseng. Hobane esita le mosebetsi o le mong o khomaretsoeng, haeba o sa felle ka nako, ka khopolo, maemong a mang a tšohanyetso e ka ba lebaka leo ka lona, mohlala, ho phahamisoa ha "replica shard" ka sehloohong ho sa sebetseng, ke ka lebaka leo indexing e tla khaotsa ho sebetsa.
- Re boetse re shebisisa haholo ho lieha ho bokella lithōle, hobane re se re bile le mathata a maholo ka sena nakong ea ntlafatso.
- E hana ka khoele ho utloisisa esale pele hore na botlolo bo hokae.
- Hantle, metrics e tloaelehileng joalo ka heap, RAM le I/O.
Ha o aha leihlo, o tlameha ho ela hloko likarolo tsa Thread Pool ho Elasticsearch. e hlalosa likhetho tsa tlhophiso le boleng ba kamehla bakeng sa ho batla le ho supa, empa e khutsitse ka botlalo mabapi le thread_pool.management. Likhoele tsena li sebetsa, haholo-holo, lipotso tse kang _cat/shards le tse ling tse tšoanang, tse bonolo ho li sebelisa ha u ngola tlhahlobo. Ha sehlopha se le seholo, likopo tse joalo li ntse li etsoa ka yuniti ea nako, 'me thread_pool.management e boletsoeng ka holimo ha e hlahisoe litokomaneng tsa molao feela, empa e boetse e lekanyelitsoe ka mokhoa oa kamehla ho likhoele tse 5, tse lahliloeng ka potlako, ka mor'a e leng tlhokomelo e emisang ho sebetsa ka nepo.
Seo ke batlang ho se bua qetellong: re se entse! Re khonne ho fa baetsi ba mananeo le bahlahisi ba rona sesebelisoa seo, hoo e batlang e le boemo leha e le bofe, se ka fanang ka boitsebiso ka potlako le ka botšepehi mabapi le se etsahalang tlhahiso.
Ee, ho bile thata haholo, empa, leha ho le joalo, re khonne ho lumellana le litakatso tsa rona ho lihlahisoa tse neng li le teng, tseo re sa kang ra tlameha ho li pata le ho ingolla hape.
Source: www.habr.com