Leha taba ea hore hona joale ho na le data e ngata hoo e ka bang hohle, li-database tsa tlhahlobo li ntse li sa tloaeleha. Ha li tsejoe hantle 'me ho hobe le ho feta li khona ho li sebelisa ka katleho. Ba bangata ba tsoela pele ho "ja cactus" ka MySQL kapa PostgreSQL, e etselitsoeng maemo a mang, e utloisoa bohloko ke NoSQL, kapa ho lefa chelete e ngata bakeng sa tharollo ea khoebo. ClickHouse e fetola melao ea papali mme e theola haholo monyako oa ho kena lefats'eng la analytical DBMS.
Tlaleho ho tsoa ho BackEnd Conf 2018 mme e phatlalatsoa ka tumello ea sebui.
Ke mang 'me ke hobane'ng ha ke bua ka ClickHouse? Ke motsamaisi oa nts'etsopele ho LifeStreet, e sebelisang ClickHouse. Hape, ke mothehi oa Altinity. Ke molekane oa Yandex ea khothalletsang ClickHouse le ho thusa Yandex ho etsa hore ClickHouse e atlehe haholoanyane. Hape o itokiselitse ho arolelana tsebo ka ClickHouse.
'Me ha ke ngoan'abo Petya Zaitsev. Hangata ke botsoa ka taba ena. Che, ha re baena.
"E mong le e mong oa tseba" hore ClickHouse:
- Ka potlako haholo,
- E phutholohile haholo
- E sebelisoa ho Yandex.
Hoa tsebahala hore na ke lik'hamphani life le hore na li sebelisoa joang.
Ke tla u bolella hore na ke hobane'ng, hore na ClickHouse e sebelisoa hokae le joang, ntle le Yandex.
Ke tla u bolella hore na mesebetsi e tobileng e rarolloa joang ka thuso ea ClickHouse lik'hamphani tse fapaneng, ke lisebelisoa life tsa ClickHouse tseo u ka li sebelisang bakeng sa mesebetsi ea hau, le hore na li sebelisitsoe joang lik'hamphaning tse fapaneng.
Ke nkile mehlala e meraro e bonts'ang ClickHouse ho tsoa mahlakoreng a fapaneng. Ke nahana hore e tla khahla.
Potso ea pele ke: "Hobaneng re hloka ClickHouse?". Ho bonahala eka ke potso e hlakileng, empa ho na le likarabo tse fetang bonngoe ho eona.
- Karabo ea pele ke ea tshebetso. ClickHouse e potlakile haholo. Analytics ho ClickHouse le eona e potlakile haholo. Hangata e ka sebelisoa moo ntho e 'ngoe e leng butle haholo kapa e mpe haholo.
- Karabo ea bobeli ke litšenyehelo. 'Me pele ho tsohle, litšenyehelo tsa ho eketsa. Mohlala, Vertica ke database e ntle haholo. E sebetsa hantle haholo haeba o sena li-terabyte tse ngata tsa data. Empa ha ho tluoa ho makholo a li-terabyte kapa li-petabyte, litšenyehelo tsa laesense le tšehetso li kena ka bongata bo boholo. Ebile e turu. 'Me ClickHouse ke mahala.
- Karabo ea boraro ke litšenyehelo tsa ho sebetsa. Ena ke mokhoa o fapaneng hanyane. RedShift ke analoge e ntle haholo. Ho RedShift, o ka etsa qeto kapele haholo. E tla sebetsa hantle, empa ka nako e ts'oanang, hora e 'ngoe le e' ngoe, letsatsi le leng le le leng, le khoeli le khoeli, o tla lefa Amazon haholo, hobane ena ke ts'ebeletso e turang haholo. Google BigQuery le eona. Haeba motho e mong a e sebelisitse, joale oa tseba hore moo u ka tsamaisang likōpo tse 'maloa' me u fumane sekoloto sa lidolara tse makholo ka tšohanyetso.
ClickHouse ha e na mathata ana.
ClickHouse e sebelisoa hokae hona joale? Ntle le Yandex, ClickHouse e sebelisoa ka bongata ba likhoebo le lik'hamphani tse fapaneng.
- Pele ho tsohle, ena ke li-analytics tsa kopo ea webo, ke hore, ena ke nyeoe ea tšebeliso e tsoang ho Yandex.
- Likhamphani tse ngata tsa AdTech li sebelisa ClickHouse.
- Likhamphani tse ngata tse hlokang ho sekaseka lits'oants'o tsa transaction ho tsoa mehloling e fapaneng.
- Lik'hamphani tse 'maloa li sebelisa ClickHouse ho lekola lits'oants'o tsa ts'ireletso. Ba li kenya ho ClickHouse, ba etsa litlaleho, 'me ba fumana liphetho tseo ba li hlokang.
- Likhamphani li qala ho e sebelisa tlhahlobong ea lichelete, ke hore butle-butle likhoebo tse kholo li ntse li atamela ClickHouse.
- cloudflare. Haeba motho a latela ClickHouse, mohlomong o utloile lebitso la k'hamphani ena. Ena ke e mong oa bafani ba bohlokoa ho tsoa sechabeng. 'Me ba na le ts'ebetso e tebileng haholo ea ClickHouse. Ka mohlala, ba entse Kafka Engine bakeng sa ClickHouse.
- Lik'hamphani tsa mehala ea puisano li ile tsa qala ho sebelisa. Likhamphani tse 'maloa li sebelisa ClickHouse e le bopaki mabapi le mohopolo kapa e se e ntse e hlahisoa.
- Khamphani e 'ngoe e sebelisa ClickHouse ho lekola lits'ebetso tsa tlhahiso. Ba leka li-microcircuits, ba hlakola li-parameter tse ngata, ho na le litšobotsi tse ka bang 2. Ebe joale ba sekaseka hore na papali eo e ntle kapa e mpe.
- Litlhaloso tsa Blockchain. Ho na le k'hamphani ea Russia e kang Bloxy.info. Ena ke tlhahlobo ea marang-rang a ethereum. Ba boetse ba entse sena ho ClickHouse.
Mme boholo ha bo na taba. Ho na le lik'hamphani tse ngata tse sebelisang seva e le 'ngoe e nyane. ’Me o ba lumella ho rarolla mathata a bona. Hape lik'hamphani tse ngata li sebelisa lihlopha tse kholo tsa li-server tse ngata kapa li-server tse ngata.
'Me haeba u sheba litlaleho, joale:
- Yandex: Li-server tse 500+, li boloka lirekoto tse limilione tse likete tse 25 ka letsatsi moo.
- LifeStreet: Li-server tse 60, lirekoto tse ka bang limilione tse likete tse 75 ka letsatsi. Ho na le li-server tse fokolang, lirekoto tse ngata ho feta tsa Yandex.
- CloudFlare: Li-server tse 36, li boloka lirekoto tse limilione tse likete tse 200 ka letsatsi. Ba na le li-server tse fokolang le ho feta mme ba boloka lintlha tse ngata.
- Bloomberg: li-server tse 102, tse ka bang bilione ka letsatsi. Sets'oants'o sa rekoto.
Ho ea ka sebaka, sena le sona se ngata haholo. 'Mapa ona mona o bonts'a 'mapa oa mocheso oa moo ClickHouse e sebelisoang teng lefatšeng. Russia, China, Amerika li hlahella ka ho hlaka mona. Ho na le linaha tse fokolang tsa Europe. Mme ho na le lihlopha tse 4.
Ena ke tlhahlobo ea papiso, ha ho hlokahale ho batla lipalo tse felletseng. Ena ke tlhahlobo ea baeti ba balang lisebelisoa tsa puo ea Senyesemane webosaeteng ea Altinity, hobane ha ho na ba buang Serussia moo. 'Me Russia, Ukraine, Belarus, ke hore karolo ea sechaba se buang Serussia, ke basebelisi ba bangata ka ho fetisisa. Joale ho tla US le Canada. China e ntse e hola haholo. Ho ne ho batla ho se na Chaena moo likhoeling tse tšeletseng tse fetileng, hona joale Chaena e se e fetile Europe 'me e ntse e tsoela pele ho hōla. Europe ea khale le eona ha e salla morao, mme moetapele oa ts'ebeliso ea ClickHouse ke, ka mokhoa o makatsang, Fora.
Hobaneng ke bolela see sohle? Ho bontša hore ClickHouse e fetoha tharollo e tloaelehileng bakeng sa tlhahlobo e kholo ea data mme e se e sebelisoa libakeng tse ngata. Haeba u e sebelisa, u mocheng o nepahetseng. Haeba u sa e sebelise, joale u ke ke ua tšaba hore u tla sala u le mong 'me ha ho motho ea tla u thusa, hobane ba bangata ba se ba ntse ba etsa sena.
Tsena ke mehlala ea tšebeliso ea 'nete ea ClickHouse lik'hamphaning tse' maloa.
- Mohlala oa pele ke marang-rang a lipapatso: ho falla ho tloha Vertica ho ea ClickHouse. 'Me ke tseba lik'hamphani tse' maloa tse fetotsoeng ho tloha Vertica kapa li le mothating oa ho fetoha.
- Mohlala oa bobeli ke polokelo ea transaction ho ClickHouse. Ena ke mohlala o hahiloeng holim'a li-antipattern. Ntho e ngoe le e ngoe e sa lokelang ho etsoa ho ClickHouse ka likeletso tsa bahlahisi e etsoa mona. 'Me e entsoe ka mokhoa o atlehileng hoo e sebetsang. 'Me e sebetsa hantle haholo ho feta tharollo e tloaelehileng ea transaction.
- Mohlala oa boraro o ajoa komporo ho ClickHouse. Ho ne ho e-na le potso mabapi le hore na ClickHouse e ka kopanngoa joang ho Hadoop ecosystem. Ke tla bontša mohlala oa kamoo k'hamphani e entseng ntho e tšoanang le 'mapa oa ho fokotsa setshelo ho ClickHouse, ho boloka tlaleho ea sebaka sa data, joalo-joalo, ho bala mosebetsi o seng oa bohlokoa haholo.
- LifeStreet ke khamphani ea Ad Tech e nang le theknoloji eohle e tlang le marang-rang a lipapatso.
- O ikakhetse ka setotsoana ts'ebetsong ea ho ntlafatsa lipapatso, ho reka ka mananeo.
- Lintlha tse ngata: liketsahalo tse ka bang limilione tse likete tse 10 ka letsatsi. Ka nako e ts'oanang, liketsahalo tsa teng li ka aroloa ka likaroloana tse 'maloa.
- Ho na le bareki ba bangata ba data ena, 'me bana ha se batho feela, ho feta moo - tsena ke li-algorithms tse fapaneng tse sebetsanang le litefiso tsa lenaneo.
Khampani e tlile ka tsela e telele le e meutloa. Mme ke buile ka yona ho HighLoad. Taba ea pele, LifeStreet e tlohile ho MySQL (e emisa ho Oracle) ho ea Vertica. 'Me u ka fumana pale ka eona.
'Me ntho e' ngoe le e 'ngoe e ne e le ntle haholo, empa kapele ho ile ha hlaka hore data e ntse e hōla le Vertica e theko e boima. Ka hona, ho ile ha batloa mekhoa e meng e fapaneng. Tse ling tsa tsona li thathamisitsoe mona. 'Me ha e le hantle, re ile ra etsa bopaki ba khopolo kapa ka linako tse ling tlhahlobo ea ts'ebetso ea hoo e batlang e le li-database tsohle tse neng li le teng' marakeng ho tloha 13th ho ea ho 16th selemo mme li ne li batla li loketse ho latela ts'ebetso. Hape ke buile ka tse ling tsa tsona ho HighLoad.
Mosebetsi e ne e le ho falla ho tloha Vertica sebakeng sa pele, hobane data e ile ea eketseha. 'Me li ile tsa hōla ka mokhoa o tsotehang ho theosa le lilemo. Eaba ba ea shelofong, empa leha ho le joalo. Le ho bolela esale pele kholo ena, litlhoko tsa khoebo bakeng sa palo ea data eo mofuta o mong oa analytics o lokelang ho etsoa ho eona, ho ne ho hlakile hore haufinyane li-petabyte li tla tšohloa. 'Me ho lefella li-petabyte ho se ho ntse ho theko e boima haholo, kahoo re ne re batla mokhoa o mong oa ho ea moo.
Ho ea hokae? 'Me ka nako e telele ho ne ho sa hlake hore na u ka ea hokae, hobane ka lehlakoreng le leng ho na le li-database tsa khoebo, li bonahala li sebetsa hantle. Tse ling li sebetsa hantle joalo ka Vertica, tse ling li mpe le ho feta. Empa kaofela ha tsona li theko e boima, ha ho letho le theko e tlaase le le molemo le ka fumanoang.
Ka lehlakoreng le leng, ho na le litharollo tsa mohloli o bulehileng, tse seng ngata haholo, ke hore bakeng sa li-analytics, li ka baloa ka menoana. 'Me li lokolohile kapa li theko e tlaase, empa li lieha. 'Me hangata ha ba na ts'ebetso e hlokahalang le e sebetsang.
'Me ho ne ho se letho le ka kopanyang molemo o ka har'a marang-rang a khoebo le tsohle tse sa lefelloeng tse fumanehang mohloling o bulehileng.
Ho ne ho se letho ho fihlela, ka tšohanyetso, Yandex e ntša ClickHouse, joalo ka setsebi sa boselamose ho tloha katiba, joalo ka mmutla. 'Me e ne e le qeto e sa lebelloang, ba ntse ba botsa potso ena: "Hobane'ng?", Leha ho le joalo.
'Me hang-hang lehlabuleng la 2016, re ile ra qala ho sheba hore na ClickHouse ke eng. Mme ho ile ha fumaneha hore ka linako tse ling e ka ba kapele ho feta Vertica. Re lekile maemo a fapaneng ka likopo tse fapaneng. 'Me haeba potso e ne e sebelisa tafole e le' ngoe feela, ke hore, ntle le ho kopanya (ho kopanya), joale ClickHouse e ne e potlakile habeli ho feta Vertica.
Ke ne ke se botsoa haholo mme ke shebile liteko tsa Yandex ka letsatsi le leng. Hoa tšoana moo: ClickHouse e potlakile habeli ho feta Vertica, kahoo hangata ba bua ka eona.
Empa haeba ho na le ba kopanelang lipotsong, joale ntho e 'ngoe le e' ngoe e fetoha e sa tsitsang haholo. 'Me ClickHouse e ka lieha ho feta Vertica habeli. 'Me haeba u lokisa kopo hanyenyane 'me u e ngola bocha, joale li batla li lekana. Ha e mpe. Le mahala.
'Me ka mor'a ho fumana liphetho tsa liteko, le ho li sheba ka mahlakoreng a fapaneng, LifeStreet e ile ea ea ClickHouse.
Sena ke selemo sa bo16, kea le hopotsa. E ne eka ke motlae ka litoeba tse ileng tsa lla le ho itšeha, empa tsa tsoela pele ho ja cactus. 'Me sena se hlalositsoe ka botlalo, ho na le video ka sena, joalo-joalo.
Ka hona, nke ke ka bua ka eona ka ho qaqileng, ke tla bua feela ka liphello le lintho tse seng kae tse thahasellisang tseo ke sa kang ka bua ka tsona ka nako eo.
Liphetho ke:
- Ho falla ho atlehileng le ho feta selemo tsamaiso e se e ntse e sebetsa tlhahiso.
- Tlhahiso le ho tenyetseha li eketsehile. Har'a lirekoto tse limilione tse likete tse 10 tseo re ka khonang ho li boloka ka letsatsi le nako e khutšoanyane, LifeStreet e se e boloka lirekoto tse limilione tse likete tse 75 ka letsatsi 'me e ka etsa sena ka likhoeli tse 3 kapa ho feta. Haeba u bala ka tlhōrō, joale sena ke liketsahalo tse ka bang milione ka motsotsoana. Lipotso tse fetang milione tsa SQL ka letsatsi li fihla tsamaisong ena, haholo li tsoa ho liroboto tse fapaneng.
- Leha taba ea hore ho ne ho sebelisoa li-server tse ngata bakeng sa ClickHouse ho feta bakeng sa Vertica, li boetse li bolokoa ho Hardware, hobane ho ne ho sebelisoa li-disk tsa SAS tse turang ho Vertica. ClickHouse e sebelisitse SATA. Mme hobaneng? Hobane ho Vertica kenya ke synchronous. 'Me ho lumellana ho hloka hore li-disks li se ke tsa fokotseha haholo, hape le hore marang-rang a se ke a lieha haholo, ke hore, ts'ebetso e theko e boima haholo. 'Me ho ClickHouse kenya ha e lumellane. Ho feta moo, u ka lula u ngola ntho e 'ngoe le e' ngoe sebakeng sa heno, ha ho na litšenyehelo tse eketsehileng bakeng sa sena, kahoo data e ka kenngoa ho ClickHouse ka potlako ho feta Vertika, esita le ka li-drive tse fokolang. 'Me ho bala ho batla ho tšoana. Ho bala ho SATA, haeba ba le RAID, joale sena sohle se potlakile ho lekana.
- Ha e felle ka laesense, ke hore, li-petabyte tse 3 tsa data ho li-server tse 60 (li-server tse 20 ke setšoantšo se le seng) le lirekoto tse libilione tse 6 ka lintlha le kakaretso. Ha ho letho le kang lena le ka rekoang Vertica.
Joale ke retelehela linthong tse sebetsang mohlaleng ona.
- Ea pele ke morero o sebetsang hantle. Ho hongata ho itšetlehile ka schema.
- Ea bobeli ke tlhahiso e sebetsang ea SQL.
Potso e tloaelehileng ea OLAP ke khetho. Tse ling tsa litšiea li ea ka lihlopha, tse ling li ea ho kopanya mesebetsi. Ho na le moo, e ka emeloa e le selae sa cube. Sehlopha sohle se ka nkoa e le setšoantšo. Ke ka lebaka leo e bitsoang multivariate data analysis.
'Me hangata sena se etsoa ka mokhoa oa naleli-scheme, ha ho na le ntlha ea bohareng le litšobotsi tsa' nete ena ka mahlakoreng, hammoho le mahlaseli.
'Me mabapi le sebopeho sa' mele, hore na se lumellana joang tafoleng, hangata ba etsa boemeli bo tloaelehileng. O ka etsa denormalize, empa e theko e boima ho disk mme ha e sebetse hantle lipotsong. Ka hona, hangata ba etsa boemeli bo tloaelehileng, ke hore, tafole ea lintlha le litafole tse ngata tsa litekanyo.
Empa ha e sebetse hantle ho ClickHouse. Ho na le mabaka a mabeli:
- Ea pele ke hobane ClickHouse ha e na maqhama a matle haholo, ke hore, ho na le maqhama, empa a mpe. Leha e le mpe.
- Ea bobeli ke hore litafole ha li ntlafatsoe. Hangata lipoleiting tsena, tse pota-potileng naleli-circuit, ho na le ntho e lokelang ho fetoloa. Ka mohlala, lebitso la moreki, lebitso la k'hamphani, joalo-joalo. Mme ha e sebetse.
Mme ho na le tsela ea ho tsoa ho sena ho ClickHouse. esita le tse peli:
- Ea pele ke tšebeliso ea libuka tse hlalosang mantsoe. External Dictionaries ke eona e thusang 99% ho rarolla bothata ka star-schema, ka lintlafatso joalo-joalo.
- Ea bobeli ke tšebeliso ea li-arrays. Li-arrays li boetse li thusa ho tlosa manonyeletso le mathata a ho tloaeleha.
- Ha ho hlokahale ho kopanya.
- E ka ntlafatsoa. Ho tloha ka Hlakubele 2018, ho hlahile monyetla o sa ngolisoang (o ke ke oa fumana sena litokomaneng) ho nchafatsa lidikishinari ka mokhoa o itseng, ke hore, likenyo tse fetotsoeng. Ha e le hantle, e tšoana le tafole.
- E lula e le mohopolong, kahoo ho ikopanya le bukana ho sebetsa ka potlako ho feta haeba e ne e le tafole e ka har'a disk mme ha e e-so be 'nete ea hore e ka har'a cache, mohlomong ha ho joalo.
- Hape ha u hloke ho kopanya.
- Ena ke boemeli bo kopaneng ba 1 ho isa ho ba bangata.
- 'Me ka maikutlo a ka, lihlopha li etselitsoe li-geek. Tsena ke mesebetsi ea lambda joalo-joalo.
Sena ha se bakeng sa mantsoe a khubelu. Ena ke ts'ebetso e matla haholo e u lumellang ho etsa lintho tse ngata ka tsela e bonolo le e ntle haholo.
Mehlala e tloaelehileng e thusang ho rarolla lihlopha. Mehlala ena e bonolo ebile e hlakile ho lekana:
- Batla ka li-tag. Haeba u na le li-hashtag moo 'me u batla ho fumana li-post ka hashtag.
- Batla ka lipara tsa bohlokoa. Hape ho na le litšobotsi tse nang le boleng.
- Ho boloka manane a linotlolo tseo u li hlokang ho fetolela ho tse ling.
Mesebetsi ena kaofela e ka rarolloa ntle le li-arrays. Li-tag li ka kenngoa moleng o itseng 'me tsa khethoa ka polelo e tloaelehileng kapa tafoleng e arohaneng, empa joale u tlameha ho kopanya.
'Me ho ClickHouse, ha ho hlokahale hore u etse letho, ho lekane ho hlalosa lethathamo la likhoele bakeng sa li-hashtag kapa ho etsa sebopeho sa sehlaha bakeng sa litsamaiso tsa bohlokoa.
Sehlaha se ka 'na sa se be lebitso le letle. Tsena ke lihlopha tse peli tse nang le karolo e tšoanang lebitsong le litšobotsi tse ling tse amanang.
'Me ho bonolo haholo ho batla ka tag. Eba le tshebetso has, e hlahlobang hore na sehlopha se na le element. E mong le e mong, o ile a fumana likenyo tsohle tse amanang le kopano ea rona.
Ho batla ka subid ho batla ho rarahane ho feta. Re hloka ho qala ho fumana index ea senotlolo, ebe re nka ntho ka index ena mme re hlahlobe hore na boleng bona ke bona boo re bo hlokang. Leha ho le joalo, e bonolo haholo ebile e kopane.
Polelo e tloaelehileng eo u ka ratang ho e ngola haeba u e bolokile kaofela moleng o le mong, e ka ba, ea pele, e makatsang. 'Me ea bobeli, e ne e sebetsa nako e telele ho feta lihlopha tse peli.
Mohlala o mong. U na le sehlopha moo u bolokang ID. 'Me u ka li fetolela ka mabitso. Mosebetsi arrayMap. Ena ke ts'ebetso e tloaelehileng ea lambda. U fetisa lipolelo tsa lambda moo. Mme o ntsha boleng ba lebitso bakeng sa ID ka nngwe ho tswa ho bukantswe.
Ho batla ho ka etsoa ka mokhoa o ts'oanang. Ho fetisoa tšebetso ea predicate e hlahlobang hore na lielemente li lumellana joang.
Lintho tsena li nolofatsa potoloho haholo le ho rarolla mathata a mangata.
Empa bothata bo latelang boo re tobaneng le bona, le boo ke ratang ho bo bolela, ke lipotso tse sebetsang hantle.
- ClickHouse ha e na moralo oa lipotso. Ho hang ha ho joalo.
- Leha ho le joalo, lipotso tse rarahaneng li ntse li hloka ho reroa. Maemong afe?
- Haeba ho na le batho ba bangata ba kopantseng potsong, o ba phuthela ka likhetho tse nyane. Le tatelano eo ba bolaoang ka eona ke ea bohlokoa.
- 'Me ea bobeli - haeba kopo e ajoa. Hobane potsong e abuoang, ke karolo e ka hare-hare feela e ajoang, 'me ntho e' ngoe le e 'ngoe e fetisetsoa ho seva se le seng seo u se hokahaneng le ho se etsa moo. Ka hona, haeba u abile lipotso ka lihlopha tse ngata (ho kopanela), joale u lokela ho khetha taelo.
'Me esita le maemong a bonolo, ka linako tse ling ho boetse hoa hlokahala ho etsa mosebetsi oa kemiso le ho ngola lipotso hanyenyane.
Mohlala ke ona. Ka lehlakoreng le letšehali ho na le potso e bontšang linaha tse 5 tse holimo. 'Me ho nka metsotsoana e 2,5, ka maikutlo a ka. 'Me ka lehlakoreng le letona, potso e tšoanang, empa e ngotsoe bocha hanyenyane. Ho e-na le ho kopanya ka khoele, re ile ra qala ho hlopha ka senotlolo (int). Mme e potlakile. Eaba re hokela bukantswe ho sephetho. Sebakeng sa metsotsoana ea 2,5, kopo e nka metsotsoana e 1,5. Sena se setle.
Mohlala o ts'oanang o nang le li-filters tsa ho ngola bocha. Mona ke kopo ea Russia. E nka metsotsoana e mehlano. Haeba re e ngola hape ka tsela eo re e bapisang hape eseng khoele, empa lipalo tse nang le lihlopha tse ling tsa linotlolo tse amanang le Russia, joale e tla ba kapele haholo.
Ho na le maqheka a joalo a mangata. 'Me li u lumella ho potlakisa lipotso tseo u nahanang hore li se li ntse li matha ka potlako, kapa, ka lehlakoreng le leng, li matha butle. Li ka etsoa kapele le ho feta.
- Boholo ba mosebetsi ka mokhoa o ajoang.
- Ho hlopha ka mefuta e fokolang, joalo ka ha ke entse ka ints.
- Haeba ho na le li-join (join), didikishinari, joale ho molemo ho li etsa e le khetho ea ho qetela, ha u se u ntse u e-na le data bonyane e arotsoe ka mokhoa o itseng, joale ts'ebetso ea ho kopanya kapa mohala oa dikishinari o tla bitsoa linako tse fokolang 'me e tla ba kapele. .
- Ho fetola li-filters.
Ho na le mekhoa e meng, eseng feela eo ke e bontšitseng. 'Me kaofela ha bona ka linako tse ling ba ka potlakisa ho etsoa ha lipotso.
Ha re feteleng mohlala o latelang. Khamphani X e tsoang USA. O etsa'ng?
Ho ne ho e-na le mosebetsi:
- Khokahano ea kantle ho marang-rang ea lipapatso tsa lipapatso.
- Ho etsa mohlala oa mefuta e fapaneng ea tlamang.
Boemo ke bofe?
Moeti ea tloaelehileng o tla setšeng, ka mohlala, makhetlo a 20 ka khoeli ho tsoa lipapatsong tse fapaneng, kapa joalo ka hore ka linako tse ling o tla ntle le lipapatso, hobane o hopola sebaka sena. Ho sheba lihlahisoa tse ling, ho li kenya ka basketeng, ho li ntša ka basketeng. 'Me, qetellong, ho hong ho reka.
Lipotso tse utloahalang: "Ke mang ea lokelang ho lefa bakeng sa papatso, haeba ho hlokahala?" le "Ke papatso efe e mo susumelitseng, haeba e teng?". Ke hore, ke hobane'ng ha a ile a reka le ho etsa hore batho ba kang enoa le bona ba reke?
E le hore u rarolle bothata bona, u lokela ho hokahanya liketsahalo tse hlahang ho websaeteng ka tsela e nepahetseng, ke hore, ka tsela e itseng u hahe kamano pakeng tsa bona. Ebe ba romeloa ho ea hlahlojoa ho DWH. 'Me u ipapisitse le tlhahlobo ena, theha mefuta ea hore na lipapatso tseo u lokelang ho li bontša ke mang le life.
Thekiso ea lipapatso ke sehlopha sa liketsahalo tse amanang le basebelisi tse qalang ho bonts'a papatso, ebe ho etsahala ntho e 'ngoe, mohlomong theko, 'me ho ka ba le lintho tse rekoang nakong ea theko. Ka mohlala, haeba sena ke sesebelisoa sa selefouno kapa papali ea selefouno, joale hangata ho kenngoa ha kopo ho etsahala mahala, 'me haeba ho na le ho hong ho etsoang moo, joale ho ka hlokahala chelete bakeng sa sena. 'Me ha motho a sebelisa chelete e ngata ho etsa kopo, e ba ea bohlokoa le ho feta. Empa bakeng sa sena o hloka ho hokahanya ntho e 'ngoe le e' ngoe.
Ho na le mefuta e mengata e tlamang.
Tse tsebahalang haholo ke:
- Tšebelisano ea ho qetela, moo puisano e ka bang ho penya kapa maikutlo.
- Tšebelisano ea Pele, ke hore, ntho ea pele e tlisitseng motho setšeng.
- Motsoako oa linear - tsohle ka ho lekana.
- Khatholoho.
- Joalo joalo.
Hona tsohle li ile tsa sebetsa joang pele? Ho ne ho e-na le Runtime le Cassandra. Cassandra e ne e sebelisoa e le polokelo ea transaction, ke hore, litšebelisano tsohle tse amanang le tsona li ne li bolokiloe ho eona. 'Me ha ketsahalo e' ngoe e fihla ka nako ea Runtime, mohlala, e bonts'a leqephe le itseng kapa ntho e 'ngoe, joale kopo e ile ea etsoa ho Cassandra - na ho na le motho ea joalo kapa che. Eaba ho fumanoa litšebelisano tse amanang le eona. 'Me ho ile ha etsoa kopano.
'Me haeba ho le lehlohonolo hore kopo e na le id ea transaction, ho bonolo. Empa hangata ha ho lehlohonolo. Ka hona, ho ne ho hlokahala ho fumana transaction ea ho qetela kapa transaction ka ho tobetsa ho qetela, joalo-joalo.
'Me tsohle li sebelitse hantle ha feela se tlama se ne se le ho fihla motsotsong oa ho qetela. Hobane ho na le, re re, ho penya limilione tse 10 ka letsatsi, limilione tse 300 ka khoeli, haeba re beha fensetere bakeng sa khoeli. 'Me kaha Cassandra e tlameha ho ba tsohle mohopolong e le hore e sebetse ka potlako, hobane Runtime e hloka ho arabela ka potlako, e nkile li-server tse ka bang 10-15.
'Me ha ba batla ho hokahanya transaction ho pontšo, hang-hang ha ea ka ea e-ba monate. Mme hobaneng? Ho ka bonoa hore liketsahalo tse fetang makhetlo a 30 li hloka ho bolokoa. 'Me, ka hona, o hloka li-server tse fetang makhetlo a 30. 'Me ho hlaha hore ena ke mofuta o mong oa setšoantšo sa linaleli. Ho boloka li-server tse ka bang 500 ho etsa khokahano, leha ho na le taba ea hore ho na le li-server tse fokolang haholo ho Runtime, joale ena ke mofuta o itseng oa palo e fosahetseng. Mme ba qala ho nahana hore ba etseng.
Mme re ile ra ea ClickHouse. Hona u ka e etsa joang ho ClickHouse? Ha u sheba ka lekhetlo la pele, ho bonahala eka ena ke sete ea li-anti-patterns.
- Ts'ebetso ea hola, re hokela liketsahalo tse ngata ho eona, ke hore, ea fetoha, 'me ClickHouse ha e sebetse hantle ka lintho tse ka fetohang.
- Ha moeti a tla ho rona, re hloka ho ntša litšebelisano tsa hae ka senotlolo, ka id ea hae ea ketelo. Hona hape ke potso ea ntlha, ha ba etse joalo ho ClickHouse. Hangata ClickHouse e na le…scan e kholo, empa mona re hloka ho fumana lirekoto. Hape ke antipattern.
- Ho phaella moo, transaction e ne e le json, empa ba ne ba sa batle ho e ngola hape, kahoo ba ne ba batla ho boloka json ka tsela e sa tsitsang, 'me haeba ho hlokahala, hula ntho e itseng ho eona. 'Me sena hape ke antipattern.
Ke hore, sehlopha sa li-antipattern.
Empa leha ho le joalo ho ile ha etsahala ho etsa sistimi e sebetsang hantle haholo.
Ho ile ha etsoa eng? ClickHouse e ile ea hlaha, eo ho eona ho neng ho lahleloa lifate, li arotsoe ka litlaleho. Ho ile ha hlaha ts'ebeletso e fanoeng e amohetseng lintlha ho tsoa ho ClickHouse. Ka mor'a moo, bakeng sa keno e 'ngoe le e' ngoe, ka id ea ketelo, ke ile ka fumana litšebelisano tse ka 'nang tsa se ke tsa sebetsoa le linepe, ke hore, litšebelisano tse seng li hokahane, e leng sephetho sa mosebetsi o fetileng. Ke se ke entse logic ho bona, ke khetha transaction e nepahetseng, ke kopantse liketsahalo tse ncha. E kene hape. Lenane le ile la khutlela ho ClickHouse, ke hore, ke sistimi e lulang e le teng. Ho feta moo, ke ile ka ea ho DWH ho ea e sekaseka moo.
E ne e le ka sebopeho sena moo e sa sebetseng hantle haholo. Le ho nolofaletsa ClickHouse, ha ho ne ho e-na le kopo ka id ea ketelo, ba ile ba hlophisa likopo tsena ka li-ID tsa ketelo tse 1-000 'me ba ntša litšebelisano tsohle tsa batho ba 2-000. Eaba tsohle li sebetsa.
Haeba u sheba ka hare ho ClickHouse, ho na le litafole tse 3 feela tse kholo tse sebeletsang tsena tsohle.
Tafole ea pele eo li-log li kenngoeng ho eona, 'me li-log li kenngoa hoo e ka bang ntle le ho sebetsa.
Tafole ea bobeli. Ka pono ea nama, ho tloha ho li-log tsena, liketsahalo tse e-s'o ka li boleloa, ke hore, tse sa amaneng, li ile tsa loma. 'Me ka pono ea nama, litšebelisano li ile tsa ntšoa ka har'a marako ana ho etsa setšoantšo. Ke hore, pono e khethehileng ea nama e ile ea haha senepe, e leng boemo ba ho qetela bo bokelitsoeng ba khoebo.
Mona ke mongolo o ngotsoeng ka SQL. Ke rata ho fana ka maikutlo ka lintho tse 'maloa tsa bohlokoa ho eona.
Ntho ea pele ea bohlokoa ke bokhoni ba ho hula litšiea le masimo ho tsoa ho json ho ClickHouse. Ke hore, ClickHouse e na le mekhoa e meng ea ho sebetsa le json. Ke ba khale haholo, haholo.
etelaParamExtractInt e u lumella ho ntša litšobotsi ho json, ke hore, pina ea pele e sebetsa. 'Me ka tsela ena u ka ntša id ea transaction kapa ua etela id. Lekhetlong lena.
Taba ea bobeli, ho sebelisoa tšimo e qhekellang ea lintho tse bonahalang. E bolelang? Sena se bolela hore u ke ke ua e kenya ka har'a tafole, ke hore ha e kenngoa, e baloa ebe e bolokoa ha e kenngoa. Ha u peista, ClickHouse e u etsetsa mosebetsi. 'Me seo u se hlokang hamorao se se se ntšitsoe ho json.
Tabeng ena, ponahalo ea nama ke ea mela e tala. 'Me tafole ea pele e nang le lifate tse tala e sebelisoa feela. Mme o etsang? Taba ea pele, e fetola ho hlopha, ke hore, ho hlopha hona joale ho tsamaea ka id ea ketelo, hobane re hloka ho potlakela ho ntša transaction ea hae bakeng sa motho ea itseng.
Ntho ea bobeli ea bohlokoa ke index_granularity. Haeba u bone MergeTree, hangata ke 8 ka default index_granularity. Ke eng? Ena ke parameter ea index ea sparseness. Ho ClickHouse index e fokola, ha ho mohla e bonts'ang sengoloa se seng le se seng. E etsa sena ka nako e 'ngoe le e' ngoe ea 192 8. 'Me sena se molemo ha ho hlokahala hore ho baloe boitsebiso bo bongata, empa bo bobe ha bo le bonyenyane, hobane ho na le hlooho e kholo. 'Me haeba re fokotsa granularity ea index, joale re fokotsa holimo. E ke ke ea fokotsoa ho e le 'ngoe, hobane ho ka' na ha se ke ha e-ba le mohopolo o lekaneng. Lenane le lula le bolokiloe mohopolong.
Snapshot e boetse e sebelisa likarolo tse ling tse khahlisang tsa ClickHouse.
Taba ea pele, ke AggregatingMergeTree. Mme AggregatingMergeTree store argMax, ke hore sena ke boemo ba transaction e tsamaellanang le setempe sa nako sa ho qetela. Litšebelisano li hlahisoa ka linako tsohle bakeng sa moeti ea fanoeng. 'Me boemong ba ho qetela ba khoebo ena, re kentse ketsahalo mme re na le naha e ncha. E ile ea otla ClickHouse hape. 'Me ka argMax ponong ena ea nama, re ka lula re fumana boemo ba hajoale.
- Tlamahano e "decouple" ho tloha ho Runtime.
- Ho fihla ho libilione tse 3 tsa thekiso ka khoeli lia bolokoa le ho sebetsoa. Ena ke taelo ea boholo ho feta kamoo e neng e le kateng Cassandra, ke hore tsamaisong e tloaelehileng ea transaction.
- Sehlopha sa li-server tsa 2x5 ClickHouse. Li-server tse 5 'me seva ka seng se na le setšoantšo. Sena se tlase ho feta kamoo se neng se le ka Cassandra e le hore u ka khona ho tobetsa, 'me mona re na le maikutlo a thehiloeng. Ke hore, sebakeng sa ho eketsa palo ea li-server ka makhetlo a 30, ba khonne ho li fokotsa.
'Me mohlala oa ho qetela ke k'hamphani ea lichelete ea Y, e ileng ea hlahloba likamano tsa liphetoho tsa theko ea thepa.
Mme mosebetsi e ne e le:
- Ho na le likarolo tse ka bang 5.
- Likhoutu li-milliseconds tse ling le tse ling tse 100 lia tsejoa.
- Lintlha li 'nile tsa bokelloa ka lilemo tse 10. Kamoo ho bonahalang kateng, bakeng sa lik'hamphani tse ling ho feta, bakeng sa tse ling tse fokolang.
- Ho na le mela e ka bang limilione tse likete tse 100 ka kakaretso.
'Me ho ne ho hlokahala ho bala kamano ea liphetoho.
Mona ke li-stock tse peli le mantsoe a tsona. Haeba e mong a nyoloha mme e mong a nyoloha, joale sena ke kamano e ntle, ke hore, e mong o nyoloha 'me e mong o nyoloha. Haeba e 'ngoe e nyoloha, joalo ka qetellong ea graph,' me e 'ngoe e theoha, joale sena ke kamano e mpe, ke hore ha e mong a phahama, e mong oa oa.
Ho hlahloba liphetoho tsena tse kopanetsoeng, motho a ka etsa likhakanyo marakeng oa lichelete.
Empa mosebetsi o boima. Ho etsoa eng bakeng sa see? Re na le lirekoto tse limilione tse likete tse 100 tse nang le: nako, stock, le theko. Re hloka ho bala makhetlo a pele a limilione tse likete tse 100 ho fapana ho tloha ho algorithm ea theko. RunningDifference ke ts'ebetso ho ClickHouse e lekanyetsang phapang lipakeng tsa likhoele tse peli.
'Me ka mor'a moo, ho hlokahala hore u bale ho hokahanya,' me kamano e tlameha ho baloa bakeng sa para ka 'ngoe. Bakeng sa likarolo tse 5, lipara ke limilione tse 000. 'Me sena se ngata, ke hore, makhetlo a 12,5 ho hlokahala ho bala mosebetsi o joalo oa ho hokahanya.
'Me haeba motho a lebetse, ͞x le ͞y ke motho ea hlahlobang chelete. tebello ea mohlala. Ke hore, ha ho hlokahale feela ho bala metso le lipalo, empa le lipalo tse ling hape ka har'a lipalo tsena. Lipalo tse ngata li hloka ho etsoa makhetlo a limilione tse 12,5, esita le ho hlophisoa ka lihora. Hape re na le lihora tse ngata. 'Me u tlameha ho e etsa ka metsotsoana e 60. Ke motlae.
Ho ne ho hlokahala ho ba le nako bonyane ka tsela e itseng, hobane sena sohle se ile sa sebetsa butle haholo pele ClickHouse e fihla.
Ba lekile ho e bala Hadoop, ho Spark, ho Greenplum. 'Me sena sohle se ne se lieha haholo kapa se theko e boima. Ke hore, ho ne ho ka khoneha ho bala ka tsela e itseng, empa joale e ne e le theko e boima.
Eaba ClickHouse ea tla 'me lintho tsa ntlafala haholo.
Ke u hopotsa hore re na le bothata ba sebaka sa data, hobane likhokahano ha li khone ho etsoa sebakeng sa heno. Re ke ke ra beha tse ling tsa data ho seva se le seng, tse ling ho tse ling ebe re bala, re tlameha ho ba le data eohle hohle.
Ba ile ba etsa’ng? Qalong, data e behiloe sebakeng sa heno. Seva e 'ngoe le e' ngoe e boloka data mabapi le litheko tsa sete e itseng ea likarolo. 'Me ha li kopane. Ka hona, hoa khoneha ho bala logReturn ka ho ts'oana le ho ikemela, sena sohle se etsahala ho fihlela joale ka ho tšoana le ho ajoa.
Eaba re etsa qeto ea ho fokotsa lintlha tsena, ha re ntse re sa lahleheloe ke maikutlo. Fokotsa ho sebelisa li-arrays, ke hore, bakeng sa nako e 'ngoe le e' ngoe, etsa mefuta e mengata ea li-stock le mefuta e mengata ea litheko. Ka hona, ho nka sebaka se fokolang haholo sa data. 'Me li bonolo ho sebetsa le tsona. Tsena ke ts'ebetso e batlang e tšoana, ke hore, re bala ka mokhoa o sa fellang, ebe re ngolla seva.
Ka mor'a moo, e ka fetoloa hape. Lengolo "r" le bolela hore re phethile lintlha tsena. Ke hore, re na le data e tšoanang ho li-server tsohle tse tharo - tsena ke lihlopha.
'Me joale ka script e khethehileng ho tloha sethaleng sena sa li-correlations tse limilione tse 12,5 tse lokelang ho baloa, u ka etsa liphutheloana. Ke hore, mesebetsi e 2 e nang le lipara tse 500 tsa khokahano. 'Me mosebetsi ona o lokela ho baloa ho seva se itseng sa ClickHouse. O na le lintlha tsohle, hobane lintlha li tšoana 'me a ka li bala ka tatellano.
Hape, sena ke seo se shebahalang ka sona. Ntlha ea pele, re na le lintlha tsohle mohahong ona: nako, likarolo, theko. Eaba re bala logReturn, ke hore data ea sebopeho se tšoanang, empa ho e-na le theko re se re ntse re e-na le logReturn. Eaba li etsoa bocha, ke hore, re na le nako le groupArray bakeng sa li-stock le litheko. Sreplicated. 'Me ka mor'a moo, re ile ra hlahisa mesebetsi e mengata' me ra e fepa ho ClickHouse e le hore e ka e bala. 'Me ea sebetsa.
Ka bopaki ba khopolo, mosebetsi e ne e le mosebetsi o monyenyane, ke hore, data e fokolang e nkiloeng. Le li-server tse tharo feela.
Mehato ena e 'meli ea pele: ho bala Log_return le ho phuthela ka lihlopha ho nkile nako e ka etsang hora.
'Me palo ea khokahano e ka ba lihora tse 50. Empa lihora tse 50 ha lia lekana, hobane ba ne ba tloaetse ho sebetsa libeke. E bile katleho e kholo. 'Me haeba u bala, joale makhetlo a 70 ka motsotsoana ntho e' ngoe le e 'ngoe e ne e baloa sehlopheng sena.
Empa ntho ea bohlokoa ka ho fetisisa ke hore tsamaiso ena e batla e se na li-bottlenecks, ke hore, e lekanya hoo e batlang e le ka mokhoa o tloaelehileng. Mme ba e hlahloba. E e ntlafalitse ka katleho.
- Morero o nepahetseng ke halofo ea katleho. 'Me morero o nepahetseng ke tšebeliso ea lisebelisoa tsohle tse hlokahalang tsa ClickHouse.
- Summing/AggregatingMergeTrees ke mahlale a u lumellang ho kopanya kapa ho nka senepe sa naha joalo ka nyeoe e khethehileng. 'Me e nolofatsa lintho tse ngata haholo.
- Maikutlo a Matle a u lumella ho tlola moeli o le mong oa index. Mohlomong ha kea ka ka e bua ka ho hlaka, empa ha re kenya li-logs, li-logs tse tala li ne li le tafoleng e nang le index e le 'ngoe,' me li-log tsa litšobotsi li ne li le tafoleng, ke hore data e tšoanang, e hloekisitsoe feela, empa index e ne e le ka ho feletseng. ba bang. Ho bonahala e le data e ts'oanang, empa ho hlopha ho fapaneng. 'Me Maikutlo a Materialized a u lumella, haeba u e hloka, ho feta moeli o joalo oa ClickHouse.
- Fokotsa index granularity bakeng sa lipotso tsa lintlha.
- 'Me u abele data ka bohlale, leka ho etsa hore data e be sebakeng sa hau ka har'a seva ka hohle kamoo ho ka khonehang. 'Me u leke ho etsa bonnete ba hore likopo le tsona li sebelisa sebaka sa lehae moo ho ka khonehang ka hohle kamoo ho ka khonehang.
'Me ha re akaretsa puo ena e khuts'oane, re ka re ClickHouse e se e hapile sebaka sa li-database tsa khoebo le li-database tse bulehileng tsa mohloli, ke hore, ka ho khetheha bakeng sa li-analytics. O kena hantle sebakeng sena sa naha. Ho feta moo, butle-butle e qala ho bokella ba bang, hobane ha u na le ClickHouse, ha u hloke InfiniDB. Vertika e kanna ea se ke ea hlokahala haufinyane haeba ba etsa tšehetso e tloaelehileng ea SQL. Natefeloa!
-Re leboha tlaleho! E khahla haholo! Na ho na le papiso efe kapa efe le Apache Phoenix?
Che, ha ke so utloe motho a bapisa. Rōna le Yandex re leka ho boloka tlaleho ea lipapiso tsohle tsa ClickHouse le li-database tse fapaneng. Hobane haeba ka tšohanyetso ntho e 'ngoe e fetoha kapele ho feta ClickHouse, joale Lesha Milovidov ha a khone ho robala bosiu' me o qala ho potlakisa kapele. Ha ke so utloe ka papiso e joalo.
-
(Aleksey Milovidov) Apache Phoenix ke enjene ea SQL e tsamaisoang ke Hbase. Hbase ke haholo-holo bakeng sa boemo ba mosebetsi oa bohlokoa. Moo, moleng o mong le o mong, ho ka ba le palo e ikemetseng ea litšiea tse nang le mabitso a sa lumellaneng. Sena se ka boleloa ka litsamaiso tse kang Hbase, Cassandra. 'Me ke lipotso tse tebileng tsa tlhahlobo tse ke keng tsa sebetsa ka mokhoa o tloaelehileng bakeng sa bona. Kapa u ka nahana hore li sebetsa hantle haeba ha u na boiphihlelo ka ClickHouse.
-
Спасибо
-
Lumelang Ke se ke ntse ke thahasella sehlooho sena, hobane ke na le tsamaiso e nyenyane ea analytical. Empa ha ke sheba ClickHouse, ke fumana maikutlo a hore ClickHouse e loketse haholo tlhahlobo ea liketsahalo, e ka fetohang. 'Me haeba ke hloka ho hlahloba lintlha tse ngata tsa khoebo ka bongata ba litafole tse kholo, joale ClickHouse, ho ea kamoo ke utloisisang kateng, ha e tšoanelehe haholo ho 'na? Haholo-holo haeba ba fetoha. Na see se nepahetse kapa ho na le mehlala e ka hanang see?
-
Sena se nepahetse. 'Me sena ke' nete ka li-database tse khethehileng tsa analytical. Li etselitsoe taba ea hore ho na le litafole tse kholo kapa tse ngata tse feto-fetohang, le tse ngata tse nyenyane tse fetohang butle. Ke hore, ClickHouse ha e tšoane le Oracle, moo o ka behang ntho e 'ngoe le e' ngoe le ho haha lipotso tse rarahaneng haholo. E le hore u sebelise ClickHouse ka katleho, u lokela ho haha sekema ka tsela e sebetsang hantle ho ClickHouse. Ke hore, qoba ho tloaeleha ho feteletseng, sebelisa lidikishinari, leka ho etsa lihokelo tse telele tse fokolang. 'Me haeba morero o hahiloe ka tsela ena, joale mesebetsi e ts'oanang ea khoebo e ka rarolloa ho ClickHouse ka mokhoa o atlehileng haholo ho feta sebakeng sa polokelo ea litaba tsa setso.
-
Re leboha tlaleho! Ke na le potso mabapi le nyeoe ea morao-rao ea lichelete. Ba ne ba e-na le li-analytics. Ho ne ho hlokahala ho bapisa hore na ba ea holimo le tlaase joang. 'Me kea utloisisa hore u thehile sistimi ka kotloloho bakeng sa analytics ee? Haeba hosane, ka mohlala, ba hloka tlaleho e 'ngoe ea data ee, na ba hloka ho tsosolosa morero le ho kenya data? Ke hore, ho etsa mofuta o itseng oa preprocessing ho fumana kopo?
Ehlile, ena ke ts'ebeliso ea ClickHouse bakeng sa mosebetsi o ikhethileng haholo. E ka rarolloa ka moetlo ka har'a Hadoop. Bakeng sa Hadoop, ona ke mosebetsi o loketseng. Empa ho Hadoop e lieha haholo. 'Me sepheo sa ka ke ho bontša hore ClickHouse e ka rarolla mesebetsi eo hangata e rarolloang ka mekhoa e fapaneng ka ho feletseng, empa ka nako e ts'oanang e e etsa ka mokhoa o atlehileng haholoanyane. Sena se etselitsoe mosebetsi o khethehileng. Ho hlakile hore haeba ho na le bothata ka ntho e tšoanang, joale e ka rarolloa ka tsela e tšoanang.
E hlakile. U itse lihora tse 50 li sebelitsoe. Na ke ho tloha qalong, u kentse data neng kapa u fumane liphetho?
Ee E.
Ho lokile ke leboha haholo.
Sena se ho sehlopha sa li-server tse 3.
Lumelang! Re leboha tlaleho! Lintho tsohle li thahasellisa haholo. Nke ke ka botsa hanyenyane ka ts'ebetso, empa ka tšebeliso ea ClickHouse mabapi le botsitso. Ke hore, na u ne u e-na le letho, na u ne u lokela ho tsosolosa? ClickHouse e sebetsa joang tabeng ee? Mme na ho etsahetse hore le uena u be le setšoantšo? Mohlala, re bile le bothata ka ClickHouse ha e ntse e tsoa moeling oa eona mme e oa.
Ehlile, ha ho na litsamaiso tse nepahetseng. 'Me ClickHouse le eona e na le mathata a eona. Empa na u utloile ka Yandex.Metrica e sa sebetse nako e telele? Mohlomong ha ho joalo. E 'nile ea sebetsa ka botšepehi ho tloha 2012-2013 ho ClickHouse. Nka bua se tšoanang ka phihlelo ea ka. Ha ho mohla re kileng ra ba le mefokolo e felletseng. Lintho tse ling li ne li ka etsahala, empa ha lia ka tsa ba tsa bohlokoa ho lekana ho ama khoebo ka botebo. Ha ho eso etsahale. ClickHouse e ts'epahala haholo 'me ha e senyehe ka tšohanyetso. Ha ho hlokahale hore u tšoenyehe ka eona. Ha se ntho e tala. Sena se 'nile sa pakoa ke lik'hamphani tse ngata.
Lumela! O itse o hloka ho nahana ka schema ea data hang-hang. Ho thoe'ng haeba e ka etsahala? Lintlha tsa ka lia tšoloha ebile lia tšoloha. Ho feta likhoeli tse tšeletseng, 'me kea utloisisa hore ho ke ke ha khoneha ho phela joalo, ke hloka ho kenya hape data le ho etsa ho hong le bona.
Sena se ipapisitse le sistimi ea hau. Ho na le mekhoa e mengata ea ho etsa sena ntle le ho emisa. Ka mohlala, o ka theha Ponahalo ea Lintho Tse Nyane eo ho eona u ka etsang sebopeho se fapaneng sa data haeba se ka etsoa 'mapa o ikhethileng. Ke hore, haeba e lumella 'mapa ho sebelisa ClickHouse, ke hore, ntša lintho tse ling, fetola senotlolo sa mantlha, fetola karohano, ebe o ka etsa Pono ea Materialized. Ngola lintlha tsa hau tsa khale moo, tse ncha li tla ngoloa ka bohona. Ebe u fetohela ho sebelisa Pono ea Materialized, ebe u fetola rekoto ebe u bolaea tafole ea khale. Hangata ona ke mokhoa o sa khaotseng.
Спасибо.
Source: www.habr.com