Trì bliadhna air ais Viktor Tarnavsky agus Alexei Milovidov bho Yandex air an àrd-ùrlar HighLoad ++ , dè cho math sa tha ClickHouse, agus mar nach eil e a’ slaodadh sìos. Agus air an ath ìre bha Alexander Zaitsev с mu dheidhinn gluasad gu Cliog Taigh bho DBMS anailis eile agus leis a’ cho-dhùnadh sin Cliog Taigh, gu dearbh, math, ach chan eil e gu math goireasach. Nuair a bhios a 'chompanaidh ann an 2016 Stòras Beatha, far an robh Alasdair an uair sin ag obair, ag atharrachadh siostam anailis ioma-petabyte gu Cliog Taigh, b’ e “rathad breige buidhe” inntinneach a bh’ ann làn de chunnartan neo-aithnichte - Cliog Taigh air ais an uairsin bha e coltach ri mèinn.
Trì bliadhna an dèidh sin Cliog Taigh Dh'fhàs e tòrr na b 'fheàrr - rè na h-ùine seo stèidhich Alasdair a' chompanaidh Altinity, a tha chan ann a-mhàin a 'cuideachadh dhaoine gus gluasad gu Cliog Taigh dusanan de phròiseactan, ach cuideachd a 'leasachadh a' bhathar fhèin còmhla ri co-obraichean bho Yandex. Nise Cliog Taigh chan e cuairt gun chùram a th’ ann fhathast, ach chan e raon-mèinn a th’ ann tuilleadh.
Tha Alexander air a bhith ag obair le siostaman sgaoilte bho 2003, a’ leasachadh phròiseactan mòra air MySQL, Oracle и Vertica. Air an fhear mu dheireadh HighLoad ++ 2019 Alasdair, fear de na tùsairean ann an cleachdadh Cliog Taigh, dh'innis e dè a th' anns an DBMS seo a-nis. Ionnsaichidh sinn mu na prìomh fheartan Cliog Taigh: mar a tha e eadar-dhealaichte bho shiostaman eile agus dè na cùisean a tha e nas èifeachdaiche a chleachdadh. A’ cleachdadh eisimpleirean, seallaidh sinn ri cleachdaidhean o chionn ghoirid agus air an dearbhadh le pròiseict airson siostaman togail stèidhichte air Cliog Taigh.
Ath-shealladh: dè thachair 3 bliadhna air ais
O chionn trì bliadhna ghluais sinn a 'chompanaidh Stòras Beatha air Cliog Taigh bho stòr-dàta anailis eile, agus bha coltas mar seo air imrich anailis lìonra sanasachd:
- An t-Ògmhios 2016. Anns Stòr Fosgailte nochd Cliog Taigh agus thòisich ar pròiseact;
- An Lùnastal Dearbhadh air Bun-bheachd: lìonra sanasachd mòr, bun-structair agus 200-300 terabytes de dhàta;
- An Dàmhair. A 'chiad dàta riochdachaidh;
- An Dùbhlachd. Is e an làn eallach toraidh 10-50 billean tachartas gach latha.
- An t-Ògmhios 2017. Soirbheachail imrich luchd-cleachdaidh gu Cliog Taigh, 2,5 petabytes de dhàta air cruinneachadh de 60 frithealaiche.
Rè a 'phròiseas imrich, bha tuigse a' sìor fhàs air sin Cliog Taigh na shiostam math a tha tlachdmhor a bhith ag obair leis, ach is e pròiseact taobh a-staigh Yandex a tha seo. Mar sin, tha nuances ann: bidh Yandex an-toiseach a’ dèiligeadh ris na teachdaichean a-staigh aige fhèin agus dìreach an uairsin leis a’ choimhearsnachd agus feumalachdan luchd-cleachdaidh bhon taobh a-muigh, agus cha do ràinig ClickHouse an ìre iomairt ann an iomadh raon gnìomh. Sin as coireach gun do stèidhich sinn Altinity sa Mhàrt 2017 airson a dhèanamh Cliog Taigh eadhon nas luaithe agus nas goireasaiche chan ann a-mhàin airson Yandex, ach cuideachd airson luchd-cleachdaidh eile. Agus a-nis tha sinn:
- Bidh sinn a’ trèanadh agus a’ cuideachadh le bhith a’ togail fhuasglaidhean stèidhichte air Cliog Taigh gus nach bi luchd-ceannach a 'faighinn a-steach do dhuilgheadas, agus gus am bi am fuasgladh ag obair aig a' cheann thall;
- Bidh sinn a’ toirt seachad taic 24/7 Cliog Taigh- stàladh;
- Bidh sinn a’ leasachadh ar pròiseactan eag-shiostaman fhèin;
- Tha sinn gu gnìomhach a’ gealltainn dhuinn fhìn Cliog Taigh, a’ freagairt iarrtasan bho luchd-cleachdaidh a tha airson feartan sònraichte fhaicinn.
Agus gu dearbh, bidh sinn a’ cuideachadh le gluasad gu Cliog Taigh с MySQL, Vertica, Oracle, Uaine-phlum, Sgaoileadh agus siostaman eile. Tha sinn air a bhith an sàs ann an diofar ghluasadan, agus tha iad uile air a bhith soirbheachail.
Carson a ghluasad gu Cliog Taigh
Chan eil e nas slaodaiche! Is e seo am prìomh adhbhar. Cliog Taigh - stòr-dàta gu math luath airson diofar shuidheachaidhean:
Abairtean air thuaiream bho dhaoine a tha air a bhith ag obair le daoine airson ùine mhòr Cliog Taigh.
Scalability. Air stòr-dàta eile faodaidh tu deagh choileanadh a choileanadh air aon phìos bathar-cruaidh, ach Cliog Taigh faodaidh tu sgèile chan ann a-mhàin gu dìreach, ach cuideachd gu còmhnard, dìreach le bhith a’ cur frithealaichean ris. Chan eil a h-uile càil ag obair cho rèidh sa bu mhath leinn, ach tha e ag obair. Faodaidh tu an siostam a leudachadh mar a bhios do ghnìomhachas a’ fàs. Tha e cudromach nach bi sinn cuingealaichte leis an fhuasgladh a-nis agus tha an-còmhnaidh comas ann airson leasachadh.
So-ghiùlain. Chan eil ceangal sam bith ri aon rud. Mar eisimpleir, le Amazon RedShift Tha e doirbh gluasad an àiteigin. A Cliog Taigh faodaidh tu a stàladh air do laptop, frithealaiche, cuir a-steach don sgòth, rachaibh gu Kubernetes - chan eil bacadh sam bith air obrachadh a’ bhun-structair. Tha seo goireasach don h-uile duine, agus tha seo na bhuannachd mhòr nach urrainn dha mòran stòran-dàta eile den aon seòrsa uaill a dhèanamh.
Sùbailteachd. Cliog Taigh chan eil e a 'stad aig aon rud, mar eisimpleir, Yandex.Metrica, ach a' leasachadh agus ga chleachdadh ann am barrachd is barrachd phròiseactan agus ghnìomhachasan eadar-dhealaichte. Faodar a leudachadh le bhith a’ cur comasan ùra ris gus fuasgladh fhaighinn air duilgheadasan ùra. Mar eisimpleir, thathas a’ creidsinn gur e droch mhodhan a th’ ann a bhith a’ stòradh logaichean ann an stòr-dàta, agus mar sin thàinig iad suas Elasticsearch. Ach air sgàth sùbailteachd Cliog Taigh, faodaidh tu cuideachd logaichean a stòradh ann, agus gu tric tha seo eadhon nas fheàrr na a-staigh Elasticsearch - a-steach Cliog Taigh feumaidh seo 10 tursan nas lugha de iarann.
An-asgaidh Stòr Fosgailte. Chan fheum thu pàigheadh airson rud sam bith. Chan fheumar cead a cho-rèiteachadh gus an siostam a chuir a-steach air do laptop no frithealaiche. Gun chosgaisean falaichte. Aig an aon àm, chan urrainn do theicneòlas stòr-dàta Open Source sam bith eile farpais ann an astar le Cliog Taigh. MySQL, MariaDB, Greenplum - tha iad uile tòrr nas slaodaiche.
Coimhearsnachd, draibheadh agus spòrsailS an Iar- Air adhart Cliog Taigh coimhearsnachd sàr-mhath: coinneamhan, cabadaich agus Alexey Milovidov, a bhios a’ cur uallach oirnn uile le a lùths agus a dhòchas.
A’ gluasad gu ClickHouse
Airson a dhol gu Cliog Taigh airson adhbhar air choireigin, chan fheum thu ach trì rudan:
- Tuig na crìochan Cliog Taigh agus an ni nach 'eil e iomchuidh.
- Gabh brath teicneòlas agus na neartan as motha aige.
- Dèan deuchainn. Fiù 's a' tuigsinn mar a tha e ag obair Cliog Taigh, chan eil e an-còmhnaidh comasach ro-innse cuin a bhios e nas luaithe, cuin a bhios e nas slaodaiche, cuin a bhios e nas fheàrr, agus cuin a bhios e nas miosa. Mar sin feuch e.
Trioblaid gluasad
Chan eil ann ach aon “ach”: ma ghluaiseas tu gu Cliog Taigh bho rudeigin eile, mar as trice thèid rudeigin ceàrr. Tha sinn cleachdte ri cuid de chleachdaidhean agus rudan a tha ag obair anns an stòr-dàta as fheàrr leinn. Mar eisimpleir, neach sam bith ag obair le SQTha stòran-dàta L a’ beachdachadh air an t-seata ghnìomhan a leanas riatanach:
- gnothaichean;
- cuingeadan;
- cunbhalachd;
- clàran-amais;
- ÙRACHADH/DÌON;
- NULLan;
- milliseconds;
- fèin-ghluasadach seòrsa casan;
- ioma-cheangail;
- sgaradh neo-riaghailteach;
- innealan riaghlaidh buidheann.
Tha fastadh riatanach, ach trì bliadhna air ais a-steach Cliog Taigh Cha robh gin de na gnìomhan sin rim faighinn! A-nis tha nas lugha na leth de na chaidh a chuir an gnìomh fhathast: gnothaichean, cuingealachaidhean, cunbhalachd, milliseconds agus seòrsa tilgeadh.
Agus is e am prìomh rud gu bheil a-staigh Cliog Taigh chan eil cuid de chleachdaidhean agus dhòighean-obrach àbhaisteach ag obair no ag obair ann an dòigh eadar-dhealaichte na tha sinn cleachdte ris. A h-uile rud a tha a 'nochdadh ann an Cliog Taigh, a' freagairt air "Cliog air dòigh an taighe", i.e. tha gnìomhan eadar-dhealaichte bho stòran-dàta eile. Mar eisimpleir:
- Chan eil clàran-amais air an taghadh, ach leum iad.
- ÙRACHADH/DÌON chan ann sioncronach, ach asyncronach.
- Tha iomadh ceangal ann, ach chan eil dealbhaiche ceist ann. Mar as trice chan eil mar a thèid an coileanadh an uairsin gu math soilleir do dhaoine bho shaoghal an stòr-dàta.
ClickHouse Sgriobtaichean
Ann an 1960, bha e na neach-matamataig Ameireaganach de thùs Ungaireach Wigner EP sgrìobh artaigil"Èifeachdas mì-reusanta matamataig anns na saidheansan nàdarra” (“ Èifeachdas Do-chreidsinneach Matamataig anns na Saidheansan Nàdarra ”) gu bheil an saoghal mun cuairt oirnn airson adhbhar air choireigin air a dheagh mhìneachadh le laghan matamataigeach. Is e saidheans eas-chruthach a th’ ann am matamataig, agus chan eil laghan corporra air an cur an cèill ann an cruth matamataigeach beag, agus Wigner EP dhaingnich gu bheil seo gu math neònach.
Bho mo shealladh, Cliog Taigh - an aon neònach. Gus ath-sgrìobhadh Wigner, faodaidh sinn seo a ràdh: tha an èifeachdas do-chreidsinneach iongantach Cliog Taigh ann an raon farsaing de thagraidhean anailis!
Mar eisimpleir, gabhamaid Stòr-dàta fìor-ùine, anns a bheil dàta air a luchdachadh cha mhòr gu leantainneach. Tha sinn airson iarrtasan fhaighinn bhuaithe le dàrna dàil. Feuch - cleachd e Cliog Taigh, oir is e seo an suidheachadh airson an deach a dhealbhadh. Cliog Taigh is ann dìreach mar a tha e air a chleachdadh chan ann a-mhàin air an lìon, ach cuideachd ann am margaidheachd agus anailis ionmhais, AdTech, a bharrachd air ann an Dearbhadh foilln. ANNS Stòr-dàta fìor-ùine bithear a’ cleachdadh sgeama structarail iom-fhillte mar “rionnag” no “clach-sneachda”, le mòran bhùird Co-aoinn (uaireannan ioma), agus mar as trice bidh an dàta air a stòradh agus air atharrachadh ann an cuid de shiostaman.
Gabhamaid suidheachadh eile — Sreath ùine: sgrùdadh innealan, lìonraidhean, staitistig cleachdaidh, eadar-lìn de rudan. An seo thig sinn tarsainn air tachartasan gu math sìmplidh air an òrdachadh ann an ùine. Cliog Taigh cha deach a leasachadh an toiseach airson seo, ach tha e air sealltainn gu bheil e ag obair gu math, agus is e sin as coireach gu bheil companaidhean mòra a’ cleachdadh Cliog Taigh mar stòr airson fiosrachadh sgrùdaidh. Gus faighinn a-mach a bheil e iomchaidh Cliog Taigh airson sreath-ùine, rinn sinn slat-tomhais stèidhichte air an dòigh-obrach agus na toraidhean InfluxDB и Clàr-amaDB - speisealta sreath-ùine stòran-dàta. , sin Cliog Taigh, eadhon às aonais optimization airson gnìomhan mar sin, a’ buannachadh air raon cèin:
В sreath-ùine Mar as trice bidh clàr cumhang air a chleachdadh - grunn cholbhan beaga. Faodaidh tòrr dàta tighinn bho sgrùdadh - milleanan de chlàran gach diog - agus mar as trice thig iad ann an spreadhaidhean beaga (fìor-ùine sruthadh). Mar sin, tha feum air sgriobt cuir a-steach eadar-dhealaichte, agus tha na mion-fhiosrachadh aca fhèin aig na ceistean fhèin.
Log Log. Mar as trice tha e dona a bhith a 'tional logaichean a-steach do stòr-dàta, ach Cliog Taigh faodar seo a dhèanamh le cuid de bheachdan mar a chaidh a mhìneachadh gu h-àrd. Bidh mòran chompanaidhean a 'cleachdadh Cliog Taigh dìreach airson an adhbhar seo. Anns a 'chùis seo, bidh sinn a' cleachdadh clàr còmhnard farsaing far am bi sinn a 'stòradh nan logaichean gu lèir (mar eisimpleir, anns an fhoirm JSON), no air a ghearradh na phìosan. Mar as trice bidh dàta air a luchdachadh ann an baidsean mòra (faidhlichean), agus bidh sinn a’ sgrùdadh le raon air choireigin.
Airson gach aon de na gnìomhan sin, mar as trice bidh stòran-dàta sònraichte air an cleachdadh. Cliog Taigh faodaidh aon a h-uile càil a dhèanamh agus cho math 's gu bheil e nas fheàrr na iad. Bheir sinn a-nis sùil nas mionaidiche sreath-ùine suidheachadh, agus mar a nì thu “còcaireachd” ceart Cliog Taigh airson an t-seallaidh seo.
Sreath-ùine
An-dràsta is e seo am prìomh shuidheachadh airson a bheil e Cliog Taigh beachdachadh air am fuasgladh àbhaisteach. Sreath-ùine na sheata de thachartasan air an òrdachadh ann an ùine, a’ riochdachadh atharrachaidhean ann am pròiseas air choireigin thar ùine. Mar eisimpleir, dh'fhaodadh seo a bhith mar ìre cridhe gach latha no an àireamh de phròiseasan san t-siostam. Tha a h-uile dad a bheir seachad ùine a’ breabadh le beagan tomhasan sreath-ùine:
Tha a’ mhòr-chuid de na tachartasan sin a’ tighinn bho sgrùdadh. Faodaidh seo a bhith chan ann a-mhàin a’ cumail sùil air an lìon, ach cuideachd innealan fìor: càraichean, siostaman gnìomhachais, IoT, factaraidhean no tacsaidhean gun luchd-obrach, anns an stoc a tha Yandex mu thràth a’ cur Cliog Taigh-fhrithealaiche.
Mar eisimpleir, tha companaidhean ann a bhios a’ cruinneachadh dàta bho shoithichean. A h-uile diog no dhà, bidh mothachairean air an t-soitheach-soithich a’ cur ceudan de thomhasan eadar-dhealaichte. Bidh innleadairean gan sgrùdadh, a ’togail mhodalan agus a’ feuchainn ri tuigsinn dè cho èifeachdach sa tha an soitheach air a chleachdadh, oir cha bu chòir bàta-giùlain a bhith leisg airson eadhon diog. Is e call airgid a th’ ann an ùine downt sam bith, agus mar sin tha e cudromach ro-innse a dhèanamh air an t-slighe gus nach bi mòran stadan ann.
An-diugh tha fàs ann de stòran-dàta sònraichte a tha a’ tomhas sreath-ùine. Air an làraich DB-einnseanan Tha na diofar stòran-dàta air an rangachadh ann an dòigh air choireigin, agus chì thu iad a rèir seòrsa:
Is e an seòrsa a tha a 'fàs nas luaithe sreath ùines. Tha stòran-dàta graf a 'fàs cuideachd, ach sreath ùines air a bhith a’ fàs nas luaithe thar nam beagan bhliadhnaichean a dh’ fhalbh. Is e riochdairean àbhaisteach den teaghlach seo de stòran-dàta InfluxDB, Prometheus, KDB, Clàr-amaDB (air a thogail air PostgreSQL), fuasglaidhean bho Amazon. Cliog Taigh faodar a chleachdadh an seo cuideachd, agus ga chleachdadh. Leig dhomh beagan eisimpleirean poblach a thoirt dhut.
Is e aon de na tùsairean a’ chompanaidh CloudFlare (CDN- solaraiche). Bidh iad a’ cumail sùil air an cuid CDN через Cliog Taigh (DNS- iarrtasan, HTTP-queries) le eallach mòr - 6 millean tachartas gach diog. Bidh a h-uile càil a’ dol troimhe Kafka, a' dol gu Cliog Taigh, a bheir cothrom dhut clàran-latha de thachartasan san t-siostam fhaicinn ann an àm fìor.
Comcast - aon de na stiùirichean ann an tele-chonaltradh anns na SA: eadar-lìon, telebhisean didseatach, fòn. Chruthaich iad siostam smachd coltach ris CDN taobh a-staigh an fhrèam Stòr Fosgailte pròiseact Smachd trafaic Apache a bhith ag obair leis an dàta mòr agad. Cliog Taigh air a chleachdadh mar chùl-raon airson anailisean.
percona air a thogail a-steach Cliog Taigh a-staigh do PMMgus sùil a chumail air diofar MySQL.
Riatanasan sònraichte
Tha na riatanasan sònraichte aca fhèin aig stòran-dàta sreath-ùine.
- Cuir a-steach luath bho iomadh àidseant. Feumaidh sinn dàta a chuir a-steach bho iomadh sruth gu math luath. Cliog Taigh Bidh e a’ dèanamh seo gu math leis gu bheil a h-uile cuir a-steach gun bhacadh. Sam bith cuir a-steach na fhaidhle ùr air diosc, agus faodar cuir a-steach beaga a bhuain ann an dòigh air choireigin. ANNS Cliog Taigh Tha e nas fheàrr dàta a chuir a-steach ann an baidsean mòra seach aon loidhne aig an aon àm.
- Sgeama sùbailte. Tha a ' sreath-ùine mar as trice chan eil sinn eòlach air structar an dàta gu tur. Tha e comasach siostam sgrùdaidh a thogail airson tagradh sònraichte, ach an uairsin tha e duilich a chleachdadh airson tagradh eile. Feumaidh seo sgeama nas sùbailte. Cliog Taigh, a 'leigeil leat seo a dhèanamh, eadhon ged a tha e na bhunait làidir clò-bhuailte.
- Stòradh èifeachdach agus dìochuimhneachadh dàta. Mar as trice ann an sreath-ùine tòrr dàta, agus mar sin feumar a stòradh cho èifeachdach sa ghabhas. Mar eisimpleir, aig InfluxDB Is e teannachadh math a phrìomh fheart. Ach a bharrachd air a bhith a 'stòradh, feumaidh tu cuideachd a bhith comasach air "dìochuimhneachadh" seann dàta agus a' dèanamh seòrsa de downsampling - cunntadh gu fèin-ghluasadach de chruinneachaidhean.
- Ceistean luath air dàta cruinnichte. Uaireannan tha e inntinneach coimhead air na 5 mionaidean mu dheireadh le neo-mhearachdachd milliseconds, ach is dòcha nach bi feum air mion-fhiosrachadh dàta mìosail no an dàrna granularity - tha staitistig coitcheann gu leòr. Tha feum air taic den t-seòrsa seo, air neo bheir iarrtas airson 3 mìosan ùine mhòr airson a chrìochnachadh eadhon a-staigh Cliog Taigh.
- Iarrtasan mar "puing mu dheireadh, as of». Tha iad seo àbhaisteach airson sreath-ùine ceistean: thoir sùil air an tomhas mu dheireadh no staid an t-siostaim aig àm sònraichte t. Chan e ceistean glè thaitneach a tha seo airson stòr-dàta, ach feumaidh tu cuideachd a bhith comasach air an coileanadh.
- Sreath ùine “Gluing”.. Sreath-ùine 's e sreath ùine. Ma tha dà shreath ùine ann, gu tric feumaidh iad a bhith ceangailte agus co-cheangal. Chan eil e goireasach seo a dhèanamh air a h-uile stòr-dàta, gu sònraichte le sreathan ùine gun cheangal: seo cuid de phuingean ùine, tha cuid eile ann. Faodaidh tu beachdachadh air cuibheasachd, ach gu h-obann bidh toll ann fhathast, agus mar sin chan eil e soilleir.
Chì sinn mar a tha na riatanasan sin air an coinneachadh Cliog Taigh.
An sgeama
В Cliog Taigh sgeama airson sreath-ùine faodar a dhèanamh ann an diofar dhòighean, a rèir ìre cunbhalachd an dàta. Tha e comasach siostam a thogail air dàta cunbhalach nuair a bhios fios againn air a h-uile meatrach ro-làimh. Mar eisimpleir, rinn mi seo CloudFlare le sgrùdadh CDN tha e na shiostam làn-leasaichte. Faodaidh tu siostam nas fharsainge a thogail a bhios a 'cumail sùil air a' bhun-structair gu lèir agus diofar sheirbheisean. A thaobh dàta neo-riaghailteach, chan eil fios againn ro-làimh dè a tha sinn a’ cumail sùil - agus is dòcha gur e seo a’ chùis as cumanta.
Dàta cunbhalach. Colbhan. Tha an sgeama sìmplidh - colbhan leis na seòrsaichean a tha a dhìth:
CREATE TABLE cpu (
created_date Date DEFAULT today(),
created_at DateTime DEFAULT now(),
time String,
tags_id UInt32, /* join to dim_tag */
usage_user Float64,
usage_system Float64,
usage_idle Float64,
usage_nice Float64,
usage_iowait Float64,
usage_irq Float64,
usage_softirq Float64,
usage_steal Float64,
usage_guest Float64,
usage_guest_nice Float64
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);Is e clàr cunbhalach a tha seo a bhios a’ cumail sùil air gnìomhachd luchdachadh siostaim air choireigin (-cleachdaidh, siostam, neo-eisimeileach, snog). Simple agus goireasach, ach chan eil sùbailte. Ma tha sinn ag iarraidh sgeama nas sùbailte, faodaidh sinn arrays a chleachdadh.
Dàta neo-riaghailteach. Arrays:
CREATE TABLE cpu_alc (
created_date Date,
created_at DateTime,
time String,
tags_id UInt32,
metrics Nested(
name LowCardinality(String),
value Float64
)
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);
SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...
structar Neadaichte tha dà shreath ann: metrics.name и meatrach.luach. An seo faodaidh tu an leithid de dhàta sgrùdaidh neo-riaghailteach a stòradh mar raon de dh’ ainmean agus sreath de thomhasan airson gach tachartas. Airson tuilleadh optimization, an àite aon structar mar sin, faodaidh tu grunn a dhèanamh. Mar eisimpleir, aon airson seòladh-luach, eile - airson int- a 'ciallachadh air sgàth int Tha mi airson stòradh nas èifeachdaiche.
Ach tha structar mar seo nas duilghe faighinn thuige. Feumaidh tu togail sònraichte a chleachdadh, a 'cleachdadh gnìomhan sònraichte gus luachan a' chlàr-amais a tharraing a-mach an toiseach agus an uairsin an t-sreath:
SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...Ach tha e fhathast ag obair gu math luath. Is e dòigh eile air dàta neo-riaghailteach a stòradh le sreath.
Dàta neo-riaghailteach. Sreangan. Anns an dòigh thraidiseanta seo, às aonais arrays, tha ainmean agus luachan air an stòradh aig an aon àm. Ma thig 5 tomhas bho aon inneal aig an aon àm, thèid 000 sreath a chruthachadh san stòr-dàta:
CREATE TABLE cpu_rlc (
created_date Date,
created_at DateTime,
time String,
tags_id UInt32,
metric_name LowCardinality(String),
metric_value Float64
) ENGINE = MergeTree(created_date, (metric_name, tags_id, created_at), 8192);
SELECT
maxIf(metric_value, metric_name = 'usage_user'),
...
FROM cpu_r
WHERE metric_name IN ('usage_user', ...)
Cliog Taigh dèiligeadh ri seo - tha leudachadh sònraichte aige Cliog Taigh SQL. Mar eisimpleir maxIf - gnìomh sònraichte a bhios ag obrachadh a-mach an ìre as àirde le meatrach nuair a thèid cuid de chumha a choileanadh. Faodaidh tu grunn abairtean mar sin a sgrìobhadh ann an aon iarrtas agus sa bhad obrachadh a-mach an luach airson grunn mheatrics.
Dèan coimeas eadar trì dòighean-obrach:
An seo tha mi air “Disk Data Size” a chuir ris airson cuid de sheata dàta deuchainn. A thaobh colbhan, tha am meud dàta as lugha againn: an teannachadh as àirde, an astar ceiste as àirde, ach bidh sinn a’ pàigheadh le bhith a’ clàradh a h-uile càil aig an aon àm.
Ann an cùis arrays, tha a h-uile dad beagan nas miosa. Tha an dàta fhathast air a dhlùthadh gu math agus faodar pàtran neo-riaghailteach a stòradh. Ach Cliog Taigh - stòr-dàta colbh, agus nuair a thòisicheas sinn a’ stòradh a h-uile càil ann an sreath, bidh e a ’tionndadh gu sreath a h-aon, agus bidh sinn a’ pàigheadh airson sùbailteachd le èifeachdas. Airson gnìomhachd sam bith, feumaidh tu an raon gu lèir a leughadh mar chuimhne, an uairsin lorg an eileamaid a tha thu ag iarraidh ann - agus ma dh’ fhàsas an raon, bidh an astar a ’crìonadh.
Ann an aon de na companaidhean a chleachdas an dòigh-obrach seo (mar eisimpleir, ), tha arrays air an gearradh ann am pìosan de 128 eileamaidean. Tha dàta bho ghrunn mhìltean meatrach le tomhas-lìonaidh de 200 TB de dhàta / latha air a stòradh chan ann ann an aon raon, ach ann an 10 no 30 arrays le loidsig stòraidh sònraichte.
Tha an dòigh-obrach as sìmplidh le sreathan. Ach tha an dàta air a dhlùthadh gu dona, tha meud a ’bhùird mòr, agus eadhon nuair a tha ceistean stèidhichte air grunn mheatairean, chan eil ClickHouse ag obair mar as fheàrr.
Sgeama tar-chinealach
Gabhaidh sinn ris gu bheil sinn air cuairteachadh array a thaghadh. Ach ma tha fios againn nach eil a’ mhòr-chuid de na clàran-dannsa againn a’ sealltainn ach tomhasan luchd-cleachdaidh is siostam, is urrainn dhuinn cuideachd na meatrach sin a thoirt a-steach gu colbhan bho raon aig ìre a’ bhùird san dòigh seo:
CREATE TABLE cpu_alc (
created_date Date,
created_at DateTime,
time String,
tags_id UInt32,
metrics Nested(
name LowCardinality(String),
value Float64
),
usage_user Float64
MATERIALIZED metrics.value[indexOf(metrics.name,'usage_user')],
usage_system Float64
MATERIALIZED metrics.value[indexOf(metrics.name,'usage_system')]
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);
Nuair a chuireas tu a-steach Cliog Taigh bidh iad gan cunntadh gu fèin-ghluasadach. Mar seo faodaidh tu gnìomhachas a chur còmhla le toileachas: tha an sgeama sùbailte agus coitcheann, ach tha sinn air na colbhan as cumanta a tharraing a-mach. Thoir an aire nach robh feum air seo atharrachadh an cuir a-steach agus ETLa tha a 'leantainn air adhart a' cur a-steach arrays a-steach don bhòrd. Rinn sinn dìreach ALTER TABLE, chuir sinn ris no dhà de luchd-labhairt agus fhuair sinn sgeama tar-chinealach agus nas luaithe as urrainn dhut tòiseachadh a’ cleachdadh anns a’ bhad.
Codecs agus compression
airson sreath-ùine Tha e cudromach dè cho math ‘s a bhios tu a’ pacadh an dàta oir faodaidh an ìre fiosrachaidh a bhith glè mhòr. ANNS Cliog Taigh Tha seata innealan ann gus buaidh teannachaidh de 1:10, 1:20, agus uaireannan barrachd a choileanadh. Tha seo a’ ciallachadh gun toir 1 TB de dhàta gun phacaid air an diosc suas 50-100 GB. Tha meud nas lugha math, faodar dàta a leughadh agus a phròiseasadh nas luaithe.
Gus ìre àrd de dhlùthadh a choileanadh, Cliog Taigh a 'toirt taic do na codecs a leanas:
Clàr eisimpleir:
CREATE TABLE benchmark.cpu_codecs_lz4 (
created_date Date DEFAULT today(),
created_at DateTime DEFAULT now() Codec(DoubleDelta, LZ4),
tags_id UInt32,
usage_user Float64 Codec(Gorilla, LZ4),
usage_system Float64 Codec(Gorilla, LZ4),
usage_idle Float64 Codec(Gorilla, LZ4),
usage_nice Float64 Codec(Gorilla, LZ4),
usage_iowait Float64 Codec(Gorilla, LZ4),
usage_irq Float64 Codec(Gorilla, LZ4),
usage_softirq Float64 Codec(Gorilla, LZ4),
usage_steal Float64 Codec(Gorilla, LZ4),
usage_guest Float64 Codec(Gorilla, LZ4),
usage_guest_nice Float64 Codec(Gorilla, LZ4),
additional_tags String DEFAULT ''
)
ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);An seo tha sinn a’ mìneachadh an codec DoubleDelta ann an aon chùis, anns an dàrna - Gorilla, agus gu cinnteach cuiridh sinn barrachd ris LZ4 dlùthadh. Mar thoradh air an sin, tha meud an dàta air diosc air a lughdachadh gu mòr:
Tha seo a’ sealltainn na tha de rùm anns an aon dàta, ach a’ cleachdadh diofar codecs agus compressions:
- ann am faidhle GZIP air diosg;
- ann an ClickHouse às aonais codecs, ach le teannachadh ZSTD;
- ann an ClickHouse le codecs agus teannachadh LZ4 agus ZSTD.
Chìthear gu bheil bùird le codecs a’ gabhail mòran nas lugha de rùm.
Tha meud a 'buntainn
Gun a bhith cho cudromach seòrsa dàta ceart:
Anns na h-eisimpleirean gu h-àrd a chleachd mi Snàmh64. Ach ma thagh sinn Snàmh32, an uairsin bhiodh sin eadhon nas fheàrr. Bha seo air a dhearbhadh gu math leis na balaich bho Perkona san artaigil ceangailte gu h-àrd. Tha e cudromach an seòrsa as toinnte a chleachdadh a tha iomchaidh airson na h-obrach: eadhon nas lugha airson meud diosc na airson astar ceist. Cliog Taigh glè mhothachail air seo.
Mas urrainn dhut a chleachdadh eadar 32 an àite eadar 64, an uairsin bi an dùil àrdachadh cha mhòr dà-fhillte ann an coileanadh. Bidh an dàta a’ gabhail nas lugha de chuimhne, agus bidh an “àireamhachdach” uile ag obair fada nas luaithe. Cliog Taigh air an taobh a-staigh tha e na shiostam air a chlò-bhualadh gu math teann; bidh e a’ dèanamh an fheum as motha de na cothroman a tha siostaman an latha an-diugh a’ toirt seachad.
Co-chruinneachadh agus Seallaidhean tàbhachdach
Leigidh cruinneachadh agus seallaidhean tàbhachdach dhut cruinneachaidhean a chruthachadh airson diofar amannan:
Mar eisimpleir, is dòcha gu bheil dàta tùsail neo-cho-chruinnichte agad, agus faodaidh tu diofar bheachdan susbainteach a cheangal riutha le suimean fèin-ghluasadach tro einnsean sònraichte SummingMergeTree (SMT). SMT Is e structar dàta cruinneachaidh sònraichte a th’ ann a bhios a’ tomhas cruinneachaidhean gu fèin-ghluasadach. Tha dàta amh air a chuir a-steach don stòr-dàta, thèid a chruinneachadh gu fèin-ghluasadach, agus faodar clàran-bùird a chleachdadh sa bhad air.
TTL - “dìochuimhnich” seann dàta
Ciamar a “dìochuimhneachadh” dàta nach eil a dhìth tuilleadh? Cliog Taigh tha fios aige ciamar a nì thu seo. Nuair a chruthaicheas tu clàran, faodaidh tu sònrachadh TTL abairtean: mar eisimpleir, gum bi sinn a’ stòradh dàta mionaid airson aon latha, dàta làitheil airson 30 latha, agus nach bi sinn a’ suathadh ri dàta seachdaineil no mìosail:
CREATE TABLE aggr_by_minute
…
TTL time + interval 1 day
CREATE TABLE aggr_by_day
…
TTL time + interval 30 day
CREATE TABLE aggr_by_week
…
/* no TTL */
Ioma-ìre - roinn dàta thairis air diosgan
A’ toirt a’ bheachd seo nas fhaide, faodar dàta a stòradh a-steach Cliog Taigh ann an diofar àiteachan. Seach gu bheil sinn airson dàta teth a stòradh airson na seachdain a chaidh seachad air ionadail gu math luath SSD, agus chuir sinn barrachd dàta eachdraidheil ann an àite eile. ANNS Cliog Taigh tha seo a-nis comasach:
Faodaidh tu poileasaidh stòraidh a rèiteachadh (poileasaidh stòraidh) Mar sin Cliog Taigh gluaisidh e dàta gu fèin-ghluasadach nuair a ruigeas e suidheachaidhean sònraichte gu stòradh eile.
Ach chan e sin uile. Aig ìre clàr sònraichte, faodaidh tu riaghailtean a mhìneachadh airson dìreach nuair a thèid an dàta a-steach do stòradh fuar. Mar eisimpleir, tha dàta air a stòradh air diosc gu math luath airson 7 latha, agus thèid a h-uile dad a tha nas sine a ghluasad gu fear slaodach. Tha seo math oir leigidh e leat an siostam a chumail aig an ìre as àirde de choileanadh, fhad ‘s a chumas tu smachd air cosgaisean agus gun a bhith a’ caitheamh airgead air dàta fuar:
CREATE TABLE
...
TTL date + INTERVAL 7 DAY TO VOLUME 'cold_volume',
date + INTERVAL 180 DAY DELETE
Cothroman gun samhail Cliog Taigh
Ann an cha mhòr a h-uile càil Cliog Taigh Tha “prìomh thachartasan” ann, ach tha iad air an cuir an aghaidh le toirmeasg - rud nach eil ann an stòran-dàta eile. Mar eisimpleir, seo cuid de na feartan sònraichte Cliog Taigh:
- Arrays. Tha a ' Cliog Taigh taic fìor mhath airson arrays, a bharrachd air an comas àireamhachadh iom-fhillte a dhèanamh orra.
- A’ cruinneachadh structaran dàta. Is e seo aon de na “feartan marbhtach” Cliog Taigh. A dh 'aindeoin gu bheil na balaich bho Yandex ag ràdh nach eil sinn airson dàta a chruinneachadh, tha a h-uile dad air a chruinneachadh Cliog Taigh, oir tha e luath agus goireasach.
- Seallaidhean tàthaichte. Còmhla ri structaran dàta cruinneachaidh, leigidh seallaidhean tàbhachdach dhut a bhith goireasach fìor-ùine cruinneachadh.
- Cliog Taigh SQL. Is e leudachadh cànain a tha seo SQL le cuid de fheartan a bharrachd agus toirmeasgach nach eil rim faighinn ach ann an Cliog Taigh. Roimhe sin, bha e coltach ri leudachadh air an aon làimh, agus ana-cothrom air an taobh eile. A-nis cha mhòr a h-uile eas-bhuannachdan an coimeas ri SQL 92 thug sinn air falbh e, a-nis chan eil ann ach leudachadh.
- lambda- abairtean. A bheil iad fhathast ann an stòr-dàta sam bith?
- ML-taice. Tha seo ri fhaighinn ann an diofar stòran-dàta, tha cuid nas fheàrr, cuid nas miosa.
- Stòr fosgailte. Faodaidh sinn leudachadh Cliog Taigh còmhla. A-nis a-steach Cliog Taigh timcheall air 500 com-pàirtiche, agus tha an àireamh seo a’ sìor fhàs.
Ceistean duilich
В Cliog Taigh tha iomadh dòigh eadar-dhealaichte ann air an aon rud a dhèanamh. Mar eisimpleir, faodaidh tu an luach mu dheireadh a thilleadh bho bhòrd ann an trì dòighean eadar-dhealaichte airson CPU (tha ceathramh ann cuideachd, ach tha e eadhon nas iomallaiche).
Tha a’ chiad fhear a’ sealltainn cho goireasach sa tha e a dhèanamh a-staigh Cliog Taigh ceistean nuair a tha thu airson sin a dhearbhadh tuple air a ghabhail a-steach san subquery. Is e seo rudeigin a bha mi gu pearsanta ag ionndrainn gu mòr ann an stòran-dàta eile. Ma tha mi airson coimeas a dhèanamh eadar rudeigin agus subquery, an uairsin ann an stòran-dàta eile chan urrainnear ach scalar a choimeas ris, ach airson grunn cholbhan feumaidh mi sgrìobhadh Co-aoinn. Tha a ' Cliog Taigh faodaidh tu tuple a chleachdadh:
SELECT *
FROM cpu
WHERE (tags_id, created_at) IN
(SELECT tags_id, max(created_at)
FROM cpu
GROUP BY tags_id)Bidh an dàrna dòigh a’ dèanamh an aon rud ach a’ cleachdadh gnìomh iomlan argMax:
SELECT
argMax(usage_user), created_at),
argMax(usage_system), created_at),
...
FROM cpu В Cliog Taigh tha grunn dhusan gnìomh iomlan ann, agus ma chleachdas tu combinators, an uairsin a rèir laghan combinatorics gheibh thu timcheall air mìle dhiubh. ArgMax - aon de na gnìomhan a bhios a’ tomhas an luach as àirde: tillidh an t-iarrtas an luach cleachdaidh_cleachdaiche, aig a bheil an luach as àirde air a ruighinn chruthaich_aig:
SELECT now() as created_at,
cpu.*
FROM (SELECT DISTINCT tags_id from cpu) base
ASOF LEFT JOIN cpu USING (tags_id, created_at)
Thig còmhla ASOF - “gluing” sreathan le amannan eadar-dhealaichte. Is e feart sònraichte a tha seo airson stòran-dàta nach eil ri fhaighinn ach ann an kdb+. Ma tha dà shreath ùine ann le amannan eadar-dhealaichte, Thig còmhla ASOF a’ leigeil leat an gluasad agus an cur còmhla ann an aon iarrtas. Airson gach luach ann an aon sreath ùine, lorgar an luach as fhaisge anns an fhear eile, agus thèid an tilleadh air an aon loidhne:
Gnìomhan Anailitigeach
Anns an inbhe SQL-2003 faodaidh tu sgrìobhadh mar seo:
SELECT origin,
timestamp,
timestamp -LAG(timestamp, 1) OVER (PARTITION BY origin ORDER BY timestamp) AS duration,
timestamp -MIN(timestamp) OVER (PARTITION BY origin ORDER BY timestamp) AS startseq_duration,
ROW_NUMBER() OVER (PARTITION BY origin ORDER BY timestamp) AS sequence,
COUNT() OVER (PARTITION BY origin ORDER BY timestamp) AS nb
FROM mytable
ORDER BY origin, timestamp;
В Cliog Taigh Chan urrainn dhut sin a dhèanamh - chan eil e a’ toirt taic don ìre SQL-2003 agus is dòcha nach dèan e gu bràth. An àite sin, ann an Cliog Taigh Tha e àbhaisteach sgrìobhadh mar seo:
Gheall mi lambdas - seo iad!
Is e seo analogue den cheist anailis anns an inbhe SQL-2003: tha e aireamh an eadar-dhealachaidh a tha eadar an da stampa-ama, fad, àireamh òrdail - a h-uile dad a bhios sinn mar as trice a’ beachdachadh air gnìomhan anailis. ANNS Cliog Taigh Bidh sinn gan cunntadh tro arrays: an toiseach bidh sinn a’ tuiteam an dàta ann an sreath, às deidh sin bidh sinn a ’dèanamh a h-uile dad a tha sinn ag iarraidh air an raon, agus an uairsin bidh sinn ga leudachadh air ais. Chan eil e gu math goireasach, feumaidh e gaol air prògramadh gnìomh aig a’ char as lugha, ach tha e gu math sùbailte.
Dreuchdan sònraichte
A bharrachd air an sin, ann an Cliog Taigh iomadh gnìomh sònraichte. Mar eisimpleir, ciamar a cho-dhùineas cia mheud seisean a tha a’ gabhail àite aig an aon àm? Is e obair sgrùdaidh àbhaisteach a bhith a’ dearbhadh an luchd as àirde le aon iarrtas. ANNS Cliog Taigh Tha gnìomh sònraichte ann airson an adhbhar seo:
San fharsaingeachd, tha gnìomhan sònraichte aig ClickHouse airson iomadh adhbhar:
- ruithDifference, runningAccumulate, nàbaidh;
- SumMap (iuchair, luach);
- timeSeriesGroupSum(uid, stampa-ama, luach);
- timeSeriesGroupRateSum(uid, stampa-ama, luach);
- skewPop, skewSamp, kurtPop, kurtSamp;
- WITH FILL / WITH TIES;
- ais-thionndadh loidhneach sìmplidh, tilleadh loidhneach stochastic.
Chan e liosta iomlan de ghnìomhan a tha seo, tha 500-600 ann uile gu lèir. Sanas: a h-uile gnìomh a-steach Cliog Taigh tha e ann an clàr an t-siostaim (chan eil iad uile air an clàradh, ach tha iad uile inntinneach):
select * from system.functions order by nameCliog Taigh bidh e a’ stòradh tòrr fiosrachaidh mu dheidhinn fhèin, a’ gabhail a-steach clàran log, ceist_log, log lorg, log gnìomhachd le blocaichean dàta (pàirt_log), log meatrach, agus log siostam, a bhios e mar as trice a’ sgrìobhadh gu diosc. Tha metrics log sreath-ùine в Cliog Taigh dha-rìribh Cliog Taigh: Faodaidh pàirt a bhith aig an stòr-dàta fhèin sreath-ùine stòran-dàta, mar sin “caitheamh” e fhèin.
Is e rud sònraichte a tha seo cuideachd - leis gu bheil sinn a’ dèanamh obair mhath air a shon sreath-ùine, carson nach urrainn dhuinn a h-uile dad a tha a dhìth oirnn a stòradh annainn fhìn? Chan fheum sinn Prometheus, bidh sinn a 'cumail a h-uile càil dhuinn fhìn. Ceangailte grafana agus bidh sinn a’ cumail sùil oirnn fhìn. Ge-tà, ma tha Cliog Taigh tuiteam, chan fhaic sinn carson, agus mar sin mar as trice cha bhith iad a’ dèanamh sin.
Buidheann mòr no mòran de fheadhainn bheaga Cliog Taigh
Dè a tha nas fheàrr - aon bhuidheann mòr no mòran de thaighean beaga Click? Dòigh-obrach traidiseanta gu DWH na chruinneachadh mòr anns a bheil cuairtean air an riarachadh airson gach tagradh. Thàinig sinn gu rianadair an stòr-dàta - thoir dhuinn diagram, agus thug iad dhuinn fear:
В Cliog Taigh faodaidh tu a dhèanamh ann an dòigh eadar-dhealaichte. Faodaidh tu gach tagradh a dhèanamh leat fhèin Cliog Taigh:
Chan fheum sinn am fear mòr monstrous tuilleadh DWH agus luchd-riaghlaidh do-sheachanta. Faodaidh sinn a chuid fhèin a thoirt do gach tagradh Cliog Taigh, agus faodaidh an leasaiche a dhèanamh e fhèin, oir Cliog Taigh gu math furasta a stàladh agus chan eil feum air rianachd iom-fhillte:
Ach ma tha tòrr againn Cliog Taigh, agus feumaidh tu a stàladh gu tric, an uairsin bidh thu airson am pròiseas seo a dhèanamh fèin-ghluasadach. Airson seo faodaidh sinn, mar eisimpleir, a chleachdadh Kubernetes и taigh-cliog- gnìomhaiche. ANNS Taigh-cliog Kubernetes faodaidh tu “air-cliog” a chuir air: is urrainn dhomh putan a bhriogadh, am manifesto a ruith agus tha an stòr-dàta deiseil. Is urrainn dhomh diagram a chruthachadh sa bhad, tòiseachadh air metrics a luchdachadh suas an sin, agus ann an 5 mionaidean tha deas-bhòrd agam deiseil grafana. Tha e cho sìmplidh!
Dè anns a 'cheann thall?
Agus mar sin, Cliog Taigh - Is e seo:
- Fast. Tha fios aig a h-uile duine air seo.
- Dìreach. Beagan connspaideach, ach tha mi a 'creidsinn gu bheil e doirbh ann an trèanadh, furasta ann an sabaid. Ma tha thu a 'tuigsinn ciamar Cliog Taigh bidh e ag obair, an uairsin tha a h-uile dad gu math sìmplidh.
- Gu h-iomlan. Tha e freagarrach airson diofar shuidheachaidhean: DWH, Sreath Ùine, Stòradh Log. Ach chan eil OLTP stòr-dàta, mar sin na feuch ri cuir a-steach goirid agus leughaidhean an sin.
- Inntinneach. Is dòcha gur e am fear a tha ag obair leis Cliog Taigh, eòlas fhaighinn air mòran amannan inntinneach ann an seagh math agus dona. Mar eisimpleir, thàinig brath ùr a-mach, stad a h-uile càil ag obair. No nuair a bha duilgheadas agad le gnìomh airson dà latha, ach às deidh dhut ceist fhaighneachd ann an cabadaich Telegram, chaidh a ’ghnìomh fhuasgladh ann an dà mhionaid. No mar aig a’ cho-labhairt aig aithisg Lesha Milovidov, dealbh-sgrìn bho Cliog Taigh bhris an craoladh HighLoad ++. Bidh an seòrsa rud seo a’ tachairt fad na h-ùine agus a’ dèanamh ar beatha duilich. Cliog Taigh soilleir agus inntinneach!
Faodaidh tu coimhead air an taisbeanadh .
A’ choinneamh ris an robhar a’ feitheamh o chionn fhada de luchd-leasachaidh siostaman làn luchd aig thèid a chumail air 9 agus 10 Samhain ann an Skolkovo. Mu dheireadh, is e co-labhairt far-loidhne a bhios an seo (ged a tha a h-uile rabhadh na àite), leis nach urrainn lùth HighLoad ++ a phacaigeadh air-loidhne.
Airson a 'cho-labhairt, bidh sinn a' lorg agus a 'sealltainn chùisean dhut mu na comasan as àirde de theicneòlas: bha HighLoad ++, agus bidh e mar an aon àite far an ionnsaich thu ann an dà latha mar a tha Facebook, Yandex, VKontakte, Google agus Amazon ag obair.
An dèidh ar coinneamhan a chumail gun bhriseadh bho 2007, am-bliadhna coinnichidh sinn airson an 14mh turas. Rè na h-ùine seo, tha a’ cho-labhairt air fàs 10 tursan; an-uiridh, thug prìomh thachartas a’ ghnìomhachais còmhla 3339 com-pàirtiche, 165 neach-labhairt, aithisgean agus coinneamhan, agus bha 16 slighean a’ ruith aig an aon àm.
An-uiridh bha 20 bus ann, 5280 liotair de thì is cofaidh, 1650 liotair de dheochan measan agus 10200 botail uisge. Agus 2640 cileagram eile de bhiadh, 16 truinnsear agus 000 cupan. Co-dhiù, leis an airgead a chaidh a thogail bho phàipear ath-chuartaichte, chuir sinn 25 sìol-chraobhan daraich :)Faodaidh tu tiogaidean a cheannach , faigh naidheachdan mun cho-labhairt - , agus bruidhinn air a h-uile lìonra sòisealta: , , и .
Source: www.habr.com