Awgrymaf ichi ddarllen trawsgrifiad adroddiad 2017 gan Igor Stryhar “ClickHouse - dadansoddiad data cyflym a chlir yn weledol yn Tabix.”
Rhyngwyneb gwe ar gyfer ClickHouse yn y prosiect Tabix.
Nodweddion Allweddol:
- Yn gweithio gyda ClickHouse yn uniongyrchol o'r porwr, heb fod angen gosod meddalwedd ychwanegol;
- Golygydd ymholiad gydag aroleuo cystrawen;
- Awtolenwi gorchmynion;
- Offer ar gyfer dadansoddiad graffigol o gyflawni ymholiad;
- Cynlluniau lliw i ddewis ohonynt.
Fi yw cyfarwyddwr technegol SMI2. Rydym yn gydgrynwr newyddion cyfnewid newyddion. Rydym yn storio llawer o ddata a gawn gan ein partneriaid ac yn ei gofrestru yn ClickHouse - tua 30 o geisiadau yr eiliad.
Dyma ddata fel:
- Cliciau ar newyddion.
- Arddangosiadau newyddion yn y cydgrynhoad.
- Arddangosfeydd baneri ar ein rhwydwaith.
- Ac rydym yn cofrestru digwyddiadau o'n cownter ein hunain, sy'n debyg i Yandex.Metrica. Dyma ein micro-ddadansoddeg ein hunain.
Cawsom fywyd prysur iawn cyn ClickHouse. Fe wnaethon ni ddioddef llawer, gan geisio storio'r data hwn yn rhywle a'i ddadansoddi rywsut.
Bywyd cyn ClickHouse - infiniDB
Y peth cyntaf a gawsom oedd infiniDB. Bu'n byw gyda ni am 4 blynedd. Fe wnaethom ei lansio gydag anhawster.
- Nid yw'n cefnogi clystyru neu ddarnio. Ni ddaeth unrhyw bethau smart o'r fath allan o'r bocs yn ddiofyn.
- Mae hi'n cael trafferth llwytho data. Dim ond cyfleustodau consol penodol y gallai dim ond llwytho ffeiliau CSV a dim ond mewn rhyw ffordd aneglur iawn.
- Mae'r gronfa ddata yn un edau. Gallech naill ai ysgrifennu neu ddarllen. Ond fe'i gwnaeth yn bosibl prosesu llawer iawn o ddata.
- Ac roedd ganddi fagnel diddorol hefyd. Bob nos roedd yn rhaid ailgychwyn y gweinydd, fel arall ni fyddai'n gweithio.
Bu'n gweithio i ni tan ddiwedd 2016, pan wnaethom newid yn llwyr i ClickHouse.
Bywyd cyn ClickHouse – Cassandra
Gan fod infiniDB yn un edau, fe wnaethom benderfynu bod angen rhyw fath o gronfa ddata aml-edau arnom lle gallem ysgrifennu llawer o edafedd ar yr un pryd.
Fe wnaethon ni drio llawer o bethau diddorol. Wedyn penderfynon ni roi cynnig ar Cassandra. Roedd popeth yn wych gyda Cassandra. 10 o geisiadau yr eiliad y bid. 000 o geisiadau yn rhywle i'w darllen.
Ond roedd ganddi hefyd ei diddordebau ei hun. Unwaith y mis neu unwaith bob deufis cafodd brofiad o ddadgydamseru cronfa ddata. Ac roedd yn rhaid i mi ddeffro a rhedeg i drwsio Cassandra. Ailddechreuwyd y gweinyddion fesul un. A daeth popeth yn llyfn ac yn hardd.
Bywyd cyn ClickHouse – Druid
Yna sylweddolon ni fod angen i ni ysgrifennu hyd yn oed mwy o ddata. Yn 2016 dechreuon ni wylio Druid.
Mae Druid yn feddalwedd ffynhonnell agored a ysgrifennwyd yn Java. Penodol iawn. Ac roedd yn addas ar gyfer clickstream, pan fydd angen i ni storio rhyw fath o ffrwd o ddigwyddiadau ac yna perfformio agregu arnynt neu wneud adroddiadau dadansoddol.
Roedd gan Druid fersiwn 0.9.X.
Mae'r gronfa ddata ei hun yn anodd iawn i'w defnyddio. Dyma gymhlethdod y seilwaith. Er mwyn ei ddefnyddio, roedd angen gosod llawer, llawer o haearn. Ac roedd pob darn o galedwedd yn gyfrifol am ei rôl ar wahân ei hun.
I lwytho data i mewn iddo, roedd angen defnyddio rhyw fath o siamaniaeth. Mae yna brosiect OpenSource - Tranquility, a oedd yn colli data gennym ni mewn nant. Pan wnaethom lwytho data i mewn iddo, fe'i collodd.
Ond rhywsut fe ddechreuon ni ei roi ar waith. Fe ddechreuon ni, fel draenogod a oedd yn cymryd cyffuriau ond yn parhau i fwyta cactws, ei gyflwyno. Cymerodd tua mis i ni baratoi’r holl seilwaith ar ei gyfer. Hynny yw, trefnwch weinyddion, ffurfweddu rolau, ac awtomeiddio'r defnydd yn llawn. Hynny yw, os bydd clwstwr yn methu, bydd yr ail glwstwr yn cael ei ddefnyddio'n awtomatig.
Ond yna digwyddodd gwyrth. Roeddwn ar wyliau ac anfonodd fy nghydweithwyr ddolen i mi , sy'n dweud bod Yandex wedi penderfynu agor ClickHouse. Rwy'n dweud gadewch i ni roi cynnig arni.
Ac yn llythrennol mewn 2 ddiwrnod fe wnaethom ddefnyddio clwstwr prawf ClickHouse. Dechreuon ni lwytho data i mewn iddo. O'i gymharu ag infiniDB, mae hyn yn elfennol; o'i gymharu â Derwydd, mae hyn yn elfennol. O'i gymharu â Cassandra, mae hefyd yn elfennol. Oherwydd os ydych chi'n llwytho data o PHP i mewn i Cassandra, yna nid yw hyn yn elfennol.
Beth gawson ni? Perfformiad mewn cyflymder. Perfformiad o ran storio data. Hynny yw, defnyddir llawer llai o le ar y ddisg. Mae ClickHouse yn gyflym, mae'n gyflym iawn o'i gymharu â chynhyrchion eraill.
Ar adeg ei lansio, pan gyhoeddodd Yandex ClickHouse yn OpenSource, dim ond cleient consol oedd yno. Fe benderfynon ni yn ein cwmni SMI2 geisio gwneud cleient brodorol ar gyfer y we, fel y gallem agor tudalen o borwr, ysgrifennu cais a chael y canlyniad, oherwydd fe ddechreuon ni ysgrifennu llawer o geisiadau. Mae ysgrifennu yn y consol yn anodd. Ac fe wnaethon ni ein fersiwn gyntaf.
Ac yn nes at aeaf y llynedd, dechreuodd offer trydydd parti ar gyfer gweithio gyda ClickHouse ymddangos. Mae'r rhain yn offer fel:
- .
- .
- . (Nawr )
- .
- .
Edrychaf ar rai o'r arfau hyn, hynny yw, y rhai yr wyf wedi gweithio gyda hwy.
Offeryn da, ond i Dderwydd. Pan oedd Druid yn cael ei weithredu, roeddwn yn profi SuperSet. Roeddwn i'n ei hoffi. I Derwydd mae'n gyflym iawn.
Nid yw'n addas ar gyfer ClickHouse. Hynny yw, mae'n cyd-fynd, mae'n dechrau, ond mae'n barod i brosesu ymholiadau elfennol yn unig fel: digwyddiad SELECT, GRŴP YN ÔL digwyddiad. Nid yw'n cefnogi'r gystrawen ClickHouse mwy cymhleth.
Yr offeryn nesaf yw Apache Zeppelin. Mae hyn yn beth da a diddorol. Yn gweithio. Mae'n cefnogi llyfrau nodiadau, dangosfyrddau, ac yn cefnogi newidynnau. Rwy'n gwybod bod rhywun yn y gymuned ClickHouse yn ei ddefnyddio.
Ond nid oes unrhyw gefnogaeth i gystrawen ClickHouse, h.y. bydd yn rhaid i chi ysgrifennu ymholiadau naill ai yn y consol neu yn rhywle arall. Nesaf, gwiriwch fod y cyfan yn gweithio. Mae'n anghyfleus yn unig. Ond mae ganddo gefnogaeth dangosfwrdd da.
Yr offeryn nesaf yw Redash.IO. Mae Redash yn cael ei gynnal ar y Rhyngrwyd. Hynny yw, yn wahanol i offer blaenorol, nid oes angen ei osod. Ac mae hwn yn dangosfwrdd gyda'r gallu i gydgrynhoi data o wahanol Ffynonellau Data. Hynny yw, gallwch chi lawrlwytho o ClickHouse, o MySQL, o PostgreSQL ac o gronfeydd data eraill.
Dim ond mis yn ôl (Mawrth 2017), ymddangosodd cefnogaeth yn Grafana. Pan fyddwch chi'n adeiladu adroddiadau yn Grafana, er enghraifft, ar gyflwr eich caledwedd neu ar rai metrigau, nawr gallwch chi adeiladu'r un graff neu ryw fath o banel o ddata o ClickHouse yn uniongyrchol. Mae hyn yn gyfleus iawn, ac rydym yn ei ddefnyddio ein hunain. Mae hyn yn eich galluogi i ddod o hyd i anghysondebau. Hynny yw, os bydd rhywbeth yn digwydd a bod rhywfaint o galedwedd yn cwympo neu'n dod dan straen, yna gallwch chi edrych ar y rheswm os llwyddodd y data hwn i fynd i mewn i ClickHouse.
Roeddwn i'n ei chael hi'n lletchwith iawn i ysgrifennu yn yr offer hyn neu yn y consol. A phenderfynais wella ein rhyngwyneb cyntaf. A chefais y syniad gan EventSQL, SeperSet, Zeppelin.
Beth oeddech chi eisiau? Roeddwn i eisiau cael graffeg, golygydd gwell, a gweithredu cefnogaeth ar gyfer geiriaduron awgrym. Oherwydd bod gan ClickHouse nodwedd wych - geiriaduron. Ond mae'n anodd gweithio gyda geiriaduron, oherwydd mae angen i chi gofio fformat y gwerthoedd sydd wedi'u storio, h.y. ai rhif neu linyn ydyw, ac ati. A chan ein bod yn aml yn defnyddio geiriaduron yn eu gwahanol amrywiadau, roedd yn eithaf anodd ysgrifennu ymholiadau.
Mae 3 mis wedi mynd heibio ers rhyddhau ein fersiwn gyntaf. Fe wnes i tua 330 o ymrwymiadau i gangen breifat a daeth yn Tabix.
Yn wahanol i'r fersiwn flaenorol, a elwid yn ClickHouse-Frontend, penderfynais ei ailenwi i enw syml. Ac mae'n troi allan Tabix.
Beth ymddangosodd?
Yn tynnu graffiau. Yn cefnogi cystrawen ClickHouse SQL. Yn rhoi cyngor ar swyddogaethau ac yn gallu gwneud llawer o bethau diddorol.
Dyma sut olwg sydd ar gynllun cyffredinol Tabix. Ar y chwith mae coeden. Yn y canol mae golygydd yr ymholiad. Ac isod mae canlyniad y cais hwn.
Nesaf byddaf yn dangos i chi sut mae golygydd yr ymholiad yn gweithio.
Yma mae autocomplete yn gweithio'n awtomatig ar y bwrdd ac yn annog, yn unol â hynny, yn awtolenwi ar gyfer y meysydd. Ac awgrymiadau ar swyddogaethau. Os gwasgwch ctrl enter, bydd y cais yn cael ei weithredu neu'n methu â gwall. Anfonir y cais symlaf i Tabix a cheir y canlyniad, h.y. gallwch weithio'n gyflym gyda ClickHouse.
Mae geiriaduron, fel y dywedais eisoes, yn beth diddorol iawn yr ydym yn gweithio llawer ag ef. Ac a ganiataodd i ni wneud llawer o bethau. Gadewch i ni ddweud ein bod yn storio pob dinas mewn geiriaduron. Rydym yn storio dynodwr y ddinas ac enw'r ddinas, ei lledred a'i hydred. Ac yn y gronfa ddata rydym yn storio dynodwr y ddinas yn unig. Yn unol â hynny, rydym yn cywasgu'r data yn gryf iawn.
Mae hyn yn ymddangos yn beth syml, ond mae'n helpu yn ClickHouse mewn ffordd ddiddorol iawn. Oherwydd bod ClickHouse yn cefnogi uniadau nythu yn unig, mae'r ymholiad yn tyfu i lawr ac yn ddigon llydan. A phan fydd y braced yn agor a rhywfaint o fynegiant hir yn dod i mewn, yna mae rhywbeth mor syml â dymchwel yr ymholiad yn ei gwneud hi'n haws gweithio gyda'r ymholiad ei hun. Oherwydd pan fo'r ymholiad yn 200-300 o linellau o hyd ac yn enfawr iawn o led, mae'n ddefnyddiol iawn cwympo'r ymholiad ac yna dod o hyd i ryw le neu rywsut ei leoleiddio.
Coeden gwrthrych, multiqueries a tabiau (Fideo 13:46 )
Nesaf byddaf yn dangos i chi am y goeden a'r tabiau. Ar y chwith mae coeden; ar ei ben gallwch chi greu sawl tab. Mae tabiau fel gweithle. Gallwch greu sawl tab ac enwi pob un yn wahanol. Mae fel system fach ar gyfer llunio adroddiad.
Mae tabiau'n cael eu cadw'n awtomatig. Os byddwch yn ailgychwyn eich porwr neu'n cau neu agor Tabix, bydd hyn i gyd yn cael ei gadw.
Hotkey - cyfleus (Fideo 14:39 )
Mae yna hotkeys ac mae yna lawer iawn ohonyn nhw. Rwyf wedi echdynnu rhai ohonynt yma fel enghraifft. Mae hyn yn golygu newid tabiau, gweithredu cais neu weithredu sawl cais.
Byddaf yn dangos i chi sut i weithio gyda'r canlyniad. Rydym yn anfon cais. Dyma fi yn tynnu pechod, cos a tg. Gallwch dynnu sylw at y canlyniad, h.y. llunio map nodweddiadol ar gyfer colofn. Gallwch amlygu gwerthoedd cadarnhaol neu negyddol. Neu yn syml lliwio elfen bwrdd penodol. Mae hyn yn gyfleus pan fo'r bwrdd yn enfawr ac mae angen ichi ddod o hyd i rywfaint o anghysondeb gyda'ch llygaid. Pan oeddwn yn chwilio am anghysondebau, amlygais rai llinellau, rhai elfennau mewn gwyrdd neu goch.
Mae yna lawer o bethau diddorol yno. Er enghraifft, sut i gopïo i Redmine Markdown. Os oes angen i chi gopïo'r canlyniad yn rhywle, mae hyn yn gyfleus iawn. Yn syml, gallwch ddewis ardal, dweud “Copy to Redmine” a bydd yn copïo i Redmine Markdown neu'n creu ymholiad Ble.
Nesaf yw optimeiddio ymholiad. Anghofiais unwaith nodi'r maes “dyddiad”. Ac ni phroseswyd fy nghais yn ClickHouse yn gyflym iawn, iawn, ond yn gyflym, h.y. llai nag eiliad. Pan welais faint o linellau yr oedd yn rhedeg drwyddynt, daeth ofn arnaf. Nid ydym yn ysgrifennu cymaint o resi i'r tabl hwn mewn diwrnod. Dechreuais ddadansoddi'r cais a gweld fy mod wedi methu dyddiad mewn un lle. Hynny yw, anghofiais nodi nad oes angen data arnaf ar gyfer y tabl cyfan, ond am gyfnod penodol.
Mae gan Tabix dab “Ystadegau”, sy'n storio holl hanes y ceisiadau a anfonwyd, h.y. yno gallwch weld faint o linellau a ddarllenwyd gan y cais hwn a faint o amser a gymerodd i'w gweithredu. Mae hyn yn caniatáu optimeiddio.
Gallwch chi adeiladu tabl colyn dros ganlyniad yr ymholiad. Fe wnaethoch chi anfon cais i ClickHouse a derbyn rhywfaint o ddata. Ac yna gallwch chi symud y data hwn gyda'ch llygoden ac adeiladu rhyw fath o dabl colyn.
Y peth diddorol nesaf yw plotio. Gadewch i ni ddweud bod gennym y cais canlynol: ar gyfer pechod, cos o 0 i 299. Ac i'w dynnu, mae angen i chi ddewis y tab “Draw” a byddwch yn cael graff gyda'ch sin a cos.
Gallwch chi rannu hwn yn echelinau gwahanol, h.y. gallwch chi lunio dau graff ochr yn ochr ar unwaith. Ysgrifennwch un gorchymyn ac ail orchymyn.
Gallwch chi dynnu histogramau.
Gallwch rannu hyn yn fatrics o graffiau.
Gallwch chi adeiladu map gwres.
Gallwch chi adeiladu calendr thermol. Gyda llaw, mae hyn yn beth cyfleus iawn pan fydd angen i chi ddadansoddi anghysondebau dros gyfnod o flwyddyn, h.y., dod o hyd i naill ai pigau neu ddiferion. Fe wnaeth y delweddu data hwn fy helpu gyda hyn.
Nesaf mae Treemap.
Mae Sankeys yn siart diddorol. Mae naill ai Streamgrahps neu River. Ond dwi'n ei alw'n Afon. Mae hefyd yn caniatáu ichi chwilio am unrhyw anghysondebau. Mae'n gyfforddus iawn. Rwy'n argymell ei ddefnyddio ar gyfer chwilio.
Y peth diddorol nesaf yw tynnu map deinamig. Os ydych chi'n storio lledred, hydred yn eich cronfa ddata ac, dyweder, yn storio cyrchfan, os oes gennych chi, er enghraifft, loriau neu awyrennau'n hedfan, yna gallwch chi dynnu llwybrau cyrchfan. Yno hefyd gallwch chi osod cyflymder a maint y gwrthrychau hyn y maen nhw'n hedfan iddynt.
Ond y broblem gyda'r map hwn yw ei fod yn tynnu map o'r byd yn unig, nid oes unrhyw fanylion.
Yn ddiweddarach ychwanegais Google map. Os ydych chi'n storio lledred, hydred, yna gallwch chi dynnu'r canlyniad ar Google map, ond heb gefnogaeth awyren.
Rydym wedi trafod prif swyddogaethau gweithio gyda chanlyniadau ac ymholiadau yn Tabix.
Mae'r un nesaf yn ddadansoddiad o'ch gweinydd ClickHouse. Mae tab “Metrics” ar wahân, lle gallwch weld maint y data sydd wedi'i storio ar gyfer pob colofn. Mae'r sgrinlun yn dangos bod y maes “atgyfeiriwr” hwn yn cymryd tua 730 Gb. Os byddwn yn cefnu ar y maes hwn, byddwn yn arbed tri darn o 700 GB yr un, h.y. tua 2 TB nad oes ei angen arnom.
Mae gennym hefyd faes "request_id" yr ydym yn ei storio mewn llinyn. Ond os byddwn yn dechrau ei storio mewn ffurf rifiadol, bydd y maes hwn yn crebachu'n aruthrol.
Mae hefyd yn dangos cyfluniad y gweinydd a rhestr o nodau yn eich clwstwr.
Y tab nesaf yw metrigau. Maent yn mynd i mewn i amser real gyda ClickHouse ac yn syml yn caniatáu ichi ddadansoddi cyflwr y gweinydd a deall beth sy'n digwydd iddo. Nid yw hwn yn cymryd lle Grafana llawn. Mae hyn yn angenrheidiol ar gyfer dadansoddiad cyflym.
Y tab nesaf yw prosesau. Oddyn nhw gallwch chi ddeall beth sy'n digwydd ar y gweinydd. Deall beth sy'n digwydd yno. Roedd gen i gais a oedd yn bwyta 200 GB o ddarllen bob tro. Gwelais hyn diolch i'r rhyngwyneb hwn. Daliais ef a'i gywiro. Ac roedd yn troi allan i fod tua 30 GB, h.y. perfformiad ar adegau.
Diolch! Ac mae yn OpenSource
Gorffennais. A gyda llaw, mae'n OpenSource, mae'n rhad ac am ddim ac nid oes angen i chi hyd yn oed ei lawrlwytho. Agorwch ef mewn porwr a bydd popeth yn gweithio.
cwestiynau
Igor, beth sydd nesaf? Ble byddwch chi'n datblygu'r offeryn hwn?
Nesaf, bydd dangosfyrddau yn ymddangos, h.y., efallai y bydd dangosfyrddau yn ymddangos. Integreiddio â chronfeydd data eraill. Fe wnes i hyn, ond nid wyf wedi ei gyhoeddi yn OpenSource eto. Dyma MySQL ac o bosibl PostgreSQL. Hynny yw, bydd yn bosibl anfon ceisiadau gan Tabix nid yn unig i ClickHouse, ond hefyd i offer eraill.
Mae’n amlwg bod llawer iawn o waith wedi’i wneud. Trodd allan i fod yn syniad eithaf cyflawn. Gwnaed hyn yn y porwr, mae'n debyg, er mwyn dileu baglau ar bob math o echelinau a thaflu'r holl beth at ei gilydd yn gyflym. Clywais eich bod ar php gwaith, felly y ffordd hawsaf yw ei deipio yn y porwr a bydd yn gweithio ym mhobman. Nid oes unrhyw gwestiynau am hyn. Y cwestiwn yw hwn. Mae llawer wedi'i wneud yno mewn gwirionedd. Faint o bobl oedd yn gweithio ar hyn? A faint o amser gymerodd y cyfan? Oherwydd fel arfer nid oes gan offer arfer cymaint o ymarferoldeb.
Bu un person o'n tîm yn gweithio o'r haf tan yr hydref. Hwn oedd y fersiwn gyntaf. Yna fe wnes i 330 o ymrwymiadau ar fy mhen fy hun. Yr hyn a welwch, fy nghydweithiwr a minnau yn ei hanner. Mewn 3 mis, o'r fersiwn gyntaf un i'r olaf, fe wnes i hynny ar fy mhen fy hun yn bennaf. Ond dydw i ddim yn gwybod Javascript yn dda iawn. Hwn oedd fy unig brosiect Javascript diwethaf y bûm yn gweithio ag ef ac, rwy'n gobeithio, hwn. Cefais, edrychais - o, arswyd. Ond roeddwn i wir eisiau gorffen y cynnyrch a dyma beth ddigwyddodd.
Diolch yn fawr iawn am yr adroddiad! Mae hwn yn arf gwych. GYDA Tablo Ydych chi wedi cymharu?
Diolch. Dyna pam yr enwais ef yn Tabix, oherwydd mae'r llythrennau cyntaf yr un peth.
Achos ti'n cystadlu?
Bydd llawer o fuddsoddiad, byddwn yn cystadlu.
Sut allwch chi gynnig gwerthu i ddadansoddwyr mewnol y bydd yr offeryn hwn yn ei ddisodli'n llwyr *Tablau*? Beth fydd y dadleuon?
Yn gweithio'n frodorol gyda ClickHouse. Rhoddais gynnig ar Tableau, ond ni allwch ysgrifennu cefnogaeth i eiriaduron a'r tebyg yno. Rwy'n gwybod sut mae pobl yn gweithio gyda Tabix. Maen nhw'n ysgrifennu ymholiad, yn ei uwchlwytho i CSV a'i uwchlwytho i BI. Ac maen nhw eisoes yn gwneud rhywbeth yno. Ond mae gen i amser caled yn dychmygu sut maen nhw'n gwneud hyn, oherwydd mae'n arf graffigol. Gall ddadlwytho 5 o resi, uchafswm o 000 o resi, ond dim mwy, fel arall ni fydd y porwr yn ymdopi.
Hynny yw, mae yna rai cyfyngiadau difrifol ar faint o ddata, iawn?
Oes. Ni allaf ddychmygu y byddech am uwchlwytho 10 o resi i'ch bwrdd ar sgrin eich porwr. Am beth?
A yw hyn yn golygu bod hwn yn rhyngwyneb ar gyfer gwylio data yn gyflym? Trowch hi ychydig, trowch e?
Ydy, gwelwch yn gyflym sut mae'n gweithio a dim ond adeiladu graff cryno. Ac yna ei roi yn rhywle. Mae gennym ein system adrodd ein hunain, ac oddi yno yr wyf yn derbyn y cais hwn. Rwy'n tynnu Tabix i mewn ac yn ei anfon i'n hadroddiad.
A chwestiwn arall. Dadansoddiad carfan?
Os oes unrhyw geisiadau, byddwn yn ei ychwanegu.
Pryd wnaethoch chi ddechrau ei ddefnyddio? ClickHouse, pa mor hir gymerodd y gweithredu? CliciwchHouse a dwyn i cyflwr cynhyrchu?
Fel y dywedais, gweithredwyd clwstwr prawf gennym mewn cyfnod byr iawn. Fe wnaethon ni ei ddefnyddio mewn dau ddiwrnod. Ac fe wnaethon ni ei brofi am ychydig wythnosau arall. Ac fe gyrhaeddon ni gynhyrchu mewn 3 mis, ond roedd gennym ni ein ETL ein hunain, h.y. offeryn ar gyfer cofnodi data. Ac efe a ysgrifennodd ym mhopeth a allai. Gall ysgrifennu yn MongoDB, Cassandra, MySQL. Roedd yn hawdd ei ddysgu sut i ysgrifennu yn ClickHouse. Roedd gennym ni seilwaith parod ar gyfer gweithredu cyflym. O fewn 3 mis fe ddechreuon ni daflu'r gydran gyntaf allan. Mewn 6 mis fe wnaethon ni gefnu ar bopeth arall yn llwyr. Dim ond un ClickHouse sydd gennym ar ôl.
Igor, diolch yn fawr iawn am yr adroddiad. Roeddwn yn hoff iawn o ymarferoldeb adeiladu llwybrau gan ddefnyddio mapiau. A oes unrhyw gynlluniau ar gyfer integreiddio â Yandex.Maps ac yn arbennig gyda Yandex.Maps arferol?
Ceisiais integreiddio yn lle Google map, ond ni wnes i ddod o hyd i thema dywyll ar Yandex.Maps. Wnes i ddim dweud un darn wrthych. Byddaf yn ailddirwyn i ychwanegu.
Sleid – map Google. Mae yna orchymyn “DRAW_GMAPS”, sy'n tynnu map. Mae yna orchymyn “DRAW_YMAPS”, h.y. gall dynnu Yandex.Map. Ond mewn gwirionedd, o dan y gorchymyn hwn mae Javascript, h.y. gellir trosglwyddo'r data a gewch gan ClickHouse i Javascript, yr ydych yn ei ysgrifennu yma. Ac mae gennych ardal allbwn lle dylid ei dynnu. Gallwch chi dynnu unrhyw graff, h.y. unrhyw graff, map, gallwch chi dynnu llun eich cydran eich hun. Cyn hyn, roedd gen i lyfrgell arall ar gyfer llunio'r graffiau eu hunain.
Hynny yw, a oes offeryn ar gyfer addasu'r swyddogaeth arddangos?
Unrhyw. Gallwch chi gymryd ac ail-liwio'r dotiau hyn, gan eu gwneud nhw ddim yn goch, ond yn las, yn wyrdd.
Diolch am yr adroddiad! Roedd gennych sleid a oedd yn cyflwyno offer ymholiad amgen CliciwchHouse ar gyfer adeiladu dangosfyrddau ac adroddiadau dadansoddol. Rwy’n deall hynny ar hyn o bryd pan ddechreuoch chi weithio gyda ClickHouse, nid oes unrhyw addaswyr wedi'u hysgrifennu ar gyfer yr offer hyn. Ac rwy'n meddwl tybed pam y penderfynoch chi wneud eich teclyn eich hun, yn lle ysgrifennu addasydd ar gyfer rhyw declyn parod? Rwy'n meddwl bod tweaking y golygydd prawf yn gyflym. Pam wnaethoch chi benderfynu gwneud cymaint o waith?
Mae pwynt diddorol yma - y ffaith yw fy mod yn gyfarwyddwr technegol, nid yn wyddonydd data. Erbyn i ni ddechrau gweithredu Druid, roedd gan fy map ffordd tua 50% o'r tasgau - gadewch i ni gyfrifo hyn, neu gadewch i ni gyfrifo hyn, neu ddadansoddi hyn. Ac mae'n troi allan inni weithredu ClickHouse. A dechreuodd adeiladu popeth yn gyflym, cyfrif, a chau ei fap ffordd yn gyflym. Ac erbyn hynny sylweddolais fod gennyf ddiffyg gwybodaeth mewn Gwyddor Data a delweddu data. Mae Tabix yn fath o fy ngwaith cartref ar gyfer dysgu delweddu data. Roeddwn yn edrych ar sut i ategu Zeppelin. Mae gen i ychydig o atgasedd tuag at ei raglennu. Redash Edrychais ar sut i'w ychwanegu, ond roedd golygydd arferol yn ddigon i mi. Ac mae SuperSet hefyd wedi'i ysgrifennu mewn iaith nad ydw i'n ei hoffi mewn gwirionedd. Ac felly penderfynais feicio, a dyma beth ddigwyddodd.
Igor, a ydych chi'n derbyn ceisiadau Tynnu?
Ydw.
Diolch yn fawr iawn am yr adroddiad! A dau gwestiwn. Yn gyntaf, nid ydych chi'n siarad yn wenieithus iawn am Javascript. A wnaethoch chi ysgrifennu mewn Javascript noeth neu a yw'n rhyw fath o fframwaith?*
Gwell mewn Javascript noeth.
Felly pa fframwaith?
Onglog.
Mae'n amlwg. A'r ail gwestiwn. Ydych chi wedi ystyried R и *sgleiniog**?*
Ei ystyried. Wedi chwarae.
Gallech hefyd ysgrifennu addasydd.
Mae e. Mae’n ymddangos mai’r gymuned a’i gwnaeth, ond, fel yr atebais y cwestiwn blaenorol, roeddwn am roi cynnig arno fy hun.
* Na, o ran delweddu, mae yno hefyd.
Rydych chi'n dweud bod yna'r fath beth a bydd yn tynnu graff i chi. Agorais lyfr ar ddelweddu data. A meddyliais: “Gadewch imi geisio delweddu'r data hwn. Byddaf yn ysgrifennu ato fel y gall ailadeiladu’r data.” A dechreuais ddeall technoleg bwydo data yn well. A phe bawn i wedi cymryd cydran parod, byddwn yn bersonol wedi dysgu'n waeth sut i'w ddefnyddio, hynny yw, delweddu. Ond do, ro’n i’n hoffi R, ond dydw i ddim wedi darllen y llyfr “R for Dummies” eto.
Diolch yn fawr!
Cwestiwn syml. A oes unrhyw ffyrdd i uwchlwytho arwydd neu amserlen yn gyflym?
Gellir ei uwchlwytho i CSV neu Excel.
Nid data, ond plât parod, graff parod? Er enghraifft, i ddangos y bos.
Mae botwm “Llwytho i fyny” ac mae botwm “Llwytho graff mewn png, mewn jpg”.
Diolch yn fawr!
PS Mini-cyfarwyddiadau ar gyfer gosod tabix
- Download
- Dadbacio, copïo cyfeiriadur
buildyn nginx root_path - Ffurfweddu nginx
Ffynhonnell: hab.com