Ман ба шумо тавсия медиҳам, ки стенограммаи гузориши 2017 аз ҷониби Игор Стрихар "ClickHouse - таҳлили зуд ва равшани маълумот дар Tabix" -ро хонед.
Интерфейси веб барои ClickHouse дар лоиҳаи Tabix.
Хусусиятҳои асосии:
- Бо ClickHouse мустақиман аз браузер, бе насб кардани нармафзори иловагӣ кор мекунад;
- Муҳаррири дархост бо равшансозии синтаксис;
- Автопуркунии фармонҳо;
- Воситаҳо барои таҳлили графикии иҷрои дархостҳо;
- Схемаи рангҳо барои интихоб.
Ман директори техникии SMI2 ҳастам. Мо як агрегатори мубодилаи ахбор ҳастем. Мо маълумоти зиёдеро, ки аз шарикони худ мегирем, нигоҳ медорем ва дар ClickHouse сабти ном мекунем - тақрибан 30 дархост дар як сония.
Ин маълумотест ба монанди:
- Кликҳо ба хабарҳо.
- Наворҳо дар агрегатор намоиш дода мешаванд.
- Намоиши баннерҳо дар шабакаи мо.
- Ва мо рӯйдодҳоро аз ҳисобкунаки худамон сабт мекунем, ки ба Yandex.Metrica монанд аст. Ин микро-аналитикаи худи мост.
Мо пеш аз ClickHouse ҳаёти хеле пурташвиш доштем. Мо бисёр азоб кашида, кӯшиш мекардем, ки ин маълумотро дар ҷое нигоҳ дорем ва бо кадом роҳ онро таҳлил кунем.
Ҳаёт пеш аз ClickHouse - infiniDB
Аввалин чизе, ки мо доштем, infiniDB буд. Вай 4 сол бо мо зиндагӣ мекард. Мо онро бо душворй ба кор андохтаем.
- Он кластерсозӣ ё тақсимкуниро дастгирӣ намекунад. Чунин чизҳои оқилона аз қуттии нобаёнӣ берун намеомаданд.
- Вай дар боркунии маълумот мушкилӣ дорад. Танҳо як утилитаи мушаххаси консол, ки метавонад танҳо файлҳои CSV-ро бор кунад ва танҳо бо роҳи хеле норавшан.
- Пойгоҳи базаи як ришта аст. Шумо метавонед ё бинависед ё хонед. Аммо он имкон дод, ки миқдори зиёди маълумот коркард карда шавад.
- Ва ӯ низ як асои ҷолиб дошт. Ҳар шаб серверро бозоғоз кардан лозим буд, вагарна он кор намекунад.
Вай то охири соли 2016 дар назди мо кор кард, вақте ки мо комилан ба ClickHouse гузаштем.
Ҳаёт пеш аз ClickHouse - Кассандра
Азбаски infiniDB як ришта буд, мо тасмим гирифтем, ки ба мо як навъи махзани чанд ришта лозим аст, ки дар он мо метавонем дар як вақт риштаҳои зиёде нависем.
Мо бисёр чизҳои ҷолибро кӯшиш кардем. Баъд мо тасмим гирифтем, ки Кассандраро санҷем. Бо Кассандра ҳама чиз хуб буд. 10 дархост дар як сония дар як тендер. 000 дархост барои хондан.
Аммо вай низ манфиатҳои худро дошт. Як маротиба дар як моҳ ё як маротиба дар ду моҳ вай синхронизатсияи пойгоҳи додаҳоро аз сар мегузаронд. Ва ман маҷбур будам, ки бедор шавам ва давида Кассандраро ислоҳ кунам. Серверҳо як ба як аз нав оғоз карда шуданд. Ва ҳама чиз ҳамвор ва зебо шуд.
Ҳаёт пеш аз ClickHouse - Druid
Он гоҳ мо фаҳмидем, ки ба мо лозим аст, ки маълумоти бештар нависем. Дар соли 2016 мо ба тамошои Druid шурӯъ кардем.
Druid як нармафзори кушодаасос аст, ки дар Java навишта шудааст. Хеле мушаххас. Ва он барои кликҳо мувофиқ буд, вақте ки ба мо лозим аст, ки як намуди ҷараёни рӯйдодҳоро нигоҳ дорем ва сипас дар онҳо ҷамъоварӣ кунем ё гузоришҳои таҳлилӣ созем.
Druid версияи 0.9.X дошт.
Худи пойгоҳи додаҳо ҷойгир кардан хеле душвор аст. Ин мураккабии инфрасохтор аст. Барои ба кор андохтани он бисьёр, бисьёр оханро гузоштан лозим буд. Ва ҳар як порчаи сахтафзор барои нақши алоҳидаи худ масъул буд.
Барои ба он бор кардани маълумот ягон намуди шаманизмро истифода бурдан лозим буд. Лоиҳаи OpenSource мавҷуд аст - Tranquility, ки дар ҷараёни ҷараён маълумотро аз мо гум мекард. Вақте ки мо маълумотро ба он бор кардем, он онро гум кард.
Вале мо бо кадом рох ба амалй гардондани он шуруъ кардем. Мо мисли хорпуштоне, ки маводи мухаддир мехӯрданд, вале хӯрдани кактусро идома медодем, ба ҷорӣ кардани он шурӯъ кардем. Барои омода кардани тамоми инфрасохтор ба мо тақрибан як моҳ лозим шуд. Яъне серверҳоро фармоиш диҳед, нақшҳоро танзим кунед ва густаришро пурра автоматӣ кунед. Яъне, дар сурати нокомии кластер, кластери дуюм ба таври худкор ҷойгир карда мешавад.
Аммо баъд мӯъҷизае рӯй дод. Ман дар рухсатӣ будам ва ҳамкорони ман ба ман пайвандеро фиристоданд , ки мегӯяд, ки Яндекс тасмим гирифтааст ClickHouse -ро кушояд. Ман мегӯям, ки биёед кӯшиш кунем.
Ва аслан дар 2 рӯз мо кластери санҷишии ClickHouse-ро ҷойгир кардем. Мо ба боркунии маълумот ба он шурӯъ кардем. Дар муқоиса бо infiniDB, ин ибтидоӣ аст; дар муқоиса бо Druid, ин ибтидоӣ аст. Дар муқоиса бо Кассандра, он низ ибтидоӣ аст. Зеро агар шумо маълумотро аз PHP ба Кассандра бор кунед, пас ин ибтидоӣ нест.
Мо чӣ гирифтем? Фаъолият дар суръат. Фаъолият дар нигоҳдории маълумот. Яъне фазои диск хеле кам истифода мешавад. ClickHouse зуд аст, он дар муқоиса бо дигар маҳсулот хеле зуд аст.
Ҳангоми оғозёбӣ, вақте ки Яндекс ClickHouse-ро дар OpenSource нашр кард, танҳо як муштарии консол мавҷуд буд. Мо дар ширкати худ SMI2 тасмим гирифтем, ки як муштарии ватаниро барои веб созем, то мо метавонем аз браузер саҳифа кушоем, дархост нависем ва натиҷаро ба даст орем, зеро мо ба навиштани дархостҳои зиёд шурӯъ кардем. Навиштан дар консол душвор аст. Ва мо версияи аввалини худро сохтем.
Ва дар ҷое наздиктар ба зимистони соли гузашта, асбобҳои тарафи сеюм барои кор бо ClickHouse пайдо шуданд. Инҳо асбобҳо мебошанд, ба монанди:
- .
- .
- . (Ҳозир )
- .
- .
Ман баъзе аз ин асбобҳоро, яъне онҳоеро, ки бо онҳо кор кардаам, дида мебароям.
Воситаи хуб, аммо барои Druid. Вақте ки Druid татбиқ карда мешуд, ман SuperSet-ро санҷида будам. Ман ба ӯ маъқул будам. Барои Druid он хеле зуд аст.
Он барои ClickHouse мувофиқ нест. Яъне, он мувофиқ аст, оғоз меёбад, аммо барои коркарди танҳо дархостҳои ибтидоӣ омода аст, ба монанди: SELECT ҳодиса, GROUP BY ҳодиса. Он синтаксиси мураккабтари ClickHouse -ро дастгирӣ намекунад.
Воситаи навбатӣ Apache Zeppelin мебошад. Ин як чизи хуб ва ҷолиб аст. Кор мекунад. Он ноутбукҳо, панелҳои идоракуниро дастгирӣ мекунад ва тағирёбандаҳоро дастгирӣ мекунад. Ман медонам, ки касе дар ҷомеаи ClickHouse онро истифода мебарад.
Аммо барои синтаксиси ClickHouse дастгирӣ нест, яъне шумо бояд дар консол ё дар ҷои дигар дархост нависед. Баъд, санҷед, ки ҳама кор мекунад. Ин танҳо номувофиқ аст. Аммо он дорои дастгирии хуби панели идоракунӣ мебошад.
Воситаи навбатӣ Redash.IO мебошад. Редаш дар Интернет ҷойгир аст. Яъне, бар хилофи асбобҳои қаблӣ, насб кардан лозим нест. Ва ин як панели идоракунӣ бо қобилияти муттаҳид кардани маълумот аз манбаъҳои гуногуни додаҳо мебошад. Яъне, шумо метавонед аз ClickHouse, аз MySQL, аз PostgreSQL ва аз дигар пойгоҳи додаҳо зеркашӣ кунед.
Ҳамагӣ як моҳ пеш (марти 2017), дастгирӣ дар Grafana пайдо шуд. Вақте ки шумо дар Grafana ҳисобот месозед, масалан, дар бораи ҳолати сахтафзори худ ё аз рӯи баъзе ченакҳо, акнун шумо метавонед ҳамон график ё як навъ панелро аз маълумот аз ClickHouse мустақиман созед. Ин хеле қулай аст ва мо онро худамон истифода мебарем. Ин ба шумо имкон медиҳад, ки аномалияҳоро пайдо кунед. Яъне, агар чизе рӯй диҳад ва баъзе сахтафзор афтад ё хароб шавад, шумо метавонед сабаби онро бубинед, ки оё ин маълумот ба ClickHouse ворид шудааст.
Дар ин асбобҳо ё консол навиштан ба ман хеле заҳматталаб буд. Ва ман қарор додам, ки интерфейси аввалини худро такмил диҳам. Ва ман ин идеяро аз EventSQL, SeperSet, Zeppelin гирифтам.
Шумо чӣ мехостед? Ман мехостам графика, муҳаррири мукаммал гирам ва дастгирии луғатҳои ишораро амалӣ кунам. Зеро ClickHouse дорои як хусусияти олӣ - луғатҳо. Аммо кор кардан бо луғатҳо душвор аст, зеро шумо бояд формати арзишҳои захирашударо дар хотир дошта бошед, яъне он рақам ё сатр аст ва ғайра. Ва азбаски мо луғатҳоро аксар вақт дар вариантҳои гуногуни онҳо истифода мебарем, навиштани дархостҳо хеле душвор буд.
Аз нашри версияи аввалини мо 3 моҳ гузашт. Ман ба филиали хусусӣ тақрибан 330 ӯҳдадор шудам ва он Табикс буд.
Баръакси версияи қаблӣ, ки ClickHouse-Frontend ном дошт, ман тасмим гирифтам, ки онро ба номи оддӣ иваз кунам. Ва он Табикс шуд.
Чӣ пайдо шуд?
Графикҳоро кашид. Синтаксиси ClickHouse SQL -ро дастгирӣ мекунад. Дар бораи функсияҳо маслиҳат медиҳад ва метавонад бисёр чизҳои ҷолибро иҷро кунад.
Схемаи умумии Tabix чунин аст. Дар тарафи чап дарахт аст. Дар марказ муҳаррири дархост ҷойгир аст. Ва дар зер натиҷаи ин дархост аст.
Минбаъд ман ба шумо нишон медиҳам, ки муҳаррири дархост чӣ гуна кор мекунад.
Дар ин ҷо худкорпуркунӣ ба таври худкор дар ҷадвал кор мекунад ва мувофиқан, пуркунии худкор барои майдонҳо дархост мекунад. Ва маслиҳатҳо оид ба функсияҳо. Агар шумо ctrl enter-ро пахш кунед, дархост иҷро мешавад ё бо хатогӣ ноком мешавад. Дархости соддатарин ба Tabix фиристода мешавад ва натиҷа ба даст меояд, яъне шумо метавонед бо ClickHouse зуд кор кунед.
Луғатҳо, тавре ки ман гуфтам, як чизи хеле ҷолибест, ки мо бо онҳо бисёр кор мекунем. Ва ин ба мо имкон дод, ки бисёр корҳоро анҷом диҳем. Фарз мекунем, ки мо ҳама шаҳрҳоро дар луғатҳо нигоҳ медорем. Мо идентификатори шаҳр ва номи шаҳр, арз ва тули онро нигоҳ медорем. Ва дар базаи маълумот мо танҳо идентификатори шаҳрро нигоҳ медорем. Бинобар ин, мо маълумотро хеле сахт фишурда мекунем.
Чунин ба назар мерасад, ки ин як чизи оддӣ аст, аммо он дар ClickHouse ба таври хеле ҷолиб кӯмак мекунад. Аз сабаби он, ки ClickHouse танҳо пайвастагиҳои лонаро дастгирӣ мекунад, дархост ба таври кофӣ ба поён ва васеъ мешавад. Ва ҳангоме ки қавс кушода мешавад ва як ибораи дароз ворид мешавад, он гоҳ чизи оддӣ ба монанди фурӯпошии дархост кор бо худи дархостро осон мекунад. Зеро вақте ки пурсиш 200-300 сатр дарозӣ ва паҳнои хеле бузург аст, он хеле муфид аст, ки пурсишро пӯшонед ва сипас ягон ҷойеро пайдо кунед ё онро локализатсия кунед.
Дарахти объектҳо, пурсишҳо ва ҷадвалҳо (Видео 13:46 )
Минбаъд ман ба шумо дар бораи дарахт ва ҷадвалҳо нишон медиҳам. Дар тарафи чап дарахт аст; дар боло шумо метавонед якчанд ҷадвалҳоро эҷод кунед. Ҷадвалҳо ба фазои корӣ монанданд. Шумо метавонед якчанд ҷадвалҳо эҷод кунед ва ҳар яки онҳоро ба таври дигар номгузорӣ кунед. Он мисли мини-система барои сохтани гузориш аст.
Ҷадвалҳо ба таври худкор захира карда мешаванд. Агар шумо браузери худро аз нав оғоз кунед ё Tabix-ро пӯшед ё кушоед, ҳамаи ин захира карда мешавад.
Hotkey - қулай (Видео 14:39 )
Тугмаҳои гарм мавҷуданд ва онҳо хеле зиёданд. Ман баъзе аз онҳоро ҳамчун намуна овардаам. Ин иваз кардани ҷадвалҳо, иҷро кардани дархост ё иҷрои якчанд дархостҳо мебошад.
Ман ба шумо нишон медиҳам, ки чӣ тавр бо натиҷа кор кардан лозим аст. Мо дархост мефиристем. Дар ин ҷо ман sin, cos ва tg кашида истодаам. Шумо метавонед натиҷаро таъкид кунед, яъне харитаи маъмулиро барои сутун кашед. Шумо метавонед арзишҳои мусбат ё манфиро қайд кунед. Ё танҳо як унсури ҷадвали мушаххасро ранг кунед. Ин қулай аст, вақте ки миз бузург аст ва шумо бояд баъзе аномалия бо чашмони худ пайдо кунед. Вақте ки ман дар ҷустуҷӯи аномалияҳо будам, ман баъзе сатрҳо, баъзе унсурҳоро бо сабз ё сурх таъкид кардам.
Дар он ҷо бисёр чизҳои ҷолиб мавҷуданд. Масалан, чӣ гуна ба Redmine Markdown нусхабардорӣ кардан мумкин аст. Агар ба шумо лозим ояд, ки натиҷаро дар ҷое нусхабардорӣ кунед, ин хеле қулай аст. Шумо метавонед танҳо як минтақаро интихоб кунед, бигӯед "Нусхабардорӣ ба Redmine" ва он ба Redmine Markdown нусхабардорӣ мекунад ё дархости куҷо эҷод мекунад.
Оянда оптимизатсияи дархост аст. Ман як маротиба муайян кардани майдони "сана" -ро фаромӯш кардам. Ва дархости ман дар ClickHouse на он қадар зуд, балки зуд коркард карда шуд, яъне камтар аз як сония. Вакте дидам, ки вай чанд сатр мегузашт, тарсидам. Мо дар як рӯз ба ин ҷадвал чанд сатр наменависем. Ман ба тахлили дархост шуруъ кардам ва дидам, ки дар як чо санаро аз даст додаам. Яъне ман фаромӯш кардаам, ки ба ман маълумот барои тамоми ҷадвал лозим нест, балки барои як давраи мушаххас.
Tabix дорои ҷадвали "Омор" мебошад, ки дар он тамоми таърихи дархостҳои ирсолшуда нигоҳ дошта мешавад, яъне дар он ҷо шумо мебинед, ки ин дархост чанд сатр хонда шудааст ва иҷрои он чӣ қадар вақт лозим буд. Ин имкон медиҳад, ки оптимизатсия карда шавад.
Шумо метавонед дар болои натиҷаи дархост ҷадвали ҷамъбастӣ созед. Шумо ба ClickHouse дархост фиристодед ва баъзе маълумот гирифтед. Ва он гоҳ шумо метавонед ин маълумотро бо муши худ интиқол диҳед ва як намуди ҷадвали пивот созед.
Чизи навбатии ҷолиб ин нақша аст. Фарз мекунем, ки мо дархости зерин дорем: барои sin, cos аз 0 то 299. Ва барои кашидани он, шумо бояд ҷадвали "Расм кардан" -ро интихоб кунед ва шумо графикро бо гуноҳ ва cos-и худ хоҳед гирифт.
Шумо метавонед инро ба меҳварҳои гуногун тақсим кунед, яъне шумо метавонед якбора ду графикро паҳлӯ ба паҳлӯ кашед. Як фармон ва фармони дуюмро нависед.
Шумо метавонед гистограммаҳоро кашед.
Шумо метавонед инро ба матритсаи графикҳо тақсим кунед.
Шумо метавонед харитаи гармиро созед.
Шумо метавонед тақвими гармидиҳӣ созед. Дар омади гап, ин як чизи хеле қулай аст, вақте ки ба шумо лозим аст, ки аномалияҳоро дар тӯли як сол таҳлил кунед, яъне ё хӯшаҳо ё қатраҳоро пайдо кунед. Ин визуализатсияи маълумот ба ман дар ин кор кӯмак кард.
Оянда Treemap аст.
Sankeys як диаграммаи ҷолиб аст. Ӯ ё Streamgrahps ё River. Аммо ман онро дарё меномам. Он инчунин ба шумо имкон медиҳад, ки ҳама гуна аномалияҳоро ҷустуҷӯ кунед. Ин хеле қулай аст. Ман тавсия медиҳам, ки онро барои ҷустуҷӯ истифода баред.
Чизи навбатии ҷолиб ин кашидани харитаи динамикӣ мебошад. Агар шумо арзу тулиро дар базаи худ нигоҳ доред ва масалан, макони таъинотро нигоҳ доред, агар шумо, масалан, боркашонӣ ё ҳавопаймоҳои парвозкунанда дошта бошед, пас шумо метавонед роҳҳои таъинотро кашед. Инчунин дар он ҷо шумо метавонед суръат ва андозаи ин объектҳоро, ки ба онҳо парвоз мекунанд, танзим кунед.
Аммо мушкили ин харита дар он аст, ки он танҳо харитаи ҷаҳонро мекашад, ҷузъиёт нест.
Баъдтар ман харитаи Google илова кардам. Агар шумо арзу тӯлро нигоҳ доред, шумо метавонед натиҷаро дар харитаи Google кашед, аммо бидуни дастгирии ҳавопаймо.
Мо вазифаҳои асосии кор бо натиҷаҳо ва дархостҳоро дар Tabix баррасӣ кардем.
Дигар ин таҳлили сервери ClickHouse-и шумост. Ҷадвали алоҳидаи "Метрика" мавҷуд аст, ки дар он шумо андозаи маълумоти захирашударо барои ҳар як сутун дидан мумкин аст. Намоиши скриншот нишон медиҳад, ки ин майдони "реферер" тақрибан 730 Гб-ро мегирад. Агар мо ин майдонро тарк кунем, мо се пораи ҳар кадоми 700 ГБ, яъне тақрибан 2 ТБ, ки ба мо лозим нест, сарфа мекунем.
Мо инчунин майдони "request_id" дорем, ки онро дар сатр нигоҳ медорем. Аммо агар мо онро дар шакли рақамӣ нигоҳ дорем, ин майдон хеле кам мешавад.
Он инчунин конфигуратсияи сервер ва рӯйхати гиреҳҳоро дар кластери шумо нишон медиҳад.
Ҷадвали навбатӣ метрика аст. Онҳо бо ClickHouse ба вақти воқеӣ ворид мешаванд ва танҳо ба шумо имкон медиҳанд, ки ҳолати серверро таҳлил кунед ва фаҳмед, ки бо он чӣ рӯй дода истодааст. Ин ивазкунандаи пурраи Grafana нест. Ин барои таҳлили зуд зарур аст.
Ҷадвали навбатӣ равандҳост. Аз онҳо шумо метавонед фаҳмед, ки дар сервер чӣ рӯй дода истодааст. Бифаҳмед, ки дар он ҷо чӣ рӯй медиҳад. Ман як дархост доштам, ки ҳар дафъа 200 ГБ хонишро сарф мекард. Ман инро ба шарофати ин интерфейс дидам. Ман ӯро дастгир кардам ва ислоҳ кардам. Ва он тақрибан 30 ГБ буд, яъне баъзан иҷроиш.
Сипос! Ва ин дар OpenSource аст
Ман тамом кардам. Ва дар омади гап, он OpenSource аст, он ройгон аст ва ба шумо ҳатто лозим нест, ки онро зеркашӣ кунед. Онро дар браузер кушоед ва ҳама чиз кор хоҳад кард.
Саволҳои шумо
Игорь, оянда чӣ мешавад? Шумо ин асбобро дар куҷо таҳия мекунед?
Баъдан, панелҳои идоракунӣ пайдо мешаванд, яъне, шояд панелҳои идоракунӣ пайдо шаванд. Интегратсия бо дигар пойгоҳи додаҳо. Ман ин корро кардам, аммо ҳанӯз онро дар OpenSource нашр накардаам. Ин MySQL ва эҳтимолан PostgreSQL аст. Яъне, имкон пайдо мешавад, ки дархостҳо аз Tabix на танҳо ба ClickHouse, балки ба дигар асбобҳо низ ирсол карда шаванд.
Маълум аст, ки хачми бузурги корхо анчом дода шудаанд. Ин як идеяи комилан мукаммал гардид. Ин дар браузер, аз афташ, барои аз байн бурдани асобағолҳо дар ҳама гуна табарҳо ва зуд ба ҳам андохтани ҳама чиз анҷом дода шудааст. Ман шунидам, ки шумо ҳастед PHP кор кунед, пас роҳи осонтарини он дар браузер чоп кардан аст ва он дар ҳама ҷо кор мекунад. Дар ин бора саволе нест. Савол ин аст. Дар он чо дар хакикат бисьёр корхо карда шудаанд. Дар ин кор чанд кас кор кард? Ва ин ҳама чӣ қадар вақт гирифт? Зеро асбобҳои фармоишӣ одатан он қадар функсия надоранд.
Як нафар аз бригадаи мо аз тобистон то тирамох кор кард. Ин версияи аввал буд. Баъд як худи ман 330 ухдадорй гирифтам. Он чиро, ки шумо мебинед, ману хамкорам дар нимсола ичро кардем. Дар давоми 3 моҳ, аз версияи аввал то охирин, ман онро асосан танҳо кардам. Аммо ман Javascript-ро чандон хуб намедонам. Ин ягона ва, умедворам, охирин лоиҳаи Javascript-и ман буд, ки бо он кор кардам. Ман фаҳмидам, ман нигоҳ кардам - оҳ, даҳшат. Аммо ман дар ҳақиқат мехостам, ки маҳсулотро анҷом диҳам ва ин рӯй дод.
Ташаккури зиёд барои гузориш! Ин як воситаи бузург аст. БО Ҷадвали Шумо муқоиса кардаед?
Сипос. Барои њамин номашро Табикс гузоштам, зеро њарфњои аввал якхелаанд.
Барои он ки шумо рақобат мекунед?
Сармоягузорӣ зиёд мешавад, рақобат мекунем.
Чӣ тавр шумо метавонед ба таҳлилгарони дохилӣ фурӯшед, ки ин асбоб комилан иваз карда мешавад *Ҷадвал*? Далелҳо чӣ гуна хоҳанд буд?
Бо ClickHouse ба таври маҳаллӣ кор мекунад. Ман Tableau-ро санҷидам, аммо шумо наметавонед дар он ҷо дастгирии луғатҳо ва монанди инҳоро нависед. Ман медонам, ки одамон бо Tabix чӣ гуна кор мекунанд. Онҳо дархост менависанд, онро ба CSV бор мекунанд ва ба BI бор мекунанд. Ва онҳо аллакай дар он ҷо коре мекунанд. Аммо ман тасаввур кардан душвор аст, ки онҳо ин корро чӣ тавр мекунанд, зеро ин як воситаи графикӣ аст. Он метавонад 5 сатр, ҳадди аксар 000 сатрро холӣ кунад, аммо дигар нест, вагарна браузер аз ӯҳдаи ин кор баромада наметавонад.
Яъне, дар ҳаҷми маълумот баъзе маҳдудиятҳои ҷиддӣ вуҷуд доранд, дуруст?
Бале. Ман тасаввур карда наметавонам, ки шумо мехоҳед 10 сатрро ба ҷадвали худ ба экрани браузери худ бор кунед. Барои чӣ?
Оё ин маънои онро дорад, ки ин интерфейс барои зуд дидани маълумот аст? Онро каме печонед, онро печонед?
Бале, зуд бубинед, ки он чӣ гуна кор мекунад ва танҳо як графики ҷамъбастӣ созед. Ва он гоҳ онро ба ҷое диҳед. Мо системаи гузоришдиҳии шахсии худро дорем, ки ман ин дархостро аз он ҷо мегирам. Ман дар Tabix мекашам ва онро ба гузориши мо мефиристам.
Ва саволи дигар. Таҳлили когорт?
Агар ягон дархосте бошад, мо онро илова мекунем.
Шумо кай ба истифода аз он шурӯъ кардед? ClickHouse, татбиқ чӣ қадар вақт гирифт? кликхона ва овардан ба ҳолати истеҳсолот?
Тавре ки ман гуфтам, мо кластери тестиро дар муддати хеле кӯтоҳ амалӣ кардем. Мо онро дар давоми ду руз ба кор ан-дохтем. Ва мо онро чанд ҳафтаи дигар озмоиш кардем. Ва мо дар давоми 3 моҳ ба истеҳсолот расидем, аммо мо ETL-и худро доштем, яъне асбоби сабти маълумот. Ва ӯ бо ҳар чизе ки метавонист, навишт. Вай метавонад дар MongoDB, Cassandra, MySQL нависад. Ба ӯ омӯзонидани тарзи навиштан дар ClickHouse осон буд. Мо инфраструктураи тайёр доштем, то ки зудтар амалй гардад. Дар давоми 3 моҳ мо ба партофтани ҷузъи аввал шурӯъ кардем. Дар давоми 6 моҳ мо ҳама чизи дигарро комилан тарк кардем. Мо танҳо як ClickHouse дорем.
Игорь, барои гузориш ташаккури зиёд. Функсияи сохтани пайроҳаҳо бо истифода аз харитаҳо ба ман хеле писанд омад. Оё ягон нақшаи ҳамгироӣ бо Yandex.Maps ва махсусан бо Yandex.Maps фармоишӣ вуҷуд дорад?
Ман кӯшиш кардам, ки ба ҷои харитаи Google ҳамгиро шавам, аммо дар Yandex.Maps мавзӯи торикро наёфтам. Ман ба шумо як порча нагуфтам. Ман барои илова кардан бозмегардам.
Слайд - харитаи Google. Фармони "DRAW_GMAPS" мавҷуд аст, ки харитаро мекашад. Фармони "DRAW_YMAPS" мавҷуд аст, яъне он метавонад Yandex.Map-ро кашад. Аммо дар асл, зери ин фармон Javascript мавҷуд аст, яъне маълумоте, ки шумо аз ClickHouse мегиред, метавонад ба Javascript интиқол дода шавад, ки шумо дар ин ҷо менависед. Ва шумо як минтақаи баромад доред, ки он бояд кашида шавад. Шумо метавонед ҳама гуна графикро кашед, яъне ҳама гуна график, харита, шумо метавонед ҷузъи худро кашед. Пеш аз ин, ман китобхонаи дигаре доштам, ки худи графикҳоро кашад.
Яъне, оё асбобе барои танзими функсияҳои намоиш вуҷуд дорад?
Ягон. Шумо метавонед ин нуқтаҳоро гирифта ранг кунед ва онҳоро на сурх, балки кабуд ва сабз гардонед.
Ташаккур барои гузориш! Шумо слайде доштед, ки асбобҳои алтернативии дархостро пешниҳод мекард кликхона барои сохтани панели асбобҳо ва ҳисоботҳои таҳлилӣ. Ман мефаҳмам, ки дар лаҳзае, ки шумо ба кор шурӯъ кардед ClickHouse, барои ин асбобҳо адаптерҳо навишта нашудаанд. Ва ман ҳайронам, ки чаро шумо тасмим гирифтед, ки асбоби худро созед, ба ҷои навиштани адаптер барои ягон асбоби тайёр? Ман фикр мекунам, ки тағир додани муҳаррири санҷиш зуд аст. Чаро шумо тасмим гирифтед, ки ин қадар кори зиёдеро анҷом диҳед?
Дар ин ҷо як нуктаи ҷолиб вуҷуд дорад - ин аст, ки ман директори техникӣ ҳастам, на олими маълумот. Вақте ки мо татбиқи Druid-ро оғоз кардем, харитаи роҳи ман тақрибан 50% вазифаҳоро дошт - биёед инро ҳисоб кунем, ё инро ҳисоб кунем ё таҳлил кунем. Ва маълум шуд, ки мо ClickHouse-ро татбиқ кардем. Ва зуд ба сохтани ҳама чиз шурӯъ кард, ҳисоб кард ва харитаи роҳашро зуд баст. Ва он вақт ман фаҳмидам, ки ман дар бораи Илм ва визуализатсияи додаҳо дониш надоштам. Tabix як намуди вазифаи хонагии ман барои омӯзиши визуализатсияи додаҳост. Ман дар он будам, ки чӣ тавр Зеппелинро пурра кунам. Ман ба барномасозии ӯ каме нописандӣ дорам. Редаш Ман ба он нигоҳ кардам, ки чӣ тавр онро илова кунам, аммо муҳаррири муқаррарӣ барои ман кофӣ буд. Ва SuperSet низ бо забоне навишта шудааст, ки ба ман маъқул нест. Ва аз ин рӯ, ман қарор додам, ки велосипедронӣ кунам ва ин ҳодиса рӯй дод.
Игор, оё шумо дархостҳои Pull-ро қабул мекунед?
Бале.
Ташаккури зиёд барои гузориш! Ва ду савол. Аввалан, шумо дар бораи он хеле хушомадгӯӣ намегӯед Javascript. Оё шумо бо Javascript луч навиштед ё ин як чаҳорчӯба аст?*
Дар Javascript луч беҳтар.
Пас кадом чаҳорчӯба?
кунҷӣ.
Он равшан аст. Ва саволи дуюм. Шумо фикр кардаед R и *дурахшон**?*
Ба назар гирифт. Бозй кард.
Шумо инчунин метавонед адаптер нависед.
Вай аст. Чунин ба назар мерасад, ки ҷомеа ин корро кардааст, аммо, вақте ки ман ба саволи қаблӣ ҷавоб додам, ман мехостам онро худам санҷам.
* Не, дар мавриди визуализатсия, он ҷо низ ҳаст.
Шумо мегӯед, ки чунин чизе вуҷуд дорад ва он ба шумо график медиҳад. Ман китоберо дар бораи визуализатсияи маълумот кушодам. Ва ман фикр кардам: «Иҷозат диҳед, ки ин маълумотро тасаввур кунам. Ман ба ӯ менависам, то ӯ маълумотро барқарор кунад. ” Ва ман ба беҳтар фаҳмидани технологияи таъминоти маълумот шурӯъ кардам. Ва агар ман як ҷузъи тайёрро гирифта будам, ман шахсан чӣ гуна истифода бурдани он, яъне визуализатсияро бадтар медонистам. Аммо бале, ба ман R маъқул буд, аммо ман китоби "R for Dummies" -ро ҳанӯз нахондаам.
Ташаккур!
Саволи оддӣ. Оё роҳҳои зуд бор кардани аломат ё ҷадвал вуҷуд доранд?
Ба CSV ё Excel бор кардан мумкин аст.
На маълумот, балки пластинкаи тайёр, графики тайёр? Масалан, барои нишон додани саркор.
Тугмаи "Боркунӣ" мавҷуд аст ва тугмаи "Графикро дар png, дар jpg бор кунед" мавҷуд аст.
Ташаккур!
PS Мини-дастурҳо барои насби tabix
- боргирӣ
- Кушода, директорияро нусхабардорӣ кунед
buildдар nginx root_path - nginx-ро танзим кунед
Манбаъ: will.com