Предлажем да прочитате транскрипт извештаја Игора Стрихара за 2017. „ЦлицкХоусе – визуелно брза и јасна анализа података у Табик-у“.
Веб интерфејс за ЦлицкХоусе у пројекту Табик.
Кључне карактеристике:
- Ради са ЦлицкХоусе директно из претраживача, без потребе за инсталирањем додатног софтвера;
- Едитор упита са истицањем синтаксе;
- Аутодовршавање команди;
- Алати за графичку анализу извршења упита;
- Шеме боја које можете изабрати.
Ја сам технички директор СМИ2. Ми смо агрегатор вести за размену вести. Чувамо много података које добијамо од наших партнера и региструјемо их у ЦлицкХоусе - око 30 захтева у секунди.
Ово су подаци као што су:
- Кликови на вести.
- Вести се приказују у агрегатору.
- Банер приказује на нашој мрежи.
- И ми региструјемо догађаје са сопственог бројача, који је сличан Иандек.Метрица. Ово је наша сопствена микроаналитика.
Имали смо веома напоран живот пре ЦлицкХоусе-а. Много смо патили, покушавајући да те податке негде ускладиштимо и некако анализирамо.
Живот пре ЦлицкХоусе – инфиниДБ
Прва ствар коју смо имали је инфиниДБ. Живела је са нама 4 године. Тешко смо га покренули.
- Не подржава груписање или дељење. Ниједна тако паметна ствар није изашла из кутије подразумевано.
- Она има потешкоћа са учитавањем података. Само одређени услужни програм за конзолу који је могао да учитава само ЦСВ датотеке и то само на неки врло нејасан начин.
- База података је једнонитна. Можете или писати или читати. Али то је омогућило обраду велике количине података.
- А имала је и занимљиву штаку. Сваке ноћи сервер је морао да се поново покрене, иначе не би функционисао.
Радила је за нас до краја 2016. године, када смо у потпуности прешли на ЦлицкХоусе.
Живот пре ЦлицкХоусе – Касандра
Пошто је инфиниДБ био једнонитни, одлучили смо да нам је потребна нека врста базе података са више нити у коју бисмо могли да пишемо више нити у исто време.
Пробали смо много занимљивих ствари. Онда смо одлучили да пробамо Касандру. Све је било сјајно са Касандром. 10 захтева у секунди по понуди. 000 захтева негде за читање.
Али и она је имала своје интересе. Једном месечно или једном у два месеца доживела је десинхронизацију базе података. И морао сам да се пробудим и трчим да поправим Касандру. Сервери су поново покренути један по један. И све је постало глатко и лепо.
Живот пре ЦлицкХоусе – Друид
Тада смо схватили да треба да напишемо још више података. 2016. смо почели да гледамо Друид.
Друид је софтвер отвореног кода написан на Јави. Врло специфично. И био је погодан за кликстрим, када треба да ускладиштимо неку врсту тока догађаја и онда извршимо агрегацију на њима или направимо аналитичке извештаје.
Друид је имао верзију 0.9.Кс.
Саму базу података је веома тешко применити. Ово је сложеност инфраструктуре. Да би се то распоредило, било је потребно уградити много, много гвожђа. И сваки комад хардвера је био одговоран за своју посебну улогу.
За учитавање података у њега било је потребно користити неку врсту шаманизма. Постоји ОпенСоурце пројекат - Транкуилити, који је губио податке од нас у току. Када смо у њега учитали податке, он их је изгубио.
Али некако смо почели да то спроводимо. Ми смо, као јежеви који су се дрогирали, а наставили да једу кактусе, почели да га уводимо. Требало нам је око месец дана да припремимо сву инфраструктуру за то. То јест, наручите сервере, конфигуришите улоге и потпуно аутоматизујте примену. То јест, у случају квара кластера, други кластер ће аутоматски бити распоређен.
Али онда се догодило чудо. Био сам на одмору и моје колеге су ми послале линк до , који каже да је Јандекс одлучио да отвори ЦлицкХоусе. Кажем да пробамо.
И буквално за 2 дана поставили смо ЦлицкХоусе тест кластер. Почели смо да учитавамо податке у њега. У поређењу са инфиниДБ-ом, ово је елементарно; у поређењу са Друидом, ово је елементарно. У поређењу са Касандром, то је такође елементарно. Јер ако учитате податке из ПХП-а у Цассандру, онда ово није елементарно.
Шта смо добили? Перформансе у брзини. Перформансе у складиштењу података. То јест, користи се много мање простора на диску. ЦлицкХоусе је брз, веома је брз у поређењу са другим производима.
У време лансирања, када је Иандек објавио ЦлицкХоусе у ОпенСоурце-у, постојао је само клијент конзоле. Ми у нашој компанији СМИ2 одлучили смо да покушамо да направимо нативни клијент за веб, како бисмо могли да отворимо страницу из претраживача, напишемо захтев и добијемо резултат, јер смо почели да пишемо много захтева. Писање у конзоли је тешко. И направили смо нашу прву верзију.
А негде ближе зими прошле године почели су да се појављују алати трећих страна за рад са ЦлицкХоусе. Ово су алати као што су:
- .
- .
- . (Сада )
- .
- .
Погледаћу неке од ових алата, односно оне са којима сам радио.
Добар алат, али за Друида. Када је Друид био имплементиран, тестирао сам СуперСет. свидео ми се. За Друида је веома брз.
Није погодан за ЦлицкХоусе. Односно, уклапа се, почиње, али је спреман да обради само елементарне упите као што су: СЕЛЕЦТ догађај, ГРОУП БИ догађај. Не подржава сложенију ЦлицкХоусе синтаксу.
Следећи алат је Апацхе Зеппелин. Ово је добра и занимљива ствар. Извођење радова. Подржава бележнице, контролне табле и варијабле. Знам да га неко у ЦлицкХоусе заједници користи.
Али не постоји подршка за ЦлицкХоусе синтаксу, тј. мораћете да пишете упите било у конзоли или негде другде. Затим проверите да ли све ради. То је једноставно незгодно. Али има добру подршку за контролну таблу.
Следећи алат је Редасх.ИО. Редасх се налази на Интернету. То јест, за разлику од претходних алата, не треба га инсталирати. А ово је контролна табла са могућношћу консолидовања података из различитих извора података. То јест, можете преузети са ЦлицкХоусе-а, са МиСКЛ-а, са ПостгреСКЛ-а и из других база података.
Пре само месец дана (март 2017.) у Графани се појавила подршка. Када правите извештаје у Графани, на пример, о стању вашег хардвера или о неким метрикама, сада можете да направите исти графикон или неку врсту панела директно из података из ЦлицкХоусе-а. Ово је веома згодно, и сами га користимо. Ово вам омогућава да пронађете аномалије. То јест, ако се нешто деси и неки хардвер падне или постане напрегнут, онда можете погледати разлог ако су ови подаци успели да уђу у ЦлицкХоусе.
Било ми је веома незгодно писати у овим алатима или на конзоли. И одлучио сам да побољшам наш први интерфејс. А идеју сам добио од ЕвентСКЛ, СеперСет, Зеппелин.
Шта си хтео? Желео сам да добијем графику, побољшани уређивач и имплементирам подршку за речнике наговештаја. Зато што ЦлицкХоусе има сјајну особину - речнике. Али тешко је радити са речницима, јер морате запамтити формат сачуваних вредности, односно да ли је то број или низ итд. А пошто често користимо речнике у њиховим различитим варијацијама, било је прилично тешко писати упите.
Прошло је 3 месеца од објављивања наше прве верзије. Направио сам око 330 урезивања у приватну филијалу и испоставило се да је то Табик.
За разлику од претходне верзије, која се звала ЦлицкХоусе-Фронтенд, одлучио сам да је преименујем у једноставно име. И испоставило се Табик.
Шта се појавило?
Црта графиконе. Подржава ЦлицкХоусе СКЛ синтаксу. Даје савете о функцијама и може да уради много занимљивих ствари.
Овако изгледа општа Табик шема. На левој страни је дрво. У центру је уређивач упита. А испод је резултат овог захтева.
Затим ћу вам показати како функционише уређивач упита.
Овде аутодовршавање аутоматски ради на табели и тражи, сходно томе, аутодовршавање за поља. И наговештаји о функцијама. Ако притиснете цтрл ентер, захтев ће бити извршен или ће пропасти са грешком. Најједноставнији захтев се шаље Табик-у и добија се резултат, односно можете брзо радити са ЦлицкХоусе-ом.
Речници су, као што сам већ рекао, веома занимљива ствар са којом много радимо. И што нам је омогућило да урадимо многе ствари. Рецимо да све градове чувамо у речницима. Чувамо идентификатор града и назив града, његову географску ширину и дужину. А у бази података чувамо само идентификатор града. Сходно томе, ми веома снажно компресујемо податке.
Чини се да је ово једноставна ствар, али помаже у ЦлицкХоусе-у на веома занимљив начин. Због чињенице да ЦлицкХоусе подржава само угнежђене спојеве, упит расте наниже и довољно широк. А када се заграда отвори и дође неки дуги израз, онда нешто једноставно као што је сажимање упита олакшава рад са самим упитом. Јер када је упит дугачак 200-300 редова и веома огромна ширина, од велике је помоћи скупити упит и затим пронаћи неко место или га некако локализовати.
Стабло објеката, више упита и табови (Видео 13:46 )
Следеће ћу вам показати о стаблу и картицама. Са леве стране је дрво; на врху можете креирати неколико картица. Картице су као радни простор. Можете креирати неколико картица и именовати сваку другачије. То је као мини-систем за прављење извештаја.
Картице се аутоматски чувају. Ако поново покренете претраживач или затворите или отворите Табик, све ово ће бити сачувано.
Хоткеи - згодно (Видео 14:39 )
Постоје пречице и има их доста. Овде сам издвојио неке од њих као пример. Ово је мењање картица, извршавање захтева или извршавање неколико захтева.
Показаћу вам како да радите са резултатом. Шаљемо захтев. Овде цртам грех, цос и тг. Можете истаћи резултат, тј. нацртати типичну мапу за колону. Можете истаћи позитивне или негативне вредности. Или једноставно обојите одређени елемент табеле. Ово је згодно када је сто огроман и морате очима пронаћи неку аномалију. Када сам тражио аномалије, неке линије, неке елементе сам истакао зеленом или црвеном бојом.
Тамо има много занимљивих ствари. На пример, како копирати у Редмине Маркдовн. Ако желите да копирате резултат негде, ово је веома згодно. Можете једноставно да изаберете област, кажете „Копирај у Редмине“ и она ће се копирати у Редмине Маркдовн или креирати где упит.
Следеће је оптимизација упита. Једном сам заборавио да наведем поље „датум“. А мој захтев у ЦлицкХоусе-у није обрађен веома, веома брзо, већ брзо, односно мање од секунде. Када сам видео кроз колико је редова претрчао, уплашио сам се. Не уписујемо толико редова у ову табелу у једном дану. Почео сам да анализирам захтев и видео да сам на једном месту пропустио датум. Односно, заборавио сам да назначим да ми не требају подаци за целу табелу, већ за одређени период.
Табик има картицу „Статистика“ у којој се чува целокупна историја послатих захтева, односно тамо можете видети колико је редова прочитао овај захтев и колико је времена требало да се изврши. Ово омогућава оптимизацију.
Можете да направите заокретну табелу преко резултата упита. Послали сте захтев ЦлицкХоусе-у и добили неке податке. А онда можете да преместите ове податке помоћу миша и направите неку врсту пивот табеле.
Следећа занимљива ствар је заплет. Рецимо да имамо следећи захтев: за син, цос од 0 до 299. А да бисте га нацртали, потребно је да изаберете картицу „Драв“ и добићете график са својим грехом и цос.
Ово можете поделити на различите осе, односно можете нацртати два графикона један поред другог одједном. Напишите једну и другу команду.
Можете нацртати хистограме.
Ово можете разбити у матрицу графикона.
Можете направити топлотну мапу.
Можете направити термални календар. Узгред, ово је веома згодна ствар када треба да анализирате аномалије током годину дана, односно да пронађете или скокове или падове. Ова визуализација података ми је помогла у томе.
Следећи је Треемап.
Санкеис је занимљив графикон. Он је или Стреамграхпс или Ривер. Али ја то зовем река. Такође вам омогућава да потражите било какве аномалије. Веома је удобно. Препоручујем да га користите за претрагу.
Следећа занимљива ствар је цртање динамичке мапе. Ако чувате географску ширину, дужину у вашој бази података и, рецимо, чувате одредиште, ако, на пример, имате камионе или авионе који лете, онда можете да нацртате путање одредишта. Такође тамо можете подесити брзину и величину ових објеката у које лете.
Али проблем са овом мапом је што она само црта мапу света, нема детаља.
Касније сам додао Гугл мапу. Ако сачувате географску ширину, дужину, онда можете да нацртате резултат на Гоогле мапи, али без подршке за авион.
Разговарали смо о главним функцијама рада са резултатима и упитима у Табик-у.
Следећа је анализа вашег ЦлицкХоусе сервера. Постоји посебна картица „Метрике“ на којој можете видети величину сачуваних података за сваку колону. Снимак екрана показује да ово поље „реферрер“ заузима око 730 Гб. Ако напустимо ово поље, сачуваћемо три шарда од по 700 ГБ, односно око 2 ТБ који нам нису потребни.
Такође имамо поље "рекуест_ид" које чувамо у низу. Али ако почнемо да га чувамо у нумеричком облику, ово поље ће се енормно смањити.
Такође приказује конфигурацију сервера и листу чворова у вашем кластеру.
Следећа картица је метрика. Они улазе у реално време са ЦлицкХоусе-ом и једноставно вам омогућавају да анализирате стање сервера и разумете шта му се дешава. Ово није замена за пуну Графану. Ово је неопходно за брзу анализу.
Следећа картица су процеси. Од њих можете разумети шта се дешава на серверу. Схватите шта се тамо дешава. Имао сам захтев који је сваки пут трошио 200 ГБ читања. Видео сам ово захваљујући овом интерфејсу. Ухватио сам га и исправио. И испоставило се да је око 30 ГБ, односно перформансе на моменте.
Хвала вам! И то је у ОпенСоурце-у
Завршио сам. И успут, то је ОпенСоурце, бесплатан је и не морате га ни преузимати. Отворите га у претраживачу и све ће радити.
pitanja
Игоре, шта је следеће? Где ћете развити овај алат?
Затим ће се појавити контролне табле, односно можда ће се појавити контролне табле. Интеграција са другим базама података. Урадио сам ово, али то још нисам објавио у ОпенСоурце-у. Ово је МиСКЛ и можда ПостгреСКЛ. То јест, биће могуће слати захтеве из Табик-а не само ЦлицкХоусе-у, већ и другим алатима.
Јасно је да је урађен огроман посао. Испоставило се да је то прилично потпуна идеја. Ово је урађено у претраживачу, очигледно, да би се елиминисале штаке на свим врстама секира и брзо бациле целу ствар заједно. Чуо сам да си укључен пхп ради, па је најлакши начин да га укуцате у претраживач и он ће радити свуда. О овоме нема питања. Питање је ово. Ту је заиста много урађено. Колико је људи радило на овоме? И колико је све то трајало? Зато што прилагођени алати обично немају толико функционалности.
Једна особа из нашег тима радила је од лета до јесени. Ово је била прва верзија. Тада сам направио само 330 урезивања. Шта видите, мој колега и ја смо то урадили на пола. За 3 месеца, од прве до последње верзије, углавном сам то радио сам. Али не познајем добро Јавасцрипт. Ово је био мој једини и, надам се, последњи Јавасцрипт пројекат са којим сам радио. Схватио сам, погледао сам - о, ужас. Али стварно сам желео да завршим производ и ево шта се десило.
Хвала вам пуно на извештају! Ово је одличан алат. ВИТХ Таблеау Јесте ли упоредили?
Хвала вам. Зато сам га назвао Табикс, јер су прва слова иста.
Зато што се такмичите?
Биће много улагања, такмичићемо се.
Како можете понудити продају интерним аналитичарима које ће овај алат у потпуности заменити *Табела*? Шта ће бити аргументи?
Нативно ради са ЦлицкХоусе. Пробао сам Таблеау, али тамо не можеш да напишеш подршку за речнике и слично. Знам како људи раде са Табиком. Они напишу упит, отпреме га у ЦСВ и отпреме у БИ. И тамо већ нешто раде. Али тешко ми је да замислим како то раде, јер је то графички алат. Може да испразни 5 редова, максимално 000 редова, али не више, иначе се претраживач неће снаћи.
Односно, постоје нека озбиљна ограничења у погледу количине података, зар не?
Да. Не могу да замислим да бисте желели да отпремите 10 редова у своју табелу на екран претраживача. За шта?
Да ли то значи да је ово интерфејс за брзо прегледање података? Окрени га мало, уврни га?
Да, брзо погледајте како функционише и само направите збирни графикон. И онда га дајте негде. Имамо сопствени систем извештавања, одакле ја једноставно преузимам овај захтев. Цртам у Табик-у и шаљем га нашем извештају.
И још једно питање. Кохортна анализа?
Ако буде било каквих захтева, ми ћемо их додати.
Када сте тек почели да га користите? ЦлицкХоусе, колико је трајала имплементација? ЦлицкХоусе и довођење до стање производње?
Као што сам рекао, имплементирали смо тестни кластер за врло кратко време. Распоредили смо га за два дана. И тестирали смо га још неколико недеља. И стигли смо до производње за 3 месеца, али смо имали свој ЕТЛ, односно алат за снимање података. И писао је све што је могао. Може да пише у МонгоДБ, Цассандра, МиСКЛ. Било је лако научити га како да пише у ЦлицкХоусе-у. Имали смо готову инфраструктуру за брзу имплементацију. У року од 3 месеца почели смо да избацујемо прву компоненту. За 6 месеци смо потпуно напустили све остало. Остао нам је само један ЦлицкХоусе.
Игоре, хвала пуно на извештају. Заиста ми се допала функционалност изградње путања помоћу мапа. Да ли постоје планови за интеграцију са Иандек.Мапс, а посебно са прилагођеним Иандек.Мапс?
Покушао сам да интегришем уместо Гоогле мапе, али нисам нашао тамну тему на Иандек.Мапс. Нисам ти рекао ни један комад. Премотаћу уназад да додам.
Слајд – Гугл мапа. Ту постоји команда „ДРАВ_ГМАПС“, која црта мапу. Постоји команда „ДРАВ_ИМАПС“, односно може да нацрта Иандек.Мап. Али у ствари, под овом командом постоји Јавасцрипт, односно подаци које добијете од ЦлицкХоусе-а могу се пренети у Јавасцрипт, који овде пишете. И имате излазну област где треба да се нацрта. Можете нацртати било који графикон, односно било који графикон, мапу, можете нацртати своју компоненту. Пре овога, имао сам још једну библиотеку за цртање самих графова.
То јест, да ли постоји алатка за прилагођавање функционалности екрана?
Било који. Можете узети и поново обојити ове тачке, чинећи их не црвеним, већ плавим, зеленим.
Хвала на извештају! Имали сте слајд који је представљао алтернативне алате за упите ЦлицкХоусе за израду контролних табли и аналитичких извештаја. То разумем у тренутку када сте почели да радите са ЦлицкХоусе, за ове алате нису написани адаптери. И питам се зашто си одлучио да направиш свој алат, уместо да пишеш адаптер за неки готов алат? Мислим да је подешавање уређивача тестова брзо. Зашто сте одлучили да се бавите толико посла?
Овде постоји занимљива ствар - чињеница је да сам ја технички директор, а не научник за податке. До тренутка када смо почели да имплементирамо Друид, моја мапа пута је имала око 50% задатака - хајде да израчунамо ово, или хајде да израчунамо ово, или анализирамо ово. И испоставило се да смо имплементирали ЦлицкХоусе. И почео је брзо све да гради, рачуна и брзо затвори свој путоказ. И до тада сам схватио да ми недостаје знање у науци о подацима и визуелизацији података. Табик је нека врста мог домаћег задатка за учење визуелизације података. Гледао сам како да употпуним Цепелин. Мало ми се не свиђа његов програм. Редасх Погледао сам како да га додам, али ми је био довољан нормалан едитор. А СуперСет је такође написан на језику који ми се баш и не свиђа. И тако сам одлучио да бициклирам, и ево шта се десило.
Игоре, да ли прихваташ Пулл захтеве?
Да.
Хвала вам пуно на извештају! И два питања. Прво, о томе не говорите баш ласкаво Јавасцрипт. Да ли сте писали у голом Јавасцрипт-у или је то нека врста оквира?*
Боље у голом Јавасцрипт-у.
Па какав оквир?
Угаони.
То је јасно. И друго питање. Јесте ли размотрили R и *сјајно**?*
Узео у обзир. Играо.
Такође можете само написати адаптер.
Он је. Чини се да је заједница успела, али, као што сам одговорио на претходно питање, желео сам и сам да пробам.
*Не, што се тиче визуелизације, и она је ту.
Кажете да постоји тако нешто и то ће вам нацртати график. Отворио сам књигу о визуелизацији података. И помислио сам: „Дозволите ми да покушам да визуализујем ове податке. Писаћу му да може поново да направи податке." И почео сам да боље разумем технологију за унос података. А да сам узео готову компоненту, лично бих научио горе како да је користим, односно визуелизацију. Али да, свидео ми се Р, али још нисам прочитао књигу „Р за лутке“.
Хвала!
Једноставно питање. Постоје ли начини да брзо отпремите знак или распоред?
Може се отпремити у ЦСВ или Екцел.
Не подаци, већ готова плоча, готов графикон? На пример, да покажете шефу.
Постоји дугме „Отпреми“ и постоји дугме „Отпреми графикон у пнг, у јпг“.
Хвала!
ПС Мини-инструкције за инсталирање табик-а
- Довнлоад
- Распакујте, копирајте директоријум
buildу нгинк роот_патх - Конфигуришите нгинк
Извор: ввв.хабр.цом