Како је Гоогле-ов БигКуери демократизовао анализу података. Део 1

Здраво, Хабр! Упис за нови стрим курса је тренутно отворен на ОТУС-у Дата Енгинеер. У ишчекивању почетка курса, традиционално смо за вас припремили превод занимљивог материјала.

Сваког дана више од сто милиона људи посети Твитер да сазна шта се дешава у свету и разговара о томе. Сваки твит и свака друга радња корисника генерише догађај који је доступан за Твиттер-ову интерну анализу података. Стотине запослених анализирају и визуелизују ове податке, а побољшање њиховог искуства је главни приоритет тима Твиттер Дата Платформе.

Верујемо да би корисници са широким спектром техничких вештина требало да буду у могућности да открију податке и да имају приступ алатима за анализу и визуелизацију заснованим на СКЛ-у са добрим перформансама. Ово би омогућило потпуно новој групи мање техничких корисника, укључујући аналитичаре података и менаџере производа, да извуку увиде из података, омогућавајући им да боље разумеју и користе могућности Твитера. Овако демократизујемо анализу података на Твитеру.

Како су се наши алати и могућности интерне анализе података побољшали, видели смо да се Твиттер побољшава. Међутим, још увек има простора за побољшање. Тренутни алати као што је Сцалдинг захтевају искуство у програмирању. Алати за анализу засновани на СКЛ-у као што су Престо и Вертица имају велике проблеме са перформансама. Такође имамо проблем дистрибуције података у више система без сталног приступа њима.

Прошле године смо најавили нова сарадња са Гоогле-ом, у оквиру које преносимо делове нашег инфраструктура података на Гоогле Цлоуд Платформу (ГЦП). Закључили смо да Гоогле Цлоуд алати Биг података може да нам помогне са нашим иницијативама за демократизацију аналитике, визуелизације и машинског учења на Твитеру:

• БигКуери: складиште података предузећа са базираном на СКЛ машини дремел, који је познат по својој брзини, једноставности и сналажењу Машинско учење.
• Дата Студио: алатка за визуелизацију великих података са функцијама за сарадњу попут Гоогле докумената.

У овом чланку ћете сазнати о нашем искуству са овим алатима: шта смо урадили, шта смо научили и шта ћемо следеће урадити. Сада ћемо се фокусирати на групну и интерактивну аналитику. О аналитици у реалном времену ћемо разговарати у следећем чланку.

Историја Твиттер продавница података

Пре него што уђемо у БигКуери, вреди укратко испричати историју складиштења података на Твиттер-у. У 2011. години, Твитер анализа података је извршена у Вертици и Хадооп-у. Користили смо Пиг да креирамо МапРедуце Хадооп послове. Године 2012. заменили смо Пиг са Сцалдинг, који је имао Сцала АПИ са предностима као што су могућност креирања сложених цевовода и лакоћа тестирања. Међутим, за многе аналитичаре података и менаџере производа којима је било пријатније радити са СКЛ-ом, то је била прилично стрма крива учења. Отприлике 2016. почели смо да користимо Престо као СКЛ интерфејс за Хадооп податке. Спарк је понудио Питхон интерфејс, што га чини добрим избором за ад хоц науку о подацима и машинско учење.

Од 2018. године користили смо следеће алате за анализу и визуелизацију података:

• Оперење за производне транспортере
• Сцалдинг и Спарк за ад хоц анализу података и машинско учење
• Вертица и Престо за ад хоц и интерактивну СКЛ анализу
• Друид за низак интерактивни, истраживачки приступ метрикама временских серија са малим кашњењем
• Таблеау, Зеппелин и Пивот за визуелизацију података

Открили смо да иако ови алати нуде веома моћне могућности, имали смо потешкоћа да ове могућности учинимо доступним широј публици на Твитеру. Проширујући нашу платформу помоћу Гоогле Цлоуд-а, фокусирамо се на поједностављење наших аналитичких алата за цео Твиттер.

Гоогле-ово БигКуери складиште података

Неколико тимова на Твиттер-у је већ укључило БигКуери у неке од својих производних процеса. Користећи њихову стручност, почели смо да процењујемо могућности БигКуери-ја за све случајеве коришћења Твиттер-а. Наш циљ је био да понудимо БигКуери целој компанији и да га стандардизујемо и подржимо у оквиру скупа алата Дата Платформ. Ово је било тешко из много разлога. Требали смо да развијемо инфраструктуру за поуздано преузимање великих количина података, подршку за управљање подацима у целој компанији, обезбеђивање одговарајуће контроле приступа и приватност корисника. Такође смо морали да креирамо системе за доделу ресурса, праћење и повраћај средстава како би тимови могли ефикасно да користе БигКуери.

У новембру 2018. издали смо алфа издање БигКуери-а и Дата Студио-а за целу компанију. Понудили смо запосленима на Твиттер-у неке од наших најчешће коришћених табела са очишћеним личним подацима. БигКуери је користило преко 250 корисника из разних тимова, укључујући инжењеринг, финансије и маркетинг. Недавно су покренули око 8 хиљада захтева, обрађујући око 100 ПБ месечно, не рачунајући заказане захтеве. Након што смо добили веома позитивне повратне информације, одлучили смо да наставимо даље и понудимо БигКуери као примарни ресурс за интеракцију са подацима на Твитеру.

Ево дијаграма високог нивоа наше архитектуре Гоогле БигКуери складишта података.

Копирамо податке из локалних Хадооп кластера у Гоогле Цлоуд Стораге (ГЦС) помоћу интерне алатке Цлоуд Реплицатор. Затим користимо Апацхе Аирфлов за креирање цевовода који користе "бк_лоад» да бисте учитали податке из ГЦС-а у БигКуери. Користимо Престо за испитивање скупова података Паркета или Тхрифт-ЛЗО у ГЦС-у. БК Бластер је интерни алат за сцалдинг за учитавање ХДФС Вертица и Тхрифт-ЛЗО скупова података у БигКуери.

У наредним одељцима ћемо расправљати о нашем приступу и стручности у областима лакоће коришћења, перформанси, управљања подацима, здравља система и трошкова.

Једноставност употребе

Открили смо да је корисницима било лако да почну са БигКуери-јем јер није захтевао инсталацију софтвера и корисници су могли да му приступе преко интуитивног веб интерфејса. Међутим, корисници су морали да се упознају са неким карактеристикама и концептима ГЦП-а, укључујући ресурсе као што су пројекти, скупови података и табеле. Развили смо образовне материјале и упутства како бисмо помогли корисницима да почну. Уз стечено основно разумевање, корисницима је било лако да се крећу кроз скупове података, прегледају шеме и податке табеле, покрећу једноставне упите и визуелизују резултате у Дата Студију.

Наш циљ за унос података у БигКуери је био да омогућимо неометано учитавање ХДФС или ГЦС скупова података једним кликом. Разматрали смо Цлоуд Цомпосер (управља Аирфлов), али нисмо могли да га користимо због нашег безбедносног модела за ограничено дељење домена (више о томе у одељку Управљање подацима у наставку). Експериментисали смо са коришћењем Гоогле услуге преноса података (ДТС) да бисмо оркестрирали БигКуери радна оптерећења. Иако се ДТС брзо постављао, није био флексибилан за изградњу цевовода са зависностима. За наше алфа издање, направили смо сопствени Апацхе Аирфлов оквир у ГЦЕ-у и припремамо га за покретање у производњи и да будемо у могућности да подржимо више извора података као што је Вертица.

Да би трансформисали податке у БигКуери, корисници креирају једноставне СКЛ цевоводе података користећи заказане упите. За сложене вишестепене цевоводе са зависностима, планирамо да користимо или сопствени оквир Аирфлов или Цлоуд Цомпосер заједно са Цлоуд Датафлов.

Перформансе

БигКуери је дизајниран за СКЛ упите опште намене који обрађују велике количине података. Није намењен за упите са малим кашњењем, великом пропусношћу које захтева трансакциона база података или за примењену анализу временских серија са малим кашњењем Апацхе Друид. За упите интерактивне аналитике, наши корисници очекују време одговора мање од једног минута. Морали смо да дизајнирамо нашу употребу БигКуери-ја да бисмо испунили ова очекивања. Да бисмо обезбедили предвидљиве перформансе за наше кориснике, искористили смо БигКуери функционалност, доступну клијентима на основу фиксне накнаде која омогућава власницима пројеката да резервишу минимална места за своје упите. Утор БигКуери је јединица рачунарске снаге која је потребна за извршавање СКЛ упита.

Анализирали смо преко 800 упита који обрађују отприлике 1 ТБ података сваки и открили да је просечно време извршавања било 30 секунди. Такође смо сазнали да перформансе у великој мери зависе од употребе нашег слота у различитим пројектима и задацима. Морали смо јасно да разграничимо наше резерве производње и ад хоц слотова да бисмо одржали перформансе за случајеве употребе у производњи и онлајн анализу. Ово је у великој мери утицало на наш дизајн за резервације слотова и хијерархију пројекта.

О управљању подацима, функционалности и цени система говорићемо наредних дана у другом делу превода, али сада позивамо све да бесплатни вебинар уживо, током којег ћете моћи детаљно да сазнате о курсу, као и да поставите питања нашем стручњаку - Егору Матешуку (Сениор Дата Енгинеер, МакимаТелецом).

Опширније:

• Дата Буилд Тоол или оно што је заједничко између Дата Варехоусе и Смоотхие
• Роњење у Делта Лаке: Спровођење и еволуција шеме
• Брзи Апацхе Паркет у Питхон-у са Апацхе Арров-ом

Извор: ввв.хабр.цом