Технически различия на BI системи (Power BI, Qlik Sense, Tableau)

Времето необходимо за прочитане е 11 минути

Ние и Гартнърският квадрат 2019 BI 🙂

Целта на тази статия е да сравни три водещи BI платформи, които са в лидерската позиция на квадрата на Гартнър:

— Power BI (Microsoft)
— Tableau
— Qlik

Фигура 1. Gartner BI Magic Quadrant 2019

Казвам се Жданов Андрей, ръководител на отдела по аналитика в компанията Аналитикс Групп (www.analyticsgroup.ru). Ние изграждаме визуални отчети по маркетинг, продажби, финанси, логистика, с други думи, занимаваме се с бизнес аналитика и визуализация на данни.

С колегите си работим вече няколко години с различни BI платформи. Имаме доста добър опит от проекти, което ни позволява да сравняваме платформите от гледна точка на разработчици, анализатори, бизнес потребители и внедрители на BI системи.

Ще имаме отделна статия за сравнение на цените и визуалното оформление на тези BI системи, така че тук ще се опитаме да оценим тези системи именно от гледна точка на аналитик и разработчик.

Ще выделим няколко направления за анализ и ще оценим по 3-степенна система:

— Праг на достъп и изисквания към аналитика;
— Източници на данни;
— Почистване на данни, ETL (Extract, Transform, Load)
— Визуализации и разработка
— Корпоративна среда — сървър, отчети
— Поддръжка на мобилни устройства
— Вграден (embedded) анализ в външни приложения/сайтове

1. Праг на достъп и изисквания към аналитика

Power BI

Видях много потребители на Power BI, които не бяха IT специалисти, но можеха да създадат приличен отчет. Power BI използва същия език за запитвания, който е и в Excel — Power Query и език на формули DAX. Много аналитика добре познават Excel, затова преминаването към тази BI система им се получава сравнително лесно.

Повечето действия са достатъчно лесни за изпълнение в редактора за запитвания. Плюс, има разширен редактор с езика M за професионалисти.

Фигура 2. Конструктор на запитвания Power BI

Qlik Sense

Qlik Sense изглежда много приятелски — малко настройки, бърза възможност за създаване на отчет, можете да използвате конструктора за зареждане на данни.

Първоначално той изглежда по-прост от Power BI и Tableau. Но от опит мога да кажа, че след известно време, когато аналитикът създаде няколко прости отчета и му е необходимо нещо по-сложно, той ще се сблъска с необходимостта да програмира.

Qlik разполага с мощен език за зареждане и обработка на данни. Има собствен език за формули, наречен Set Analysis. Следователно, аналитикът трябва да умее да пише заявки и връзки, да поставя данни във виртуални таблици и да използва активно променливи. Възможностите на езика са много широки, но изискват изучаване. Вероятно всички аналитични специалисти по Qlik, които познавам, имат сериозен ИТ фон.

Интеграторите на Qlik, като нас, често обичат да разказват за асоциативната моделна структура, при която при зареждане на данни всичките те се поставят в оперативната памет, а връзките между данните се осъществяват чрез вътрешен механизъм на платформата. При избора на стойности не се извършват вътрешни подзаявки, както в класическите бази данни. Данните се предоставят почти моментално благодарение на предварително индексираните стойности и връзки.

Въпреки това на практика това води до създаване на автоматични връзки между таблиците при съвпадение на имената на полетата. Например, не може да имате различни таблици без връзки, които да имат едно и също поле. Трябва да свикнете с това. Или трябва да преименувате колоните и да следите да не съвпадат имената, или да свържете всичките таблици с факти в една и да ги обградите с справочници от типа

Типичният интерфейс за зареждане и обработка на данни за аналитика изглежда така.

Фигура 3. Редактор за зареждане на данни в Qlik Sense, таблица Calendar

Забележка: В Power BI ситуацията обикновено изглежда различно; оставяте различни таблици с факти и справочници и можете ръчно да свързвате таблици по класическия начин, т.е. да сопоставяте колоните помежду им ръчно.

Tableau

Разработчиците на Tableau го позиционират като BI с удобен и приятелски интерфейс, който ще позволи на аналитика самостоятелно да проучва данните си. Да, в нашата компания имаше анализатори, които без ИТ опит можеха да правят своите отчети. Но оценката на Tableau ще намаля по няколко причини:
— Слаба локализация на руски език
— Сървърите на Tableau Online не се намират в РФ
— Сравнително простият конструктор за зареждане започва да създава проблеми, когато трябва да се изградят сравнително сложни модели на данни.

Фигура 4. Конструктор за зареждане на данни в Tableau

Един от въпросите, които задаваме на интервюто на анализатори по Tableau, е „Как да изградим модел на таблици с фактове с таблици справочници, без да обединяваме всичко в една таблица?!" Data Blending изисква внимателно използване. Много пъти съм коригирал грешки на моите анализатори при дублиране на данни след такива обединения.

Плюс при Tableau е доста специфичната система, където всеки график се прави на отделен лист, а след това създаваш Dashboard, където започваш да поставяш създадените листове. След това можеш да създадеш Story, което е комбинация от различни Dashboards. Разработката в Qlik и Power BI по този аспект е по-лесна, тъй като веднага зададеш шаблони на листа, задай мерки и измерения и Dashboard е готов. Работното време за подготовка в Tableau ми се струва, че поради това нараства.

2. Източници на данни и зареждане

В тази секция няма явен лидер, но ще отличим Qlik заради няколко приятни характеристики.

Tableau в безплатната версия е ограничен в източниците, но в нашите статии повече се насочваме към бизнеса, а бизнесът може да си позволи търговски продукти и анализатори. Затова оценката на Tableau по този показател не беше намалена.

Рисунок 5. Списък на възможните източници Tableau

В останалото, списъкът от източници навсякъде е впечатляващ — всички таблични файлове, всички стандартни бази данни, уеб връзки, всичко навсякъде работи. Не съм се сблъсквал с нестандартни хранилища на данни, там вероятно има свои нюанси, но в повечето случаи няма да имате проблеми с зареждането на данни. Изключение е единствено 1С. Преки конектори към 1С няма.

Партньорите на Qlik в Русия продават собствените си конектори за 100 000 — 200 000 рубли, но в повечето случаи е по-евтино да се извличат данни от 1С на FTP в Excel или в SQL база данни. Може също да публикувате базата 1С в уеб и да се свържете с нея по протокол Odata.

PowerBI и Tableau могат да го правят стандартно, а Qlik ще поиска платен конектор, затова и тук е по-лесно да се извлече в междинна база данни. Във всеки случай всички въпроси по свързването могат да бъдат решени.

Рисунок 6. Списък на възможните източници Qlik Sense

Допълнително трябва да се отбележи особеността на Qlik, че те предлагат като отделен продукт както платени, така и безплатни конектори.

Рисунок 7. Допълнителни конектори Qlik Sense

От опит ще добавя, че при големи обеми данни или многобройни източници не винаги е целесъобразно да се свързва веднага BI системата. В сериозни проекти обикновено се използва хранилище на данни, база данни с вече подготвени за анализ данни и т.н. Не можете просто да изтеглите, да кажем, 1 милиард записи в BI системата. Тук вече трябва да се обмисли архитектурата на решението.


Рисунок 8. Източници на данни Power BI

Но защо изтъкнахме Qlik? Много ми харесват 3 неща:
— QVD файлове
Собствен формат за съхранение на данни. Понякога може да се изградят сериозни търговски проекти само на базата на QVD файлове. Например, първото ниво — сурови данни. Второто ниво — обработени файлове. Третото ниво — агрегирани данни и т.н. Тези файлове могат да се използват в различни приложения, за тях могат да отговарят различни служители и услуги. Скоростта на зареждане от такива файлове е десет пъти по-бърза, отколкото от обикновени източници на данни. Това позволява да се спести от база данни и да се обменя информация между различни приложения Qlik.

— Инкрементално зареждане на данни
Да, Power BI и Tableau също могат да го правят. Но Power BI ще изисква скъпа Premium версия, а в Tableau няма онази гъвкавост, каквато предлага Qlik. В Qlik на QVD файловете можете да правите моментни снимки на системите за различно време и след това да обработвате тези данни, както желаете.

— Свързване на външни скриптове
Освен QVD файлове за съхранение на данни, в Qlik кодът на скрипта също може да се изнесе извън приложението и да се свърже с командата Include. Това вече позволява организиране на екипна работа, използване на системи за контрол на версиите, управление на единен код за различни приложения. В Power BI има разширен редактор на заявки, но такава екипна работа не успяхме да настроим както в Qlik. Всъщност всички BI системи имат проблеми с това, да управляват едновременно и данните, и кода, и визуализациите във всички приложения от едно единствено място просто е невъзможно. Максимумът, който успяхме да направим, е да изнесем QVD файловете и кода на скриптовете. Визуалните елементи трябва да се редактират в самите отчети, което не ни позволява масово да променяме визуализациите на всички клиенти едновременно.

Как стои такъв механизъм като Live свързване? Tableau и Power BI поддържат LIVE свързване към редица източници, за разлика от Qlik. Към тази функция се отнасяме доста безразлично, тъй като практиката показва, че когато става въпрос за големи данни, работата с LIVE свързване става просто невъзможна. А BI в повечето случаи е необходим за големи данни.

3. Почистване на данни, ETL (Extract, Transform, Load)

В този раздел имам 2 лидера, Qlik Sense и Power BI.
Да кажем, че Qlik е мощен, но сложен. Разберете SQL-подобния език и можете почти всичко – виртуални таблици, свързвания и обединяване на таблици, да минете циклично през таблицата и да генерирате нови таблици, множество команди за обработка на редове. Например, поле в 1 клетка, съдържащо данни от вида “Иванов 851 Белый”, на лето може да бъде разделено не само на 3 колони (както всички умеят), а веднага и на 3 реда, например. Същото важи и за обединяването на 3 реда в 1 на лето, което също е лесно.

Рисунок 9. Как да заредим и транспонираме таблица в Qlik Sense от Google Sheets

Power BI в това отношение изглежда по-опростено, но повечето задачи лесно се решават чрез конструктора на заявките. Задавате набор от параметри, транспонирате таблицата, работите с данните, и всичко това без нито един ред код.

Рисунок 10. Как да заредим и транспонираме таблица в Power BI от AmoCRM

При Tableau ми се струва, че идеологията е различна. Те акцентират повече на красотата и дизайна. Свързването на множество различни източници, обединяването им и обработката им вътре в Tableau ми се струва много сложно. В търговски проекти в повечето случаи данните за Tableau вече се подготвят и акумулират в хранилища и бази данни.

Рисунок 11. Как да заредим и транспонираме таблица в Tableau

4. Визуализации

В този раздел не сме выделили лидер. Ще имаме отделна статия, в която с примера на един кейс ще покажем един и същ отчет във всичките 3 системи. (Статия «Аналитика на момичета с ниска социална отговорност»)Тук става въпрос за вкус и майсторство на аналитика. В интернет пространството може да намерите много красиви изображения, изградени на базата на всяка от тези системи. Основните възможности за визуализация са горе-долу еднакви за всички. Останалото се решава с използването на разширения. Има платени и безплатни. Има разширения както от самите доставчици, така и от фрийлансери и интегратори. Вие сами можете да напишете собствено разширение за визуализация за която и да е платформа.

Харесва ми стилът на Tableau, считам го за строг и корпоративен. Но е трудно да се получи наистина красиво изображение в Tableau. Отличен пример за визуализация в Tableau, където са използвани само разширения. Не мога да повторя така, тъй като нямам тези разширения, но изглежда красиво.

Рисунок 12. Външен вид на отчетите на Tableau с разширения

Power BI също може да бъде направен интересно.

Рисунок 13. Външен вид на отчетите на Power BI с разширения

Единственото, което не разбирам в Power BI, е защо имат такива странни цветове по подразбиране. На всяка графика съм принуден да сменям цвета на своя фирмен, корпоративен, и се учудвам на стандартната цветова схема.

Qlik Sense също зависи от разширения. Използването на добавки може да променя отчетите до неузнаваемост. Може също така да се наложи собствена тема и оформление.

Рисунок 14. Външен вид на отчетите на Qlik Sense с разширения

От гледна точка на разработчика, Qlik Sense ми е по-удобен заради стандартните опции като алтернативни измерения и мерки. Може в настройките на визуализацията да зададете няколко измерения и мерки, и потребителят лесно може сам да зададе какво да гледа на дадена графика.

В Power BI и Tableau ми се налага да настройвам параметрите, бутоните, да програмирам поведението на системата в зависимост от тези параметри. Учудвам се защо е толкова сложно. Същото важи и за възможността да променяте външния вид на визуализациите.

В Qlik може в един обект да скриете различни видове визуализации, а в Power BI и Tableau с това е по-трудно. Отново, тук повече зависи от майсторството на изпълнителя. Може в която и да е система да направите шедьовър, а без опит навсякъде ще се получат невыразителни графики.

5. Корпоративна среда — сървър, отчети

Всички продукти имат корпоративни версии на сървъри. Работил съм с всички редакции и мога да кажа, че всяка има свои силни и слаби страни. Изборът на продукт трябва да се основава на вашите изисквания към софтуера, вземайки предвид техните нюанси. При всички доставчици е възможно определяне на права както на ниво профили и групи, така и на ниво Data Row Level Security. Достъпно е автоматично обновление на отчетите по график.

Qlik Sense Enterprise е отлична възможност за изграждане на аналитика в рамките на вашата организация за средния бизнес. Това може да изглежда по-скъпо от Power BI Pro, но не трябва да забравяте, че сървърите на Power BI Pro се намират в облака на Microsoft и не можете да повлияете на производителността, а когато ви е необходим Power BI Premium, който може да се инсталира на вашите сървъри, цената започва от 5000$ на месец.

Qlik Sense Enterprise стартира от 230 000 рубли за 5 лиценза (плащане за година, след това само техническа поддръжка), което е много по-достъпно от Power BI Premium. Освен това, Qlik Sense Enterprise позволява да се използват всички възможности на Qlik. Вероятно с изключение на една. По някаква причина Qlik реши, че функцията за изпращане на отчети в PDF по електронна поща трябва да се предлага като отделен услуга NPrinting.

Но Qlik Sense Enterprise е по-мощен от Power BI Pro, затова може да се направи следното сравнение.

Qlik Sense Enterprise = Power BI Premium, при равни възможности цената е по-ниска при средни внедрения. Големите внедрения обикновено се изчисляват на страна на доставчика, където могат да предложат индивидуални условия за вашата компания.

В това отношение ще предпочетем Qlik Sense Enterprise, там има всичко необходимо за изграждане на сериозна аналитика върху огромни данни. По наше мнение, върху големи масиви Qlik ще работи по-бързо от Power BI; на конференции Qlik срещахме клиенти, които първоначално тестираха данните си с милиарди записи, и Power BI показа по-слаби резултати.

Фигура 15. Външен вид на отчетите на сървера Qlik Sense Enterprise

Qlik Sense Cloud = Power BI Pro. Qlik Sense Cloud е 1.5 пъти по-скъп* и там има съществени ограничения, които не ни позволяват да използваме тази платформа. Не могат да се използват разширения, дори и вградени. Без разширения Qlik губи известна част от визуалната си красота.

Фигура 16. Външен вид на таблото за управление на Power BI Pro

*Алтернативен вариант е използването на Qlik Sense Enterprise по подписка. Но за да не се възприеме тази статия като реклама, няма да обсъждаме нашето ценообразуване.

Tableau обаче стои малко встрани за нас. Те предлагат както облачни абонаменти по 70$ за разработчик и 15$ за преглеждащ, така и скъпи сървърни решения. Но основната идея на Tableau е, че за големи данни е необходимо обработването и тяхното съхранение да се организират на място. Обективно, по-малката функционалност не позволява да се извърши сериозна обработка на данни в Tableau. Може да визуализирате и анализирате, да. Но за малкия и средния бизнес обикновено е проблематично да се създаде отделно хранилище. Аз бих намалил оценката за Tableau, ако не беше тяхната една уникална функция. Сървърът на Tableau без проблеми изпраща имейли по график с прикачени файлове в CSV или PDF формат. Освен това можете да управлявате права, автофилтри и други. Защо Power BI и Qlik не могат да направят това, не е ясно, а за някои може да е критично. Заради това Tableau запазва позицията си в нашия спор.

Рисунок 17. Външен вид на контролния панел на Tableau Server.

Също така в корпоративната среда трябва да се помисли за цената на внедряването и обслужването. В Русия се е наложила практиката, че Power BI е по-разпространен в малкия бизнес. Това доведе до появата на голямо количество обяви за работа и резюмета и появата на малки интегратори. Това ще улесни намирането на специалисти за малки проекти. Но най-вероятно всички тях нямат опит с големи внедрявания и работа с големи данни. Qlik и Tableau, от друга страна, имат по-малко партньори. Партньорите на Qlik са малко, а на Tableau още по-малко. Тези партньори се специализират в големи внедрявания с висок среден чек. Няма много обяви и резюмета на пазара, а входът за тези продукти е по-труден в сравнение с Power BI. Но в Русия има успешни внедрения на тези продукти за хиляди потребители и тези продукти показват добро представяне при работа с големи данни. Просто е необходимо да се разберат слабите и силните страни на продуктите, отнасящи се конкретно към вашия бизнес.

6. Поддръжка на мобилни устройства.

В този раздел ще разгледаме Power BI и Tableau. Можете да инсталирате мобилни приложения и те изглеждат доста добре на дисплеите на мобилни устройства. Въпреки това, аналитиката на мобилни устройства ни се струва по-слаба в сравнение с тази на компютрите. Не е толкова удобно да се ползват филтри, картинките са малки, числата трудно се виждат и т.н.

Фигура 18. Изглед на отчета Power BI на iPhone

Фигура 19. Изглед на отчета Tableau на iPhone

Фигура 20. Изглед на отчета Qlik Sense на iPhone

Защо понижихме оценките на Qlik? По непонятни причини, мобилният клиент е достъпен само на iPhone, на Android ще трябва да се използва обикновен браузър. Освен това, при използването на Qlik, е необходимо да се разбере, че много разширения или визуализации не се мащабират или авто позиционират на мобилни устройства така, както се очаква. Отчетът, който изглежда много добре на компютър, на малкия екран изглежда значително по-зле. Трябва да се създаде отделен отчет за мобилни устройства, в който да се премахнат филтри, KPI и още някои обекти. Това важи също и за Power BI или Tableau, но в Qlik е особено изразено. Надяваме се Qlik да продължи да работи над своя мобилен клиент.

Ако планирате да отделяте много време за аналитика именно от мобилни устройства, има смисъл да инсталирате всичките 3 клиента и да проверите визуализацията им на тестовите отчети. Всеки доставчик на своя сайт предлага галерия с тестови отчети за запознанство.

7. Вградена (Embedded) аналитика в чужди приложения/сайтове

Използването на аналитика като странична услуга не винаги е удобно. Може би разработвате свой продукт, но не сте готови да се заемете с разработването на визуализация и аналитичен двигател от нулата. Може би искате да внедрите аналитика на сайта си, за да могат клиентите да се регистрират, да качват данни и да провеждат анализ в личния си профил. За това ви е необходима вградена аналитика (Embedded).
Всички продукти позволяват това, но в тази категория ще акцентираме на Qlik.

Power Bi и Tableau категорично заявяват, че за такива цели трябва да се купи отделен продукт Tableau Embedded Analytics или Power BI Embedded. Това не са евтини решения, струващи хиляди долари на месец, което веднага ограничава тяхното използване. Повечето проекти веднага стават нерентабилни за нашите клиенти. Идеята е, че трябва не просто да публикувате отчет за цялата интернет мрежа, а да осигурите публикуването на отчети съгласно определени достъпи, с защита на данните, авторизация на потребители и т.н.

Qlik обаче ще ви позволи да се справите. Разбира се, те също имат Qlik Analytics Platform, която се лицензира на сървър и организира неограничен брой връзки. Това също ще бъде скъпо, както и конкурентите Tableau и Power Bi. И в случай на неограничени връзки, особено варианти няма.

Но в Qlik има понятие, наречено Mashup. Допустим, че имате Qlik Sense Enterprise и 10 лиценза. Стандартната аналитика, външният вид, всичко вече ви е омръзнало. Вдигате собствен сайт или приложение и можете да внедрите цялата си аналитика директно там. Идеята е, че просто казано, Mashup е визуализация в програмния код. Чрез API можете програмно да зададете създаването на визуализация вътре в приложението или сайта си. Qlik Sense Enterprise все още ще ви е необходим за лицензиране (лицензии за свързване към сайта = лицензи за свързване към BI), за зареждане на данни и т.н., но визуализациите ще се показват не на страната на този сървър, а ще се вграждат във вашето приложение или сайт. Можете да използвате CSS стилове, да задавате нови шрифтове, цветове. Вашите 10 потребители вече няма да влизат в сървъра за аналитика, а ще ползват вашия корпоративен портал или приложение. Аналитиката ще стигне на ново ниво.

Рисунок 21. Външният вид на отчет Qlik Sense, внедрен на уебсайт

Вече ще бъде трудно да се разбере къде са елементите на сайта, а къде започва Qlik Sense.
Разбира се, ще ви трябва програмист, а дори по-скоро няколко. Един за уеб програмиране, един за работа с API Qlik. Но резултатът си заслужава.

Изводи. Нека обобщим.

Трудно однозначно оценить, кто лучше, а кто хуже. Power BI и Qlik в нашем сравнении представлены на одном уровне, Tableau немного отстает. Однако, возможно, для вашего бизнеса результаты будут другими. В BI платформах визуальная составляющая имеет огромное значение. Если вы просмотрели множество демо-отчетов и изображений в интернете по всем BI системам и вам не понравилось, как выглядит одна из платформ, то, вероятно, вы не будете её внедрять, даже если вас устраивает цена или технические характеристики.

Далее вам обязательно необходимо рассчитать стоимость лицензий, внедрения и поддержки BI платформы. Возможно, в вашем случае будет выявлен лидер. Существенное значение имеет подрядчик или возможность нанять подходящего специалиста. Без профессионалов в любой платформе результат будет плачевным.

Успешных вам BI-интеграций, Андрей Жданов и Владимир Лазарев, Аналитикс Групп

Източник: habr.com