Vrijeme potrebno za čitanje 11 minuta
Mi i Gartner Square 2019 BI :)
Svrha ovog članka je uporediti tri vodeće BI platforme koje su u liderima Gartnerovog kvadranta:
- Power BI (Microsoft)
—Tabela
—Qlik
Slika 1. Gartner BI Magic Quadrant 2019
Moje ime je Andrey Zhdanov, šef sam analitičkog odjela u Analytics Group (). Gradimo vizuelne izveštaje o marketingu, prodaji, finansijama, logistici, drugim rečima, bavimo se poslovnom analitikom i vizuelizacijom podataka.
Moje kolege i ja već nekoliko godina radimo sa raznim BI platformama. Imamo veoma dobro projektno iskustvo, što nam omogućava da uporedimo platforme sa stanovišta programera, analitičara, poslovnih korisnika i implementatora BI sistema.
Imaćemo poseban članak o poređenju cena i vizuelnom dizajnu ovih BI sistema, pa ćemo ovde pokušati da procenimo ove sisteme sa stanovišta analitičara i programera.
Istaknimo nekoliko područja za analizu i procijenimo ih pomoću sistema od 3 tačke:
— Ulazni prag i zahtjevi za analitičara;
— Izvori podataka;
— Čišćenje podataka, ETL (Extract, Transform, Load)
— Vizualizacije i razvoj
— Korporativno okruženje — server, izveštaji
— Podrška za mobilne uređaje
— Ugrađena (ugrađena) analitika u aplikacije/sajtove trećih strana
1. Ulazni prag i zahtjevi za analitičara
Power BI
Vidio sam mnogo korisnika Power BI koji nisu bili IT profesionalci, ali su mogli napraviti prilično dobar izvještaj. Power BI koristi isti jezik upita kao Excel - Power Query i jezik formula DAX. Mnogi analitičari dobro poznaju Excel, pa im je prelazak na ovaj BI sistem prilično jednostavan.
Većina radnji se prilično lako izvodi u uređivaču upita. Plus, tu je i napredni uređivač sa M jezikom za profesionalce.
Slika 2. Power BI Query Builder
QlikSense
Qlik Sense izgleda vrlo prijateljski - mali broj postavki, brza mogućnost kreiranja izvještaja, možete koristiti dizajner učitavanja podataka.
U početku se čini jednostavnijim od Power BI-ja i Tableaua. Ali iz iskustva ću reći da će se nakon nekog vremena, kada analitičar napravi nekoliko jednostavnih izvještaja i treba mu nešto složenije, suočiti s potrebom za programiranjem.
Qlik ima veoma moćan jezik za učitavanje i obradu podataka. Ima svoj jezik formula, Set Analysis. Stoga analitičar mora biti u stanju pisati upite i veze, stavljati podatke u virtualne tablice i aktivno koristiti varijable. Mogućnosti jezika su veoma široke, ali će zahtevati učenje. Vjerovatno svi Qlik analitičari koje poznajem imaju neku ozbiljnu IT pozadinu.
Qlik integratori, poput nas, često vole da pričaju o asocijativnom modelu, kada se prilikom učitavanja podataka sve to smešta u RAM, a vezu između podataka vrši interni mehanizam platforme. Da se pri odabiru vrijednosti ne izvode interni potupiti, kao u klasičnim bazama podataka. Podaci se pružaju gotovo trenutno zbog unaprijed indeksiranih vrijednosti i odnosa.
Istina, u praksi to dovodi do kreiranja automatskih spajanja tablica kada se imena polja podudaraju. Na primjer, ne možete imati različite tabele bez relacija koje će imati isto polje. Moraš se naviknuti na ovo. Morate ili preimenovati kolone i osigurati da se imena ne podudaraju, ili kombinovati sve tabele činjenica u jednu i okružiti ih direktorijumima tipa zvijezda. Vjerovatno je zgodno za početnike, ali za iskusne analitičare nije važno.
Tipičan interfejs za učitavanje i obradu podataka za analitičara izgleda ovako.
Slika 3. Qlik Sense uređivač učitavanja podataka, tabela kalendara
Napomena: U Power BI-ju situacija obično izgleda drugačije, ostavljate različite tabele činjenica i referenci, možete ručno spojiti tabele na klasičan način, tj. Ručno upoređujem stupce međusobno.
tablo
Programeri pozicioniraju Tableau kao BI sa praktičnim i prijateljskim interfejsom koji će omogućiti analitičaru da samostalno proučava svoje podatke. Da, u našoj kompaniji je bilo analitičara koji su bez IT iskustva mogli da prave svoje izveštaje. Ali snizit ću svoju ocjenu za Tableau iz nekoliko razloga:
— Slaba lokalizacija sa ruskim jezikom
— Tableau Online serveri se ne nalaze u Ruskoj Federaciji
— Prilično jednostavan konstruktor opterećenja počinje stvarati probleme kada trebate izgraditi prilično složen model podataka.
Slika 4. Graditelj učitavanja tabličnih podataka
Jedno od pitanja koje postavljamo Tableau analitičarima tokom intervjua je „Kako napraviti model tabela činjenica sa referentnim tabelama bez stavljanja svega u jednu tabelu?!” Kombiniranje podataka zahtijeva pažljivo korištenje. Ispravljao sam greške dupliciranja podataka mnogo puta među svojim analitičarima nakon takvih spajanja.
Plus, Tableau ima prilično jedinstven sistem, gde svaki grafikon pravite na posebnom listu, a zatim kreirate Dashboard, gde počinjete da postavljate kreirane listove. Zatim možete kreirati priču, ovo je kombinacija različitih nadzornih ploča. Razvoj u Qlik-u i Power BI-ju je u tom pogledu jednostavniji; odmah bacite šablone grafikona na list, postavite mjere i mjerenja i Dashboard je spreman. Čini mi se da zbog toga rastu troškovi rada za pripremu u Tableauu.
2. Izvori podataka i preuzimanje
U ovom odeljku nema jasnog pobednika, ali ćemo izdvojiti Qlik zbog nekoliko lepih karakteristika.
Tableau u besplatnoj verziji je ograničen u izvorima, ali u našim člancima se više fokusiramo na poslovanje, a poduzeća mogu priuštiti komercijalne proizvode i analitičare. Stoga Tableau nije snizio ocjenu za ovaj parametar.
Slika 5. Lista mogućih Tableau izvora
Inače, lista izvora je impresivna svuda - sve tabelarne datoteke, sve standardne baze podataka, web konekcije, sve radi svuda. Nisam se susreo sa nestandardnim skladištima podataka, oni mogu imati svoje nijanse, ali u većini slučajeva nećete imati problema s učitavanjem podataka. Jedini izuzetak je 1C. Ne postoje direktni konektori za 1C.
Qlik partneri u Rusiji prodaju sopstvene konektore za 100 - 000 rubalja, ali je u većini slučajeva jeftinije izvršiti otpremanje sa 200C na FTP u Excel ili SQL bazu podataka. Ili možete objaviti 000C bazu podataka na webu i povezati se s njom koristeći Odata protokol.
PowerBI i Tableau to mogu učiniti kao standard, ali Qlik će tražiti plaćeni konektor, tako da ga je lakše učitati u srednju bazu podataka. U svakom slučaju, svi problemi sa vezom se mogu riješiti.
Slika 6. Lista mogućih Qlik Sense izvora
Osim toga, vrijedi napomenuti karakteristiku Qlik-a da pružaju i plaćene i besplatne konektore kao poseban proizvod.
Slika 7. Dodatni Qlik Sense konektori
Iz iskustva ću dodati da uz velike količine podataka ili brojne izvore nije uvijek preporučljivo odmah povezati BI sistem. Ozbiljni projekti obično koriste skladište podataka, bazu podataka sa već pripremljenim podacima za analizu itd. Ne možete uzeti i otpremiti, recimo, milijardu zapisa u BI sistem. Ovdje već morate razmisliti o arhitekturi rješenja.
Slika 8. Power BI izvori podataka
Ali zašto je Qlik izdvojen? Zaista volim 3 stvari:
- QVD fajlovi
Vlastiti format za pohranu podataka. Ponekad je moguće izgraditi ozbiljne komercijalne projekte samo na QVD datotekama. Na primjer, prvi nivo su sirovi podaci. Drugi nivo su obrađeni fajlovi. Treći nivo su agregirani podaci itd. Ove datoteke se mogu koristiti u različitim aplikacijama, a za njih mogu biti odgovorni različiti zaposlenici i službe. Brzina preuzimanja iz takvih datoteka je deset puta veća nego iz konvencionalnih izvora podataka. Ovo vam omogućava da uštedite na troškovima baze podataka i dijelite informacije između različitih Qlik aplikacija.
— Inkrementalno učitavanje podataka
Da, Power BI i Tableau također mogu to učiniti. Ali Power BI zahtijeva skupu Premium verziju, a Tableau nema fleksibilnost Qlik-a. U Qliku, koristeći QVD datoteke, možete napraviti snimke sistema u različito vrijeme, a zatim obraditi ove podatke kako želite
— Povezivanje eksternih skripti
Pored QVD datoteka za pohranjivanje podataka, u Qlik-u se kod skripte može iznijeti i izvan aplikacije i uključiti u naredbu Uključi. Ovo vam već omogućava da organizujete timski rad, koristite sisteme kontrole verzija i upravljate jednim kodom za različite aplikacije. Power BI ima napredni uređivač upita, ali nismo uspjeli postaviti takav timski rad kao u Qliku. Općenito, sav BI ima problema s ovim; jednostavno je nemoguće istovremeno upravljati podacima, kodom i vizualizacijama u svim aplikacijama s jednog mjesta. Najviše što smo mogli da uradimo je da izdvojimo QVD fajlove i kod skripte. Vizuelni elementi se moraju uređivati unutar samih izvještaja, što nam ne dozvoljava da masovno mijenjamo vizualizacije za sve klijente u isto vrijeme.
Ali šta je sa takvim mehanizmom kao što je veza uživo? Tableau i Power BI podržavaju LIVE povezivanje sa nizom izvora, za razliku od Qlik-a. Prilično smo ravnodušni prema ovoj osobini, jer... praksa pokazuje da kada su u pitanju veliki podaci, rad sa LIVE vezom postaje jednostavno nemoguć. A BI je u većini slučajeva potreban za velike podatke.
3. Čišćenje podataka, ETL (Extract, Transform, Load)
U ovoj sekciji imam 2 lidera, Qlik Sense i Power Bi.
Recimo samo da je Qlik moćan, ali složen. Jednom kada shvatite njihov jezik sličan SQL-u, možete raditi gotovo sve - virtualne tablice, spajanja i spajanja tabela, petlju kroz tablicu i generiranje novih tablica, hrpu naredbi za obradu redova. Na primjer, polje u 1 ćeliji koje je u pokretu ispunjeno podacima poput „Ivanov 851 Bely“ može se razložiti ne samo u 3 kolone (kao što svi mogu učiniti), već i u 3 reda odjednom, na primjer. Takođe je lako uraditi istu stvar u hodu: kombinujući 3 reda u 1.
Slika 9. Kako učitati i transponirati tabelu u Qlik Senseu iz Google Sheets
Power BI se čini jednostavnijim u tom pogledu, ali većina problema se može lako riješiti kroz dizajner upita. Postavio sam niz parametara, transponovao tabelu, radio na podacima i sve to bez ijednog reda koda.
Slika 10. Kako učitati i transponovati tabelu u Power BI iz AmoCRM-a
Čini mi se da Tableau ima drugačiju ideologiju. Oni su više o ljepoti i dizajnu. Čini se da je vrlo teško povezati gomilu različitih izvora, sve ih kombinirati i obraditi unutar Tableaua. U komercijalnim projektima, u većini slučajeva, podaci su već pripremljeni i akumulirani za Tableau u skladištima i bazama podataka.
Slika 11. Kako učitati i transponovati tabelu u Tableau-u
4. Vizualizacije
U ovom dijelu nismo istakli lidera. Imaćemo poseban članak u kojem ćemo na primjeru jednog slučaja prikazati isti izvještaj u sva 3 sistema . To je više stvar ukusa i vještine analitičara. Na internetu možete pronaći vrlo lijepe slike napravljene na osnovu bilo kojeg od ovih sistema. Osnovne mogućnosti vizualizacije su približno iste za sve. Ostalo je riješeno korištenjem Extensons. Postoje plaćeni i besplatni. Postoje proširenja od samih dobavljača, kao i od freelancera i integratora. Možete napisati vlastitu ekstenziju za vizualizaciju za bilo koju platformu.
Sviđa mi se Tableauov stil, mislim da je strog i korporativni. Ali teško je dobiti zaista lijepu sliku u Tableauu. Odličan primjer Tableau vizualizacije koristeći samo ekstenzije. Ovo neću moći da ponovim, jer... Nemam ove ekstenzije, ali izgleda lijepo.
Slika 12. Izgled Tableau izvještaja sa ekstenzijama
Power BI se takođe može učiniti zanimljivim.
Slika 13. Izgled izvještaja o proširenjima Power Bi c
Jedina stvar koju ne razumijem u vezi Power BI-ja je zašto imaju tako čudne zadane boje. Na bilo kojoj karti, primoran sam promijeniti boju u svoju markiranu, korporativnu i iznenađen sam standardnim bojama.
Qlik Sense takođe zavisi od ekstenzija. Korištenje dodataka može promijeniti izvještaje do neprepoznatljivosti. Također možete dodati vlastitu temu i dizajn.
Slika 14. Izgled Qlik Sense izvještaja sa ekstenzijama
Sa stanovišta programera, više volim Qlik Sense zbog standardnih opcija kao što su alternativne dimenzije i mjere. U postavkama vizualizacije možete podesiti nekoliko dimenzija i mjera, a korisnik može lako podesiti što bi trebao gledati na određenom grafikonu.
U Power Bi i Tableau-u moram da konfigurišem parametre, dugmad, programiram ponašanje sistema u zavisnosti od ovih parametara. Pitam se zašto je tako teško. Ista stvar sa mogućnošću promjene vrste vilizacije.
U Qliku možete sakriti različite vrste vizualizacija u jednom objektu, ali u Power BI i Tableau to je teže. Opet, ovo više zavisi od veštine izvođača. Možete napraviti remek-djelo u bilo kojem sistemu, ali bez iskustva ćete svugdje završiti sa neizražajnom grafikom.
5. Korporativno okruženje - server, izvještaji
Svi proizvodi imaju korporativne serverske verzije. Radio sam sa svim izdanjima i mogu reći da sva imaju prednosti i nedostatke. Izbor proizvoda treba da se zasniva na vašim softverskim zahtevima, uzimajući u obzir njihove nijanse. Svi dobavljači mogu dodijeliti prava i na nivou naloga i grupe, kao i na nivou sigurnosti reda podataka. Dostupno je automatsko ažuriranje izvještaja po rasporedu.
Qlik Sense Enterprise je odlična prilika za izgradnju analitike unutar vaše organizacije za srednja preduzeća. Ovo može izgledati skuplje od Power BI Pro, ali ne zaboravite da se Power BI Pro serveri nalaze u oblaku na teritoriji Microsofta i ne možete uticati na performanse, a kada vam je potreban Power BI Premium, koji se može postaviti na vaše servere, tada cijena počinje od 5000$ mjesečno.
Qlik Sense Enterprise počinje od 230 RUB. za 000 licenci (naknada godišnje, zatim samo tehnička podrška), što je mnogo povoljnije od Power BI Premium. A Qlik Sense Enterprise će vam omogućiti da koristite sve mogućnosti Qlik-a. Možda osim jednog. Iz nekog razloga, Qlik je odlučio da takvu funkciju kao što je mogućnost slanja PDF izvještaja putem e-pošte treba obezbijediti kao zasebnu uslugu Nprinting.
Ali Qlik Sense Enterprise je moćniji od Power BI Pro i stoga se može napraviti sljedeće poređenje.
Qlik Sense Enterprise = Power BI Premium, sa jednakim mogućnostima ispada jeftinije za prosečne implementacije. Velike implementacije se obično računaju na strani dobavljača, gdje mogu obezbijediti individualne uslove za vašu kompaniju.
U tom smislu, prednost ćemo dati Qlik Sense Enterpriseu, on ima sve mogućnosti da izgradi ozbiljnu analitiku na ogromnim podacima. Po našem mišljenju Qlik će raditi brže od Power BI-ja na velikim nizovima; na Qlik konferencijama smo naišli na klijente koji su prvi testirali svoje podatke u milijardama zapisa, a Power BI je pokazao lošije rezultate.
Slika 15. Izgled izvještaja Qlik Sense Enterprise servera
Qlik Sense Cloud = Power BI Pro. Ispostavilo se da je Qlik Sense Cloud 1.5 puta skuplji* i postoji veoma značajno ograničenje koje nam ova platforma ne dozvoljava. Ne možete koristiti ekstenzije, čak ni one ugrađene. A bez ekstenzija, Qlik pomalo gubi svoju vizuelnu lepotu.
Slika 16. Izgled kontrolne table Power BI Pro
*Alternativa je korištenje pretplate na Qlik Sense Enterprise. Ali kako se ovaj članak ne bi shvatio kao reklama, nećemo pokrivati naše cijene
A Tableau stoji malo po strani za nas. Imaju pretplatu u oblaku za 70 USD po programeru i 15 USD po pregledu, kao i skupa serverska rješenja. Ali glavna ideja Tableaua je da za velike podatke trebate organizirati obradu i pohranu podataka sa strane. Objektivno, manja funkcionalnost ne dozvoljava ozbiljnu obradu podataka u Tableau-u. Vizualizirajte, analizirajte, da. Ali za mala i srednja preduzeća, stvaranje odvojenog skladišta je obično problematično. Stoga bih snizio ocjenu za Tableau, da nije njihova 1 igra. Tableau Server neprimjetno šalje zakazane e-poruke sa CSV ili PDF prilozima. Štaviše, možete distribuirati prava, autofiltere itd. Iz nekog razloga Power BI i Qlik to ne mogu učiniti, ali za neke to može biti kritično. Zbog toga, Tableau zauzima poziciju u našem sporu.
Slika 17. Izgled kontrolne table Tableau servera
Takođe u korporativnom okruženju, morate razmišljati o troškovima implementacije i održavanja. U Rusiji se razvila praksa da je Power BI češći u malim preduzećima. To je dovelo do pojave velikog broja slobodnih radnih mjesta i životopisa, te pojave malih integratora. To će vam omogućiti da pronađete stručnjake za mali projekat. Ali najvjerovatnije, svi oni neće imati iskustva u velikim implementacijama i radu sa velikim podacima. Qlik i Tableau su suprotni. Postoji nekoliko Qlik partnera, a još manje Tableau partnera. Ovi partneri su specijalizovani za velike implementacije sa velikim prosječnim provjerama. Na tržištu nema puno slobodnih radnih mjesta i životopisa, barijera za ulazak u ove proizvode je teža nego u Power BI-ju. Ali u Rusiji postoje uspješne implementacije ovih proizvoda za hiljade korisnika, a ovi proizvodi dobro rade na velikim podacima. Vi samo trebate razumjeti prednosti i slabosti proizvoda jer se oni odnose posebno na vaše poslovanje.
6. Podrška za mobilne uređaje.
U ovom odeljku ćemo istaći Power BI i Tableau. Možete instalirati mobilne aplikacije i one će izgledati sasvim adekvatno na ekranima mobilnih uređaja. Iako nam se čini da je analitika na mobilnim uređajima inferiornija od analitike na PC-u. Ipak, nije tako zgodno koristiti filtere, slike su male, brojke se teško vide itd.
Slika 18. Izgled Power BI izvještaja na iPhoneu
Slika 19. Izgled tabelarnog izvještaja na iPhoneu
Slika 20. Izgled Qlik Sense izvještaja na iPhoneu
Zašto su Qlik rezultati smanjeni? Iz nama nepoznatih razloga, mobilni klijent je dostupan samo na iPhone-u; na Androidu ćete morati koristiti običan pretraživač. Osim toga, kada koristite Qlik, odmah morate shvatiti da broj ekstenzija ili vizualizacija nije smanjen ili da su automobili pozicionirani u mobilnim uređajima kako se očekuje. Izveštaj koji izgleda veoma lepo na računaru izgleda mnogo lošije na malom ekranu. Morate napraviti poseban izvještaj za mobilne uređaje, gdje možete ukloniti filtere, KPI i niz drugih objekata. Ovo se takođe odnosi na Power BI ili Tableau, ali je posebno izraženo u Qliku. Nadamo se da će Qlik nastaviti raditi na svom mobilnom klijentu.
Ako planirate potrošiti dosta vremena na provođenje analize s mobilnih uređaja, onda ima smisla instalirati sva 3 klijenta i provjeriti njihov prikaz u izvještajima o testiranju. Svaki dobavljač ima galeriju izvještaja o testiranju na svojoj web stranici za pregled.
7. Ugrađena (ugrađena) analitika u aplikacije/sajtove trećih strana
Korištenje analitike kao usluge treće strane nije uvijek zgodno. Možda razvijate vlastiti proizvod, ali niste spremni da od nule razvijete motor za vizualizaciju i analizu. Možda želite da postavite analitiku na svoju web stranicu tako da se klijent registruje, učitava svoje podatke i vrši analizu unutar svog ličnog naloga. Da biste to učinili, potrebna vam je ugrađena analitika (Embedded).
Svi proizvodi vam to omogućavaju, ali u ovoj kategoriji ćemo izdvojiti Qlik.
Power Bi i Tableau jasno kažu da za takve svrhe morate kupiti poseban Tableau Embedded Analytics ili Power BI Embedded proizvod. Ovo nisu jeftina rješenja koja koštaju hiljade dolara mjesečno, što odmah ograničava njihovu upotrebu. Većina projekata odmah postaje neisplativa za naše klijente. To znači da ne morate samo objaviti izvještaj na cijelom Internetu, već osigurati da se izvještaji objavljuju prema određenim pristupima, uz zaštitu podataka, autorizaciju korisnika itd.
A Qlik će vam omogućiti da izađete. Naravno, imaju i Qlik Analytics Platformu, koja je licencirana po serveru i organizira neograničen broj konekcija. Takođe će biti skup kao konkurenti Tableau i Power Bi. A u slučaju neograničenih veza, nema mnogo opcija.
Ali u Qliku postoji takva stvar kao što je Mashup. Recimo da imate Qlik Sense Enterprise i 10 licenci. Standardna analitika, izgled, sve je već dosadno. Izrađujete vlastitu web stranicu ili aplikaciju i tu možete implementirati svu svoju analitiku. Trik je u tome što je, pojednostavljeno rečeno, Mashup vizualizacija u programskom kodu. Koristeći API, možete programski kreirati vizualizaciju unutar vaše aplikacije ili web stranice. I dalje će vam trebati Qlik Sense Enterprise za licenciranje (licence za veze sa lokacijama = licence za veze sa BI), za učitavanje podataka, itd., ali vizualizacije više neće biti prikazane na strani ovog servera, već će biti ugrađene u vaš aplikacija ili web stranica. Možete koristiti CSS stilove, postaviti nove fontove i boje. Vaših 10 korisnika se više neće prijavljivati na server za analizu, već će koristiti vaš korporativni portal ili aplikaciju. Analitika će dostići novi nivo.
Slika 21. Izgled Qlik Sense izvještaja ugrađenog na web stranicu
Biće teško razumjeti gdje se nalaze elementi stranice i gdje počinje Qlik Sense.
Naravno, biće vam potreban programer, ili još verovatnije nekoliko. Jedan za web programiranje, jedan za rad sa Qlik API-jem. Ali rezultat je vrijedan toga.
Zaključci. Hajde da sumiramo.
Teško je nedvosmisleno reći ko je bolji, a ko gori. Power BI i Qlik su jednaki u našoj konkurenciji, Tableau je nešto inferioran. Ali možda će rezultat biti drugačiji za vaše poslovanje. U BI platformama vizuelna komponenta je veoma važna. Ako ste pogledali na desetine demo izvještaja i slika na internetu za sve BI sisteme i ne sviđa vam se kako jedna od platformi izgleda, onda je najvjerovatnije nećete implementirati, čak i ako ste zadovoljni cijenom ili tehničkim podrška. karakteristike.
Zatim ćete svakako morati izračunati troškove licenci, implementacije i održavanja BI platforme. Možda će u vašem slučaju biti identificiran vođa. Izvođač ili sposobnost da se angažuje odgovarajući stručnjak je od velike važnosti. Bez profesionalaca na bilo kojoj platformi, rezultat će biti katastrofalan.
Uspešne BI integracije vama, Andrey Zhdanov i Vladimir Lazarev, Analytics Group
izvor: www.habr.com