{"id":92100,"date":"2020-08-23T07:42:02","date_gmt":"2020-08-23T05:42:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru"},"modified":"2020-08-23T07:42:02","modified_gmt":"2020-08-23T05:42:02","slug":"kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru","title":{"rendered":"Jak firmy mog\u0105 wybiera\u0107 narz\u0119dzia dla in\u017cynier\u00f3w danych, unikaj\u0105c tworzenia technologicznego zoo: do\u015bwiadczenie PROFI.RU","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Redaktor Netologii rozmawia\u0142 z liderem zespo\u0142u BI w <noindex><a rel=\"nofollow\" href=\"https:\/\/profi.ru\/\">Profi.ru<\/a><\/noindex> Paw\u0142em Sajapinem na temat zada\u0144 realizowanych przez in\u017cynier\u00f3w danych w jego zespole, jakich narz\u0119dzi u\u017cywaj\u0105 do tego celu i jak w\u0142a\u015bciwie podej\u015b\u0107 do wyboru narz\u0119dzi do rozwi\u0105zywania zada\u0144 zwi\u0105zanych z danymi, w tym nietypowych. Pawe\u0142 jest wyk\u0142adowc\u0105 na kursie \u201e<noindex><a rel=\"nofollow\" href=\"https:\/\/netology.ru\/programs\/data-engineer?utm_source=habr&amp;utm_medium=externalblog&amp;utm_campaign=bds_deg_ou_habr&amp;utm_content=21082020_instrumdataeng\">In\u017cynier Danych<\/a><\/noindex>\u00bb.\u00a0<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h2>Czym zajmuj\u0105 si\u0119 in\u017cynierowie danych w Profi.ru<\/h2>\n<p>\nProfi.ru to serwis, kt\u00f3ry \u0142\u0105czy klient\u00f3w z specjalistami z r\u00f3\u017cnych dziedzin. W bazie serwisu znajduje si\u0119 ponad 900 tysi\u0119cy specjalist\u00f3w w 700 rodzajach us\u0142ug: korepetytorzy, fachowcy od napraw, trenerzy, kosmetyczki, arty\u015bci i inni. Ka\u017cdego dnia rejestruje si\u0119 ponad 10 tysi\u0119cy nowych zlece\u0144 \u2014 to generuje oko\u0142o 100 milion\u00f3w zdarze\u0144 dziennie. Utrzymanie porz\u0105dku w takiej ilo\u015bci danych jest niemo\u017cliwe bez profesjonalnych in\u017cynier\u00f3w danych.\u00a0\u00a0<\/p>\n<p>W idealnym przypadku in\u017cynier danych rozwija kultur\u0119 pracy z danymi, dzi\u0119ki kt\u00f3rej firma mo\u017ce uzyskiwa\u0107 dodatkowy zysk lub obni\u017ca\u0107 koszty. Przynosi warto\u015b\u0107 dla biznesu, pracuj\u0105c w zespole i pe\u0142ni\u0105c wa\u017cn\u0105 rol\u0119 pomi\u0119dzy r\u00f3\u017cnymi uczestnikami \u2014 od programist\u00f3w po u\u017cytkownik\u00f3w biznesowych raport\u00f3w. Jednak w ka\u017cdej firmie zadania mog\u0105 si\u0119 r\u00f3\u017cni\u0107, dlatego rozwa\u017cmy je na przyk\u0142adzie Profi.ru.<\/p>\n<h3>Zbieraj\u0105 dane potrzebne do podejmowania decyzji i dostarczaj\u0105 je ko\u0144cowemu u\u017cytkownikowi \u2014 top mened\u017cerowi, product managerowi, analitykowi\u00a0<\/h3>\n<p>\nDane musz\u0105 by\u0107 zrozumia\u0142e dla podejmowania decyzji i wygodne w u\u017cyciu. Nie trzeba wk\u0142ada\u0107 wysi\u0142ku w szukanie opis\u00f3w ani tworzy\u0107 skomplikowanych zapyta\u0144 SQL uwzgl\u0119dniaj\u0105cych wiele r\u00f3\u017cnych czynnik\u00f3w. Idealny obrazek \u2014 u\u017cytkownik patrzy na pulpit nawigacyjny i wszystko mu odpowiada. A je\u015bli brakuje danych w jakim\u015b kontek\u015bcie, to zagl\u0105da do bazy i za pomoc\u0105 prostego zapytania SQL otrzymuje to, czego potrzebuje.<\/p>\n<p><img decoding=\"async\" alt=\"Jak firmy mog\u0105 wybiera\u0107 narz\u0119dzia dla in\u017cynier\u00f3w danych, unikaj\u0105c tworzenia technologicznego zoo: do\u015bwiadczenie PROFI.RU\" src=\"\/wp-content\/uploads\/2020\/08\/84beecc4cca0505513bc77218a3ef433.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Miejsce procesu jako\u015bci danych w og\u00f3lnej strukturze hurtowni danych<\/i><\/p>\n<p>Wa\u017cne znaczenie ma dokumentacja wyja\u015bniaj\u0105ca prac\u0119 z danymi. Upraszcza to prac\u0119 zar\u00f3wno in\u017cyniera danych (nie jest niepokojony pytaniami), jak i u\u017cytkownika danych (mo\u017ce samodzielnie znale\u017a\u0107 odpowiedzi na swoje pytania). W Profi.ru takie dokumenty s\u0105 zgromadzone na wewn\u0119trznym forum.<\/p>\n<p>Wygodno\u015b\u0107 obejmuje r\u00f3wnie\u017c szybko\u015b\u0107 uzyskiwania danych. Szybko\u015b\u0107 = dost\u0119pno\u015b\u0107 w jednym kroku, klikni\u0119ciu \u2014 na pulpicie. Jednak w praktyce wszystko jest bardziej skomplikowane.\u00a0<\/p>\n<p>Ten sam Tableau z perspektywy u\u017cytkownika pulpitu nie pozwala na wy\u015bwietlenie wszystkich mo\u017cliwych wymiar\u00f3w. U\u017cytkownik zadowala si\u0119 tymi filtrami, kt\u00f3re stworzy\u0142 tw\u00f3rca pulpitu. To generuje dwa scenariusze:\u00a0<\/p>\n<ul>\n<li>Tw\u00f3rca tworzy wiele ci\u0119\u0107 dla pulpitu \u27f6 liczba stron znacznie ro\u015bnie. To obni\u017ca dost\u0119pno\u015b\u0107 danych: trudno jest zrozumie\u0107, gdzie co jest.\u00a0<\/li>\n<li>Tw\u00f3rca tworzy tylko kluczowe ci\u0119cia. Znalezienie informacji jest \u0142atwiejsze, ale przy nieco mniej standardowym ci\u0119ciu wci\u0105\u017c trzeba b\u0119dzie uda\u0107 si\u0119 albo do bazy, albo do analityk\u00f3w. To r\u00f3wnie\u017c \u017ale wp\u0142ywa na dost\u0119pno\u015b\u0107.\u00a0<\/li>\n<\/ul>\n<p><\/p>\n<blockquote><p>Dost\u0119pno\u015b\u0107 to szerokie poj\u0119cie. Obejmuje zar\u00f3wno obecno\u015b\u0107 danych w odpowiedniej formie, jak i mo\u017cliwo\u015b\u0107 uzyskania informacji na pulpitach, a tak\u017ce potrzebne ci\u0119cie danych.<\/p><\/blockquote>\n<p><\/p>\n<h3>Akumuluj\u0105 dane ze wszystkich \u017ar\u00f3de\u0142 w jednym miejscu<\/h3>\n<p>\n\u0179r\u00f3d\u0142a danych mog\u0105 by\u0107 wewn\u0119trzne i zewn\u0119trzne. Na przyk\u0142ad, czyj\u015b biznes mo\u017ce zale\u017ce\u0107 od prognoz pogody, kt\u00f3re nale\u017cy zbiera\u0107 i przechowywa\u0107 \u2014 od zewn\u0119trznych \u017ar\u00f3de\u0142.\u00a0<\/p>\n<p>Przechowywanie informacji powinno odbywa\u0107 si\u0119 z podaniem \u017ar\u00f3d\u0142a, a tak\u017ce w taki spos\u00f3b, aby dane mo\u017cna by\u0142o \u0142atwo znale\u017a\u0107. W Profi.ru problem ten rozwi\u0105zano za pomoc\u0105 zautomatyzowanej dokumentacji. Dokumentacj\u0105 \u017ar\u00f3de\u0142 danych wewn\u0119trznych s\u0105 pliki YML.<\/p>\n<h3>Tworz\u0105 pulpity<\/h3>\n<p>\nWizualizacj\u0119 danych najlepiej przeprowadza\u0107 w profesjonalnym narz\u0119dziu \u2014 na przyk\u0142ad w Tableau.\u00a0<\/p>\n<p>Wi\u0119kszo\u015b\u0107 podejmuje decyzje emocjonalnie \u2014 wa\u017cna jest przejrzysto\u015b\u0107 i estetyka. Ten sam Excel do wizualizacji, nawiasem m\u00f3wi\u0105c, nie jest zbyt odpowiedni: nie spe\u0142nia wszystkich potrzeb u\u017cytkownik\u00f3w danych. Na przyk\u0142ad mened\u017cer produktu lubi zag\u0142\u0119bia\u0107 si\u0119 w liczby, ale w spos\u00f3b wygodny dla siebie. To pozwala mu rozwi\u0105zywa\u0107 swoje zadania, a nie zastanawia\u0107 si\u0119, jak uzyska\u0107 informacje i zebra\u0107 metryki.<\/p>\n<blockquote><p>Jako\u015bciowa wizualizacja danych pozwala \u0142atwiej i szybciej podejmowa\u0107 decyzje.<\/p><\/blockquote>\n<p>\u00a0<br \/>\nIm wy\u017cej osoba w hierarchii, tym wi\u0119ksza potrzeba posiadania agregowanych danych pod r\u0119k\u0105, na telefonie. Szczeg\u00f3\u0142y nie s\u0105 potrzebne top mened\u017cerom \u2014 wa\u017cne jest kontrolowanie sytuacji w ca\u0142o\u015bci, a BI to dobre narz\u0119dzie do tego.<\/p>\n<p><img decoding=\"async\" alt=\"Jak firmy mog\u0105 wybiera\u0107 narz\u0119dzia dla in\u017cynier\u00f3w danych, unikaj\u0105c tworzenia technologicznego zoo: do\u015bwiadczenie PROFI.RU\" src=\"\/wp-content\/uploads\/2020\/08\/f3428b2418887220fa2f2ef8078d3b05.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Przyk\u0142ad produktu z panelu sterowania Profi.ru (jedna z zak\u0142adek). W celu zachowania poufno\u015bci informacji nazwy metryk i osi s\u0105 ukryte.<\/i><\/p>\n<h2>Przyk\u0142ady rzeczywistych zada\u0144.\u00a0<\/h2>\n<p><\/p>\n<h3>Zadanie 1 \u2014 przeniesienie danych z system\u00f3w \u017ar\u00f3d\u0142owych (operacyjnych) do hurtowni danych lub ETL.<\/h3>\n<p>\nJedno z rutynowych zada\u0144 in\u017cyniera danych.\u00a0<\/p>\n<p>W tym celu mog\u0105 by\u0107 u\u017cywane:<\/p>\n<ul>\n<li>skrypty w\u0142asne, uruchamiane przez cron lub za pomoc\u0105 specjalnych orkiestrator\u00f3w takich jak Airflow lub Prefect;\u00a0<\/li>\n<li>OTW\u00d3RZ ROZWI\u0104ZANIA: Pentaho Data Integration, Talend Data Studio i inne;<\/li>\n<li>rozwi\u0105zania w\u0142asno\u015bciowe: Informatica PowerCenter, SSIS i inne;<\/li>\n<li>rozwi\u0105zania chmurowe: Matillion, Panoply i inne.\u00a0<\/li>\n<\/ul>\n<p>\nW prostym wykonaniu problem ten mo\u017cna rozwi\u0105za\u0107, pisz\u0105c plik YML o d\u0142ugo\u015bci 20 linijek. Zajmuje to 5 minut.\u00a0<\/p>\n<p>W najtrudniejszym przypadku, gdy trzeba doda\u0107 nowe \u017ar\u00f3d\u0142o \u2014 na przyk\u0142ad now\u0105 baz\u0119 danych \u2014 mo\u017ce to zaj\u0105\u0107 do kilku dni.\u00a0<\/p>\n<p>W Profi to proste zadanie \u2014 przy ustalonym procesie \u2014 sk\u0142ada si\u0119 z nast\u0119puj\u0105cych krok\u00f3w:<\/p>\n<ul>\n<li>Wyja\u015bnienie klientowi, jakie dane s\u0105 potrzebne i gdzie si\u0119 znajduj\u0105.<\/li>\n<li>Zrozumienie, czy dost\u0119p do tych danych jest mo\u017cliwy.<\/li>\n<li>Je\u015bli dost\u0119pu nie ma, nale\u017cy poprosi\u0107 administrator\u00f3w.<\/li>\n<li>Dodanie nowej ga\u0142\u0119zi w Gicie z kodem zadania w Jira.<\/li>\n<li>Utworzenie migracji do dodania danych do modeli bazowych za pomoc\u0105 interaktywnego skryptu Python.<\/li>\n<li>Dodanie plik\u00f3w do \u0142adowania (plik YML z opisem, sk\u0105d pochodz\u0105 dane i do jakiej tabeli s\u0105 wprowadzane).<\/li>\n<li>Przetestowanie na \u015brodowisku testowym.<\/li>\n<li>Za\u0142aduj dane do repozytorium.<\/li>\n<li>Utworzenie pro\u015bby o \u015bci\u0105gni\u0119cie (pull request).<\/li>\n<li>Przej\u015bcie przez recenzj\u0119 kodu.<\/li>\n<li>Po przej\u015bciu przez recenzj\u0119 kodu dane s\u0105 \u0142adowane do ga\u0142\u0119zi g\u0142\u00f3wnej i automatycznie wdra\u017cane na produkcj\u0119 (CI\/CD).<\/li>\n<\/ul>\n<p><\/p>\n<h3>Zadanie 2 \u2014 wygodne rozmieszczenie za\u0142adowanych danych.<\/h3>\n<p>\nInnym cz\u0119stym zadaniem jest umieszczenie za\u0142adowanych danych w taki spos\u00f3b, aby ko\u0144cowy u\u017cytkownik (lub narz\u0119dzie BI) m\u00f3g\u0142 z nimi wygodnie pracowa\u0107, nie musz\u0105c podejmowa\u0107 zb\u0119dnych dzia\u0142a\u0144 w celu wykonania wi\u0119kszo\u015bci zada\u0144. Oznacza to zbudowanie lub aktualizacj\u0119 Dimension Data Store (DDS).\u00a0<\/p>\n<p>W tym celu mog\u0105 by\u0107 stosowane rozwi\u0105zania z zadania 1, poniewa\u017c r\u00f3wnie\u017c jest to proces ETL. W najprostszym wariancie aktualizacja DDS odbywa si\u0119 za pomoc\u0105 skrypt\u00f3w SQL.<\/p>\n<h3>Zadanie 3 \u2014 z kategorii nietypowych zada\u0144.<\/h3>\n<p>\nW Profi powstaje analiza strumieniowa. Generowana jest ogromna liczba zdarze\u0144 przez zespo\u0142y produktowe \u2014 zapisujemy je w ClickHouse. Jednak nie mo\u017cna wstawia\u0107 rekord\u00f3w pojedynczo w du\u017cych ilo\u015bciach, dlatego musimy \u0142\u0105czy\u0107 je w paczki. To znaczy, \u017ce nie mo\u017cna pisa\u0107 bezpo\u015brednio \u2014 potrzebny jest po\u015bredni przetwornik.<\/p>\n<p>U\u017cywamy silnika opartego na Apache Flink. Na razie porz\u0105dek dzia\u0142a\u0144 jest taki: silnik przetwarza przychodz\u0105cy strumie\u0144 zdarze\u0144 \u27f6 gromadzi je w paczki w ClickHouse \u27f6 na bie\u017c\u0105co liczy liczb\u0119 zdarze\u0144 w ci\u0105gu 15 minut \u27f6 przekazuje je do us\u0142ugi, kt\u00f3ra ustala, czy wyst\u0119puj\u0105 anomalie \u2014 por\u00f3wnuje z warto\u015bciami z analogicznych 15 minut wstecz, z si\u0119ganiem 3 miesi\u0119cy \u27f6 je\u015bli s\u0105, wysy\u0142a powiadomienie do Slacka.<\/p>\n<p><img decoding=\"async\" alt=\"Jak firmy mog\u0105 wybiera\u0107 narz\u0119dzia dla in\u017cynier\u00f3w danych, unikaj\u0105c tworzenia technologicznego zoo: do\u015bwiadczenie PROFI.RU\" src=\"\/wp-content\/uploads\/2020\/08\/5a62fe7561cd9b7c319b5f3ba658d1ef.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Schemat dla analizy frontendowej (cz\u0119\u015b\u0107 za\u0142adunku)<\/i><\/p>\n<p>Framework Apache Flink zapewnia dostaw\u0119 co najmniej raz. Niemniej jednak istnieje prawdopodobie\u0144stwo duplikat\u00f3w. W przypadku RabbitMQ mo\u017cna to rozwi\u0105za\u0107, u\u017cywaj\u0105c Correlation ID. Wtedy dostawa jest gwarantowana jako jednorazowa \u27f6 integralno\u015b\u0107 danych.<\/p>\n<p>Liczba zdarze\u0144 ponownie obliczana jest za pomoc\u0105 Apache Flink, wy\u015bwietlana przez stworzony na zam\u00f3wienie dashboard, napisany w NodeJS, + frontend w ReactJS. Szybkie wyszukiwanie nie przynios\u0142o podobnych rozwi\u0105za\u0144. Zreszt\u0105 sam kod wyszed\u0142 prosty \u2014 jego napisanie nie zaj\u0119\u0142o du\u017co czasu.<\/p>\n<p>Monitorowanie ma raczej charakter techniczny. Obserwujemy anomalie, aby na wczesnych etapach zapobiega\u0107 problemom. Jakie\u015b istotne, globalne metryki firmy obecnie nie wchodz\u0105 do monitorowania, poniewa\u017c kierunek analizy strumieniowej jest w fazie formowania.<\/p>\n<h2>Podstawowe narz\u0119dzia in\u017cynier\u00f3w danych<\/h2>\n<p>\nZ zadaniami in\u017cynier\u00f3w danych jest mniej wi\u0119cej jasne, teraz troch\u0119 o narz\u0119dziach, kt\u00f3re s\u0105 u\u017cywane do ich rozwi\u0105zania. Oczywi\u015bcie, narz\u0119dzia w r\u00f3\u017cnych firmach mog\u0105 (i powinny) si\u0119 r\u00f3\u017cni\u0107 \u2014 wszystko zale\u017cy od ilo\u015bci danych, ich pr\u0119dko\u015bci przychodzenia oraz r\u00f3\u017cnorodno\u015bci. Mo\u017ce to r\u00f3wnie\u017c zale\u017ce\u0107 od preferencji specjalisty do jednego konkretnego narz\u0119dzia tylko dlatego, \u017ce z nim pracowa\u0142 i dobrze je zna. W Profi.ru postawili\u015bmy na nast\u0119puj\u0105ce opcje \u2192<\/p>\n<h3>Do wizualizacji danych \u2014 Tableau, Metabase<\/h3>\n<p>\nTableau wybrali\u015bmy dawno temu. Ten system pozwala na szybkie analizowanie du\u017cych zbior\u00f3w danych, nie wymagaj\u0105c przy tym kosztownej implementacji. Dla nas jest on wygodny, \u0142adny i znany \u2014 cz\u0119sto w nim pracujemy.<\/p>\n<p>O Metabase niewiele os\u00f3b wie, ale jest to doskona\u0142e narz\u0119dzie do prototypowania.\u00a0<\/p>\n<p>Z narz\u0119dzi wizualizacyjnych mo\u017cna r\u00f3wnie\u017c wspomnie\u0107 o Superset od Airbnb. Jego szczeg\u00f3ln\u0105 cech\u0105 jest wiele po\u0142\u0105cze\u0144 z bazami danych i mo\u017cliwo\u015bci wizualizacji. Jednak dla przeci\u0119tnego u\u017cytkownika jest mniej wygodny ni\u017c Metabase \u2013 nie mo\u017cna w nim \u0142\u0105czy\u0107 tabel, do tego konieczne jest tworzenie oddzielnych widok\u00f3w.\u00a0<\/p>\n<p>W Metabase mo\u017cna \u0142\u0105czy\u0107 tabele, a co wi\u0119cej, us\u0142uga robi to samodzielnie, bior\u0105c pod uwag\u0119 schemat bazy danych. Interfejs Metabase jest prostszy i przyjemniejszy.<\/p>\n<p>Jest wiele narz\u0119dzi \u2013 wystarczy znale\u017a\u0107 to odpowiednie.<\/p>\n<h3>Do przechowywania danych \u2013 ClickHouse, Vertica.<\/h3>\n<p>\nClickHouse to darmowe, szybkie narz\u0119dzie do przechowywania zdarze\u0144 produktowych. Analitycy tworz\u0105 samodzielnie odr\u0119bn\u0105 analiz\u0119 (je\u015bli maj\u0105 wystarczaj\u0105ce dane), a in\u017cynierowie danych bior\u0105 agregaty i przesy\u0142aj\u0105 je do Vertica w celu stworzenia witryn.<\/p>\n<p>Vertica to \u015bwietny, wygodny produkt do prezentacji ko\u0144cowych witryn.\u00a0<\/p>\n<h3>Do zarz\u0105dzania przep\u0142ywami danych i przeprowadzania oblicze\u0144 \u2013 Airflow.<\/h3>\n<p>\nDane \u0142adujemy poprzez narz\u0119dzia konsolowe. Na przyk\u0142ad, u\u017cywaj\u0105c klienta, kt\u00f3ry idzie z MySQL \u2013 tak jest szybciej.\u00a0<\/p>\n<p>Zalet\u0105 narz\u0119dzi konsolowych jest szybko\u015b\u0107. Dane nie s\u0105 przesy\u0142ane przez pami\u0119\u0107 tego samego procesu Python. Z minus\u00f3w \u2013 mniejsza kontrola nad danymi, kt\u00f3re przelatuj\u0105 z jednej bazy danych do drugiej.<\/p>\n<h3>G\u0142\u00f3wnym j\u0119zykiem programowania jest Python.<\/h3>\n<p>\nPython ma znacznie ni\u017cszy pr\u00f3g wej\u015bcia, a w firmie s\u0105 kompetencje zwi\u0105zane z tym j\u0119zykiem. Innym powodem jest to, \u017ce w Airflow DAG-i pisze si\u0119 w Pythonie. Te skrypty to tylko owijki nad \u0142adowaniami, a g\u0142\u00f3wna praca odbywa si\u0119 poprzez skrypty konsolowe.\u00a0<\/p>\n<p>Java u\u017cywamy do rozwijania analityki w czasie rzeczywistym.<\/p>\n<h2>Podej\u015bcie do wyboru narz\u0119dzi danych \u2013 co robi\u0107, aby nie tworzy\u0107 technologicznego zoo.<\/h2>\n<p>\nNa rynku jest wiele narz\u0119dzi do pracy z danymi na ka\u017cdym etapie: od ich pojawienia si\u0119 po wy\u015bwietlenie na dashboardzie dla zarz\u0105du. Nic dziwnego, \u017ce niekt\u00f3re firmy mog\u0105 mie\u0107 rz\u0105d niespowi\u0105zanych rozwi\u0105za\u0144 \u2013 tzw. technologiczne zoo.<\/p>\n<p>Technologiczne zoo to narz\u0119dzia, kt\u00f3re pe\u0142ni\u0105 te same funkcje. Na przyk\u0142ad, Kafka i RabbitMQ do wymiany wiadomo\u015bci lub Grafana i Zeppelin do wizualizacji.\u00a0<\/p>\n<p><img decoding=\"async\" alt=\"Jak firmy mog\u0105 wybiera\u0107 narz\u0119dzia dla in\u017cynier\u00f3w danych, unikaj\u0105c tworzenia technologicznego zoo: do\u015bwiadczenie PROFI.RU\" src=\"\/wp-content\/uploads\/2020\/08\/d246be323dda92b5f6306c1fb3c85589.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i><noindex><a rel=\"nofollow\" href=\"http:\/\/mattturck.com\/wp-content\/uploads\/2019\/07\/2019_Matt_Turck_Big_Data_Landscape_Final_Fullsize.png\">Mapa technologii i firm w obszarze danych i AI.<\/a><\/noindex> \u2013 wida\u0107, jak wiele dubluj\u0105cych si\u0119 rozwi\u0105za\u0144 mo\u017ce istnie\u0107.<\/i><\/p>\n<p>Wiele os\u00f3b mo\u017ce r\u00f3wnie\u017c korzysta\u0107 z r\u00f3\u017cnych narz\u0119dzi ETL do cel\u00f3w osobistych. W Profi jest dok\u0142adnie taka sytuacja. G\u0142\u00f3wne ETL dzia\u0142a na Airflow, ale niekt\u00f3rzy do osobistych zada\u0144 u\u017cywaj\u0105 Pentaho. Testuj\u0105 hipotezy i nie musz\u0105 przesy\u0142a\u0107 tych danych przez in\u017cynier\u00f3w. G\u0142\u00f3wnie narz\u0119dzia \u201esamozarz\u0105dzaj\u0105ce\u201d s\u0105 u\u017cywane przez do\u015bwiadczonych specjalist\u00f3w zajmuj\u0105cych si\u0119 dzia\u0142alno\u015bci\u0105 badawczo-rozwojow\u0105 \u2013 badaj\u0105 nowe kierunki rozwoju produktu. Zestaw danych do analizy jest interesuj\u0105cy g\u0142\u00f3wnie dla nich, a do tego zmienia si\u0119 ci\u0105gle. W zwi\u0105zku z tym nie ma sensu wprowadza\u0107 tych zada\u0144 do g\u0142\u00f3wnej platformy.\u00a0<\/p>\n<p>Wracaj\u0105c do tematu z zoo. Cz\u0119sto u\u017cycie powielaj\u0105cych si\u0119 technologii zwi\u0105zane jest z czynnikiem ludzkim. Oddzielne wewn\u0119trzne zespo\u0142y przyzwyczai\u0142y si\u0119 pracowa\u0107 z danym narz\u0119dziem, kt\u00f3rego inny zesp\u00f3\u0142 mo\u017ce w og\u00f3le nie u\u017cywa\u0107. Czasami autonomiczno\u015b\u0107 jest jedynym sposobem na rozwi\u0105zanie specyficznych zada\u0144. Na przyk\u0142ad, zesp\u00f3\u0142 R&amp;D potrzebuje co\u015b przetestowa\u0107 za pomoc\u0105 konkretnego narz\u0119dzia - jest ono po prostu wygodne, kto\u015b z zespo\u0142u ju\u017c z niego korzysta\u0142 lub istnieje inny pow\u00f3d. Czeka\u0107 na zasoby administrator\u00f3w systemowych do zainstalowania i skonfigurowania tego narz\u0119dzia zajmuje du\u017co czasu. W tym samym czasie dok\u0142adnym i skrupulatnym administratorom trzeba jeszcze udowodni\u0107, \u017ce to naprawd\u0119 jest potrzebne. W\u0142a\u015bnie dlatego zesp\u00f3\u0142 instaluje narz\u0119dzie na swoich wirtualnych maszynach i realizuje swoje specyficzne zadania.<\/p>\n<blockquote><p>Zoologiczny zb\u00f3r rozwi\u0105za\u0144 nie jest problemem, o ile nie wymaga to znacznych zasob\u00f3w od administratora do wsparcia narz\u0119dzia. Nale\u017cy wzi\u0105\u0107 pod uwag\u0119, jak u\u017cycie narz\u0119dzia wp\u0142ywa na zasoby wsparcia.\u00a0<\/p><\/blockquote>\n<p>\nInnym powszechnym powodem pojawienia si\u0119 nowego zestawu narz\u0119dzi jest ch\u0119\u0107 wypr\u00f3bowania nieznanego produktu w dosy\u0107 nowej dziedzinie, gdzie standardy jeszcze nie zosta\u0142y ukszta\u0142towane lub nie ma sprawdzonych rekomendacji. In\u017cynier danych, podobnie jak programista, zawsze powinien bada\u0107 nowe narz\u0119dzia w nadziei, \u017ce znajdzie bardziej efektywne rozwi\u0105zanie dla bie\u017c\u0105cych zada\u0144 lub aby by\u0107 na bie\u017c\u0105co z tym, co oferuje rynek.<\/p>\n<p>Pokusa, by spr\u00f3bowa\u0107 nowych narz\u0119dzi, jest naprawd\u0119 du\u017ca. Ale aby dokona\u0107 rozs\u0105dnego wyboru, przede wszystkim potrzebna jest samodyscyplina. Pomo\u017ce ona nie poddawa\u0107 si\u0119 w pe\u0142ni badawczym impulsom, a uwzgl\u0119dni\u0107 mo\u017cliwo\u015bci firmy w utrzymaniu infrastruktury dla nowego narz\u0119dzia.\u00a0<\/p>\n<blockquote><p>Nie warto u\u017cywa\u0107 technologii dla samej technologii. Najlepiej podchodzi\u0107 do sprawy pragmatycznie: zadanie \u27f6 zestaw narz\u0119dzi, kt\u00f3re mog\u0105 to zadanie rozwi\u0105za\u0107.<\/p><\/blockquote>\n<p>\u00a0A dalej oceni\u0107 ka\u017cde z nich i wybra\u0107 optymalne. Na przyk\u0142ad, to narz\u0119dzie mo\u017ce rozwi\u0105za\u0107 zadanie efektywniej, ale nie ma wok\u00f3\u0142 niego kompetencji, a to nieco mniej efektywne, ale w firmie s\u0105 ludzie, kt\u00f3rzy wiedz\u0105, jak si\u0119 nim pos\u0142ugiwa\u0107. To narz\u0119dzie jest p\u0142atne, ale proste w utrzymaniu i u\u017cyciu, a to modne open source, ale do jego wsparcia potrzebny jest zesp\u00f3\u0142 administrator\u00f3w. Takie dylematy si\u0119 pojawiaj\u0105, do ich rozwi\u0105zania potrzebna jest zimna g\u0142owa.<\/p>\n<blockquote><p>Wyb\u00f3r narz\u0119dzia to w po\u0142owie skok na wiar\u0119, w po\u0142owie osobiste do\u015bwiadczenie. Nie ma pe\u0142nej pewno\u015bci, \u017ce narz\u0119dzie si\u0119 sprawdzi.<\/p><\/blockquote>\n<p>Na przyk\u0142ad w Profi zaczynali\u015bmy od Pentaho, poniewa\u017c mieli\u015bmy ekspert\u00f3w w tej dziedzinie, ale okaza\u0142o si\u0119, \u017ce to by\u0142 b\u0142\u0119dny wyb\u00f3r. Wewn\u0119trzny repozytorium Pentaho, w miar\u0119 wzrostu projektu, znacznie spowolni\u0142o prac\u0119. Na zapis danych, dla przyk\u0142adu, mija\u0142a minuta, a je\u015bli kto\u015b ma nawyk ci\u0105g\u0142ego zapisywania pracy, czas po prostu umyka\u0142 mi\u0119dzy palcami. To wszystko dodatkowo utrudnia\u0142o skomplikowane uruchamianie i zadania zaplanowane \u2013 komputer si\u0119 zawiesza\u0142.\u00a0<\/p>\n<p>Cierpienia zako\u0144czy\u0142y si\u0119 po przej\u015bciu na Airflow \u2013 popularne narz\u0119dzie z du\u017c\u0105 spo\u0142eczno\u015bci\u0105.\u00a0<\/p>\n<blockquote><p>Obecno\u015b\u0107 spo\u0142eczno\u015bci us\u0142ugi, narz\u0119dzia jest wa\u017cna przy rozwi\u0105zywaniu skomplikowanych zada\u0144 \u2013 mo\u017cna poprosi\u0107 koleg\u00f3w o rad\u0119.<\/p><\/blockquote>\n<p>Je\u015bli firma jest dojrza\u0142a i dysponuje zasobami, ma sens rozwa\u017cenie zakupu wsparcia technicznego. Pomo\u017ce to szybko rozwi\u0105zywa\u0107 problemy i uzyska\u0107 rekomendacje dotycz\u0105ce korzystania z produktu.<\/p>\n<p>Je\u015bli chodzi o podej\u015bcie do wyboru, to w Profi kierujemy si\u0119 takimi zasadami:<\/p>\n<ul>\n<li><b>Nie podejmowa\u0107 decyzji w pojedynk\u0119<\/b>. Kiedy kto\u015b co\u015b wybiera, automatycznie jest przekonany o swojej racji. Co innego \u2013 przekona\u0107 innych, gdy trzeba przytoczy\u0107 powa\u017cne argumenty na poparcie. Pomaga to r\u00f3wnie\u017c dostrzec s\u0142abe strony narz\u0119dzia.<\/li>\n<li><b>Konsultowa\u0107 si\u0119 z g\u0142\u00f3wnym specjalist\u0105 ds. danych (dialog pionowy)<\/b>. Mo\u017ce to by\u0107 g\u0142\u00f3wny in\u017cynier danych (Chief Data Engineer) lub kierownik zespo\u0142u BI. Szefowie widz\u0105 sytuacj\u0119 z szerszej perspektywy.\u00a0<\/li>\n<li><b>Komunikowa\u0107 si\u0119 z innymi zespo\u0142ami (dialog poziomy)<\/b>. Jakie narz\u0119dzia stosuj\u0105 i jak skutecznie. Mo\u017ce narz\u0119dzie koleg\u00f3w rozwi\u0105\u017ce r\u00f3wnie\u017c Twoje problemy, eliminuj\u0105c potrzeb\u0119 tworzenia zoo rozwi\u0105za\u0144.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Wewn\u0119trzne kompetencje jako skuteczny zamiennik zewn\u0119trznego dostawcy us\u0142ug<\/h3>\n<p>\nJednym z podej\u015b\u0107 do wyboru narz\u0119dzi jest skorzystanie z wewn\u0119trznych kompetencji firmy.\u00a0<\/p>\n<p>Cz\u0119sto zdarzaj\u0105 si\u0119 sytuacje, gdy firma ma z\u0142o\u017cone zadanie, ale brakuje funduszy na jego realizacj\u0119. Zadanie jest obszerne i wa\u017cne, a w zasadzie najlepiej by\u0142oby zaanga\u017cowa\u0107 zewn\u0119trznego dostawc\u0119, kt\u00f3ry ma odpowiednie do\u015bwiadczenie. Ale poniewa\u017c brak funduszy, zadanie zostaje przekazane wewn\u0119trznemu zespo\u0142owi. Co wi\u0119cej, zazwyczaj firma bardziej ufa swoim pracownikom, je\u015bli ci ju\u017c udowodnili swoj\u0105 efektywno\u015b\u0107.<\/p>\n<p>Przyk\u0142adem takich zada\u0144, w kt\u00f3rych nowy kierunek rozwija si\u0119 dzi\u0119ki pracownikom, jest przeprowadzenie test\u00f3w obci\u0105\u017ceniowych oraz stworzenie hurtowni danych. Szczeg\u00f3lnie hurtownia danych, poniewa\u017c jest to unikalna historia dla ka\u017cdej firmy. Hurtowni nie mo\u017cna kupi\u0107, mo\u017cna jedynie zatrudni\u0107 zewn\u0119trznych specjalist\u00f3w, kt\u00f3rzy j\u0105 zbuduj\u0105 przy wsparciu wewn\u0119trznego zespo\u0142u.\u00a0\u00a0<\/p>\n<p>Zreszt\u0105, w miar\u0119 rozwoju nowego kierunku, zesp\u00f3\u0142 mo\u017ce zrozumie\u0107, \u017ce potrzeba zewn\u0119trznego dostawcy us\u0142ug znikn\u0119\u0142a.<\/p>\n<p>W Profi wdro\u017cenie BI odby\u0142o si\u0119 wewn\u0119trznie. G\u0142\u00f3wna trudno\u015b\u0107 polega\u0142a na tym, \u017ce biznes chcia\u0142 szybko uruchomi\u0107 BI. Jednak budowa takiego projektu wymaga\u0142a czasu: aby podnie\u015b\u0107 kompetencje, wprowadzi\u0107 dane, zbudowa\u0107 wygodn\u0105 struktur\u0119 hurtowni, wybra\u0107 narz\u0119dzia i opanowa\u0107 je.<\/p>\n<p>G\u0142\u00f3wna \u2014 gor\u0105ca \u2014 faza, kiedy wszystko by\u0142o budowane i krystalizowane, trwa\u0142a oko\u0142o roku. Projekt rozwija si\u0119 do dzi\u015b.\u00a0<\/p>\n<blockquote><p>Przy budowie korporacyjnej hurtowni danych wa\u017cne jest przestrzeganie wysokich standard\u00f3w, bronienie swoich stanowisk i nie robienie rzeczy na szybko w celach biznesowych.\u00a0<\/p>\n<p>Z wielkim b\u00f3lem przemy\u015blali\u015bmy du\u017c\u0105 cz\u0119\u015b\u0107 projektu, kt\u00f3r\u0105 wtedy musieli\u015bmy zrobi\u0107 szybko.<\/p><\/blockquote>\n<p>\u00a0Jednak czasami podej\u015bcie \"na szybko\" ma sens. W przypadku rozwoju produkt\u00f3w mo\u017ce by\u0107 wr\u0119cz jedynym s\u0142usznym rozwi\u0105zaniem. Nale\u017cy szybko posuwa\u0107 si\u0119 naprz\u00f3d, testowa\u0107 hipotezy produktowe i tak dalej. Ale magazynowanie musi by\u0107 oparte na solidnej architekturze, w przeciwnym razie nie b\u0119dzie mog\u0142o szybko dostosowa\u0107 si\u0119 do rosn\u0105cego biznesu, a projekt utknie.<\/p>\n<p>W tym trudnym projekcie nasze dzia\u0142ania bardzo wspiera\u0142 nasz lider, kt\u00f3ry broni\u0142 post\u0119pu prac, wyja\u015bnia\u0142 kierownictwu, co robimy, pozyskiwa\u0142 zasoby i po prostu nas chroni\u0142. Bez takiego wsparcia nie jestem pewien, czy uda\u0142oby nam si\u0119 uruchomi\u0107 projekt.<\/p>\n<p>W podobnych sytuacjach kluczow\u0105 rol\u0119 odgrywaj\u0105 tak zwani early adopters \u2013 osoby gotowe spr\u00f3bowa\u0107 nowo\u015bci \u2013 w\u015br\u00f3d mened\u017cer\u00f3w wy\u017cszego szczebla, analityk\u00f3w, mened\u017cer\u00f3w produkt\u00f3w. Aby surowy temat odni\u00f3s\u0142 sukces, potrzebni s\u0105 pionierzy, kt\u00f3rzy potwierdz\u0105, \u017ce wszystko dzia\u0142a i jest wygodne w u\u017cyciu. <\/p>\n<p><i>Je\u015bli kto\u015b chce podzieli\u0107 si\u0119 rozwi\u0105zaniem trzeciego zadania z opisanego powy\u017cej \u2013 zapraszam \ud83d\ude42<\/i><br \/>\n<br \/>\u0179r\u00f3d\u0142o: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/netologyru\/blog\/516060\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0420\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u041d\u0435\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043b\u0430 \u0441 \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b BI \u0432 Profi.ru \u041f\u0430\u0432\u043b\u043e\u043c \u0421\u0430\u044f\u043f\u0438\u043d\u044b\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432 \u0435\u0433\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u0447\u0442\u043e \u0437\u0430 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438 \u043a\u0430\u043a \u0436\u0435 \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u043e\u0439\u0442\u0438 \u043a \u0432\u044b\u0431\u043e\u0440\u0443 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u0430\u0442\u0430-\u0437\u0430\u0434\u0430\u0447, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043d\u0435\u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445. \u041f\u0430\u0432\u0435\u043b \u2014 \u043f\u0440\u0435\u043f\u043e\u0434\u0430\u0432\u0430\u0442\u0435\u043b\u044c \u043d\u0430 \u043a\u0443\u0440\u0441\u0435 \u00ab\u0414\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u00bb.\u00a0 \u0427\u0435\u043c \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432 Profi.ru Profi.ru \u2014 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":92101,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-92100","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0420\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u041d\u0435\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043b\u0430 \u0441 \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b BI \u0432 Profi.ru \u041f\u0430\u0432\u043b\u043e\u043c \u0421\u0430\u044f\u043f\u0438\u043d\u044b\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432 \u0435\u0433\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u0447\u0442\u043e \u0437\u0430.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"pl_PL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0438 \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0441\u0451 \u0432 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0437\u043e\u043e\u043f\u0430\u0440\u043a: \u043e\u043f\u044b\u0442 PROFI.RU | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0420\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u041d\u0435\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043b\u0430 \u0441 \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b BI \u0432 Profi.ru \u041f\u0430\u0432\u043b\u043e\u043c \u0421\u0430\u044f\u043f\u0438\u043d\u044b\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432 \u0435\u0433\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u0447\u0442\u043e \u0437\u0430.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-08-23T05:42:02+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-08-23T05:42:02+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Jak firmy powinny wybiera\u0107 narz\u0119dzia dla in\u017cynier\u00f3w danych i nie zamienia\u0107 wszystkiego w technologiczny cyrk: do\u015bwiadczenie PROFI.RU | ProHoster","description":"Redaktor Netologii przeprowadzi\u0142 rozmow\u0119 z liderem zespo\u0142u BI w Profi.ru Paw\u0142em Sayapinem na temat zada\u0144, kt\u00f3re rozwi\u0105zuj\u0105 in\u017cynierowie danych w jego zespole.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0438 \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0441\u0451 \u0432 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0437\u043e\u043e\u043f\u0430\u0440\u043a: \u043e\u043f\u044b\u0442 PROFI.RU | ProHoster","og:description":"\u0420\u0435\u0434\u0430\u043a\u0442\u043e\u0440 \u041d\u0435\u0442\u043e\u043b\u043e\u0433\u0438\u0438 \u043f\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043b\u0430 \u0441 \u0442\u0438\u043c\u043b\u0438\u0434\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b BI \u0432 Profi.ru \u041f\u0430\u0432\u043b\u043e\u043c \u0421\u0430\u044f\u043f\u0438\u043d\u044b\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0430\u044e\u0442 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432 \u0435\u0433\u043e \u043a\u043e\u043c\u0430\u043d\u0434\u0435, \u0447\u0442\u043e \u0437\u0430.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kak-kompanii-vybrat-instrumenty-dlya-data-inzhenerov-i-ne-prevratit-vsyo-v-tehnologicheskij-zoopark-opyt-profi-ru","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-08-23T05:42:02+00:00","article:modified_time":"2020-08-23T05:42:02+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"92100","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:15:35","updated":"2022-09-30 01:22:25","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/92100","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=92100"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/92100\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/92101"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=92100"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=92100"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=92100"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}