W 2013 roku IBS, które wtedy wydawały się tworzyć Dział danych, poprosili mnie o zrobienie takiego brain dump (wyłącznie na podstawie doświadczeń w pracy z korporacyjnymi klientami w sektorze naftowo-gazowym) na temat obszaru problemowego Wielkich Danych, a właściwie Danych w ogóle. Oto natrafiłem na to po 7 latach i wydawało się to zabawne. Niektóre rzeczy są oczywiste. Niektóre okazały się nie do końca prawdziwe, ale… 7 lat minęło.
Pisałem po angielsku i pomyślałem, że przetłumaczę na polski. Może coś wciąż jest aktualne? (Przetłumaczę punkty, a tabele pozostawię po angielsku z lenistwa. Zielony – dobrze, czerwony – niebezpiecznie, niebieski — marzenie).
Minimalne komentarze z «dziś» sformatuję kursywą, aby było jasne i odróżnialne.
Więc, DANE! Potrzebujemy danych…
Dział Danych to Dział Krwi, ponieważ dane można porównać, na przykład, z krwią płynącą w żyłach i tętnicach organizmu biznesowego. Jednakże, chociaż krew jest jedna – organizmy są różne i dlatego produktyzacja jest bardzo utrudniona, ale ona też stanowi możliwość rozwoju.
Są ludzie, dla których dane od razu rzucają się w oczy – to My.
I są ludzie, którzy danych niestety nie dostrzegają. To, znowu niestety, nasi Klienci!
Otóż biznesowe postulaty…
- Sprzedajemy biznesowi, a nie IT (niech mi wybaczą wszyscy informatycy) bo rozwiązujemy globalne problemy, no i więcej zarobimy.
- Wszystkie problemy biznesowe koncentrują się wokół tematycznych branżowych pionów i będą wymagały odpowiedniej specjalizacji.
- Próby udowodnienia wartości «danych» lub, co jeszcze trudniejsze, wartości «zarządzania danymi» dla biznesu – to wieczne cierpienia i ból. W gruncie rzeczy, to jak podejść do osoby, która czuje się całkiem dobrze i powiedzieć: “Człowieku, teraz wyleczymy ci krew, a, człowieku, to kosztuje!”
- Moim „mokrym marzeniem” jest w ramach modelu SaaS sprzedawać „wydobywanie danych” i „analizę” małym i średnim przedsiębiorstwom, które korzystają z 123 chmurowych serwisów z fajnymi interfejsami: zarządzanie projektami, helpdesk, księgowość, CRM, płace, raportowanie czasu, marketing, … nazwij to, i zakopują się w danych. Youcalc i Successfactors (chyba już takich nie ma) to dobrze!
- Szukaj ludzi, którzy lubią bawić się “crunch” danymi. Są rzadcy i dziwni (jak wróżki od fusów), ale kluczowi dla biznesu. Poeta, na przykład, może bardzo dobrze rozumieć korelacje.
- Inżynierowie są potrzebne! Potrzebne, aby przekształcać problemy, które Crunchery wyciągnęły z danych w rozwiązania. Sukces lub porażka tych rozwiązań w dużej mierze od nich zależy.
- Rozwój opensource projekty stanowią ogromną wartość i dają możliwość ‚budowania‘ złożonych rozwiązań praktycznie ‚od zera‘.
- Ale… nie można zapominać, że Hadoop to biblioteka, a Lucene to także biblioteka, a odległość między biblioteką a produktem przemysłowym jest znaczna!
- Zbudowane rozwiązania będą musiały być znacznie dostosowane, ponieważ modularność i integracyjność to kluczowe kwestie.
- Agile (będzie mi wybaczone) to kluczowa technika w interakcji z klientem i weryfikacji hipotez, których będzie wiele.
- Zlecanie wszelkiego kodowania i UI jest szczególnie możliwe i potrzebne. Całą analitykę biznesową i specyfikacje backendu należy zostawić wciąż i traktować jako kluczową kompetencję.
- Decydenci w biznesie powinni być na bieżąco ‚informowani‘ o konieczności prawidłowego zarządzania danymi i ciągłego poszukiwania nowych sposobów ich analizy. Połączenie kompetencji technicznych i biznesowych naszych pracowników pomoże podnieść status całej organizacji.
- Internet to niewyczerpane źródło inspiracji (to jeszcze wtedy kotów nie było tak dużo) w odniesieniu do podejść do zarządzania danymi w przedsiębiorstwie, mimo że zadania i skala znacznie się różnią.
Technologiczne postulaty…
- Istnieje ogromny potencjał rozwoju w uproszczeniu sposobu, w jaki dane są przedstawiane ludziom. Można to nazwać ‚ajfonizacją‘.
- Mimo że dostawcy BI twierdzą, że bezpośrednio przynoszą analitykę użytkownikom końcowym, (oczywiście zmierzają w tym kierunku) – przełom wciąż się nie wydarzył. Ludzie po prostu źle rozumieją wielowymiarowe dane.
- Interfejs użytkownika przedstawiający bardziej lub mniej złożone słabo ustrukturyzowane dane w widoku z facetyzowymi problemami – stwarza także nieskończoną liczbę wyzwań. Wniosek: im bardziej płasko (flatter) – tym lepiej.
- Platforma oparta na automatycznym pozyskiwaniu danych z źródeł (które nie zawsze są przeznaczone do takiego pozyskiwania) jest w znaczącej zależności od źródeł, niezawodności łączników i infrastruktury. W przypadku, gdy nie uda się zapewnić rezultatu, platforma (posłaniec) zawsze zostanie obwiniona. Zaufanie – kapitał tego rodzaju platform. Kapitał, który trudno zdobyć i łatwo stracić.
- Z punktu widzenia biznesowego nie ma żadnej różnicy między analizą Wielkich Danych a Zwykłymi Danymi. Często za prostymi jak 2x2 liczbami kryją się możliwości na miliony dolarów. Dobrym przykładem są dane dotyczące zakończenia okresu użytkowania elementów infrastruktury na norweskim szelfie. Gdy wszystkie daty przyszłych kapitalnych remontów całego wyposażenia zostały umieszczone na jednej osi i okazało się, że za N lat nadchodzi prawdziwy szelfowy Armagedon — jeden bardzo zamożny człowiek wstał z krzesła, szybko się ukłonił i wyszedł z pokoju ze słowami: „Przepraszam, mam mało czasu, muszę przygotować flotę…”
- Excel, a właściwie jasne i przejrzyste tabelaryczne przedstawienie danych ma ogromną moc i wielką przyszłość. Wierzę w piękne tabele (i wciąż) i to wszystko!
- Główna zaleta tej całej „analityki” — to automatyzacja podejmowania decyzji. Tam tkwią największe możliwości, ale i największe ryzyka, dlatego możliwości są duże, a ryzyka także, dlatego są możliwości i ryzyka… 🙂 Zarządzanie wierceniem otworów, na przykład…
- Jeśli „integralność” jest kluczową cechą, to dane de facto powinny być reprezentowane jako usługa. REST rządzi, ale nie można zapominać o optymalizacji wydajności, którą często teraz składa się w ofierze zwiększonej integracji, ponieważ moc obliczeniowa wciąż rośnie.
- Dane główne to te, które należy lokalizować, wydobywać, ustandaryzować, zanim zada się jakiekolwiek pytania biznesowe. Dane główne są małe, a problemy z nimi — duże! Jak mówią bracia semantyki – 50% wszystkich światowych problemów wynika z tego, że ludzie nazywają te same rzeczy różnymi nazwami, a pozostałe 50% dlatego, że nazywają różne rzeczy jedną nazwą.
- Jakiekolwiek enkapsulacja na poziomie przechowywania ogranicza otwartość rozwiązania i prowadzi do SILO-fikacji. Dobrze, jeśli jesteś dużym dostawcą, w przeciwnym razie - tak sobie. (Tut mowa oczywiście nie o poziomie bloków ani o AWS S3, które miało już wtedy 6 lat, ale o plikach.).
- Modelowanie relacyjne. Dane przestały być naszym przyjacielem. RDF i Key-value to świetne rozwiązania! Widzieliśmy magiczne transformacje relacyjnych baz z modeli z 2000 tabel do 15 tabel, a żaden z użytkowników nic nie stracił.
- Internet działa, ponieważ istnieje URL jako jeden sposób adresowania. Znaczenie URL, a raczej URI dla zasobów informacyjnych przedsiębiorstwa jest trudno przecenić.
- Text mining i NLP są popularne. W Internecie. Ale także w sektorze korporacyjnym można osiągnąć ogromne sukcesy, wydobywając strukturalne dane z niestrukturalnych danych korporacyjnych.
- Synergia między danymi strukturalnymi a informacjami wydobytymi z danych niestrukturalnych, czyli z plików – to analityczny Klondike.
- Wydobywając dane – nie zapominajmy o prawach i prawach autorskich..
- Firma zajmująca się wydobywaniem danych powinna stworzyć departament hackingu, w dobrym tego słowa znaczeniu. Zainspirowane ciężką walką z systemami ochrony Żółtych Stron przed robotami wyszukiwarek.
- Zanim przystąpimy do pracy z danymi – musimy je "zobaczyć" w pełnej okazałości. Trudno to wyjaśnić. Przychodzą mi na myśl formularze tabelaryczne. Ktoś woli wizualizacje graficzne, ale każdy wykres to już interpretacja. Tak czy inaczej… "zobaczyć"!
- Powtarzając w pytaniu o "zaufanie" użytkowników do frontendu. Zaufanie do konektorów/procesów generowania danych, zaufanie do danych, zaufanie do podejmowanych decyzji..
Źródło: habr.com
