Divizia de date. 2013. Retrospectivă

În 2013 IBS, care atunci, pare-se, creau Divizia de date, m-au rugat să fac un brain dump (exclusiv pe baza experienței mele de interacțiune cu clienții corporativi din domeniul petrolier și gazier) cu privire la domeniul problematic Big Data, dar și al Datelor în general. Iată că am dat peste el după 7 ani și mi s-a părut amuzant. Unele lucruri sunt evidente. Unele s-au dovedit a fi nu tocmai corecte, dar... au trecut 7 ani.

Am scris în engleză și m-am gândit să traduc în română. Poate că ceva este relevant și acum? (Voi traduce punctele, iar tabelele le voi lăsa în engleză din lene. Verde – bine, roșu – periculos, albastru – vis).

Voi face comentarii minime din «astăzi» în italice, pentru a fi clar și distinct.

Așadar, DATELE! Ne trebuie date...

Divizia de Date este Divizia Sângelui, deoarece datele pot fi comparate, de exemplu, cu sângele care curge prin venele și artele organismului de afaceri. Cu toate acestea, deși sângele este același, organismele sunt diferite și, prin urmare, producția este foarte dificilă, dar reprezintă și o oportunitate pentru dezvoltare.

Există oameni cărora datele le sar direct în ochi – aceasta este Noi.
Și există oameni care, din păcate, nu văd datele deloc. Aceasta, din nou din păcate, sunt Clienții noștri!

Deci, postulatele de business...

1. Vânzăm business-ului, nu IT (să mă ierte toți IT-iștii deodată) pentru că rezolvăm probleme globale, și să facem și mai mulți bani.
2. Toate problemele de business sunt concentrate în jurul verticalelor tematice și vor necesita o specializare.
3. Încercările de a demonstra valoarea «datelor» sau, ceea ce este și mai greu, valoarea «managementului datelor» pentru business – aceasta este o suferință eternă și durere. De fapt, este ca și cum ai merge la o persoană care se simte destul de bine și să spui: "Cu băiatule, acum îți vom trata sângele, și, băiatule, este scump!"
4. Visul meu umed este ca, în cadrul unui model SaaS, să vând «extracția datelor» și «analiza» întreprinderilor mici și mijlocii, care au intrat în 123 de servicii cloud cu interfețe interesante: gestionare de proiecte, helpdesk, contabilitate, CRM, salarizare, raportare a timpului, marketing, … și-au ascuns datele. Youcalc și Successfactors (nu mai există probabil) este bine!
5. Căutați oameni care iubesc să se joace cu „crunch” date. Aceștia sunt rari și ciudați (ca ghicitorii în cafea), dar esențiali pentru afacere. Un poet, de exemplu, poate înțelege foarte bine corelația.
6. Inginerii sunt necesare! Ele sunt necesare pentru a transforma problemele pe care Cruncherii le extrag din date în soluții. Și succesul sau eșecul soluției depinde complet de acestea.
7. Dezvoltare open source proiectele reprezintă o valoare imensă și oferă oportunitatea de a "construi" soluții complexe practic "de la zero".
8. Dar… nu trebuie uitat că Hadoop este o bibliotecă, iar Lucene este de asemenea o bibliotecă, iar distanța dintre bibliotecă și produsul industrial este semnificativă!
9. Soluțiile construite vor trebui adaptate semnificativ, deoarece modularitatea și integrarea sunt puncte cheie.
10. Agile (fie-i milă lui Dumnezeu) este tehnica cheie în interacțiunea cu clientul și testarea hipotezelor, care vor fi multe.
11. Este posibil și necesar să externalizăm toată programarea și UI. Toată analiza de afaceri și specificațiile back-end-ului trebuie lăsate inside și considerate ca o competență cheie.
12. Persoanele care iau decizii din afaceri trebuie să fie constant „informați” despre nevoia de a lucra corect cu datele și căutarea constantă a unor metode noi de analiză. Combinația de competențe tehnice și de afaceri ale angajaților noștri va ajuta la ridicarea statutului întregii organizații.
13. Internet este o sursă inepuizabilă de inspirație (atunci nu erau atât de multe pisici) în ceea ce privește abordările de guvernanță a datelor corporative, în ciuda faptului că sarcinile și amploarea diferă semnificativ.

Postulatele tehnologice...

1. Există un potențial uriaș de dezvoltare în simplificarea modului în care datele sunt prezentate oamenilor. O putem numi "iPhoneizare".
2. În ciuda faptului că furnizorii de BI susțin că aduc direct analiza utilizatorilor finali, (și cu siguranță avansează în această direcție) – o ruptură semnificativă nu a avut loc încă. Oamenii pur și simplu nu înțeleg bine datele multidimensionale.Interfața utilizatorului, care prezintă date mai mult sau mai puțin complexe și slab structurate în formă facete reprezintă de asemenea o infinitate de probleme. Concluzie: cu cât este mai plat (flatter) – cu atât mai bine.
3. Platforma, construită pe baza extragerii automate de date din surse (care nu sunt întotdeauna destinate unei astfel de extrageri) este semnificativ dependentă de surse, stabilitatea conectorilor și infrastructură. În incapacitatea de a oferi rezultatul, platforma (mesagerul) va fi întotdeauna acuzată. } }
4. Platforma, construită pe baza extragerii automate de date din surse (care nu sunt întotdeauna destinate unei astfel de extrageri) este semnificativ dependentă de surse, stabilitatea conectorilor și infrastructură. În incapacitatea de a oferi rezultatul, platforma (mesagerul) va fi întotdeauna acuzată. Încredere – capital de acest tip de platforme. Capital care este greu de câștigat și ușor de pierdut.
5. Din perspectiva afacerii, nu există nicio diferență între analiza Big Data și Date simple. Adesea, sub numerele simple precum 2x2 se află oportunități de milioane de dolari. Un bun exemplu este datele despre sfârșitul duratei de viață a elementelor de infrastructură de pe șelful norvegian. Când toate datele viitoare ale reparațiilor capitale pentru toate echipamentele au fost puse pe o axă și s-a descoperit că, în N ani, ne așteaptă un adevărat Armagedon pe șelf – un om foarte bogat s-a ridicat din scaun și, după ce a făcut o plecăciune grăbită, a părăsit camera spunând: „Îmi pare rău, am puțin timp, trebuie să-mi pregătesc flota…”
6. Excel, iar, în esență, o reprezentare tabelară clară a datelor are o putere enormă și un viitor promițător. Cred în tabele frumoase (și încă) și asta e tot!
7. Culoarea principală a acestei „analitici” este automatizarea procesului decizional. Acolo se află cele mai mari oportunități, dar și cele mai mari riscuri, de aceea oportunitățile sunt substanțiale și riscurile sunt la fel, de aceea și oportunitățile, și riscurile… 🙂 Gestionarea forajului puțurilor, de exemplu…
8. Dacă „integabilitatea” este caracteristica cheie, atunci datele, de facto, ar trebui să fie prezentate sub formă de serviciu. REST funcționează, dar nu trebuie uitată optimizarea performanță, care adesea este sacrificată pentru integabilitate, deoarece puterea de calcul continuă să crească.
9. Datele de master – sunt cele care trebuie localizate, extrase, standardizate, înainte de a aborda problemele de afaceri. Datele de master sunt mici, iar problemele cu ele sunt mari! Așa cum spun frații semantici – 50% din problemele lumii sunt cauzate de faptul că oamenii numesc aceleași lucruri cu nume diferite, iar celelalte 50% sunt din cauza că numesc lucruri diferite cu același nume.
10. Orice încaplarea la nivel de stocare limitează deschiderea soluției și duce la SILO-ficarea. E bine dacă ești un mare furnizor, în caz contrar – nu e nimic grozav. (Aici nu se discută, desigur, despre nivelul de bloc și nu despre AWS S3, care deja avea 6 ani pe atunci, ci despre fișiere.).
11. Modelarea relațională a datelor nu ne mai este prieten. RDF și key-value – sunt uimitoare! Am văzut transformări magice ale bazelor de date relaționale cu modele de 2000 de tabele în 15 tabele, și nimeni din utilizatori nu a pierdut nimic.
12. Internetul funcționează pentru că există URL ca un singur mod de adresare. Importanța URL-ului sau mai bine zis URI pentru resursele informaționale ale întreprinderii este greu de supraevaluat.
13. Text mining și NLP sunt populare. În Internet. Dar și în sectorul corporativ se pot obține progrese imense extragând date structurate din datele corporative nestructurate.
14. Sinergia între datele structurate și informația extrasă din datele nestructurate, adică fișiere – un clondike analitic.
15. Extragerea datelor – să nu uităm de drepturi și copyrighturi.
16. Compania care se ocupă cu extragerea datelor ar trebui să formeze undepartament de hackeri, în sensul bun al cuvântului. Inspirați de lupta intensă cu sistemele de protecție ale Paginilor Galbene împotriva roboților de căutare.
17. Înainte de a lucra cu datele – trebuie să le «vedem» în întreaga lor amploare. Este greu de explicat. Îmi vin în minte formele tabelare. Căruia i se potrivesc reprezentările grafice, dar orice grafic este deja o interpretare. Așa sau altfel… «să vedem»!
18. Repetându-ne în problema „încrederii” utilizatorilor în front-end. Încrederea în conectori/procesele de generare a datelor, încrederea în datele, încrederea în deciziile luate.

Sursa: habr.com