L'any 2013 SII, que aleshores semblava estar creant Divisió de dades, em va demanar que fes un braindump d'aquest tipus (basat exclusivament en l'experiència d'interacció amb clients corporatius de petroli i gas) pel que fa a l'àrea problemàtica de Big Data i de dades en general. Així que el vaig trobar 7 anys després i vaig pensar que era divertit. Algunes coses són evidents. Alguns van resultar no ser del tot certs, però... han passat 7 anys.
Vaig escriure en anglès i ara vaig pensar a traduir-ho al rus. Què passa si alguna cosa encara és rellevant ara? (Traduuré els butlletins, però deixaré els rètols en anglès per mandra. El verd és bo, el vermell és perillós, el blau és un somni).
Formalizaré els comentaris mínims de "avui" italiàperquè sigui clar i distingible.
Així doncs, DADES! Dades per a nosaltres...
La divisió de dades és la divisió de sang, perquè les dades es poden comparar, per exemple, amb la sang que corre per les venes i les artèries d'un organisme empresarial. Tanmateix, tot i que la sang és la mateixa, els organismes són diferents i per tant productivització molt difícil, però també representa una oportunitat de desenvolupament.
Hi ha persones a les quals les dades els salten directament als ulls: aquests ho són Nosaltres.
I hi ha gent que, malauradament, no veu les dades en blanc. Això, de nou, per desgràcia, és el nostre Clients!
Per tant, principis de negoci...
- Venem negocisI no IT (que tots els informàtics em perdonin alhora) perquè estem resolent els problemes del món i, bé, més diners.
- Tots els problemes empresarials es concentren al voltant de verticals temàtiques de la indústria i requeriran una adequació especialitzacions.
- Intents de demostrar valor de "dades" o, encara més difícil, el valor de la "gestió de dades" per a una empresa és un patiment i un dolor eterns. Bàsicament, és com venir a una persona que se sent bé i dir-li: "Amic, ara et tractarem la sang, i, amic, és car!"
- El meu "somni humit" és vendre "extracció de dades" i "analítica" dins del model SaaS petites i mitjanes empresesque van pujar a 123 serveis al núvol amb interfícies fantàstiques: gestió de projectes, servei d'assistència, comptabilitat, CRM, nòmines, informes de temps, màrqueting, ... com sigui, i es van enterrar a les dades. Youcalc i Successfactors (probablement ja no n'hi ha) Això és bo!
- Busqueu gent que li agradi jugar "cruixit" amb dades. Són rars i estranys (com les fulles de te), però clau per als negocis. Un poeta, per exemple, pot ser molt bo en la correlació.
- Enginyers necessari! Cal convertir els problemes que Crunchers van treure de les dades en solucions. I l'èxit o el fracàs de la decisió depèn totalment d'ells.
- Desenvolupament opensource Projectes té un gran valor i permet “ensamblar” solucions complexes pràcticament des de zero.
- Però... no hem d'oblidar que Hadoop és una biblioteca, i Lucene també és una biblioteca, i la distància entre biblioteca i producte industrial molt!
- Les solucions construïdes s'hauran d'adaptar significativament, perquè modularitat и integrabilitat - punts clau.
- Àgil (Déu em perdoni) és una tècnica clau en la interacció amb el client i la verificació hipòtesis, dels quals n'hi haurà molts.
- És especialment possible i necessari externalitzar tota la codificació i la interfície d'usuari. Totes les anàlisis i especificacions empresarials backend necessitat de marxar dins i considerada com una competència bàsica.
- Els que prenen decisions empresarials han d'estar constantment "informats". la necessitat de treballar correctament amb les dades i a la recerca constant de noves maneres d'analitzar-los. La combinació de competències tècniques i empresarials dels nostres empleats ajudarà a elevar l'estatus de tota l'organització en el seu conjunt.
- Internet - hi ha una font d'inspiració infinita (aleshores no hi havia tants gats) en relació amb els enfocaments de la gestió de dades empresarials, encara que els objectius i l'abast varien significativament.
Postulats tecnològics...
- Hi ha un gran potencial de desenvolupament simplificació com es mostren les dades a les persones. Podeu anomenar-ho la paraula "iPhonització".
- Tot i que els venedors de BI afirmen que ho són directament portar analítiques als usuaris finals, (i sens dubte s'estan movent en aquesta direcció) - l'avenç encara no s'ha produït. La gent no ho entén bé multidimensional dades.
- Una interfície d'usuari que representa dades més o menys complexes i poc estructurades facetada forma - també presenta una infinitat de problemes. Conclusió: com més pla millor.
- Una plataforma construïda sobre la base de l'extracció automàtica de dades de les fonts (que no sempre estan dissenyades per a aquesta extracció) depèn significativament de les fonts, de l'estabilitat dels connectors i de la infraestructura. La plataforma (missatger) sempre serà culpable de no oferir resultats. Confiança – capital d'aquest tipus de plataformes. Capital difícil de guanyar i fàcil de perdre.
- Des del punt de vista empresarial, no hi ha diferència entre l'anàlisi de Big Data i Només dades. Sovint, darrere de números tan simples com 2x2 hi ha milions de dòlars d'oportunitats. Un bon exemple són les dades sobre el final de la vida útil dels elements d'infraestructura a la plataforma noruega. Quan són totes les dates de futurs caps. les reparacions de tot l'equip es van col·locar en un eix i es van assabentar que d'aquí a N anys arribaria la prestatgeria Armageddon: un home molt ric es va aixecar de la cadira i va sortir de l'habitació ràpidament amb les paraules: "Ho sento, no ho faig. tinc molt de temps, necessito preparar la flota...”
- Excel, i essencialment una presentació tabular clara i concisa de les dades, té un gran poder i un gran futur. Crec en les taules boniques (i encara ho fan) i ja està!
- L'arc principal de tota aquesta "analítica" és automatització de decisions. Hi ha les oportunitats més grans, però també els riscos més alts, per això les oportunitats són riques, per això hi ha riscos, per això hi ha oportunitats, per això són toffee... 🙂 Gestió de la perforació de pous, per exemple...
- Si la "integrabilitat" és una característica clau, les dades s'han de presentar de facto com un servei. RESTA regles, però no hem d'oblidar-nos de l'optimització rendiment, que ara es sacrifica sovint per la integrabilitat a mesura que la potència de càlcul continua creixent.
- Dades mestres - això és el que cal localitzar, extreure, estandarditzar abans d'abordar qualsevol problema empresarial. Les dades mestres són petites, però els problemes són grans! Com diuen els germans de la semàntica, el 50% de tots els problemes del món són perquè les persones anomenen les mateixes coses amb diferents noms, i l'altre 50% són perquè anomenen coses diferents amb el mateix nom.
- Qualsevol encapsulació a nivell d'emmagatzematge, limita l'obertura de la solució i condueix a la SILO-ficació. És bo si sou un gran venedor, en cas contrari, és així. (Aquí estem parlant, és clar, no del nivell de bloc ni d'AWS S3, que ja tenia 6 anys, sinó de fitxers.).
- Modelització relacional les dades ja no són amic nostre. RDF i valor-clau: genial! Hem vist transformacions màgiques de bases de dades relacionals amb models de 2000 taules en 15 taules, i cap dels usuaris va perdre res.
- Internet funciona perquè existeix URL com a mètode unificat d'adreçament. La importància de l'URL o millor dit URI per als recursos d'informació empresarials és difícil de sobreestimar.
- La mineria de text i la PNL són populars. A Internet. Però fins i tot en el sector corporatiu, es pot aconseguir un gran èxit extraient dades estructurades de dades corporatives no estructurades.
- Sinergia entre dades estructurades i informació extreta de dades no estructurades, és a dir. fitxers – analític Klondike.
- Quan extreu dades, no us oblideu dels drets i drets d'autor.
- L'empresa d'extracció de dades ha de constituir adepartament de pirates informàtics, en el bon sentit de la paraula. Inspirat en la batalla pujant contra els sistemes de protecció de robots de rastreig de Pàgines Grogues.
- Abans de treballar amb dades, cal "veure" en la seva totalitat. És difícil d'explicar. Em vénen al cap les formes tabulars. Per a alguns, representacions gràfiques, però qualsevol gràfic ja és una interpretació. D'una manera o altra... “veure”!
- Repetint el problema de la "confiança" de l'usuari a la interfície. Confiança en els connectors/processos de generació de dades, confiança en les dades, confiança en les decisions preses.
Font: www.habr.com