Division Daten. 2013. Rückblick

Im Jahr 2013 IBS, die damals zu sein schienen, wurden Datendivision, und baten mich, ein solches Brain Dump (ausschließlich basierend auf Erfahrungen mit Unternehmens-Kunden aus der Öl- und Gasbranche) über das Problembereich der Big Data und Daten im Allgemeinen zu erstellen. Ich bin nach 7 Jahren wieder darauf gestoßen und fand es amüsant. Einige Dinge sind offensichtlich. Einige waren nicht ganz richtig, aber… 7 Jahre sind vergangen.

Ich schrieb auf Englisch und dachte, ich übersetze es ins Russische. Vielleicht ist etwas davon auch jetzt noch relevant? (Ich werde die Bullet-Points übersetzen, aber die Tabellen lasse ich aus Faulheit auf Englisch. Grün – gut, rot – gefährlich, blau – Traum).

Minimale Kommentare aus „heute“ werde ich kursiv, damit es verständlich und erkennbar ist.

Also, DATEN! Wir brauchen Daten…

Die Datendivision – das ist die Blutdivision, denn Daten lassen sich zum Beispiel mit Blut vergleichen, das durch die Venen und Arterien des Geschäftskörpers fließt. Obwohl das Blut eine Einheit ist – die Organismen sind unterschiedlich und deshalb Produktifizierung ist sehr erschwert, aber sie ist auch eine Chance für Wachstum.

Es gibt Menschen, denen Daten sofort ins Auge springen – das sind Wir.
Und es gibt Menschen, die Daten leider direkt nicht sehen. Das sind, leider, unsere Kunden!

Also, geschäftliche Postulate…

1. Wir verkaufen an Unternehmen, nicht IT (mögen mir alle ITler sofort verzeihen), denn wir lösen weltweite Probleme und verdienen dabei mehr Geld.
2. Alle geschäftlichen Probleme konzentrieren sich auf thematische Branchenvertikalen und erfordern eine angemessene Spezialisierung.
3. Versuche, den Wert von „Daten“ oder noch schwieriger, den Wert von „Datenmanagement“ für Unternehmen nachzuweisen – das sind ewige Qualen und Schmerzen. Im Grunde ist es, als würde man zu einem Menschen kommen, der sich ganz gut fühlt und sagen: „Alter, wir werden dein Blut behandeln, und das wird teuer!“
4. Mein ganz persönlicher „feuchter Traum“ ist es, im Rahmen eines SaaS-Modells „Datenauszüge“ und „Analysen“ für kleine und mittlere Unternehmen, die in 123 Cloud-Services mit coolen Schnittstellen eingestiegen sind: Projektmanagement, Helpdesk, Buchhaltung, CRM, Gehaltsabrechnung, Zeiterfassung, Marketing, … nennen Sie es, und sich in Daten vergraben. Youcalc und Successfactors (wahrscheinlich gibt es die nicht mehr) ist gut!
5. Suchen Sie Menschen, die gerne mit „crunchen“ mit Daten. Sie sind selten und seltsam (wie Kaffeebohnenleser), aber sie sind entscheidend für das Geschäft. Ein Poetik kann zum Beispiel sehr gut in Korrelationsfragen sein.
6. Ingenieure Sie sind notwendig! Notwendig, um die Probleme, die Cruncher aus den Daten extrahiert haben, in Lösungen zu verwandeln. Der Erfolg oder Misserfolg der Lösungen hängt vollständig von ihnen ab.
7. Entwicklung open-source Projekte haben einen enormen Wert und ermöglichen es, komplexe Lösungen praktisch "von Grund auf" zu "bauen".
8. Aber... man darf nicht vergessen, dass Hadoop eine Bibliothek ist und Lucene ebenfalls eine Bibliothek ist, und dass der Abstand zwischen einer Bibliothek und einem Industrieprodukt deutlich!
9. Die entwickelten Lösungen müssen erheblich angepasst werden, weil Modularität und Integrationsfähigkeit sind entscheidende Punkte.
10. Agile (verzeih es Gott) ist eine Schlüsseltechnik im Umgang mit dem Kunden und der Überprüfung von Hypothesen, von denen es viele geben wird.
11. Es ist besonders möglich und notwendig, jegliche Codierung und UI auszulagern. Alle Geschäftsanalysen und Spezifikationen des Backends sollten verbleiben innerhalb und als Schlüsselkompetenz betrachtet werden.
12. Die Entscheidungsträger aus dem Geschäft sollten ständig über die Notwendigkeit einer korrekten Datenverarbeitung und die ständige Suche nach neuen Analyseansätzen informiert sein. Die Kombination aus technischen und geschäftlichen Kompetenzen unserer Mitarbeiter wird dazu beitragen, den Status der gesamten Organisation zu erhöhen.
13. Internet – es gibt eine unendliche Inspirationsquelle (damals gab es noch nicht so viele Katzen) hinsichtlich der Ansätze zur Unternehmensführung von Daten, obwohl die Aufgaben und der Umfang erheblich variieren.

Technologische Grundsätze…

1. Es gibt ein enormes Entwicklungspotenzial in der Vereinfachung darüber, wie Daten den Menschen präsentiert werden. Man könnte es "iPhoneisierung" nennen.
2. Obwohl BI-Anbieter behaupten, dass sie direkt Analytik den Endbenutzern bringen,(und sie bewegen sich natürlich in diese Richtung) – ein Durchbruch hat noch nicht stattgefunden. Die Menschen verstehen einfach nicht mehrdimensionale Daten.
3. Die Benutzeroberfläche, die mehr oder weniger komplexe schwach strukturierte Daten in facettierter Form darstellt – bringt ebenfalls eine unendliche Anzahl von Problemen mit sich. Fazit: Je flacher – desto besser.
4. Die Plattform, die auf der automatischen Datenextraktion aus Quellen basiert (die nicht immer dafür vorgesehen sind), ist stark von den Quellen, der Robustheit der Konnektoren und der Infrastruktur abhängig. Bei der Unfähigkeit, Ergebnisse zu liefern, wird immer die Plattform (der Bote) verantwortlich gemacht. Vertrauen – Kapital solcher Plattformen. Kapital, das schwer zu verdienen und leicht zu verlieren ist.
5. Aus geschäftlicher Sicht gibt es keinen Unterschied zwischen der Analyse von Big Data und einfachen Daten.. Oft verbergen sich hinter einfachen Zahlen wie 2x2 Möglichkeiten im Wert von Millionen Dollar. Ein gutes Beispiel sind die Daten über das Ende der Lebensdauer von Infrastrukturelementen auf dem Norwegischen Schelf. Als alle zukünftigen Termine für Kapitalreparaturen der gesamten Ausrüstung auf eine Achse gelegt wurden, stellte sich heraus, dass in N Jahren ein richtiges Schelf-Armaggeddon bevorsteht – eine sehr wohlhabende Person stand von ihrem Stuhl auf, verbeugte sich hastig und verließ den Raum mit den Worten: „Entschuldigung, ich habe wenig Zeit, ich muss die Flotte vorbereiten...“
6. Excel, und im Grunde genommen eine klare und präzise tabellarische Darstellung von Daten, hat immense Kraft und eine große Zukunft. Ich glaube an schöne Tabellen (und immer noch) und das ist alles!
7. Das Hauptaugenmerk dieser ganzen „Analytik“ liegt auf der Automatisierung von Entscheidungsprozessen.Hier liegen die größten Möglichkeiten, aber auch die höchsten Risiken, weshalb die Möglichkeiten groß sind, und deshalb die Risiken groß sind, und deshalb die Möglichkeiten, und deshalb die Risiken… 🙂 Beispiel: Die Verwaltung von Bohrungen.
8. Wenn „Integrationsfähigkeit“ das Schlüsselmerkmal ist, dann müssen die Daten de facto als Dienst bereitgestellt werden. REST Es ist wichtig, aber man darf die Optimierung nicht vergessen der Leistung, die heutzutage oft auf dem Altar der Integrationsfähigkeit geopfert wird, da die Rechenleistung weiter wächst.
9. Stammdaten sind das, was lokalisiert, extrahiert und standardisiert werden muss, bevor man geschäftliche Fragen anspricht. Stammdaten sind klein, aber die Probleme damit sind groß! Wie die Brüder der Semantik sagen – 50 % aller Weltprobleme kommen daher, dass die Leute dieselben Dinge unterschiedlich benennen, und die anderen 50 % davon, dass sie unterschiedliche Dinge gleich benennen.
10. Jede Die Kapselung auf der Speicherebene schränkt die Offenheit der Lösung ein und führt zu SILO-ifizierung. Gut, wenn man ein großer Anbieter ist, ansonsten ist das eher suboptimal.Hier geht es natürlich nicht um Blocklevel und nicht um AWS S3, das damals bereits 6 Jahre alt war, sondern um Dateien.).
11. Relationales Modellieren von Daten ist uns kein Freund mehr. RDF und Schlüssel-Wert – großartig! Wir haben magische Transformationen relationaler Datenbanken gesehen, von Modellen mit 2000 Tabellen auf 15 Tabellen, und keiner der Nutzer hat etwas verloren.
12. Das Internet funktioniert, weil es URL eine einheitliche Adressierung gibt. Die Bedeutung von URLs oder vielmehr URI für die Informationsressourcen eines Unternehmens ist schwer zu überschätzen.
13. Text Mining und NLP sind populär. Im Internet. Aber auch im Unternehmenssektor können große Erfolge erzielt werden, indem strukturierte Daten aus unstrukturierten Unternehmensdaten extrahiert werden.
14. Synergie zwischen strukturierten Daten und aus unstrukturierten Daten extrahierter Information, d.h. Dateien – ein analytischer Klondike.
15. Beim Extrahieren von Daten – vergessen wir nicht die Rechte und Urheberrechte..
16. Ein Unternehmen, das sich mit der Datenextraktion beschäftigt, sollte einHackerteam, im positiven Sinne des Wortes, aufstellen. Inspiriert von dem harten Kampf gegen die Sicherheitssysteme der Gelben Seiten gegen Suchbots.
17. Bevor man mit Daten arbeitet – muss man sie sehen in ihrer Gesamtheit. Es ist schwierig zu erklären. Mir kommen Tabellenformen in den Sinn. Anderen vielleicht grafische Darstellungen, aber jede Grafik ist bereits eine Interpretation. So oder so… „sehen“!
18. Sich im Thema des „Vertrauens“ der Nutzer in das Frontend wiederholen. Vertrauen in die Connectoren/Datenentstehungsprozesse, Vertrauen in die Daten, Vertrauen in die getroffenen Entscheidungen..

Quelle: habr.com