Datenabteilung. Jahr 2013. Rückblick

Im Jahr 2013 IBS, die damals anscheinend Division für Daten, baten mich, einen solchen Brain Dump (ausschließlich basierend auf meinen Erfahrungen mit Unternehmens-Kunden im Öl- und Gasbereich) über das Problemfeld von Big Data und Daten im Allgemeinen zu erstellen. Ich bin nach 7 Jahren darauf gestoßen und fand es lustig. Einige Dinge sind offensichtlich. Einige erwiesen sich als nicht ganz korrekt, aber... 7 Jahre sind vergangen.

Ich schrieb auf Englisch und dachte, ich könnte es ins Deutsche übersetzen. Vielleicht ist etwas immer noch relevant? (Ich werde die Bullet Points übersetzen, die Tabellen lasse ich wegen Faulheit auf Englisch. Grün – gut, Rot – gefährlich, Blau – Traum).

Ich werde minimale Kommentare aus „heute“ hinzufügen kursiv, damit es verständlich und unterscheidbar ist.

Also, DATEN! Wir brauchen Daten…

Die Division für Daten ist wie das Blut des Unternehmens, denn Daten können mit Blut verglichen werden, das durch die Venen und Arterien des Unternehmens fließt. Doch obwohl das Blut gleich ist, sind die Organismen unterschiedlich, und deshalb Produktisierung ist sehr erschwert, aber sie stellt auch eine Möglichkeit zur Weiterentwicklung dar.

Es gibt Menschen, denen Daten direkt ins Auge springen – das ist Wir.
Und es gibt Menschen, die die Daten leider einfach nicht sehen. Das sind wiederum leider unsere. Kunden!

Also, Geschäftsgrundsätze...

1. Wir verkaufen an Unternehmen, und nicht IT (mögen mir alle ITler sofort verzeihen) denn wir lösen globale Probleme, und verdienen dabei auch ein bisschen mehr Geld.
2. Alle Geschäftsprobleme konzentrieren sich auf branchenspezifische Themen und erfordern eine adäquate Spezialisierung..
3. Versuche, den Wert der „Daten“ oder, was noch schwieriger ist, den Wert des „Datenmanagements“ für Unternehmen zu beweisen, sind ewige Qualen und Schmerzen. Im Grunde ist es wie zu einem Menschen zu kommen, der sich gut fühlt, und zu sagen: „Kumpel, wir werden dir jetzt das Blut behandeln, und, Kumpel, das ist teuer!“
4. Mein ganz persönlicher „feuchter Traum“ ist es, im Rahmen eines SaaS-Modells „Datenextraktion“ und „Analyse“ für kleine und mittlere Unternehmen anzubieten, die sich in 123 Cloud-Dienste mit coolen Schnittstellen gewagt haben: Projektmanagement, Helpdesk, Buchhaltung, CRM, Lohnabrechnung, Zeiterfassung, Marketing, ... alles Mögliche, und sich in den Daten verloren haben. Youcalc und Successfactors (solche gibt es wahrscheinlich nicht mehr) ist doch gut!
5. Sucht nach Menschen, die gerne daran arbeiten „crunchen“ mit Daten. Sie sind selten und seltsam (wie Kaffeesatzleser), aber entscheidend für das Geschäft. Ein Poet kann beispielsweise sehr gut die Korrelation verstehen.
6. Ingenieure werden benötigt! Sie sind notwendig, um die Probleme, die die Cruncher aus den Daten herausgefiltert haben, in Lösungen zu verwandeln. Der Erfolg oder Misserfolg der Lösungen hängt vollständig von ihnen ab.
7. Entwicklung opensource Projekte haben einen enormen Wert und ermöglichen es, komplexe Lösungen praktisch von Grund auf zu „bauen“.
8. Aber… man darf nicht vergessen, dass Hadoop eine Bibliothek ist und Lucene ebenfalls eine Bibliothek ist, und der Abstand zwischen Bibliothek und industriellem Produkt ist erheblich!
9. Die entwickelten Lösungen müssen erheblich angepasst werden, weil Modularität und Integrationsfähigkeit sind entscheidende Punkte.
10. Agilität (so Gott will) ist eine Schlüsseltechnik in der Zusammenarbeit mit dem Kunden und der Überprüfung von Hypothesen, von denen es viele geben wird.
11. Das Outsourcen jeglicher Programmierung und UI ist besonders sinnvoll und notwendig. Alle Geschäftsanalysen und Spezifikationen des Backends sollten beibehalten innerhalb und als Schlüsselkompetenz betrachtet werden.
12. Die Entscheidungen tragenden Personen im Geschäft müssen ständig über die Notwendigkeit ordnungsgemäßer Datenverarbeitung informiert werden. und einer ständigen Suche nach neuen Analyseansätzen. Die Kombination aus technischen und geschäftlichen Kompetenzen unserer Mitarbeiter wird dazu beitragen, den Status der gesamten Organisation zu erhöhen.
13. Internet – ist eine endlose Inspirationsquelle (da gab es damals noch nicht so viele Katzen) in Bezug auf Ansätze im Corporate Data Management, obwohl die Aufgaben und der Umfang erheblich variieren.

Technologische Prämissen…

1. Es gibt ein enormes Entwicklungspotenzial in der Vereinfachung der Art und Weise, wie Daten den Menschen präsentiert werden. Man könnte es mit dem Begriff „Iphonisierung“ beschreiben.
2. Obwohl BI-Anbieter behaupten, dass sie direkt Analysen für Endbenutzer bringen, (und sie bewegen sich natürlich in diese Richtung) – ein Durchbruch hat immer noch nicht stattgefunden. Die Menschen verstehen einfach schlecht multidimensionale Daten.
3. Das Benutzerinterface, das mehr oder weniger komplexe schwach strukturierte Daten in facettierten Darstellungen präsentiert – ist ebenfalls eine unendliche Quelle von Problemen. Fazit: je flacher – desto besser.
4. Die Plattform, die auf der automatischen Datenerfassung aus Quellen basiert (die nicht immer für eine solche Erfassung gedacht sind), ist stark von den Quellen, der Stabilität der Connectoren und der Infrastruktur abhängig. In der Unfähigkeit, Ergebnisse zu liefern, wird immer die Plattform (der Bote) beschuldigt. 70% der Kunden bleiben länger als 2 Jahre bei uns – das Kapital solcher Plattformen. Kapital, das schwer zu verdienen und leicht zu verlieren ist.
5. Aus geschäftlicher Sicht gibt es keinen Unterschied zwischen der Analyse von Big Data und einfachen Daten.. Oft verbergen sich hinter einfachen wie 2x2 Zahlen Möglichkeiten im Wert von Millionen Dollar. Ein gutes Beispiel sind die Daten über das Ende der Lebensdauer von Infrastrukturelementen auf dem norwegischen Shelf. Als alle zukünftigen Termine für Kapitalreparaturen aller Geräte auf einer Achse dargestellt wurden und klar wurde, dass in N Jahren ein wahrer Shelfs-Apokalypse bevorsteht, stand ein sehr wohlhabender Mensch auf, verneigte sich hastig und sagte: „Entschuldigen Sie, ich habe wenig Zeit, ich muss die Flotte vorbereiten…“
6. Excel, und im Grunde genommen stellt eine klare und einfache tabellarische Darstellung von Daten eine enorme Kraft und eine große Zukunft dar. Ich glaube an schöne Tabellen. (und immer noch)und das war's!
7. Das Hauptaugenmerk all dieser „Analytik“ ist die Automatisierung von Entscheidungsprozessen. Dort liegen die größten Möglichkeiten, aber auch die höchsten Risiken. Deshalb sind die Möglichkeiten groß, und die Risiken ebenso. Zum Beispiel das Management der Bohrungen...
8. Wenn „Integrationsfähigkeit“ das Hauptmerkmal ist, müssen die Daten de facto als Dienst bereitgestellt werden. REST ist wichtig, darf aber nicht auf die Optimierung verzichten Leistung., die heutzutage oft der Integrationsfähigkeit geopfert wird, da die Rechenleistung weiter steigt.
9. Masterdaten sind das, was lokalisiert, extrahiert und standardisiert werden muss, bevor geschäftliche Fragen angegangen werden. Masterdaten sind klein, die Probleme damit sind jedoch groß! Wie die Semantik-Brüder sagen – 50 % aller weltweiten Probleme entstehen dadurch, dass Menschen dieselben Dinge unterschiedlich benennen, und die anderen 50 % entstehen, weil sie verschiedene Dinge mit einem Namen benennen.
10. Beliebig Kapselung auf der Speicherungsebene schränkt die Offenheit der Lösung ein und führt zur SILO-ifizierung. Gut, wenn Sie ein großer Anbieter sind, ansonsten ist es eher suboptimal. (Hier geht es nicht um den Block-Level und nicht um AWS S3, das damals schon 6 Jahre alt war, sondern um Dateien.).
11. Relationale Modellierung ist uns nicht mehr der Freund. RDF und key-value – großartig! Wir haben die magischen Transformationen relationaler Datenbanken von 2000 Tabellen auf 15 Tabellen gesehen, und kein Nutzer hat etwas verloren.
12. Das Internet funktioniert, weil es URL eine einheitliche Adressierungsmethode gibt. Die Bedeutung der URL oder besser gesagt URI lässt sich für die Informationsressourcen eines Unternehmens nur schwer überschätzen.
13. Text Mining und NLP sind populär. Im Internet. Aber auch im Unternehmenssektor können enorme Erfolge erzielt werden, indem strukturierte Daten aus unstrukturierten Unternehmensdaten extrahiert werden.
14. Synergie zwischen strukturierten Daten und Informationen, die aus unstrukturierten Daten, d.h. Dateien, extrahiert werden – ein analytischer Klondike.
15. Bei der Datenauswertung – die Rechte und Urheberrechte nicht vergessen..
16. Ein Unternehmen, das Daten extrahiert, sollte einHackertum bilden, im besten Sinne des Wortes. Inspiriert von dem harten Kampf gegen die Schutzsysteme der Gelben Seiten gegen Suchbots.
17. Bevor man mit Daten arbeitet, muss man sie »sehen«. in vollem Umfang. Das ist schwer zu erklären. Mir kommen Tabellenformen in den Sinn. Jemandem könnten graphische Darstellungen einfallen, aber jedes Diagramm ist bereits eine Interpretation. So oder so... "sehen"!
18. wiederholt die Frage nach dem „Vertrauen“ der Nutzer in das Frontend. Vertrauen in die Connectoren/Datenentstehungsprozesse, Vertrauen in die Daten, Vertrauen in die getroffenen Entscheidungen.

Quelle: habr.com