Datenabteilung. Jahr 2013. Retrospektive

In 2013 Jahr IBS, was dann zu schaffen schien Datenabteilung, hat mich gebeten, einen solchen Braindump (ausschließlich basierend auf Erfahrungen mit der Interaktion mit Unternehmenskunden aus der Öl- und Gasbranche) zum Problembereich Big Data und Daten im Allgemeinen zu erstellen. Also stieß ich 7 Jahre später darauf und fand es lustig. Manche Dinge liegen auf der Hand. Einiges stellte sich als nicht ganz wahr heraus, aber... 7 Jahre sind vergangen.

Ich habe auf Englisch geschrieben und dachte nun darüber nach, es ins Russische zu übersetzen. Was ist, wenn etwas jetzt noch relevant ist? (Ich werde die Bulletins übersetzen, die Schilder aber aus Faulheit auf Englisch belassen. Grün ist gut, Rot ist gefährlich, Blau ist ein Traum.)

Ich werde die minimalen Kommentare von „heute“ formalisieren Italienischdamit es klar und unterscheidbar ist.

Also, DATEN! Daten für uns...

Die Datenabteilung ist die Blutabteilung, weil Daten beispielsweise mit dem Blut verglichen werden können, das durch die Adern und Arterien eines Unternehmens fließt. Obwohl das Blut das gleiche ist, sind die Organismen unterschiedlich und daher unterschiedlich Produktisierung sehr schwierig, aber es stellt auch eine Chance zur Weiterentwicklung dar.

Es gibt Menschen, denen die Daten direkt ins Auge springen – das sind sie Wir.
Und es gibt Menschen, die die Daten leider nicht aus nächster Nähe sehen. Auch dies ist leider unser Eigentum Kunden!

somit Geschäftsprinzipien...

1. Verkaufen GeschäftUnd nicht IT (Mögen mir alle IT-Spezialisten sofort verzeihen), weil wir die Probleme der Welt lösen und, nun ja, mehr Geld.
2. Alle Geschäftsprobleme konzentrieren sich auf thematische Branchenvertikale und erfordern angemessene Anforderungen Spezialisierungen.
3. Versuche zu beweisen Wert von „Daten“ Oder noch schwieriger: Der Wert des „Datenmanagements“ für ein Unternehmen ist ewiges Leid und Schmerz. Im Grunde ist es so, als würde man zu einer Person kommen, der es gut geht, und sagen: „Alter, wir behandeln jetzt dein Blut, und, Alter, das ist teuer!“
4. Mein „feuchter Traum“ ist es, „Datenextraktion“ und „Analyse“ im Rahmen des SaaS-Modells zu verkaufen kleine und mittlere Unternehmendie in 123 Cloud-Dienste mit coolen Schnittstellen geklettert sind: Projektmanagement, Helpdesk, Buchhaltung, CRM, Gehaltsabrechnung, Zeiterfassung, Marketing, ... was auch immer, und sich in den Daten vergraben haben. Youcalc und Erfolgsfaktoren (wahrscheinlich gibt es keine mehr) das ist gut!
5. Suchen Sie nach Leuten, die gerne basteln „knirschen“ mit Daten. Sie sind selten und seltsam (wie Teeblätter), aber für das Geschäft von entscheidender Bedeutung. Ein Dichter zum Beispiel kann sehr gut darin sein, Korrelationen herzustellen.
6. Ingenieure erforderlich! Wird benötigt, um Probleme, die Crunchers aus Daten gezogen haben, in Lösungen umzuwandeln. Und der Erfolg oder Misserfolg der Entscheidung hängt ganz von ihnen ab.
7. Entwicklung opensource Projekte sind von großem Wert und ermöglichen es, komplexe Lösungen praktisch von Grund auf „zusammenzustellen“.
8. Aber... wir dürfen nicht vergessen, dass Hadoop eine Bibliothek ist und Lucene auch eine Bibliothek ist und die Distanz dazwischen Bibliothek und Industrieprodukt viel!
9. Die gebauten Lösungen müssen deutlich angepasst werden, denn Modularität и Integrierbarkeit - Kernpunkte.
10. Agil (vergib mir, Herr) ist eine Schlüsseltechnik in der Interaktion mit dem Kunden und der Verifizierung Hypothesen, von denen es viele geben wird.
11. Insbesondere ist es möglich und notwendig, das gesamte Coding und UI auszulagern. Alle Geschäftsanalysen und Spezifikationen Backend muss gehen innen und als Kernkompetenz angesehen.
12. Unternehmerische Entscheidungsträger müssen ständig „informiert“ werden die Notwendigkeit, richtig mit Daten zu arbeiten und ständig auf der Suche nach neuen Wegen, sie zu analysieren. Die Kombination technischer und betriebswirtschaftlicher Kompetenzen unserer Mitarbeiter wird dazu beitragen, den Status der gesamten Organisation insgesamt zu steigern.
13. Internet – Es gibt eine endlose Quelle der Inspiration (Damals gab es noch nicht so viele Katzen) in Bezug auf Ansätze zur Unternehmensdatenverwaltung, obwohl die Ziele und der Umfang erheblich variieren.

Technologische Postulate...

1. Es steckt ein enormes Entwicklungspotenzial darin Vereinfachung wie Daten den Menschen angezeigt werden. Man kann dies das Wort „iPhonisierung“ nennen.
2. Trotz der Tatsache, dass BI-Anbieter behaupten, dass sie es direkt sind Bringen Sie Analysen zu Endbenutzern, (und sie bewegen sich sicherlich in diese Richtung) – der Durchbruch ist noch nicht gelungen. Die Leute verstehen es einfach nicht gut mehrdimensional die Daten.
3. Eine Benutzeroberfläche, die mehr oder weniger komplexe, lose strukturierte Daten darstellt facettiert Form - bringt auch unendlich viele Probleme mit sich. Fazit: Je flacher, desto besser.
4. Eine Plattform, die auf der Grundlage der automatischen Datenextraktion aus Quellen aufgebaut ist (die nicht immer für eine solche Extraktion ausgelegt sind), hängt erheblich von den Quellen, der Stabilität der Konnektoren und der Infrastruktur ab. Es wird immer die Plattform (Messenger) dafür verantwortlich gemacht, dass sie keine Ergebnisse liefert. Vertrauen – Kapital dieser Art von Plattformen. Kapital, das schwer zu verdienen und leicht zu verlieren ist.
5. Aus betriebswirtschaftlicher Sicht gibt es keinen Unterschied zwischen Big-Data-Analyse und Nur Daten. Hinter so einfachen Zahlen wie 2x2 verbergen sich oft Möglichkeiten im Wert von mehreren Millionen Dollar. Ein gutes Beispiel sind Daten zum Lebensende von Infrastrukturelementen auf dem norwegischen Schelf. Wann sind alle Termine für zukünftige Obergrenzen bekannt? Reparaturen aller Geräte wurden auf eine Achse gebracht und sie fanden heraus, dass in N Jahren das Regal Armageddon kommen würde – ein sehr wohlhabender Mann stand von seinem Stuhl auf und verneigte sich hastig aus dem Raum mit den Worten: „Tut mir leid, das tue ich nicht.“ Ich habe viel Zeit, ich muss die Flotte vorbereiten ...“
6. Excel und im Wesentlichen eine klare und prägnante tabellarische Darstellung von Daten, hat enorme Leistungsfähigkeit und eine große Zukunft. Ich glaube an schöne Tische (und tue es immer noch) und das ist es!
7. Der Hauptbogen all dieser „Analysen“ ist Entscheidungsautomatisierung. Es gibt die größten Chancen, aber auch die höchsten Risiken, deshalb sind die Chancen vielfältig, deshalb gibt es Risiken, deshalb gibt es Chancen, deshalb sind sie toll... 🙂 Brunnenbohrmanagement zum Beispiel...
8. Wenn „Integrationsfähigkeit“ ein zentrales Merkmal ist, dann sollten die Daten de facto als Dienst dargestellt werden. REST Regeln, aber wir dürfen die Optimierung nicht vergessen Performance, was heutzutage oft der Integrierbarkeit geopfert wird, da die Rechenleistung weiter wächst.
9. Stammdaten – Dies ist es, was lokalisiert, extrahiert und standardisiert werden muss, bevor geschäftliche Probleme angegangen werden können. Stammdaten sind klein, aber die Probleme damit sind groß! Wie die Brüder der Semantik sagen, sind 50 % aller Probleme auf der Welt darauf zurückzuführen, dass Menschen dieselben Dinge mit unterschiedlichen Namen bezeichnen, und die anderen 50 % sind darauf zurückzuführen, dass sie verschiedene Dinge mit demselben Namen bezeichnen.
10. Jede Verkapselung Auf der Speicherebene schränkt es die Offenheit der Lösung ein und führt zur SILO-Fizierung. Es ist gut, wenn Sie ein großer Anbieter sind, sonst ist es mittelmäßig. (Hier geht es natürlich nicht um die Blockebene und nicht um AWS S3, das damals schon 6 Jahre alt war, sondern um Dateien).
11. Relationale Modellierung Daten sind nicht mehr unser Freund. RDF und Schlüsselwert – cool! Wir haben magische Transformationen relationaler Datenbanken mit Modellen von 2000 Tabellen in 15 Tabellen gesehen, und keiner der Benutzer hat etwas verloren.
12. Das Internet funktioniert, weil es existiert URL als einheitliche Adressierungsmethode. Die Bedeutung der URL oder besser gesagt URI für Unternehmensinformationsressourcen ist schwer zu überschätzen.
13. Text Mining und NLP sind beliebt. Im Internet. Aber auch im Unternehmensbereich können große Erfolge durch die Extraktion strukturierter Daten aus unstrukturierten Unternehmensdaten erzielt werden.
14. Synergie zwischen strukturierten Daten und aus unstrukturierten Daten extrahierten Informationen, d. h. Dateien – analytisches Klondike.
15. Vergessen Sie beim Extrahieren von Daten nicht die Rechte und Urheberrechte.
16. Das Datenextraktionsunternehmen muss eineHacker-Abteilung, im guten Sinne des Wortes. Inspiriert durch den harten Kampf gegen die Crawler-Bot-Schutzsysteme der Gelben Seiten.
17. Bevor Sie mit Daten arbeiten, müssen Sie Folgendes tun "sehen" in seiner Gänze. Es ist schwer zu erklären. Da fallen mir tabellarische Formen ein. Für manche grafische Darstellungen, aber jede Grafik ist bereits eine Interpretation. So oder so... „sehen“!
18. Wiederholen Sie das Problem des „Benutzervertrauens“ im Frontend. Vertrauen in Konnektoren/Datengenerierungsprozesse, Vertrauen in Daten, Vertrauen in getroffene Entscheidungen.

Source: habr.com