En el año 2013 SII, que entonces parecía estar creando División de datos, me pidió que hiciera un volcado de ideas (basado exclusivamente en la experiencia de interacción con clientes corporativos de petróleo y gas) sobre el área problemática de Big Data y los datos en general. Entonces lo encontré 7 años después y pensé que era divertido. Algunas cosas son obvias. Algunas resultaron no ser del todo ciertas, pero... Han pasado 7 años.
Escribí en inglés y ahora pensé en traducirlo al ruso. ¿Qué pasa si algo sigue siendo relevante ahora? (Traduciré los boletines, pero dejaré los carteles en inglés por pereza. El verde es bueno, el rojo es peligroso, el azul es un sueño).
Formalizaré los comentarios mínimos de “hoy” italianopara que sea claro y distinguible.
Entonces, ¡DATOS! Datos para nosotros...
La División de Datos es la División de Sangre, porque los datos se pueden comparar, por ejemplo, con la sangre que corre por las venas y arterias de un organismo empresarial. Sin embargo, aunque la sangre es la misma, los organismos son diferentes y por lo tanto productización muy difícil, pero también representa una oportunidad de desarrollo.
Hay personas a quienes los datos les saltan a la vista: estos son nosotros.
Y hay gente que, lamentablemente, no ve los datos a quemarropa. Esto, de nuevo, por desgracia, es nuestro. Los clientes!
Por lo tanto, principios empresariales...
- Vender negocioY no Es (que me perdonen todos los especialistas en TI a la vez) porque estamos solucionando los problemas del mundo y, bueno, más dinero.
- Todos los problemas comerciales se concentran en torno a sectores verticales temáticos y requerirán una adecuada especializaciones.
- Intentos de demostrar valor de "datos" o, aún más difícil, el valor de la “gestión de datos” para una empresa es sufrimiento y dolor eternos. Básicamente, es como acercarse a una persona que se siente bien y decirle: "Amigo, vamos a tratar tu sangre ahora y, amigo, ¡es caro!".
- Mi “sueño húmedo” es vender “extracción de datos” y “análisis” dentro del modelo SaaS pequeña y mediana empresaque subieron a 123 servicios en la nube con interfaces geniales: gestión de proyectos, servicio de asistencia técnica, contabilidad, CRM, nómina, informes de tiempo, marketing, ... lo que sea, y se sumergieron en los datos. Youcalc y Successfactors (probablemente ya no haya ninguno) ¡Esto es bueno!
- Busque personas a las que les guste jugar "crujido" con datos. Son raros y extraños (como las hojas de té), pero claves para los negocios. Un poeta, por ejemplo, puede ser muy bueno en la correlación.
- Ingenieros ¡necesario! Se necesitaba convertir los problemas que los Crunchers extraían de los datos en soluciones. Y de ellos depende enteramente el éxito o el fracaso de la decisión.
- Desarrollo opensource proyectos es de gran valor y permite “ensamblar” soluciones complejas prácticamente desde cero.
- Pero... no debemos olvidar que Hadoop es una biblioteca, y Lucene también es una biblioteca, y la distancia entre biblioteca y producto industrial ¡mucho!
- Las soluciones construidas deberán adaptarse significativamente, porque modularidad и integrabilidad - puntos clave.
- Ágil (perdóname señor) es una técnica clave en la interacción con el cliente y la verificación hipótesis, de los cuales habrá muchos.
- Es especialmente posible y necesario subcontratar toda la codificación y la interfaz de usuario. Todos los análisis y especificaciones comerciales. backend necesito partir dentro y considerada como una competencia básica.
- Los tomadores de decisiones empresariales deben estar constantemente “informados” sobre la necesidad de trabajar correctamente con los datos y buscando constantemente nuevas formas de analizarlos. La combinación de competencias técnicas y comerciales de nuestros empleados ayudará a elevar el estatus de toda la organización en su conjunto.
- Internet – hay una fuente inagotable de inspiración (En aquel entonces no había tantos gatos.) en relación con los enfoques para la gestión de datos empresariales, aunque los objetivos y el alcance varían significativamente.
Postulados tecnológicos...
- Existe un enorme potencial de desarrollo en simplificación cómo se muestran los datos a las personas. Puedes llamar a esto la palabra "iPhonización".
- A pesar de que los proveedores de BI afirman que son directamente llevar análisis a los usuarios finales, (y ciertamente se están moviendo en esta dirección): el gran avance aún no se ha producido. La gente simplemente no entiende bien multidimensional datos
- Una interfaz de usuario que representa datos más o menos complejos y poco estructurados en facetado forma- también presenta un sinfín de problemas. Conclusión: cuanto más plano, mejor.
- Una plataforma construida sobre la base de la extracción automática de datos de fuentes (que no siempre están diseñadas para dicha extracción) depende significativamente de las fuentes, la estabilidad de los conectores y la infraestructura. Siempre se culpará a la plataforma (messenger) por no ofrecer resultados. Confianza – capital de este tipo de plataformas. Capital que es difícil de ganar y fácil de perder.
- Desde un punto de vista empresarial, no existe diferencia entre el análisis de Big Data y Solo datos. A menudo, detrás de números tan simples como 2x2 se esconden oportunidades por valor de millones de dólares. Un buen ejemplo son los datos sobre el final de la vida útil de los elementos de infraestructura en la plataforma noruega. ¿Cuándo están todas las fechas de futuras convocatorias? Las reparaciones de todos los equipos se colocaron en un eje y descubrieron que en N años se acercaba el estante Armagedón: un hombre muy rico se levantó de su silla y rápidamente salió de la habitación con las palabras: "Lo siento, no Tengo mucho tiempo, necesito preparar la flota…”
- Excel, y esencialmente una presentación tabular de datos clara y concisa, tiene un poder enorme y un gran futuro. Creo en las mesas bonitas. (y todavía) ¡y eso es!
- El arco principal de toda esta “análisis” es automatización de decisiones. Existen las mayores oportunidades, pero también los mayores riesgos, por eso las oportunidades son ricas, por eso hay riesgos, por eso hay oportunidades, por eso son caramelos... 🙂 Gestión de perforación de pozos, por ejemplo...
- Si la “integrabilidad” es una característica clave, entonces los datos deberían presentarse de facto como un servicio. RESTO reglas, pero no debemos olvidarnos de la optimización productividad, que ahora a menudo se sacrifica por la integrabilidad a medida que la potencia informática continúa creciendo.
- Datos maestros - esto es lo que hay que localizar, extraer y estandarizar antes de abordar cualquier problema empresarial. Los datos maestros son pequeños, ¡pero los problemas con ellos son grandes! Como dicen los hermanos de la semántica, el 50% de todos los problemas del mundo se deben a que las personas llaman a las mismas cosas con nombres diferentes, y el otro 50% se debe a que llaman a cosas diferentes con el mismo nombre.
- Cualquier encapsulación a nivel de almacenamiento, limita la apertura de la solución y conduce a la SILO-ficación. Es bueno si eres un gran vendedor; de lo contrario, es regular. (Aquí, por supuesto, no estamos hablando del nivel de bloque ni de AWS S3, que entonces ya tenía 6 años, sino de archivos.).
- Modelado relacional Los datos ya no son nuestros amigos. RDF y valor-clave: ¡genial! Hemos visto transformaciones mágicas de bases de datos relacionales con modelos de 2000 tablas en 15 tablas, y ninguno de los usuarios perdió nada.
- Internet funciona porque existe. Enlance como método unificado de abordaje. La importancia de la URL o mejor dicho URI para los recursos de información empresarial es difícil de sobreestimar.
- La minería de textos y la PNL son populares. En Internet. Pero incluso en el sector empresarial se puede lograr un gran éxito extrayendo datos estructurados de datos corporativos no estructurados.
- Sinergia entre datos estructurados e información extraída de datos no estructurados, es decir, archivos – Klondike analítico.
- Al extraer datos, no se olvide de los derechos y derechos de autor.
- La empresa de extracción de datos debe formar unadepartamento de hackers, en el buen sentido de la palabra. Inspirado en la ardua batalla contra los sistemas de protección de robots rastreadores de las Páginas Amarillas.
- Antes de trabajar con datos, es necesario "ver" en su totalidad. Es difícil de explicar. Me vienen a la mente las formas tabulares. Para algunos, representaciones gráficas, pero cualquier gráfico ya es una interpretación. De una forma u otra... ¡“ver”!
- Repitiendo el tema de la “confianza” del usuario en el frontend. Confianza en conectores/procesos de generación de datos, confianza en los datos, confianza en las decisiones tomadas.
Fuente: habr.com