Отдел за данни. 2013 година. Ретроспекция

В 2013 година IBS, което тогава сякаш създаваше Отдел за данни, ме помоли да направя такъв мозъчен анализ (изключително въз основа на опит от взаимодействие с корпоративни клиенти на петрол и газ) по отношение на проблемната област на Големите данни и Данните като цяло. И така, попаднах на него 7 години по-късно и ми се стори смешно. Някои неща са очевидни. Някои се оказаха не съвсем верни, но... минаха 7 години.

Писах на английски и сега се сетих да го преведа на руски. Ами ако нещо все още е актуално сега? (Ще преведа бюлетините, но оставям табелите на английски от мързел. Зеленото е добро, червеното е опасно, синьото е мечта).

Ще формализирам минималните коментари от „днес“ Италианскитака че да е ясен и различим.

И така, ДАННИ! Данни за нас...

Отделът за данни е отделът за кръв, защото данните могат да бъдат сравнени например с кръвта, която тече през вените и артериите на бизнес орган. Въпреки това, въпреки че кръвта е една и съща, организмите са различни и следователно производство много трудно, но представлява и възможност за развитие.

Има хора, на които данните им скачат право в очите – това са Ние.
И има хора, които, за съжаление, не виждат данните празни. Това пак, уви, е наше Клиенти!

По този начин, бизнес принципи...

1. продавам бизнесИ не IT (нека всички ИТ специалисти да ми простят веднага), защото ние решаваме проблемите на света и, добре, повече пари.
2. Всички бизнес проблеми са концентрирани около тематични индустриални вертикали и ще изискват адекватни специализации.
3. Опити за доказване стойност на "данни" или, още по-трудно, стойността на „управление на данни“ за бизнеса е вечно страдание и болка. По принцип това е все едно да дойдеш при човек, който се чувства добре и да кажеш: „Пич, сега ще ти лекуваме кръвта и, пич, скъпо е!“
4. Моята „мокра мечта“ е да продавам „извличане на данни“ и „аналитика“ в рамките на SaaS модела малък и среден бизнескоито се качиха в 123 облачни услуги с готини интерфейси: управление на проекти, бюро за помощ, счетоводство, CRM, заплати, отчитане на времето, маркетинг, ... каквото и да е, и се заровиха в данните. Youcalc и Successfactors (май вече няма такива) Това е добре!
5. Търсете хора, които обичат да бърникат „хрускам“ с данни. Те са редки и странни (като чаени листа), но ключови за бизнеса. Един поет, например, може да бъде много добър в корелацията.
6. инженери необходимо! Необходими за превръщане на проблемите, които Crunchers извлича от данни, в решения. И успехът или неуспехът на решението зависи изцяло от тях.
7. развитие OpenSource проекти има голяма стойност и дава възможност за „сглобяване“ на сложни решения практически от нулата.
8. Но... не трябва да забравяме, че Hadoop е библиотека, и Lucene също е библиотека, както и разстоянието между тях библиотека и индустриален продукт много!
9. Изградените решения ще трябва да бъдат значително адаптирани, т.к модулност и интегрируемост - ключови точки.
10. гъвкав (Бог да ме прости) е ключова техника при взаимодействие с клиента и проверка хипотези, от които ще има много.
11. Особено възможно и необходимо е да се изнесе цялото кодиране и потребителски интерфейс на външни изпълнители. Всички бизнес анализи и спецификации бекенд трябва да напусна в и се счита за основна компетентност.
12. Вземащите бизнес решения трябва постоянно да бъдат „информирани“. необходимостта от правилна работа с данни и постоянно търсене на нови начини за анализирането им. Комбинацията от технически и бизнес компетенции на нашите служители ще спомогне за повишаване статуса на цялата организация като цяло.
13. Интернет – има безкраен източник на вдъхновение (тогава нямаше толкова много котки) във връзка с подходите за управление на корпоративни данни, въпреки че целите и обхватът се различават значително.

Технологични постулати...

1. Има огромен потенциал за развитие в опростяване как данните се показват на хората. Можете да наречете това думата „iPhonization“.
2. Въпреки факта, че доставчиците на BI твърдят, че са директно предоставяне на анализи на крайните потребители, (и те със сигурност се движат в тази посока) - пробивът все още не е настъпил. Хората просто не разбират добре многоизмерен данни.
3. Потребителски интерфейс, представящ повече или по-малко сложни, слабо структурирани данни фасетиран форма - също създава безкраен брой проблеми. Заключение: колкото по-плоско, толкова по-добре.
4. Платформа, изградена на базата на автоматично извличане на данни от източници (които не винаги са предназначени за такова извличане) е значително зависима от източниците, стабилността на конекторите и инфраструктурата. Платформата (messenger) винаги ще бъде обвинявана за неуспех в постигането на резултати. Доверие – капитал на този вид платформи. Капитал, който трудно се печели и лесно се губи.
5. От бизнес гледна точка няма разлика между анализа на големи данни и Просто данни. Често зад прости числа като 2x2 се крият възможности на стойност милиони долари. Добър пример са данните за края на живота на инфраструктурни елементи в норвежкия шелф. Кога са всички дати на бъдещите ограничения. ремонтите на цялото оборудване бяха поставени на една ос и те разбраха, че след N години идва рафтът Армагедон - един много богат човек стана от стола си и набързо се поклони от стаята с думите: „Съжалявам, аз не имам много време, трябва да подготвя флота..."
6. Excel и по същество ясното и кратко таблично представяне на данни има огромна сила и голямо бъдеще. Вярвам в красивите маси (и все още го правя) и това е!
7. Основният лък на цялата тази „аналитика“ е автоматизация на решенията. Има най-големите възможности, но и най-високите рискове, ето защо възможностите са богати, ето защо има рискове, ето защо има възможности, ето защо те са карамел... 🙂 Управление на сондажите, например...
8. Ако „интегрируемостта“ е ключова характеристика, тогава данните трябва де факто да бъдат представени като услуга. ПОЧИВКА правила, но не трябва да забравяме и оптимизацията производителност, който сега често се жертва за интегрируемост, тъй като изчислителната мощност продължава да расте.
9. Основни данни - това е, което трябва да бъде локализирано, извлечено, стандартизирано, преди да се обърне внимание на бизнес проблеми. Основните данни са малко, но проблемите с тях са големи! Както казват братята по семантика, 50% от всички световни проблеми са, защото хората наричат ​​едни и същи неща с различни имена, а останалите 50% са, защото наричат ​​различни неща с едно и също име.
10. който и да е капсулиране на ниво съхранение, това ограничава отвореността на решението и води до SILO-fication. Добре е, ако сте голям продавач, иначе е така. (Тук говорим, разбира се, не за ниво блок и не за AWS S3, който тогава вече беше на 6 години, а за файлове).
11. Релационно моделиране данните вече не са наши приятели. RDF и ключ-стойност – страхотно! Виждали сме магически трансформации на релационни бази данни с модели от 2000 таблици в 15 таблици и никой от потребителите не е загубил нищо.
12. Интернет работи, защото съществува URL като единен метод за адресиране. Важността на URL или по-скоро URI,en за корпоративните информационни ресурси е трудно да се надцени.
13. Извличането на текст и НЛП са популярни. В интернета. Но дори и в корпоративния сектор може да се постигне голям успех чрез извличане на структурирани данни от неструктурирани корпоративни данни.
14. Синергия между структурирани данни и информация, извлечена от неструктурирани данни, т.е. файлове – аналитичен Клондайк.
15. Когато извличате данни, не забравяйте за правата и авторски права.
16. Компанията за извличане на данни трябва да формира aхакерски отдел, в добрия смисъл на думата. Вдъхновен от тежката битка срещу системите за защита на ботове за обхождане на Yellow Pages.
17. Преди да работите с данни, е необходимо да "виж" в своята цялост. Трудно е за обяснение. Табличните форми идват на ум. За някои, графични представяния, но всяка графика вече е интерпретация. По един или друг начин... „виж“!
18. Повтаряне на проблема с потребителското „доверие“ във фронтенда. Доверие в конекторите/процесите за генериране на данни, доверие в данните, доверие във взетите решения.

Източник: www.habr.com