През 2013 година IBS, които тогава изглежда създаваха Дивизия данни, помолиха ме да направя такъв брейндамп (изключително на база опит с корпоративни нефтогазови клиенти) относно проблемната област на Големите Данни, както и на Данните като цяло. Ето че срещнах това след 7 години и ми се стори забавно. Някои неща са очевидни. Някои се оказаха не съвсем верни, но… 7 години минаха.
Писах на английски и сега помислих да преведа на български. Може би все още е актуално? (Ще преведа булетите, а таблиците ще оставя на английски от мързел. Зеленото – добре, червеното – опасно, синьото – мечта).
Минимални коментари от "днешния ден" ще оформя курсив, за да бъде ясно и различимо.
И така, ДАННИ! Нужни са ни данни…
Дивизия Данни – това е Дивизия Кров, защото данните могат да се сравнят, например, с кръвта, течеща по вените и артериите на бизнес организма. Въпреки че кръвта е една – организмите са различни и затова продуктизация е много затруднена, но също така представлява възможност за развитие.
Има хора, на които данните направо им се набиват на очи – това са Ние.
И има хора, които за съжаление не виждат данните. Това, отново за съжаление, са нашите Клиенти!
И така, бизнес постулати…
- Продаваме на бизнеса, а не ИТ (да ми простят всички ИТ специалисти веднага), тъй като решаваме световни проблеми и, разбира се, печелим повече пари.
- Всички бизнес проблеми са съсредоточени около тематичните отраслови вертикали и ще изискват адекватна специализация.
- Опитите да се докаже ценността на "данните" или, което е още по-трудно, ценността на "управлението на данни" пред бизнеса – това са вечни страдания и болка. По същество, това е като да отидеш при човек, който се чувства добре и да кажеш: “Човек, сега ще ти лекуваме кръвта и, човек, това е скъпо!”
- Моята истинска "влажна мечта" е в рамките на SaaS модела да продавам "извличане на данни" и "анализа" на малкия и среден бизнес, които се вмъкнаха в 123 облачни услуги с готини интерфейси: управление на проекти, helpdesk, счетоводство, CRM, заплати, отчет на времето, маркетинг, … каквото и да е, и се закопаха в данните. Youcalc и Successfactors (такъв вече вероятно не съществува) е добре!
- Търсете хора, които обичат да се занимават “crunch” с данните. Те са редки и странни (като гадаещи на кафе), но ключови за бизнеса. Поетът, например, може да разбира много добре от корелации.
- Инженери необходими! Необходими, за да превърнат проблемите, които Cruncher-ите извлекли от данните, в решения. И успехът или неуспехът на решенията напълно зависи от тях.
- Развитие с отворен код на проектите представлява огромна стойност и дава възможност да „съберем“ сложни решения практически от нулата.
- Но… не трябва да забравяме, че Hadoop е библиотека и Lucene също е библиотека, а разстоянието между библиотеката и индустриалния продукт е значително!
- Построените решения ще трябва да бъдат значително адаптирани, затова модулността и интегрираността са ключови моменти.
- Аджайл (Боже мой) е ключова техника за взаимодействие с клиента и проверка на хипотезите, които ще бъдат много.
- Аутсорсването на всяко кодиране и UI особено е възможно и необходимо. Цялата бизнес аналитика и спецификации на бекенда трябва да останат вътре и да се разглеждат като ключова компетенция.
- Хората, вземащи решения в бизнеса, трябва постоянно да бъдат „информирани“ за необходимостта от правилна работа с данните и постоянното търсене на нови начини за тяхния анализ. Комбинацията от технически и бизнес компетенции на нашите служители ще помогне да повиши статуса на цялата организация.
- Интернет е безкраен източник на вдъхновение (тогава още нямаше толкова много котки) относно подходите към корпоративното управление на данни, въпреки че задачите и мащабът значително се различават.
Технологичните постулати…
- Съществува огромен потенциал за развитие в оптимизирането на начина, по който данните се представят на хората. Може да се нарече „айфонизация“.
- Въпреки че BI доставчиците твърдят, че пряко донесоха аналитиката до крайните потребители, (и те наистина напредват в това направление) – пробив все още не е настъпил. Хората просто не разбират многомерните данни.
- Потребителският интерфейс, представящ повече или по-малко сложни слабо структурирани данни в фасетизиран вид – представлява също безкрайно количество проблеми. Извод: колкото по-плоски (flatter) – толкова по-добре.
- Платформа, изградена на база автоматично извличане на данни от източници (които не винаги са предназначени за такова извличане) е в съществена зависимост от източниците, устойчивостта на конекторите и инфраструктурата. В неспособността да осигури резултат винаги ще обвинят платформата (вестителя). Доверие – капитал от този вид платформи. Капитал, който е труден за спечелване и лесен за загуба.
- От бизнес гледна точка няма никаква разлика между анализа на Големи Данни и Просто Данни. Често зад простите като 2х2 числа се крият възможности за милиони долари. Добър пример – данните за края на експлоатационния живот на елементите от инфраструктурата на Норвегийския шелф. Когато всички дати на бъдещи капиталови ремонти на цялото оборудване бяха поставени на една ос и установиха, че след N години настъпва истински шелфов Армагедон — един много заможен човек стана от стола си и бързо се поклони, напускайки стаята с думите: „Извинете, нямам време, трябва да подготвя флота…"
- Excel, а по същество ясно и точно таблично представяне на данни, носи огромна сила и голямо бъдеще. Вярвам в красивите таблици (и все още)и всичко това!
- Основната точка на цялата тази "аналитика" — това е автоматизация на вземането на решения. Там се намират най-дебелите възможности, но и най-високите рискове, затова възможностите са дебели, затова и рисковете, затова и възможностите, затова и рисковете… 🙂 Управление на пробиването на кладенци, например…
- Ако "интегрируемост" е ключовата функция, то данните де факто трябва да бъдат представени под формата на услуга. REST управлява, но не бива да забравяме за оптимизацията производителност, която често в момента се жертва за сметка на интегрируемостта, тъй като изчислителната мощност продължава да нараства.
- Мастър данните – това, което трябва да бъде локализирано, извлечено, стандартизирано, преди да се адресират някакви бизнес въпроси. Мастър данните са малки, а проблемите с тях – големи! Както казват братята семантики – 50% от всички световни проблеми произтичат от това, че хората наричат едни и същи неща с различни имена, а другите 50% от това, че наричат различни неща с едно име.
- Всякаква инкапсулация на ниво съхранение ограничава откритостта на решението и води до SILO-фикация. Добре е, ако сте голям вендор, в противен случай – така си е.Тук става дума за нещо, което не е на блочно ниво и не е AWS S3, което вече беше на 6 години по това време, а за файлове).
- Релационно моделиране данните вече не са наш приятел. RDF и key-value – страхотно! Видяхме магически трансформации на релационни бази с модели от 2000 таблици в 15 таблици, и никой от потребителите не загуби нищо.
- Интернетът работи, защото съществува URL като единен начин на адресиране. Важността на URL или по-скоро URI за информационните ресурси на фирмата трудно може да бъде надценена.
- Text mining и NLP са популярни. В интернет. Но и в корпоративния сектор могат да бъдат постигнати огромни успехи, извличайки структурирани данни от неструктурирани корпоративни данни.
- Синергия между структурирани данни и информация, извлечена от неструктурирани данни, т.е. файлове – аналитичен Клондайк.
- При извличането на данни – не забравяйте за правата и авторските права.
- Компанията, която се занимава с извличане на данни, трябва да създадедепартамент на хакерите, в добрия смисъл на думата. Вдъхновено от тежката борба с защитните системи на Жълтите Страници срещу търсачките.
- Преди да работите с данни – те трябва да бъдат «видени» в цялата им прелест. Трудно е да се обясни. На мен ми идват наум таблици. Някому графични представяния, но всяка графика – това вече е интерпретация. Както и да е… «видете»!
- Повтаряме си въпроса за «доверие» на потребителите към фронтенда. Доверие към конекторите/процесите за генериране на данни, доверие към данните, доверие към взетите решения.
Източник: habr.com
