Одделение за податоци. 2013 година. Ретроспектива

Во 2013 година IBS, кој потоа се чинеше дека создава Одделение за податоци, ме замоли да направам таков мозок (исклучиво врз основа на искуството од интеракција со корпоративните клиенти на нафта и гас) во однос на проблематичната област на Big Data и податоците воопшто. Така наидов на него 7 години подоцна и мислев дека е смешно. Некои работи се очигледни. Некои испаднаа дека не се сосема вистинити, но... поминаа 7 години.

Пишував на англиски и сега помислив да го преведам на руски. Што ако нешто е сè уште релевантно сега? (Ќе ги преведам билтените, но оставете ги знаците на англиски од мрзеливост. Зелената е добра, црвената е опасна, сината е сон).

Ќе ги официјализирам минималните коментари од „денес“ италијанскитака што тој е јасен и разграничен.

Значи, ПОДАТОЦИ! Податоци за нас...

Одделот за податоци е Оддел за крв, бидејќи податоците може да се споредат, на пример, со крвта што тече низ вените и артериите на деловното тело. Меѓутоа, иако крвта е иста, организмите се различни и затоа продуктизација многу тешко, но претставува и можност за развој.

Има луѓе на кои податоците им скокаат право во очи - тоа се Ние.
И има луѓе кои, за жал, не ја гледаат точката на податоци празна. Ова, пак, за жал, е наше Клиенти!

Значи, деловни принципи...

1. Ние продаваме бизниси не ИТ (да ми простат сите ИТ специјалисти наеднаш) затоа што ги решаваме светските проблеми и, добро, повеќе пари.
2. Сите деловни проблеми се концентрирани околу тематските индустриски вертикали и ќе бараат адекватни специјализации.
3. Обиди за докажување вредност на „податоци“ или, уште потешко, вредноста на „управувањето со податоци“ за бизнисот е вечно страдање и болка. Во суштина, тоа е како да дојдеш кај личност која се чувствува добро и да кажеш: „Друже, сега ќе ти ја лечиме крвта и, пријателе, скапо е!“
4. Мојот „влажен сон“ е да продавам „екстракција на податоци“ и „аналитика“ во рамките на моделот SaaS мали и средни бизнисикои се искачија на 123 облак услуги со кул интерфејси: проектен менаџмент, Helpdesk, сметководство, CRM, платен список, известување за времето, маркетинг, ... и се закопаа во податоците. Youcalc и Successfactors (веројатно веќе ги нема) Ова е добро!
5. Барајте луѓе кои сакаат да нескопосник „крцкање“ со податоци. Тие се ретки и чудни (како листови од чај), но клучни за бизнисот. Еден поет, на пример, може да биде многу добар во корелација.
6. Инженери потребно! Потребно е да се претворат проблемите што Crunchers ги извлекувале од податоците во решенија. И успехот или неуспехот на одлуката целосно зависи од нив.
7. Развој Свет проектите се од голема вредност и овозможуваат „склопување“ на сложени решенија практично од нула.
8. Но... не смееме да заборавиме дека Хадуп е библиотека, а Лусен е и библиотека, а растојанието помеѓу библиотека и индустриски производ многу!
9. Изградените решенија ќе треба значително да се прилагодат, бидејќи модуларност и интеграбилност - клучните точки.
10. Агилен (Бог да ми прости) е клучна техника во интеракција со клиентот и верификација хипотези, од кои ќе ги има многу.
11. Посебно е можно и неопходно да се нарачаат сите кодови и UI. Сите деловни анализи и спецификации задниот дел треба да замине внатре и се смета како основна компетентност.
12. Носителите на деловни одлуки мора постојано да бидат „информирани“. потребата за правилна работа со податоци и постојано барајќи нови начини за нивна анализа. Комбинацијата на технички и деловни компетенции на нашите вработени ќе помогне да се подигне статусот на целата организација како целина.
13. Интернет – постои бесконечен извор на инспирација (тогаш немаше толку многу мачки) во однос на пристапите за управување со податоците на претпријатието, иако целите и опсегот значително се разликуваат.

Технолошки постулати...

1. Има огромен потенцијал за развој во поедноставување како податоците им се прикажуваат на луѓето. Ова може да го наречете зборот „iPonization“.
2. И покрај фактот што продавачите на БИ тврдат дека тие се директно донесе аналитика до крајните корисници, (и тие секако се движат во оваа насока) - пробивот сè уште не се случил. Луѓето едноставно не разбираат добро повеќедимензионални податоци.
3. Кориснички интерфејс што претставува повеќе или помалку сложени, лабаво структурирани податоци во фацетирани форма - исто така претставува бесконечен број проблеми. Заклучок: колку порамно толку подобро.
4. Платформата изградена врз основа на автоматско извлекување податоци од извори (кои не се секогаш дизајнирани за такво извлекување) е значително зависна од изворите, стабилноста на конекторите и инфраструктурата. Платформата (гласник) секогаш ќе биде обвинета за неуспехот да даде резултати. Доверба – капитал на овој вид платформи. Капитал кој тешко се заработува и лесно се губи.
5. Од деловна гледна точка, нема разлика помеѓу анализата на големи податоци и Само податоци. Често зад бројките едноставни како 2x2 лежат можности вредни милиони долари. Добар пример се податоците за крајот на животот на инфраструктурните елементи на норвешката полица. Кога се сите датуми на идните капи. поправките на целата опрема беа ставени на една оска и открија дека за N година доаѓа полицата Армагедон - еден многу богат човек стана од столот и набрзина се поклони од собата со зборовите: „Извини, не имам многу време, треба да го подготвам возниот парк...“
6. Excel, и во суштина јасна и концизна табеларна презентација на податоците, има огромна моќ и одлична иднина. Верувам во убави маси (и се уште прави) и тоа е тоа!
7. Главниот лак на целата оваа „аналитика“ е автоматизација на одлуки. Има најголеми можности, но и најголеми ризици, затоа можностите се богати, затоа има ризици, затоа има можности, затоа се шарени... 🙂 Управување со бушење, на пример...
8. Ако „интеграбилноста“ е клучна карактеристика, тогаш податоците треба де факто да се претстават како услуга. ОДМОР правила, но не смееме да заборавиме на оптимизацијата продуктивноста, што сега често се жртвува за интеграбилност бидејќи компјутерската моќ продолжува да расте.
9. Главни податоци - тоа е она што треба да се локализира, извлече, стандардизира пред да се решат какви било деловни прашања. Главните податоци се мали, но проблемите со нив се големи! Како што велат браќата на семантиката, 50% од сите светски проблеми се поради тоа што луѓето ги нарекуваат истите работи со различни имиња, а другите 50% се затоа што различните нешта ги нарекуваат со исто име.
10. Секое инкапсулација на ниво на складирање, ја ограничува отвореноста на растворот и води до SILO-фикација. Добро е ако сте голем продавач, инаку е така. (Овде зборуваме, се разбира, не за нивото на блок и не за AWS S3, кој тогаш беше веќе 6 години, туку за датотеки).
11. Релациско моделирање податоците повеќе не се наш пријател. RDF и key-value – кул! Видовме магични трансформации на релациони бази на податоци со модели од 2000 табели во 15 табели и никој од корисниците не изгуби ништо.
12. Интернетот работи затоа што постои URL како унифициран метод на адресирање. Важноста на URL-то или подобро кажано URI за претпријатието информациски ресурси е тешко да се прецени.
13. Текст рударството и НЛП се популарни. На интернет. Но, дури и во корпоративниот сектор, може да се постигне голем успех со извлекување на структурирани податоци од неструктурирани корпоративни податоци.
14. Синергија помеѓу структурирани податоци и информации извлечени од неструктурирани податоци, т.е. датотеки – аналитички Klondike.
15. Кога извлекувате податоци, не заборавајте за правата и авторски права.
16. Компанијата за извлекување податоци мора да формира аоддел за хакери, во добра смисла на зборот. Инспириран од напорната битка против системите за заштита на ботови со роботи на Yellow Pages.
17. Пред да работите со податоци, потребно е да "види" во целост. Тешко е да се објасни. Табеларните форми ми доаѓаат на ум. За некои, графички претстави, но секој график е веќе интерпретација. Вака или онака... „види“!
18. Повторување на прашањето за корисничка „доверба“ во предниот дел. Доверба во конектори/процеси за генерирање податоци, доверба во податоци, доверба во донесените одлуки.

Извор: www.habr.com