2013 жылда IBS, содан кейін ол құрылып жатқан сияқты болды Деректер бөлімі, маған Big Data және жалпы деректердің проблемалық аймағына қатысты осындай брейддумп (тек корпоративтік мұнай және газ тұтынушыларымен өзара әрекеттесу тәжірибесіне негізделген) жасауды сұрады. Сондықтан мен оны 7 жылдан кейін кездестірдім және бұл күлкілі деп ойладым. Кейбір нәрселер анық. Кейбіреулері мүлде дұрыс емес болып шықты, бірақ... 7 жыл өтті.
Ағылшынша жаздым, енді орысшаға аударуды ойладым. Енді бірдеңе өзекті болса ше? (Мен бюллетеньдерді аударамын, бірақ жалқаулықтан ағылшын тіліндегі белгілерді қалдырыңыз. Жасыл - жақсы, қызыл - қауіпті, көк - арман).
Мен «бүгінгі» ең аз пікірлерді ресімдеймін итальянсондықтан ол анық және ерекшеленетін болады.
Сонымен, DATA! Біз үшін деректер...
Деректер бөлімі қан бөлімі болып табылады, өйткені деректерді, мысалы, бизнес органының тамырлары мен артериялары арқылы өтетін қанмен салыстыруға болады. Дегенмен, қан бірдей болғанымен, организмдер әртүрлі және сондықтан өндіріс өте қиын, бірақ ол даму мүмкіндігін де білдіреді.
Деректер олардың көзіне түсетін адамдар бар - бұл біз.
Өкінішке орай, деректер нүктесін бос көрмейтін адамдар бар. Бұл тағы да, өкінішке орай, біздікі Тұтынушылар!
Осылайша, бизнес принциптері...
- Сату бизнес, жоқ IT (барлық IT мамандары мені бірден кешірсін) өйткені біз әлемдегі мәселелерді шешіп жатырмыз, және, жақсы, көбірек ақша.
- Барлық бизнес проблемалары тақырыптық салалық вертикалдардың айналасында шоғырланған және барабар талап етеді мамандықтар.
- Дәлелдеуге тырысады «деректер» мәні немесе одан да қиын, бизнес үшін «деректерді басқарудың» мәні мәңгілік азап пен азап. Негізінде, бұл өзін жақсы сезінген адамға келіп: «Жігіт, қазір қаныңды емдейміз, ал, жігітім, бұл қымбат!» деп айту сияқты.
- Менің «дымқыл арманым» - SaaS үлгісінде «деректерді алу» және «аналитиканы» сату шағын және орта бизнестамаша интерфейстері бар 123 бұлттық қызметке көтерілген: жобаларды басқару, анықтамалық қызмет, бухгалтерлік есеп, CRM, жалақы, уақыт бойынша есеп беру, маркетинг, ... сіз оны атаңыз және деректерге көмілді. Youcalc және Successfactors (енді жоқ шығар) Бұл жақсы!
- Қиындық жасауды ұнататын адамдарды іздеңіз «қытырлақ» деректермен. Олар сирек және біртүрлі (шай жапырақтары сияқты), бірақ бизнестің кілті. Мысалы, ақын корреляцияда өте жақсы болуы мүмкін.
- Инженерлер керек! Crunchers деректерден шығарған мәселелерді шешімдерге айналдыру үшін қажет. Ал шешімнің сәтті немесе сәтсіздігі толығымен соларға байланысты.
- даму OpenSource жобалардың маңызы зор және күрделі шешімдерді нөлден бастап «жинақтауға» мүмкіндік береді.
- Бірақ... біз Hadoop кітапхана екенін ұмытпауымыз керек, ал Lucene де кітапхана және олардың арасындағы қашықтық кітапхана және өнеркәсіп өнімі көп!
- Салынған шешімдерді айтарлықтай бейімдеуге тура келеді, өйткені модульдік и интегралдық - негізгі нүктелер.
- Agile (Құдай мені кешір) тұтынушымен өзара әрекеттесу және тексерудегі негізгі әдіс болып табылады гипотезалар, оның ішінде көп болады.
- Барлық кодтау мен UI аутсорсингіне әсіресе мүмкін және қажет. Барлық бизнес-аналитика және техникалық сипаттамалар сервер кету керек ішінде және негізгі құзыреттілік ретінде қарастырылады.
- Іскерлік шешім қабылдаушылар бұл туралы үнемі «хабарлануы» керек мәліметтермен дұрыс жұмыс істеу қажеттілігі және оларды талдаудың жаңа жолдарын үнемі іздестіру. Біздің қызметкерлердің техникалық және іскерлік құзыреттілігінің үйлесімі бүкіл ұйымның мәртебесін көтеруге көмектеседі.
- Интернет – шабыттың шексіз көзі бар (Ол кезде мысықтар көп емес еді) мақсаттары мен ауқымы айтарлықтай өзгерсе де, кәсіпорын деректерін басқару тәсілдеріне қатысты.
Технологиялық постулаттар...
- Қазақстанда үлкен даму әлеуеті бар жеңілдету деректер адамдарға қалай көрсетіледі. Мұны «iPhonization» сөзі деп атауға болады.
- BI жеткізушілері өздерін тікелей деп мәлімдегеніне қарамастан соңғы пайдаланушыларға аналитиканы жеткізіңіз, (және олар, әрине, осы бағытта қозғалады) - серпіліс әлі болған жоқ. Адамдар жақсы түсінбейді көпөлшемді деректер.
- Азды-көпті күрделі, еркін құрылымды деректерді көрсететін пайдаланушы интерфейсі қырлы пішін - сонымен қатар проблемалардың шексіз санын ұсынады. Қорытынды: жалпақ болған сайын жақсы.
- Дереккөздерден деректерді автоматты түрде алу негізінде құрастырылған платформа (олар әрқашан мұндай шығаруға арналмаған) көздерге, қосқыштардың тұрақтылығына және инфрақұрылымға айтарлықтай тәуелді. Платформа (мессенджер) әрқашан нәтижелерді жеткізе алмағаны үшін кінәлі болады. Сенімділік – осындай платформалардың капиталы. Табылуы қиын және жоғалуы оңай капитал.
- Бизнес тұрғысынан үлкен деректерді талдау мен арасында ешқандай айырмашылық жоқ Тек деректер. Көбінесе 2х2 сияқты қарапайым сандардың артында миллиондаған долларлық мүмкіндіктер жатыр. Жақсы мысал - Норвегиялық шельфтегі инфрақұрылым элементтерінің қызмет ету мерзімінің аяқталуы туралы деректер. Болашақ қақпақтардың барлық күндері қашан. барлық жабдықтарды жөндеу бір оське қойылды және олар N жылдан кейін сөре Армагеддон келе жатқанын білді - бір өте бай адам орындығынан тұрып, бөлмеден асығыс тағзым етті: «Кешіріңіз, мен жоқпын. Уақыт көп, мен флотты дайындауым керек...»
- Excel бағдарламасының және деректердің нақты және қысқаша кестелік көрсетілімі орасан зор күш пен үлкен болашаққа ие. Мен әдемі үстелдерге сенемін (және әлі де солай) және солай!
- Барлық осы «аналитиканың» негізгі садағы шешімдерді автоматтандыру. Ең үлкен мүмкіндіктер бар, бірақ сонымен бірге ең жоғары тәуекелдер, сондықтан мүмкіндіктер бай, сондықтан тәуекелдер бар, сондықтан мүмкіндіктер бар, сондықтан олар ірімшік... 🙂 Ұңғымаларды бұрғылауды басқару, мысалы...
- Егер «интегралдық» негізгі мүмкіндік болса, онда деректер іс жүзінде қызмет ретінде ұсынылуы керек. REST ережелер, бірақ біз оңтайландыру туралы ұмытпауымыз керек өнімділігі, ол қазір интегралдық үшін жиі құрбан болады, өйткені есептеу қуаты өсуде.
- Негізгі деректер - бұл кез келген бизнес мәселелерін шешуден бұрын жерсіндендіру, өндіру, стандарттау керек. Негізгі деректер кішкентай, бірақ онымен проблемалар үлкен! Семантика ағалары айтқандай, әлемдегі барлық мәселелердің 50% -ы адамдардың бір заттарды әртүрлі атауларымен, ал қалған 50% -ы әртүрлі заттарды бір атаумен атағандықтан.
- Кез келген инкапсуляция сақтау деңгейінде ол ерітіндінің ашықтығын шектейді және SILO-фикацияға әкеледі. Егер сіз үлкен сатушы болсаңыз жақсы, әйтпесе ол солай. (Бұл жерде біз, әрине, блок деңгейі туралы емес, сол кезде 3 жаста болған AWS S6 туралы емес, файлдар туралы айтып отырмыз.).
- Реляциялық модельдеу деректер енді біздің досымыз емес. RDF және кілт-мән – тамаша! Біз 2000 кестенің үлгілері бар реляциялық деректер қорының 15 кестеге сиқырлы түрлендірулерін көрдік және пайдаланушылардың ешқайсысы ештеңе жоғалтпады.
- Интернет жұмыс істейді, өйткені ол бар URL адрестеудің біртұтас әдісі ретінде. URL маңыздылығы немесе дәлірек айтсақ URI кәсіпорын үшін ақпараттық ресурстарды асыра бағалау қиын.
- Мәтінді өңдеу және NLP танымал. Интернетте. Бірақ тіпті корпоративтік секторда құрылымдалмаған корпоративтік деректерден құрылымдық деректерді алу арқылы үлкен жетістікке жетуге болады.
- Синергия құрылымдалған деректер мен құрылымдалмаған деректерден алынған ақпарат арасында, т. файлдар – аналитикалық Klondike.
- Деректерді алу кезінде құқықтар туралы ұмытпаңыз авторлық құқықтар.
- Деректерді шығаратын компания а құруы керекхакерлер бөлімі, сөздің жақсы мағынасында. Yellow Pages тексеріп шығушы боттардан қорғау жүйелеріне қарсы күресте шабыттандырылған.
- Деректермен жұмыс жасамас бұрын, қажет «көру» толығымен. Түсіндіру қиын. Кестелік формалар ойға оралады. Кейбіреулер үшін графикалық көріністер, бірақ кез келген график қазірдің өзінде интерпретация болып табылады. Қалай болғанда да, «көріңіз»!
- Фронтендтегі пайдаланушының «сенімі» мәселесін қайталау. Қосқыштарға/деректер генерациялау процестеріне сену, деректерге сену, қабылданған шешімдерге сену.
Ақпарат көзі: www.habr.com