In 2013 տարի Ibs մասին, որն այն ժամանակ թվում էր, թե ստեղծում էր Տվյալների բաժին, ինձ խնդրեց կատարել նման ուղեղային վերլուծություն (բացառապես հիմնված նավթի և գազի կորպորատիվ հաճախորդների հետ փոխգործակցության փորձի վրա) Big Data-ի խնդրահարույց տարածքի և ընդհանրապես տվյալների վերաբերյալ: Այսպիսով, ես հանդիպեցի դրան 7 տարի անց և մտածեցի, որ դա ծիծաղելի էր: Որոշ բաներ ակնհայտ են. Ոմանք պարզվեց, որ ամբողջովին ճիշտ չէին, բայց... անցել է 7 տարի։
Անգլերեն էի գրել ու հիմա մտածեցի ռուսերեն թարգմանել։ Իսկ եթե ինչ-որ բան դեռ արդիական է հիմա: (Ես կթարգմանեմ տեղեկագրերը, բայց ծուլությունից ելնելով թողեք անգլերեն նշանները: Կանաչը լավ է, կարմիրը վտանգավոր է, կապույտը երազ է):
«Այսօրից» կձևակերպեմ նվազագույն մեկնաբանությունները. Իտալականորպեսզի այն պարզ և տարբերվող լինի։
Այսպիսով, ՏՎՅԱԼՆԵՐ! Տվյալներ մեզ համար...
Տվյալների բաժինը արյան բաժինն է, քանի որ տվյալները կարելի է համեմատել, օրինակ, բիզնես մարմնի երակներով և զարկերակներով հոսող արյան հետ: Այնուամենայնիվ, չնայած արյունը նույնն է, օրգանիզմները տարբեր են և հետևաբար արտադրականացում շատ դժվար է, բայց դա նաև զարգացման հնարավորություն է ներկայացնում։
Կան մարդիկ, որոնց համար տվյալները ցատկում են անմիջապես նրանց աչքերի մեջ Մենք.
Եվ կան մարդիկ, ովքեր, ցավոք, դատարկ չեն տեսնում տվյալների կետը։ Սա էլի, ավաղ, մերն է Հաճախորդներ!
Այնպես որ, բիզնեսի սկզբունքները...
- Վաճառել բիզնեսԵւ ոչ ՏՏ (Թող բոլոր ՏՏ մասնագետները միանգամից ներեն ինձ), որովհետև մենք լուծում ենք աշխարհի խնդիրները և, լավ, ավելի շատ գումար:
- Բոլոր բիզնես խնդիրները կենտրոնացած են թեմատիկ արդյունաբերության ուղղահայաց շուրջ և կպահանջեն համապատասխան մասնագիտացումներ.
- Ապացուցելու փորձեր «տվյալների» արժեքը կամ, առավել դժվար, բիզնեսի համար «տվյալների կառավարման» արժեքը հավերժական տառապանքն ու ցավն է: Ըստ էության, դա նման է նրան, որ գաս մի մարդու մոտ, ով իրեն լավ է զգում և ասի.
- Իմ «խոնավ երազանքը» SaaS մոդելի շրջանակներում «տվյալների արդյունահանում» և «վերլուծություն» վաճառելն է փոքր և միջին բիզնեսըովքեր բարձրացել են 123 ամպային ծառայություններ՝ հիանալի ինտերֆեյսներով՝ նախագծերի կառավարում, օգնական, հաշվապահական հաշվառում, CRM, աշխատավարձ, ժամանակի հաշվետվություն, մարքեթինգ, ..., ինչպես ասեք, և թաղվեցին տվյալների մեջ: Youcalc և Successfactors (հավանաբար այլևս չկան) Սա լավ է!
- Փնտրեք մարդկանց, ովքեր սիրում են թակել «ճռճռոց» տվյալների հետ։ Նրանք հազվադեպ են և տարօրինակ (ինչպես թեյի տերևները), բայց բիզնեսի համար առանցքային են: Բանաստեղծը, օրինակ, կարող է շատ լավ լինել հարաբերակցության մեջ:
- Ճարտարագետներ անհրաժեշտ! Անհրաժեշտ էր խնդիրները, որոնք Crunchers-ը քաշեց տվյալներից լուծումների վերածելու համար: Եվ որոշման հաջողությունը կամ ձախողումն ամբողջությամբ կախված է նրանցից։
- Զարգացում opensource նախագծերը մեծ արժեք ունեն և հնարավորություն են տալիս գործնականում զրոյից «հավաքել» բարդ լուծումներ։
- Բայց... չպետք է մոռանալ, որ Հադոպը գրադարան է, և Լյուսենը նույնպես գրադարան է, և միջև եղած հեռավորությունը. գրադարանային և արդյունաբերական արտադրանք շատ!
- Կառուցված լուծումները պետք է էապես հարմարեցվեն, քանի որ մոդուլյարություն и ինտեգրելիություն - հիմնական կետերը.
- Արագաշարժ (Աստված ների ինձ) հաճախորդի հետ փոխգործակցության և ստուգման հիմնական տեխնիկան է վարկածներ, որոնցից շատերը կլինեն։
- Հատկապես հնարավոր և անհրաժեշտ է բոլոր կոդավորման և UI-ի արտապատվիրումը: Բոլոր բիզնես վերլուծությունները և բնութագրերը backend պետք է հեռանալ ներսում և համարվում է հիմնական իրավասություն:
- Բիզնես որոշումներ կայացնողները պետք է մշտապես «տեղեկացված» լինեն տվյալների հետ ճիշտ աշխատելու անհրաժեշտությունը և անընդհատ նոր ուղիներ փնտրելով դրանք վերլուծելու համար: Մեր աշխատակիցների տեխնիկական և բիզնես իրավասությունների համադրությունը կօգնի բարձրացնել ամբողջ կազմակերպության կարգավիճակը որպես ամբողջություն:
- Ինտերնետը - ոգեշնչման անվերջ աղբյուր կա (այն ժամանակ այդքան կատուներ չկային) ձեռնարկության տվյալների կառավարման մոտեցումների հետ կապված, թեև նպատակներն ու շրջանակը զգալիորեն տարբերվում են:
Տեխնոլոգիական դրույթներ...
- Կա զարգացման հսկայական ներուժ պարզեցում ինչպես են տվյալները ցուցադրվում մարդկանց: Դուք կարող եք սա անվանել «iPhonization» բառը:
- Չնայած այն հանգամանքին, որ BI վաճառողները պնդում են, որ դրանք ուղղակիորեն են բերել վերլուծություն վերջնական օգտագործողներին, (և նրանք, անշուշտ, այս ուղղությամբ են շարժվում) - բեկումը դեռ տեղի չի ունեցել։ Մարդիկ ուղղակի լավ չեն հասկանում բազմաչափ տվյալները։
- Օգտագործողի միջերես, որը ներկայացնում է քիչ թե շատ բարդ, թույլ կառուցվածքային տվյալներ երեսապատված ձև - ներկայացնում է նաև խնդիրների անվերջ քանակություն: Եզրակացություն՝ որքան հարթ, այնքան լավ։
- Աղբյուրներից տվյալների ավտոմատ արդյունահանման հիման վրա կառուցված հարթակը (որոնք միշտ չէ, որ նախատեսված են նման արդյունահանման համար) զգալիորեն կախված է աղբյուրներից, միակցիչների կայունությունից և ենթակառուցվածքից: Պլատֆորմը (մեսենջերը) միշտ կմեղադրվի արդյունքներ չտալու համար: Վստահություն – այս տեսակի հարթակների կապիտալը: Կապիտալ, որը դժվար է վաստակել և հեշտ կորցնել:
- Բիզնեսի տեսանկյունից տարբերություն չկա Մեծ տվյալների վերլուծության և Պարզապես տվյալներ. Հաճախ 2x2 պարզ թվերի հետևում միլիոնավոր դոլարների հնարավորություններ են թաքնված: Լավ օրինակ է նորվեգական դարակում ենթակառուցվածքի տարրերի ժամկետի ավարտի տվյալները: Ե՞րբ են ապագա գլխարկների բոլոր ամսաթվերը: Բոլոր սարքավորումների վերանորոգումը դրվեց մեկ առանցքի վրա և պարզվեց, որ N տարում Արմագեդոնի դարակը գալիս է. մի շատ հարուստ մարդ վեր կացավ աթոռից և շտապ խոնարհվեց սենյակից՝ ասելով. շատ ժամանակ ունեմ, ես պետք է պատրաստեմ նավատորմը...»:
- Excel-ը և, ըստ էության, տվյալների հստակ և հակիրճ աղյուսակային ներկայացումն ունի հսկայական ուժ և մեծ ապագա: Ես հավատում եմ գեղեցիկ սեղաններին (և դեռ անում են) և վերջ։
- Այս ամբողջ «վերլուծության» գլխավոր աղեղն է որոշումների ավտոմատացում. Կան մեծագույն հնարավորություններ, բայց և ամենաբարձր ռիսկերը, դրա համար էլ հնարավորությունները հարուստ են, դրա համար կան ռիսկեր, դրա համար կան հնարավորություններ, դրա համար էլ շոգեխաշած են... 🙂 Հորատանցքի հորատման կառավարում, օրինակ...
- Եթե «ինտեգրելիությունը» հիմնական հատկանիշն է, ապա տվյալները դե ֆակտո պետք է ներկայացվեն որպես ծառայություն: ՀԱՆԳՍՏՅԱՆ կանոններ, բայց չպետք է մոռանալ օպտիմալացման մասին արտադրողականություն, որն այժմ հաճախ զոհաբերվում է ամբողջականության համար, քանի որ հաշվողական հզորությունը շարունակում է աճել:
- Հիմնական տվյալները - Սա այն է, ինչ պետք է տեղայնացնել, արդյունահանել, ստանդարտացնել՝ նախքան բիզնեսի որևէ խնդիր լուծելը: Հիմնական տվյալները փոքր են, բայց դրանց հետ կապված խնդիրները մեծ են: Ինչպես ասում են իմաստաբան եղբայրները, աշխարհի բոլոր խնդիրների 50%-ը պայմանավորված է նրանով, որ մարդիկ նույն բաներն անվանում են տարբեր անուններով, իսկ մնացած 50%-ը պայմանավորված է նրանով, որ նրանք տարբեր բաներ են անվանում նույն անունով:
- Ցանկացած ինկապսուլյացիան Պահպանման մակարդակում այն սահմանափակում է լուծույթի բաց լինելը և հանգեցնում է SILO-ֆիկացմանը: Լավ է, եթե դու մեծ վաճառող ես, հակառակ դեպքում դա այդպես է: (Այստեղ խոսքը, իհարկե, ոչ թե բլոկի մակարդակի և ոչ թե AWS S3-ի մասին է, որն այն ժամանակ արդեն 6 տարեկան էր, այլ ֆայլերի մասին։).
- Հարաբերական մոդելավորում տվյալներն այլևս մեր ընկերը չեն: RDF և key-value – հիանալի: Մենք տեսել ենք հարաբերական տվյալների բազաների կախարդական փոխակերպումները 2000 աղյուսակների մոդելներով 15 աղյուսակների, և օգտատերերից ոչ մեկը ոչինչ չի կորցրել:
- Համացանցն աշխատում է, քանի որ այն գոյություն ունի URL որպես հասցեագրման միասնական մեթոդ: URL-ի կարևորությունը կամ ավելի շուտ URI ձեռնարկության տեղեկատվական ռեսուրսների համար դժվար է գերագնահատել:
- Տեքստային մայնինգը և NLP-ն հայտնի են. Համացանցում. Բայց նույնիսկ կորպորատիվ հատվածում մեծ հաջողության կարելի է հասնել՝ չկառուցված կորպորատիվ տվյալներից կառուցվածքային տվյալներ հանելով:
- Սիներգիա կառուցվածքային տվյալների և չկառուցված տվյալներից քաղված տեղեկատվության միջև, այսինքն. ֆայլեր – վերլուծական Klondike:
- Տվյալներ հանելիս մի մոռացեք իրավունքների և հեղինակային իրավունքներ.
- Տվյալների արդյունահանման ընկերությունը պետք է ձևավորի ահաքերների բաժին, բառի լավ իմաստով։ Ոգեշնչված Դեղին Էջերի սողացող բոտերի պաշտպանության համակարգերի դեմ ծանր պայքարից:
- Տվյալների հետ աշխատելուց առաջ անհրաժեշտ է "տեսնել" ամբողջությամբ։ Դժվար է բացատրել։ Մտքիս են գալիս աղյուսակային ձևերը: Ոմանց համար գրաֆիկական ներկայացումներ, բայց ցանկացած գրաֆիկ արդեն մեկնաբանություն է։ Այսպես թե այնպես... «տես»!
- Օգտագործողի «վստահության» խնդիրը ճակատային մասում կրկնելով: Վստահություն միակցիչների/տվյալների ստեղծման գործընթացներին, վստահություն տվյալներին, վստահություն ընդունված որոշումների նկատմամբ.
Source: www.habr.com