Jo 2013 gadÄ IBS, kas tad, Ŕķiet, radÄ«ja Datu nodaļa, lÅ«dza man veikt Å”Ädu prÄta izplÅ«di (tikai pamatojoties uz pieredzi mijiedarbÄ«bÄ ar korporatÄ«vajiem naftas un gÄzes klientiem) attiecÄ«bÄ uz Big Data problÄmzonu un datiem kopumÄ. TÄpÄc es to saskÄros pÄc 7 gadiem un domÄju, ka tas ir smieklÄ«gi. Dažas lietas ir acÄ«mredzamas. Dažas izrÄdÄ«jÄs ne lÄ«dz galam patiesas, bet... ir pagÄjuÅ”i 7 gadi.
RakstÄ«ju angliski un tagad izdomÄju pÄrtulkot krieviski. Ko darÄ«t, ja kaut kas joprojÄm ir aktuÄls? (TulkoÅ”u biļetenus, bet zÄ«mes angļu valodÄ atstÄju aiz slinkuma. ZaļŔ ir labs, sarkans ir bÄ«stams, zils ir sapnis).
Es formalizÄÅ”u minimÄlos komentÄrus no āÅ”odienasā itÄļu valodalai tas bÅ«tu skaidrs un atŔķirams.
TÄtad, DATI! Dati mums...
Datu nodaļa ir Asins nodaļa, jo datus var salÄ«dzinÄt, piemÄram, ar asinÄ«m, kas plÅ«st pa uzÅÄmuma vÄnÄm un artÄrijÄm. TomÄr, lai gan asinis ir vienÄdas, organismi ir atŔķirÄ«gi un tÄpÄc produkciju ļoti grÅ«ti, taÄu tÄ ir arÄ« attÄ«stÄ«bas iespÄja.
Ir cilvÄki, kuriem dati lec tieÅ”i acÄ«s ā tÄdi ir MÄs.
Un ir cilvÄki, kuri diemžÄl neredz datu punktu tukÅ”u. DiemžÄl tas atkal ir mÅ«su Klienti!
TÄtad, biznesa principi...
- PÄrdod BiznessUn ne IT (lai visi IT speciÄlisti man piedod uzreiz), jo mÄs risinÄm pasaules problÄmas un, labi, vairÄk naudas.
- Visas biznesa problÄmas ir koncentrÄtas ap tematiskajÄm nozares vertikÄlÄm, un tÄm bÅ«s nepiecieÅ”amas atbilstoÅ”as specializÄcijas.
- MÄÄ£inÄjumi pierÄdÄ«t "datu" vÄrtÄ«ba vai, vÄl grÅ«tÄk, ādatu pÄrvaldÄ«basā vÄrtÄ«ba uzÅÄmumam ir mūžīgas cieÅ”anas un sÄpes. BÅ«tÄ«bÄ tas ir tÄpat kÄ pienÄkt pie cilvÄka, kurÅ” jÅ«tas labi, un pateikt: "DruÅ”, mÄs tagad ÄrstÄsim tavas asinis, un, vecÄ«t, tas ir dÄrgi!"
- Mans "slapjais sapnis" ir pÄrdot "datu ieguvi" un "analÄ«zi" SaaS modelÄ« mazie un vidÄjie uzÅÄmumikuri iekļuva 123 mÄkoÅpakalpojumos ar lieliskÄm saskarnÄm: projektu vadÄ«ba, palÄ«dzÄ«bas dienests, grÄmatvedÄ«ba, CRM, algu uzskaite, laika atskaite, mÄrketings, ... jÅ«s to nosaucat, un ieslÄpa sevi datos. Youcalc un Successfactors (laikam tÄdu vairs nav) Tas ir labi!
- MeklÄjiet cilvÄkus, kuriem patÄ«k lÄpÄ«t ākraukŔķÄÅ”anaā ar datiem. Tie ir reti un dÄ«vaini (piemÄram, tÄjas lapas), taÄu tie ir biznesa atslÄga. PiemÄram, dzejnieks var bÅ«t ļoti labs korelÄcijÄ.
- Inženieri vajadzÄ«gs! NepiecieÅ”ams, lai problÄmas, ko Crunchers izvilka no datiem, pÄrvÄrstu risinÄjumos. Un lÄmuma veiksme vai neveiksme ir pilnÄ«bÄ atkarÄ«ga no viÅiem.
- AttÄ«stÄ«ba opensource projekti ir ļoti vÄrtÄ«gi un ļauj praktiski no nulles āsaliktā sarežģītus risinÄjumus.
- Bet... mÄs nedrÄ«kstam aizmirst, ka Hadoop ir bibliotÄka, un Lucene ir arÄ« bibliotÄka, un attÄlums starp tiem bibliotÄka un industriÄlais produkts daudz!
- BÅ«vÄtie risinÄjumi bÅ«s bÅ«tiski jÄpielÄgo, jo modularitÄte Šø integrÄjamÄ«ba - galvenie punkti.
- Agile (Dievs man piedod) ir galvenais paÅÄmiens mijiedarbÄ«bÄ ar klientu un pÄrbaudÄ hipotÄzes, kuru bÅ«s daudz.
- ÄŖpaÅ”i iespÄjams un nepiecieÅ”ams visu kodÄÅ”anu un lietotÄja saskarni nodot Ärpakalpojumu sniedzÄjiem. Visa biznesa analÄ«ze un specifikÄcijas aizmugure vajag aiziet laikÄ un tiek uzskatÄ«ta par pamatkompetenci.
- UzÅÄmÄjdarbÄ«bas lÄmumu pieÅÄmÄjiem ir pastÄvÄ«gi jÄbÅ«t āinformÄtiemā. nepiecieÅ”amÄ«ba pareizi strÄdÄt ar datiem un pastÄvÄ«gi meklÄ jaunus veidus, kÄ tos analizÄt. MÅ«su darbinieku tehnisko un biznesa kompetenÄu apvienoÅ”ana palÄ«dzÄs paaugstinÄt visas organizÄcijas statusu kopumÄ.
- Internets ā ir bezgalÄ«gs iedvesmas avots (toreiz kaÄ·u nebija tik daudz) saistÄ«bÄ ar pieejÄm uzÅÄmuma datu pÄrvaldÄ«bai, lai gan mÄrÄ·i un darbÄ«bas joma ievÄrojami atŔķiras.
TehnoloÄ£iskie postulÄti...
- TajÄ ir milzÄ«gs attÄ«stÄ«bas potenciÄls vienkÄrÅ”oÅ”ana kÄ dati tiek rÄdÄ«ti cilvÄkiem. To var saukt par vÄrdu āiPhonizationā.
- Neskatoties uz to, ka BI pÄrdevÄji apgalvo, ka viÅi ir tieÅ”i sniegt analÄ«zi gala lietotÄjiem, (un viÅi noteikti virzÄs Å”ajÄ virzienÄ) - izrÄviens vÄl nav noticis. CilvÄki vienkÄrÅ”i nesaprot labi daudzdimensionÄls datus.
- LietotÄja saskarne, kas attÄlo vairÄk vai mazÄk sarežģītus, vÄji strukturÄtus datus slÄ«pÄta forma ā rada arÄ« bezgalÄ«gi daudz problÄmu. SecinÄjums: jo plakanÄks, jo labÄk.
- Platforma, kas izveidota, pamatojoties uz automÄtisku datu ieguvi no avotiem (kas ne vienmÄr ir paredzÄta Å”Ädai ieguvei), ir bÅ«tiski atkarÄ«ga no avotiem, savienotÄju stabilitÄtes un infrastruktÅ«ras. Platforma (ziÅnesis) vienmÄr tiks vainota par rezultÄtu nesniegÅ”anu. Uzticieties ā Å”Äda veida platformu kapitÄls. KapitÄls, kuru ir grÅ«ti nopelnÄ«t un viegli zaudÄt.
- No biznesa viedokļa nav atŔķirÄ«bas starp lielo datu analÄ«zi un Tikai dati. Bieži vien aiz tÄdiem vienkÄrÅ”iem skaitļiem kÄ 2x2 slÄpjas miljoniem dolÄru vÄrtas iespÄjas. Labs piemÄrs ir dati par infrastruktÅ«ras elementu dzÄ«ves beigÄm NorvÄÄ£ijas plauktÄ. Kad ir visi nÄkotnes vÄciÅu datumi. uz vienas ass tika likts visu iekÄrtu remonts un uzzinot, ka pÄc N gadiem nÄk plaukts Armagedons - viens ļoti turÄ«gs vÄ«rietis piecÄlÄs no krÄsla un steigÅ”us paklanÄ«jÄs no istabas ar vÄrdiem: āPiedod, es nÄ. man ir daudz laika, man jÄsagatavo flote...ā
- Programmai Excel un bÅ«tÄ«bÄ skaidrai un kodolÄ«gai datu tabulas prezentÄcijai ir milzÄ«gs spÄks un liela nÄkotne. Es ticu skaistiem galdiem (un joprojÄm dara) un viss!
- Visas Ŕīs āanalÄ«tikasā galvenais priekÅ”gals ir lÄmumu automatizÄcija. Ir vislielÄkÄs iespÄjas, bet arÄ« augstÄkie riski, tÄpÄc iespÄjas ir bagÄtÄ«gas, tÄpÄc ir riski, tÄpÄc ir iespÄjas, tÄpÄc tie ir Ä«risi... š Aku urbÅ”anas vadÄ«ba, piemÄram...
- Ja āintegrÄjamÄ«baā ir galvenÄ iezÄ«me, dati de facto ir jÄuzrÄda kÄ pakalpojums. ATPÅŖTA noteikumi, taÄu mÄs nedrÄ«kstam aizmirst par optimizÄciju produktivitÄte, kas tagad bieži tiek upurÄta integrÄjamÄ«bas labad, jo skaitļoÅ”anas jauda turpina pieaugt.
- Pamatdati - tas ir tas, kas ir jÄlokalizÄ, jÄizvelk, jÄstandartizÄ pirms jebkÄdu biznesa problÄmu risinÄÅ”anas. Pamatdati ir mazi, bet problÄmas ar tiem lielas! KÄ saka semantikas brÄļi, 50% no visÄm pasaules problÄmÄm ir tÄpÄc, ka cilvÄki sauc vienas un tÄs paÅ”as lietas dažÄdos vÄrdos, bet pÄrÄjie 50% ir tÄpÄc, ka viÅi sauc dažÄdas lietas vienÄ vÄrdÄ.
- jebkurÅ” iekapsulÄÅ”ana krÄtuves lÄ«menÄ« tas ierobežo risinÄjuma atvÄrtÄ«bu un noved pie SILO-fikÄcijas. Ir labi, ja esat liels pÄrdevÄjs, pretÄjÄ gadÄ«jumÄ tas ir tik un tÄ. (Å eit mÄs, protams, nerunÄjam par bloka lÄ«meni un nevis par AWS S3, kam toreiz jau bija 6 gadi, bet gan par failiem).
- RelÄciju modelÄÅ”ana dati vairs nav mÅ«su draugs. RDF un atslÄgas vÄrtÄ«ba ā forÅ”i! MÄs esam redzÄjuÅ”i maÄ£iskas relÄciju datu bÄzu transformÄcijas ar 2000 tabulu modeļiem 15 tabulÄs, un neviens no lietotÄjiem neko nezaudÄja.
- Internets darbojas, jo tas pastÄv URL kÄ vienotu adresÄcijas metodi. URL vai drÄ«zÄk nozÄ«me URI uzÅÄmuma informÄcijas resursus ir grÅ«ti pÄrvÄrtÄt.
- Teksta ieguve un NLP ir populÄri. InternetÄ. Bet pat korporatÄ«vajÄ sektorÄ lielus panÄkumus var gÅ«t, iegÅ«stot strukturÄtus datus no nestrukturÄtiem korporatÄ«vajiem datiem.
- SinerÄ£ija starp strukturÄtiem datiem un informÄciju, kas iegÅ«ta no nestrukturÄtiem datiem, t.i. faili ā analÄ«tiskÄ Klondaika.
- IegÅ«stot datus, neaizmirstiet par tiesÄ«bÄm un autortiesÄ«bas.
- Datu ieguves uzÅÄmumam ir jÄveido ahakeru nodaļa, vÄrda labÄ nozÄ«mÄ. Iedvesmojoties no kalnup cÄ«Åas pret Yellow Pages rÄpuļbotu aizsardzÄ«bas sistÄmÄm.
- Pirms darba ar datiem, ir nepiecieÅ”ams "redzÄt" kopumÄ. GrÅ«ti izskaidrot. PrÄtÄ nÄk tabulas formas. Dažiem grafiski attÄlojumi, bet jebkurÅ” grafiks jau ir interpretÄcija. TÄ vai citÄdi... āredziā!
- AtkÄrtota lietotÄja āuzticÄÅ”anÄsā problÄma priekÅ”galÄ. UzticÄ«ba savienotÄjiem/datu Ä£enerÄÅ”anas procesiem, uzticÄÅ”anÄs datiem, uzticÄ«ba pieÅemtajiem lÄmumiem.
Avots: www.habr.com