Platforme za upravljanje podacima: od periferije do oblaka

Danas su podaci za većinu kompanija i organizacija jedan od strateških resursa. S razvojem analitičkih mogućnosti, vrednost podataka koje kompanije prikupljaju i akumuliraju neprestano raste. Često se govori o eksplozivnom, eksponencijalnom rastu obima generisanih korporativnih podataka. Zabeleženo je da je 90% svih podataka stvoreno u poslednje dve godine. 

Platforme za upravljanje podacima: od periferije do oblaka

Rast obima podataka prati povećanje njihove vrednosti.

Podaci se kreiraju i koriste u sistemima analitike velikih podataka, internetu stvari (IoT), veštačkoj inteligenciji, itd. Prikupljeni podaci su osnova za unapređenje kvaliteta usluge klijentima, donošenje odluka, podršku operativnom radu kompanija, kao i za različita istraživanja i razvoj.

Platforme za upravljanje podacima: od periferije do oblaka
90% svih podataka je stvoreno u poslednje dve godine. 

Prema proceni IDC-a, obim skladištenih podataka u svetu će se od 2018. do 2023. godine udvostručiti, a ukupni kapacitet skladišta podataka će dostići 11,7 zettabajta, pri čemu će baza podataka preduzeća činiti više od tri četvrtine ukupnog obima. Karakteristično je da je ukupni kapacitet isporučenih tvrdih diskova (HDD), koji i dalje ostaju glavni nosilac informacija, 2018. godine iznosio 869 eksabajta, dok bi do 2023. godine taj broj mogao premašiti 2,6 zettabajta.

Platforme za upravljanje podacima: čemu služe i kakvu ulogu igraju?

Nije iznenađujuće što pitanja upravljanja podacima postaju prioritetna za preduzeća, utičući direktno na njihov rad. Za njihovo rešenje ponekad je potrebno prevazići izazove kao što su heterogenost sistema, formati podataka, metode njihove pohrane i korišćenja, te pristupi upravljanju u uslovima 'zoo-a' rešenja koja su implementirana u različitim vremenskim okvirima. 

Platforme za upravljanje podacima: od periferije do oblaka
Rezultat takvog neujednačenog pristupa je fragmentacija skupova podataka, pohranjenih i obrađenih u različitim sistemima, kao i različite procedure osiguranja kvaliteta podataka. Ovi tipični problemi povećavaju radne i finansijske troškove u radu s podacima, na primer, prilikom dobijanja statistike i izveštaja ili donošenja upravljačkih odluka. 

Poslovni model upravljanja podacima treba biti prilagođen potrebama, ciljevima i zadacima preduzeća. Ne postoji jedinstveni automatizovani sistem, platforma za upravljanje podacima koja bi pokrila sve zadatke. Međutim, moderni sveobuhvatni, fleksibilni i skalabilni sistemi upravljanja podacima često predstavljaju sveobuhvatan softver za upravljanje i skladištenje podataka. Oni uključuju potrebne alate i usluge za efikasno upravljanje podacima. 

Najnove inovacije omogućavaju preduzećima da preispitaju upravljanje podacima na nivou cele organizacije, da dobiju jasan uvid u to koje podatke imaju, koje su politike povezane s njima, gde i koliko dugo se podaci čuvaju, a na kraju im omogućavaju da pravovremeno dostavljaju potrebne informacije pravim ljudima. Ovo su rešenja koja unapređuju mogućnosti preduzeća i omogućavaju: 

  • Upravljanje datotekama, objektima, podacima aplikacija, bazama podataka, podacima virtuelnih i oblačnih okruženja, pristup podacima različitih tipova.
  • Pomoću alata za orkestraciju i automatizaciju premestiti podatke tamo gde je njihovo čuvanje najefikasnije — u primarnu, sekundarnu infrastrukturu skladištenja, u podatkovni centar provajdera ili u oblak.
  • Koristiti sveobuhvatne funkcije zaštite podataka.
  • Osigurati integraciju podataka.
  • Pribaviti operativnu analitiku iz podataka. 

Platforma za upravljanje podacima može biti zasnovana na više softverskih proizvoda ili predstavljati jedinstveni unificirani sistem. Sveobuhvatna platforma omogućava jedinstveno upravljanje podacima unutar celokupne IT infrastrukture, uključujući pravljenje rezervnih kopija, oporavak, arhiviranje, upravljanje hardverskim trenucima i generisanje izveštaja.

Takva platforma omogućava implementaciju višekloudne strategije, širenje centra za obradu podataka u oblačno okruženje, brzu migraciju u oblak, korišćenje mogućnosti zamene opreme i primenu najekonomičnijih opcija skladištenja podataka.

Neka rešenja su sposobna da automatski arhiviraju podatke. Uz pomoć veštačke inteligencije mogu otkriti kada je „nešto pošlo po zlu“ i automatski preduzeti korektivne mere ili obavestiti administratora, kao i identifikovati i sprečiti napade različitih tipova. Automatizacija usluga doprinosi optimizaciji IT operacija, oslobađa IT osoblje, minimizuje greške zbog ljudskog faktora i smanjuje vreme prekida. 

Koje osobine bi moderna platforma za upravljanje podacima trebala imati i gde se takva rešenja primenjuju u praksi?

Pristup „jedno rešenje za sve“ ne funkcioniše kada je reč o platformama za upravljanje podacima. Svaka kompanija ima svoje zahteve za podatke, koji zavise od tipa biznisa, radnog iskustva itd. Univerzalna platforma treba, s jedne strane, da omogući prilagođavanje za rad sa podacima u određenoj kompaniji, a s druge strane, da bude nezavisna od specifičnosti primenjenog sektora, oblasti primene proizvoda zasnovanog na njoj i njegovog informacionog okruženja. 

Platforme za upravljanje podacima: od periferije do oblaka
Praktične oblasti upravljanja podacima (izvor; CMMI Institute).

Evo nekih praktičnih oblasti primene platformi za upravljanje podacima:

Komponenta
Oblast primene

Strategija upravljanja podacima
Ciljevi i zadaci upravljanja, korporativna kultura upravljanja podacima, definisanje zahteva za životni ciklus podataka.

Upravljanje podacima
Upravljanje podacima i metapodacima

Operacije s podacima
Standardi i procedure rada sa izvorima podataka

Kvalitet podataka
Osiguranje kvaliteta, okvir kvaliteta podataka

Platforma i arhitektura
Arhitektonski okvir, platforme i integracija 

Podržavajući procesi
Evaluacija i analiza, upravljanje procesima, osiguranje kvaliteta, upravljanje rizicima, upravljanje konfiguracijom

Pored toga, takve platforme igraju važnu ulogu u procesu transformacije organizacije u preduzeće „vođeno podacima“, koji se može podeliti na nekoliko etapa: 

  1. Promena upravljanja podacima u postojećim sistemima, implementacija modela uloga sa podelom odgovornosti i ovlašćenja. Kontrola kvaliteta podataka, međusobna provera podataka između sistema, ispravka netačnih podataka. 
  2. Postavka procesa ekstrakcije i prikupljanja podataka, njihove transformacije i učitavanja. Prilagođavanje podataka jedinstvenom sistemu bez komplikacije kontrole kvaliteta podataka i promene poslovnih procesa. 
  3. Integracija podataka. Automatizacija procesa dostavljanja potrebnih podataka na pravo mesto i u pravo vreme. 
  4. Uvođenje potpunog nadzora nad kvalitetom podataka. Definisanje parametara kontrole kvaliteta, razvoj metodologije za korišćenje automatskih sistema. 
  5. Implementacija alata za upravljanje procesima prikupljanja podataka, njihove verifikacije, deduplikacije i čišćenja. Kao posledica — povećanje kvaliteta, pouzdanosti i unifikacije podataka svih sistema preduzeća. 

Prednosti platformi za upravljanje podacima

Kompanije koje efikasno upravljaju podacima obično postižu veći uspeh u poređenju sa konkurencijom, brže stavljaju proizvode i usluge na tržište, bolje razumeju potrebe ciljne publike i mogu brzo reagovati na promene u potražnji. Platforme za upravljanje podacima pružaju mogućnost 'čišćenja' podataka, dobijanja kvalitetnih i relevantnih informacija, transformacije podataka i strateške procene podataka preduzeća. 

Primer univerzalne platforme za izgradnju sistema upravljanja korporativnim podacima – ruska 'Unidata', stvorena na osnovu softvera sa otvorenim kodom. Ona nudi alate za izradu modela podataka i sredstva za proširenje funkcionalnosti prilikom integracije u različita IT okruženja i spoljne informacione sisteme: od upravljanja materijalnim resursima do sigurne obrade velikih količina ličnih podataka. 

Platforme za upravljanje podacima: od periferije do oblaka
Arhitektura platforme 'Unidata' istoimene kompanije.

Ova multifunkcionalna platforma obezbeđuje centralizovano prikupljanje podataka (inventarizacija i evidentiranje resursa), standardizaciju informacija (normalizacija i obogaćivanje), praćenje trenutnih i istorijskih informacija (kontrola verzija zapisa, periodi aktuelnosti podataka), kvalitet podataka i vođenje statistike. Predviđena je automatizacija zadataka kao što su prikupljanje, akumulacija, čišćenje, upoređivanje, konsolidacija, provera kvaliteta, distribucija podataka, kao i alati za automatizaciju sistema donošenja odluka. 

Platforme za upravljanje podacima (DPM) u reklami i marketingu 

U reklami i marketingu, pojam platforme za upravljanje podacima DMP (Data Management Platform) ima uži smisao. To je softverska platforma koja na osnovu prikupljenih podataka omogućava kompanijama da definišu segmente publike za ciljanje reklame na određene korisnike i kontekst reklamnih kampanja na internetu. Ovaj softver je sposoban da prikuplja, obrađuje i čuva sve tipove podataka o publici, kao i da ih koristi kroz poznate medijske kanale.

Platforme za upravljanje podacima: od periferije do oblaka
Prema prognozi Market Research Future (MRFR), globalno tržište platformi za upravljanje podacima (DMP) može dostići 3 milijarde dolara do kraja 2023. godine uz godišnji rast od 15%, dok će u 2025. godini njegov obim premašiti 3,5 milijardi dolara.

Sistem DMP:

  • Omogućava prikupljanje i strukturiranje svih tipova podataka o publici; analizu postojećih podataka; prenos podataka u bilo koji medijski prostor za postavljanje ciljanih reklama. 
  • Pomaže u prikupljanju, organizovanju i aktivaciji podataka iz različitih izvora i njihovom prevođenju u korisnu formu. 
  • Organizuje sve podatke u kategorije na osnovu poslovnih ciljeva i marketinških modela. Sistem analizira podatke i generiše segmente publike koji tačno predstavljaju klijentelu u širokom spektru kanala, zasnovanih na različitim zajedničkim karakteristikama.
  • Omogućava povećanje tačnosti ciljanje reklame onlajn i izgradnju personalizovanih komunikacija s relevantnom publikom. Na osnovu DMP-a takođe se mogu postaviti tokovi interakcije sa svakim ciljnim segmentom, kako bi korisnici primali relevantne poruke u pravo vreme i na pravom mestu.

Povećanje udela digitalnog marketinga značajno utiče na rast tržišta platformi za upravljanje podacima. DMP sistemi mogu brzo unifikovati podatke iz različitih izvora i deliti korisnike u više kategorija na osnovu njihovog ponašanja. Ove mogućnosti podstiču potražnju za DMP među marketinškim stručnjacima. 

Globalno tržište platformi za upravljanje podacima predstavljeno je brojnim vodećim igračima, kao i nekoliko novih kompanija, uključujući Lotame Solutions, KBM Group, Rocket Fuel, Krux Digital, Oracle, Neustar, SAS Institute, SAP, Adobe Systems, Cloudera, Turn, Informatica i druge.

Primjer rješenja iz Rusije — infrastrukturni proizvod koji je izdala Mail.ru Group, a koji predstavlja jedinstvenu platformu za upravljanje i obradu podataka (Data Management Platform, DMP). Ovo rješenje omogućava izgradnju proširenog opisa profila audijencijskih segmenata unutar platforme integrirane s marketinškim alatima. DMP objedinjuje rješenja i usluge Mail.ru Group u oblasti omnikanalnog marketinga i rada s publikom. Klijenti će moći pohranjivati, obrađivati i strukturirati vlastite deidentificirane podatke, kao i aktivirati ih u reklamnim komunikacijama, povećavajući efikasnost poslovanja i marketinga. 

Upravljanje podacima u oblaku

Još jedna kategorija rješenja za upravljanje podacima — oblake platforme. Konkretno, korištenje modernog rješenja za zaštitu podataka unutar upravljanja podacima u oblaku omogućava izbjegavanje mogućih problema — od prijetnji sigurnosti do problema s migracijom podataka i smanjenjem performansi, a također rješava izazove digitalne transformacije s kojima se suočava kompanija. Naravno, funkcije sličnih sistema nisu ograničene na zaštitu podataka.

Platforme za upravljanje podacima: od periferije do oblaka
Funkcije oblake platforme za upravljanje podacima prema Gartneru: raspodjela resursa, automatizacija i orkestracija; upravljanje zahtjevima za uslugu; upravljanje na visokom nivou i kontrola usklađenosti politika; praćenje i mjerenje parametara; podrška za multi-cloud okruženja; optimizacija i transparentnost troškova; optimizacija kapacitetâ i resursa; migracija u oblak i osiguranje otpornosti na katastrofe (DR); upravljanje nivoima usluge; sigurnost i identifikacija; automatizacija ažuriranja konfiguracije.

Upravljanje podacima u oblaku treba osigurati visok nivo dostupnosti podataka, kontrole, automatizacije upravljanja podacima u data centrima, na perimetru mreže i u oblaku. 

Platforme za upravljanje podacima: od periferije do oblaka
Upravljanje oblacima podacima (Cloud Data Management, CDM) — to je platforma koja se koristi za upravljanje korporativnim podacima u različitim oblacima okruženjima uzimajući u obzir privatne, javne, hibridne i multi-cloud pristupe.

Primjer takvog rješenja je Veeam Cloud Data Management Platform. Kako tvrde developeri sistema, ona pomaže organizacijama da promijene pristup upravljanju podacima, osigurava inteligentno automatsko upravljanje podacima i njihovu dostupnost u svim aplikacijama ili oblaku.

Platforme za upravljanje podacima: od periferije do oblaka
Upravljanje oblačnim podacima u Veeamu se smatra neizostavnim dijelom inteligentnog upravljanja podacima, koje osigurava njihovu dostupnost za poslovanje iz bilo koje tačke. 

Oblačna platforma Veeam Cloud Data Management Platform omogućava modernizaciju rezervnog kopiranja i odustajanje od zastarjelih sistema, osigurava ubrzano uvođenje hibridnog oblaka i prenos podataka, automatizaciju bezbjednosti podataka i usklađenosti s propisima. 

Platforme za upravljanje podacima: od periferije do oblaka
Veeam Cloud Data Management Platform — "moderna platforma za upravljanje podacima koja podržava bilo koji oblak".

Kao što se može vidjeti, moderne platforme za upravljanje podacima predstavljaju dovoljno opsežnu i raznoliku klasu rješenja. Ono što ih ujedinjuje je, možda, jedno: usmjerenost na efikasno upravljanje korporativnim podacima i transformaciju kompanije ili organizacije u moderno preduzeće, vođeno podacima (data-driven enterprise).

Platforme za upravljanje podacima su neophodna evolucija tradicionalnog upravljanja podacima. Sve više organizacija seli podatke u oblak, a u rastećem broju različitih lokalnih i oblačnih konfiguracija pojavljuju se novi problemi koje treba riješiti upravo sa stanovišta upravljanja podacima. Upravljanje podacima u oblaku — obnovljen pristup, nova paradigma koja proširuje funkcije upravljanja podacima za podršku novim platformama, aplikacijama i scenarijima korišćenja.

Osim toga, prema podacima istraživanja Veeam Cloud Data Management Report iz 2019. godine, kompanije planiraju dublju integraciju oblačnih tehnologija, hibridnog oblaka, analitike velikih podataka, vještačke inteligencije i interneta stvari. Očekuje se da će uvođenje ovih digitalnih inicijativa donijeti značajne koristi kompanijama.

Preduzeća brzo uvode tehnologije platformi podataka i spremna su da koriste oblak za izvršavanje analitičkih radnih opterećenja, međutim, mnoga se suočavaju s problemima kada pokušavaju da iskoriste sve svoje podatke za postizanje boljih poslovnih rezultata, smatraju analitičari kompanije 451 Research. Najnovije platforme za upravljanje podacima pomoći će preduzećima da se snalaze u složenim procesima obrade podataka u više oblaka, koriste alate za upravljanje podacima i izvršavaju analize bez obzira na to gde se ti podaci nalaze.

Budući da se trudimo da idemo u korak s vremenom i fokusiramo se na želje naših klijenata (kako trenutnih, tako i potencijalnih), želimo pitati zajednicu Habr, da li želite da vidite Veeam u našem marketplaces? Ответить можно в опросе ниже.

Platforme za upravljanje podacima: od periferije do oblaka

Samo registrovani korisnici mogu učestvovati u anketi. Prijavite se, molim vas.

Paket ponuda sa Veeam-om na tržištu

  • 62,5%Da, dobra ideja5

  • 37,5%Mislim da neće uspjeti3

Glasalo je 8 korisnika. Uzdržalo se 4 korisnika.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster