Endezyarê Daneyê û Zanyarê Daneyê: Cûdahî çi ye?

Pîşeyên Zanyarê Daneyê û Endezyarê Daneyê bi gelemperî tevlihev dibin. Her pargîdanî taybetmendiyên xwe yên xebata bi daneyan re, mebestên cihêreng ên ji bo analîza wan û ramanek cûda heye ka kîjan pispor divê bi kîjan beşa xebatê re mijûl bibe, ji ber vê yekê her yek hewcedariyên xwe hene. 

Ka em fêr bibin ka ferqa van pisporan çi ye, ew çi pirsgirêkên karsaziyê çareser dikin, çi jêhatîbûna wan heye û ew çiqas qezenc dikin. Materyalê mezin derket, ji ber vê yekê me ew kir du weşan.

Di gotara yekem de, Elena Gerasimova, seroka fakulteyê "Zanistiya Daneyên û Analytics" di Netolojiyê de, vedibêje ka ferqa di navbera Zanyarek Daneyê û Endezyarek Daneyê de çi ye û ew bi kîjan amûran re dixebitin.

Rolên endezyar û zanyaran çawa ji hev cuda ne

Endezyarek daneyê pisporek e ku, ji aliyekî ve, binesaziya daneyê pêş dixe, ceribandin û diparêze: databas, pergalên hilanînê û hilanîna girseyî. Ji hêla din ve, ew e ku ji bo karanîna analîst û zanyarên daneyê daneyan paqij dike û "kom dike", ango boriyên hilberandina daneyê diafirîne.

Zanyarê Daneyê bi karanîna algorîtmayên fêrbûna makîneyê û torên neuralî modelên pêşbînker (û yên din) diafirîne û perwerde dike, ji karsaziyan re dibe alîkar ku qalibên veşartî bibînin, pêşkeftinan pêşbîn bikin û pêvajoyên karsaziya sereke xweştir bikin.

Cûdahiya sereke di navbera Zanyarek Daneyê û Endezyarek Daneyê de ev e ku ew bi gelemperî armancên cûda hene. Her du jî dixebitin ku danûstendinên gihîştî û kalîteya bilind bin. Lê Zanyarek Daneyên bersivên pirsên xwe dibîne û hîpotezên di ekosîstema daneyê de (mînak, li ser bingeha Hadoop) diceribîne, û Endezyarek Daneyê boriyek ji bo xizmetkirina algorîtmayek fêrbûna makîneyê ku ji hêla zanyarek daneyê ve di komek Spark de di hundurê heman de hatî nivîsandin çêdike. ekosîstema. 

Endezyarek daneyê bi xebata wekî beşek tîmek nirxek karsaziyê dide. Erka wê ev e ku di navbera beşdarên cihêreng de wekî girêdanek girîng tevbigere: ji pêşdebiran bigire heya xerîdarên karsaziya raporê, û zêdekirina hilberîna analîstan, ji kirrûbirra û hilberê heya BI. 

Berevajî vê, Zanyarek Danezan di stratejiya pargîdaniyê de beşdarek aktîf digire û têgihiştinê derdixe, biryaran digire, algorîtmayên otomasyonê bicîh tîne, model dike û nirxê ji daneyan çêdike.


Karkirina bi daneyan re li gorî prensîba GIGO (çopê nav - çopê derketî) ye: heke vekoler û zanyarên daneyê bi daneyên neamade û potansiyel nerast re mijûl bibin, wê hingê encam jî bi karanîna algorîtmayên analîzê yên herî sofîstîke jî dê xelet bin. 

Endezyarên daneyê vê pirsgirêkê bi avakirina lûleyên ji bo hilberandin, paqijkirin û veguheztina daneyan çareser dikin û rê didin zanyarên daneyê ku bi daneyên kalîteya bilind re bixebitin. 

Li ser sûkê gelek amûr hene ji bo xebata bi daneyan re ku her qonaxê vedihewîne: ji xuyangkirina daneyan bigire heya derketinê bigire heya tabloyek ji bo lijneya rêveberiyê. Û girîng e ku biryara karanîna wan ji hêla endezyarek ve were girtin - ne ji ber ku ew moda ye, lê ji ber ku ew ê bi rastî alîkariya xebata beşdarên din ên pêvajoyê bike. 

Bi kevneşopî: heke pargîdaniyek hewce bike ku di navbera BI û ETL de pêwendiyan çêbike - daneyan bar bike û raporên nûjen bike, li vir bingehek mîrasek tîpîk e ku Endezyarek Daneyê pêdivî ye ku pê re mijûl bibe (baş e heke di tîmê de mîmarek jî hebe).

Berpirsiyariyên Endezyarek Daneyê

• Pêşveçûn, avakirin û domandina binesaziya hilberandina daneyê.
• Rêvekirina xeletiyan û çêkirina boriyên pêvajoyek daneya pêbawer.
• Daneyên nesazkirî ji çavkaniyên cihêreng ên dînamîkî bi forma ku ji bo xebata analîstan hewce ye.
• Pêşniyarên ji bo baştirkirina hevgirtin û kalîteya daneyê pêşkêş dikin.
• Dabînkirin û domandina mîmariya daneyê ku ji hêla zanyarên daneyê û vekolerên daneyê ve tê bikar anîn.
• Daneyên bi domdarî û bikêrhatî di komek belavkirî ya bi dehan an bi sedan serveran de pêvajo bikin û hilînin.
• Bazirganiya teknîkî ya amûran binirxînin da ku mîmariyên sade lê zexm ên ku dikarin ji têkçûnê bijîn biafirînin.
• Kontrolkirin û piştgirîkirina herikîna daneyan û pergalên têkildar (sazkirina çavdêrî û hişyariyê).

Di nav rêgeza Endezyarê Daneyê de pisporiyek din heye - endezyar ML. Bi kurtasî, ev endezyar di anîna modelên fêrbûna makîneyê de ji bo pêkanîn û karanîna pîşesaziyê pispor in. Bi gelemperî, modelek ku ji zanyarek daneyê hatî wergirtin beşek lêkolînek e û dibe ku di şert û mercên şer de nexebite.

Berpirsiyariyên Zanyarek Daneyê

• Derxistina taybetmendiyan ji daneyan ji bo sepandina algorîtmayên fêrbûna makîneyê.
• Bikaranîna amûrên cihêreng ên fêrbûna makîneyê ji bo pêşbînîkirin û dabeşkirina qalibên di daneyê de.
• Pêşvebirina performans û rastbûna algorîtmayên fêrbûna makîneyê bi birêkûpêkkirin û xweşbînkirina algorîtmayan.
• Damezrandina hîpotezên "xurt" li gorî stratejiya pargîdaniyê ya ku hewce dike were ceribandin.

Hem Endezyarê Daneyê û hem jî Zanyarê Daneyê tevkariyek berbiçav di pêşkeftina çandek daneyê de parve dikin, bi navgîniya ku pargîdanek dikare qezencên zêde çêbike an lêçûn kêm bike.

Endezyar û zanyar bi kîjan ziman û amûran dixebitin?

Îro, hêviyên ji bo zanyarên daneyê hatine guhertin. Berê, endezyaran pirsên mezin ên SQL berhev dikirin, bi destan MapReduce dinivîsin û bi karanîna amûrên wekî Informatica ETL, Pentaho ETL, Talend daneyan pêvajo dikirin. 

Di sala 2020-an de, pispor nikare bêyî zanîna Python û amûrên hesabkirina nûjen (mînak, Airflow), têgihîştina prensîbên xebata bi platformên ewr re (bikaranîna wan ji bo hilanîna ser hardware, dema ku prensîbên ewlehiyê dişopîne) bike.

SAP, Oracle, MySQL, Redis ji bo endezyarên daneyê di pargîdaniyên mezin de amûrên kevneşopî ne. Ew baş in, lê lêçûna destûrnameyê ew qas zêde ye ku fêrbûna xebata bi wan re tenê di projeyên pîşesaziyê de watedar e. Di heman demê de, di forma Postgres de alternatîfek belaş heye - ew ne tenê ji bo perwerdehiyê belaş û maqûl e. 

Ji hêla dîrokî ve, daxwazên Java û Scala bi gelemperî têne dîtin, her çend her ku teknolojî û nêzîkatî pêşve diçin, ev ziman di paşerojê de diçin.

Lêbelê, BigData hişk: Hadoop, Spark û yên mayî yên zozanê êdî ji bo endezyarek daneyê ne şertek e, lê celebek amûrek e ji bo çareserkirina pirsgirêkên ku bi ETL-ya kevneşopî nayê çareser kirin. 

Trend karûbarên karanîna amûrên bêyî zanîna zimanê ku ew pê têne nivîsandin (mînak, Hadoop bêyî zanîna Java), û her weha peydakirina karûbarên amadekirî yên ji bo hilberandina daneya stûyê (naskirina deng an naskirina wêneyê li ser vîdyoyê ye). ).

Çareseriyên pîşesaziyê yên ji SAS û SPSS populer in, di heman demê de Tableau, Rapidminer, Stata û Julia jî ji hêla zanyarên daneyê ve ji bo karên herêmî bi berfirehî têne bikar anîn.

Hêza avakirina boriyan bi xwe ji analîst û zanyarên daneyê re tenê çend sal berê xuya bû: Mînakî, jixwe gengaz e ku bi karanîna nivîsarên hêsan ên hêsan daneyan bişînin hilanek-based PostgreSQL. 

Bi gelemperî, karanîna boriyan û strukturên daneya yekbûyî berpirsiyariya endezyarên daneyê dimîne. Lê îro, meyla ji bo pisporên T-şiklê xwedan jêhatîbûnek berfireh di warên têkildar de ji her demê bihêztir e, ji ber ku amûr bi domdarî têne hêsan kirin.

Çima Endezyarê Daneyê û Zanyarê Daneyê bi hev re dixebitin

Bi xebata ji nêz ve bi endezyaran re, Zanyarên Daneyê dikarin balê bikişînin ser aliyê lêkolînê, algorîtmayên fêrbûna makîneya amade-hilberînê biafirînin.
Û endezyar pêdivî ye ku balê bikişîne ser pîvandinê, ji nû ve karanîna daneyê, û bicîh bikin ku lûleyên têketin û derketinê yên daneyê di her projeya kesane de bi mîmariya gerdûnî re tevdigerin.

Ev veqetandina berpirsiyariyan lihevhatina di navbera tîmên ku li ser projeyên fêrbûna makîneya cihêreng dixebitin piştrast dike. 

Hevkarî alîkariya afirandina hilberên nû bi bandor dike. Lez û kalîte bi hevsengiyek di navbera afirandina karûbarek ji bo her kesî (hilweşîna gerdûnî an entegrasyona dashboardan) û bicihanîna her hewcedarî an projeyek taybetî (boriyek pir pispor, girêdana çavkaniyên derveyî) têne bidestxistin. 

Karkirina ji nêz ve bi zanyar û analîstên daneyê re ji endezyaran re dibe alîkar ku jêhatîbûnên analîtîk û lêkolînê pêşve bibin da ku kodek çêtir binivîsin. Parvekirina zanînê di nav bikarhênerên ambar û gola daneyê de çêtir dibe, projeyan hêniktir dike û encamên dirêj-dirêjtir domdar peyda dike.

Di pargîdaniyên ku armanc dikin ku çandek xebata bi daneyan re pêş bixin û li ser wan pêvajoyên karsaziyê ava bikin, Zanyarê Daneyê û Endezyarê Daneyê hevûdu temam dikin û pergalek analîzkirina daneyê ya bêkêmasî diafirînin. 

Di gotara din de em ê bipeyivin ka çi celeb perwerdehiyek Endezyarek Daneyê û Zanyarên Daneyê divê, kîjan jêhatîbûnên wan hewce ne ku pêşve bibin û bazar çawa dixebite.

Ji edîtorên Netology

Ger hûn li pîşeya Endezyarê Daneyê an Zanyarê Daneyê dinêrin, em we vedixwînin ku hûn bernameyên qursa me bixwînin:

• Pîşe"endezyar Data".  
• Pîşe"Danezana Doktor".

Source: www.habr.com