Silav Habr! Li Endezyariya Dodo Pizza, em ji daneyan hez dikin (û kî van rojan jê hez nake?). Naha dê çîrokek hebe ka meriv çawa hemî daneyan di cîhana Dodo Pizza de berhev dike û dide her karmendek pargîdanî ku bi hêsanî bigihîje vê berhevoka daneyê. Karê di binê stêrkê de: girtina nervên tîmê Endezyariya Daneyê.
Mîna Plyushkinsên rastîn, em her cûre agahdarî di derbarê xebata pizeryayên xwe de berhev dikin:
- hemî fermanên bikarhêner bi bîr bîne;
- em dizanin ka çiqas dem derbas bû ji bo çêkirina pizza yekem li Syktyvkar;
- em dibînin ka çiqas wext digire ku pizza li ser refikek germkirinê ya li Voronezh niha sar bibe;
- Em daneyên li ser hilberandina hilberan hilînin;
- û gelek gelekên din.
Çend tîm naha ji xebata bi daneyan re li Dodo Pizza berpirsiyar in, yek ji wan tîmê Endezyariya Daneyê ye. Naha ew (ango, em) bi peywirê re rû bi rû ne ku her xebatkarek pargîdanî bi hêsanî bigihîje vê berhevoka daneyê.
Dema ku me dest pê kir ku em ê çawa bikin û dest bi nîqaşkirina pirsgirêkê kir, me ji rêveberiya daneyê re nêzîkatiyek pir balkêş dît - (Li ser lînkê bişopînin hûn ê gotarek mezin, bi heybet bibînin). Ramanên wê pir baş di ramana me de cih digirin ka em çawa dixwazin pergala xwe ava bikin. Zêdetir di gotarê de dê ji nû ve nihêrîna me ya nêzîkbûnê û çawa em pêkanîna wê di Endezyariya Dodo Pizza de dibînin.
Mebesta me ji "dane" çi ye
Pêşîn, em rave bikin ka mebesta me ji daneyan di Endezyariya Dodo Pizza de çi ye:
- Bûyerên ku ji hêla karûbaran ve têne şandin (otobusek me ya hevpar heye ku bi karanîna RabbitMQ hatî çêkirin);
- Tomarên di hundurê databasê de (ji bo me ev MySQL û CosmosDB ye);
- Ji serîlêdana mobîl û malperê bikirtînin.
Ji bo ku karsaziya Dodo Pizza bikar bîne û xwe bispêre van daneyan, girîng e ku şertên jêrîn werin bicîh kirin:
- Divê ew temam bibin. Pêdivî ye ku em pê ewle bin ku dema ku têne hilanîn, hilanîn û xuyang kirin daneyan naguhezînin. Ger karsazî nikaribin bi daneyên me bawer bikin, ew ê bikêr nebe.
- Divê mohra wan a demê hebe û neyên nivîsandin. Ev tê vê wateyê ku di her kêliyê de em dixwazin ku em karibin paşde bizivirin û li daneyên wê heyamê binihêrin. Mînakî, fêr bibin ka di 8ê Tîrmeha 2018an de çend pizza hatine firotin.
- Divê ew pêbawer bin. Di pêvajoya berhevkirin û hilanîna daneyan de, divê em ne tenê yekparebûn, lê di heman demê de pêbaweriyê jî winda nekin. Em nikarin daneyan, perçeyên demê winda bikin, ji ber ku ligel wan em baweriya xerîdarên xwe (hem ji derve hem jî hundurîn) winda dikin.
- Pêdivî ye ku ew bi dorhêlek domdar bin - em ji bo vê daneyê daxwazan dinivîsin. Em bi rastî naxwazin ku ew bi guhertinên di koda serîlêdanê de, bi refaktoran re ew qas biguhezîne, ku pirsên me rawestin. Kesê ku pirsan dinivîse dê çu carî nizanibe ku we refaktorek kiriye heya ku her tişt têk nebe. Ez naxwazim li ser vê yekê ji xerîdar bibihîzim.
Li gorî van hemî hewcedariyên, em gihîştin vê encamê ku daneyên li Dodo hilberek e. Heman wekî API-ya giştî ya karûbarê. Li gorî vê yekê, heman tîmê ku xwedan karûbar e, divê xwediyê daneyan be. Di heman demê de, guhertinên di şemaya daneyê de divê her gav bi paş ve lihevhatî bin.
Nêzîkatiya Kevneşopî - Gola Daneyê
Ji bo çareserkirina pirsgirêkên hilanîn û hilanîna pêbawer a daneyên mezin, di gelek pargîdaniyên ku bi hewzek wusa agahdarî re dixebitin - Rêgezek kevneşopî heye ku tête pejirandin - Data Lake. Wekî beşek ji vê nêzîkatiyê, endezyarên daneyê ji hemî pêkhateyên pergalê agahdarî berhev dikin û wan dixin nav depoyek mezin (ev dibe, mînakî, Hadoop, Azure Kusto, Apache Cassandra, an jî kopiyek MySQL, heke daneya têkevin nav ew).
Dûv re heman endezyar ji depoyek wusa daxwaziyan dinivîsin. Bicîhkirina vê nêzîkatiyê di Endezyariya Dodo Pizza de tê vê wateyê ku tîmê Endezyariya Daneyê dê xwediyê şemaya daneyê ya di wargeha analîtîk de be.
Di vê senaryoyê de, tîm pisîkên pir xemgîn dibin û li vir çima:
- Divê ew guhertinên di nav de bişopîne GIŞT xizmetên di nava şirketê de. Û gelek ji wan hene û gelek guhertin hene (bi navînî em her hefte ~ 100 daxwazên kişandinê li hev dikin, di heman demê de gelek karûbar qet daxwazên kişandinê nakin).
- Dema ku şemaya daneyê diguhezîne, xwediyê hilberê û tîmê ku şemaya daneyê diguhezîne divê li bendê bin ku Endezyariya Daneyê koda ku ji bo piştgirîkirina guhertinan hewce dike zêde bike. Di heman demê de, em ji demek dirêj ve bi taybetmendî dewlemend in û rewşa ku tîmek li benda yekî din bimîne pir kêm e. Û em naxwazin ev bibe beşek "normal" ya pêvajoya pêşveçûnê.
- Divê ew di nav de bête avêtin GIŞ karsaziya pargîdanî. Zincîra pizzeria wekî karsaziyek hêsan xuya dike, lê ew tenê wusa xuya dike. Pir dijwar e ku meriv têra xwe jêhatî di yek tîm de berhev bike da ku ji bo tevahiya pargîdaniyê modelek daneya têr ava bike.
- Ew yek xala têkçûnê ye. Her gava ku hûn hewce ne ku daneyên ku ji hêla karûbar ve hatî vegerandin biguhezînin an daxwazek binivîsin, van hemî peywiran dikeve destê tîmê Endezyariya Daneyê. Wekî encamek, tîmê paşkêşiyek zêde heye.
Derket holê ku tîmê di çarçoweya hejmareke mezin a hewcedariyê de ye û ne mimkûn e ku nikaribe wan têr bike. Di heman demê de, hûn ê di bin zext û stresê de bimînin. Em bi rastî vê naxwazin. Ji ber vê yekê divê em li ser çawaniya çareserkirina van pirsgirêkan bifikirin û di heman demê de karibin daneyan analîz bikin.
Ji Gola Daneyê berbi Data Mesh ve diçin
Xwezî, em ne tenê bûn ku vê pirsê ji xwe dikirin. Bi rastî, pirsgirêkek bi vî rengî jixwe di pîşesaziyê de (hallelujah!) çareser bûye. Tenê li herêmek cûda: bicîhkirina serîlêdanê. Erê, ez behsa nêzîkatiya DevOps dikim, ku tîm destnîşan dike ka meriv çawa hilbera ku ew diafirîne bicîh dike.
Nêzîkatiyek wusa ji bo çareserkirina pirsgirêkên Daneyên Gola Daneyê ji hêla Zhamak Dehghani, şêwirmendê ThoughtWorks ve hate pêşniyar kirin. Temaşe kir ku Netflix û Spotify çawa pirsgirêkên wekhev çareser dikin, wê gotarek ecêb nivîsî (girêdana wê di destpêka gotarê de bû). Fikrên sereke yên ku me jê derxistin:
- Gola Daneyê ya mezin li qadên daneyê parve bikin, yên ku pir dişibin domên sêwirana domê-rêvekirî ne. Her domain çarçoveyek sînorkirî ya piçûk e.
- Tîmên Taybetmendiyê, ku ji domên DDD-ê berpirsiyar in, di heman demê de ji domên daneyên têkildar jî berpirsiyar in. Ew şemayê hilînin, guhartinan li wê dikin, û daneyan tê de bar dikin. Di heman demê de, ew bixwe her tiştî dizanin: meriv çawa barkirina daneyê biguhezîne û gava ku serîlêdanê diguhezîne tiştek neşikîne. Zanîn dernakeve. Ji bo vekirina daneyan ne hewce ne ku biçin deverek. Tîm bixwe çerxa pêşkeftinê ya tevahî ji guheztina daneyên xebitandinê heya peydakirina daneyên analîtîk ji aliyên sêyemîn re rê dike. Tîmek xwediyê her tiştê ku bi domainê ve girêdayî ye (hem qada karsaziyê hem jî qada daneyê) heye.
- Endezyarê Daneyê - rola di nav Tîma Taybetmendiyê de. Ev ne hewce ye ku kesek be, lê pêdivî ye ku tîmê vê jêhatîbûnê hebe.
Di vê navberê de, tîma Endezyariya Daneyên ...
Ger hûn xeyal bikin ku ev hemî bi tiliyên we ve têne fêm kirin, wê hingê hûn tenê hewce ne ku bersiva du pirsan bidin:
Tîma Endezyariya Daneyên niha dê çi bike? Endezyariya Dodo Pizza jixwe tîmê platformek / SRE heye. Armanca wê ew e ku amûran bide pêşdebiran ku bi hêsanî karûbaran bicîh bikin. Tîma Endezyariya Daneyê dê heman rola tenê ji bo daneyan pêk bîne.
Veguherandina daneyên xebitandinê di daneyên analîtîk de pêvajoyek tevlihev e. Amadekirina daneyên analîtîk ji tevahiya pargîdaniyê re hîn dijwartir e. Van pirsgirêkan e ku tîmê Endezyariya Daneyê dê bi wan re mijûl bibe.
Em ê ji Tîma Taybetmendiyê re komek amûr û pratîkan peyda bikin da ku ew daneyên ji karûbarê xwe ji pargîdaniya mayî re biweşînin. Di heman demê de em ê ji beşên binesaziya giştî ya lûleya daneyê jî berpirsiyar bin (qeyd, hilanîna pêbawer, komikên ji bo pêkanîna veguherînên li ser daneyê).
Dê jêhatîbûnên Endezyarê Daneyê di nav Tîma Taybetmendiyê de çawa xuya bibin? Bi Tîma Taybetmendiyê re ew tevlihevtir e. Bê guman, em dikarin hewl bidin ku ji bo her tîmê xwe yek Endezyarek Daneyê bişopînin. Lê pir zor e. Dîtina kesek xwedan paşxaneyek zanistiya daneyê ya baş û qanihkirina wî ku di nav tîmek hilberek de bixebite dijwar e.
Pîvana mezin a Dodo ev e ku em ji perwerdehiya navxweyî hez dikin. Ji ber vê yekê naha plana me ev e: Tîma Endezyariya Daneyê dest bi weşandina daneyên hin karûbaran dike, digirî, derzîlêdanê dike, lê xwarina kaktusê didomîne. Dema ku em zanibin ku me pêvajoyek weşangeriyê heye, em dest pê dikin ku wê bi Tîma Taybetmendiyê re ragihînin.
Gelek awayên me hene ku em vê bikin:
- , li ku derê em ê ji we re bişopînin ka pêvajoya ku me afirandiye çawa xuya dike, kîjan amûr hene, û meriv wan çawa bi bandortirîn bikar tîne.
- Axaftina li DevForum dê ji me re bibe alîkar ku nerînên ji pêşdebirên hilberê berhev bikin. Piştî vê yekê, em ê karibin beşdarî tîmên hilberan bibin û ji wan re bibin alîkar ku pirsgirêkên weşana daneyan çareser bikin, û ji bo tîmê perwerdehiyê organîze bikin.
Vexwarina daneyê
Niha min gelek behsa weşana daneyan kir. Lê vexwarin jî heye. Li ser vê mijarê çi ye?
Me tîmek BI-ya ecêb heye ku ji bo pargîdaniya rêveberiyê raporên pir tevlihev dinivîse. Di hundurê Dodo IS-ê de ji bo hevkarên me gelek rapor hene ku ji wan re dibe alîkar ku pizeriyên xwe îdare bikin. Di modela meya nû de, em wan wekî xerîdarên daneyê yên ku xwedan domên daneya xwe ne difikirin. Û ew xerîdar in ku dê ji domên xwe berpirsiyar bin. Carinan domainek xerîdar dikare di yek pirsê de ji depoya analîtîk re were şirove kirin - û ev baş e. Lê em fam dikin ku ev ê her gav nexebite. Ji ber vê yekê em dixwazin platforma ku em ê ji bo tîmên hilberan biafirînin ku bikarin ji hêla xerîdarên daneyê ve jî werin bikar anîn (berî her tiştî, di mijara raporên di hundurê Dodo IS de, ew ê heman tîm bin).
Bi vî rengî em dibînin ku di Endezyariya Dodo Pizza de bi daneyan re dixebitin. Em ê kêfxweş bibin ku ramanên we li ser vê mijarê di şîroveyan de bixwînin.
Source: www.habr.com
