Di destpêka Kanûnê de, min xeletiyek kujer kir û di jiyana xwe de wekî pêşdebirek xalek zivirînek çêkir û çûm tîmê Endezyariya Daneyên (DE) di nav pargîdaniyê de. Di vê gotarê de ez ê hin çavdêriyên ku min di du mehên xebata di tîmê DE de çêkirine parve bikim.
Çima Endezyariya Daneyê?
Rêwîtiya min a DE di havîna 2019 de dest pê kir, dema ku me em herin , û li wir ez gihîştim ronakbîriyê. Min dest pê kir ku bi mijarê re eleqedar bibim, algorîtmayan lêkolîn bikim û hetta li ser wan , û dûv re li ser çarçoveya serîlêdanê fikirî û zû fêr bû ku serîlêdana pratîkî ya di pargîdaniya me de databases têne belav kirin.
Tîma me bi rastî çi dike? Em, mîna hemî xort û keçên moda, dixwazin bibin Pargîdaniyek Daneyên Driven. Û ji bo ku ev gengaz bibe, divê em bi kêmanî depoyek pêbawer ava bikin, ku dikare were bikar anîn da ku raporên ku pargîdanî hewce dike çêbikin. Lê ya herî girîng ev e ku divê daneyên di vê hilanînê de pêbawer bin. Wekî din, bi karanîna van daneyan, hûn hewce ne ku hûn karibin di dema t de rewşa pergalê vegerînin. Hemî ev ji ber vê yekê tevlihev e ku em di cîhanek nû ya wêrek a mîkroxizmetan de dijîn, û ev îdeolojî tê vê wateyê ku her karûbar fonksiyona xweya piçûk pêk tîne, databasa wê karsaziya xwe ye, û ew dikare bi kêmanî her roj jê bibe, lê li di heman demê de divê em karibin rewşa xizmetê werbigirin û pêvajo bikin.
Ger hûn dixwazin bibin Data Driven, pêşî bibin Event Driven
Ne ewqas hêsan. Bûyer cûda ne, û pêşdebir û endezyarê daneyê bi rengek cûda li wan dinêrin. Axaftina li ser bûyeran mijarek ji bo gotarek cihê ye, ji ber vê yekê ez ê li vir neçim nav wê. Wekî din, gotarek wusa jixwe heye yekî Martin Fowler, ez ê laveyên wî jê nekim, bila ew jî navdar bibe.
Bi gelemperî, gelek tişt hene ku meriv li ser bifikirin û ji ber vê yekê ev herêm balkêş e. Wusa diqewime ku di pargîdaniya me de, Endezyarek Daneyê ji kesê ku lûleyên ETL/ELT dinivîse qadek berpirsiyariyek pir berfireh e (heke hûn nizanin wateya van kurtenivîsan çi ye, werin . Wekî reklama kontekstî).
Em bi mîmariya hilanînê, modela daneyê, pirsgirêkên têkildarî ewlehiya daneyê, û boriyan bixwe re mijûl dibin, bê guman. Di heman demê de pêdivî ye ku em pê ewle bin ku, ji aliyekî ve hebûna me ji bo pêşdebirên hilberan ne pir giran e û dema ku taybetmendiyên nû di pergalê de qut dikin, pêdivî ye ku ew bi kêmanî ji hewcedariyên me werin kişandin, û ji hêla din ve, em pêdivî ye ku wan bi hêsanî di daneyên hilanînê de ji bo analîst û tîmê BI-ê peyda bikin. Em wisa dijîn.
Zehmetiyên dema derbasbûna ji pêşveçûnê
Di roja yekem a xebatê de, ez rastî gelek zehmetiyan hatim ku ez dixwazim bi we re parve bikim.
1. Yekem tiştê ku min dît tunebûna tuling û hin pratîkan bû. Mînakî, vegirtina kodê ya bi ceribandinan bigirin. Di pêşkeftinê de bi sedan çarçoveyên ceribandinê yên me hene. Dema ku bi daneyan re dixebitin, her tişt tevlihevtir e. Erê, em dikarin boriyên ETL li ser daneyên ceribandinê biceribînin, lê pêdivî ye ku em hemî bi destan bikin û ji bo her dozek taybetî li çareseriyê bigerin. Wekî encamek, vegirtina testê pir xirabtir e. Xweşbextane, di forma çavdêrîkirin û têketinê de tebeqeyek din a bertekan heye, lê ev jixwe ji me re hewce dike ku bi reaktîf bertek nîşan bidin û ne bi proaktîf re, ku ev yek hêrs û acizker e.
2. Dinya ji perspektîfa DE qet ne ew e ku ji pêşdebirek hilberek asayî re xuya dike (baş e, helbet xwendevan ne wusa ye, û ew jixwe her tiştî dizane, lê min nizanibû û niha ez dişoxilim jor). Wekî pêşdebirek, ez mîkroxizmeta xwe diafirînim, daneyan têxe [base daneya bijartina we], dewleta xwe li wir xilas bike, bi nasnameyê tiştek werbigire û ew baş e. Karûbar hêdî ye, ferman tevlihev in, ew hemî. Ew ji min dipirsin ku ez li dewleta xwe di karûbarek din de bigerim, ji ber vê yekê ez ê bûyerek bavêjim hin RabbitMQ û ew e. Û li vir em dîsa vegeriyan ser mijara bûyerên ku li jor hatine diyarkirin.
Tiştê ku karûbar ji bo xebata xebitandinê hewce dike ji bo daneyên dîrokî ne li gorî me ye, ji ber vê yekê pirsa ji nû ve xebitandina peymanên karûbarê û xebata nêzîk bi tîmên pêşkeftinê re dest pê dike. Hûn nekarin xeyal bikin ka çend demjimêr ji me re derbas bû ku em li hev bikin: ew di pargîdaniya me de çi celeb Bûyerek Driven e.
3. Divê hûn bi serê xwe bifikirin. Na, mebesta min ew e ku pêşdebir nafikirin (her çend ez kî me ku ji bo her kesî biaxivim), ev tenê ew e ku di pêşkeftina hilberê de pir caran hûn jixwe cûreyek mîmariyê heye, û hûn ji paşverûtiyê veqetînên cûda qut dikin. Bê guman, ev pêdivî bi plansazkirin û ramanê heye, lê ev xebata rêkûpêk e, ku pirsgirêka sereke tenê ew e ku meriv wê baş û bi bandor bike.
Ji bo me, ew ne ew qas hêsan e ji ber ku veguheztina pêkhateyên pergalê yên cihêreng ji monolîtek germ û xweş li cîhana daristana mîkroxizmeta çolê ne ew qas hêsan e. Dema ku karûbar dest bi vekirina bûyeran dike, hûn hewce ne ku mantiqa dagirtina hilanînê ji nû ve binirxînin, ji ber ku dane naha cûda xuya dikin. Li vir hewce ye ku hûn pir û bi hûrgulî bifikirin, êdî ne wekî pêşdebir, lê wekî endezyarek daneyê. Dema ku hûn rojan bi defter û pênûs an jî bi nîşankerek li ser panelê derbas bikin çîrokek normal e. Pir zehmet e, ez hez nakim bifikirim, ez ji hilberînê jî hez dikim.
4. Belkî ya herî girîng agahdarî ye. Dema ku zanîna me kêm be em çi bikin? Kê got stackoverflow? Vî kesî ji odeyê derxînin. Em diçin belgeyan, pirtûkên li ser mijarê dixwînin, û civatek jî heye ku forum, civîn û konferansan organîze dike. Belgekirin mezin e, lê mixabin, ew dikare ne temam be. Em di gelek projeyan de Cosmos DB bikar tînin. Bextê te xweş bî ji bo xwendina belgeya vê hilberê. Pirtûk tenê rizgarî ne; bi bextewarî, ew hene û têne dîtin, di nav wan de gelek zanyariyên bingehîn hene û divê hûn pir û berdewam bixwînin. Lê pirsgirêk di civakê de ye.
Niha zehmet e ku li herêma me bi kêmanî yek konferans an civînek têr bibînin. Na, bê guman, bi peyva Data re gelek hevdîtin hene, lê li tenişta vê peyvê bi gelemperî kurteyên xerîb ên mîna ML an AI hene. Ji ber vê yekê, ev ne ji me re ye, em diaxivin ka meriv çawa tesîsên hilanînê ava dike, û ne ku meriv çawa xwe bi neuronan veşêre. Van hipsteran her tişt girtine. Di encamê de em bê civak in. Bi awayê, heke hûn Endezyarek Daneyê ne û civakên baş dizanin, ji kerema xwe di şîroveyan de binivîsin.
Encamname û ragihandina civînê
Em bi çi bi dawî bibin? Tecrûbeya min a yekem ji min re vedibêje ku hest di pêlavên endezyarek daneyê de dê ji bo her pêşdebiran bikêr be. Ew tenê dihêle ku em bi rengek cûda li tiştan binihêrin û gava ku em dibînin ku pêşdebiran çawa bi daneyên xwe re mijûl dibin çavên me xwîn dikevin şaş nemînin. Ji ber vê yekê, heke di pargîdaniya we de DE hebe, tenê bi van kesan re bipeyivin, hûn ê gelek tiştên nû (li ser xwe) fêr bibin.
Û di dawiyê de, daxuyanî. Ji ber ku dijwar e ku di nav rojê de li ser mijara xwe hevdîtinên xwe bibînin, me biryar da ku em xwe çêbikin. Çima em xerabtir in? Xwezî me ecêbek heye û hevalên me ji , yên ku, mîna me, hîs dikin ku endezyarên daneyê bi neheqî ji baldariyê bêpar in.
Bi vê fersendê, ez her kesê ku eleqedar e vedixwînim ku werin civîna civata me ya yekem bi sernavê sozdar "DE an DIE", ku dê di 27.02.2020ê Sibata XNUMX-an de li ofîsa Dodo Pizza pêk were. Details li .
Ger tiştek diqewime, ez ê li wir bim, hûn dikarin ji min re bixwe ji rûyê min re bibêjin ka ez di derheqê pêşdebiran de çiqas xelet im.
Source: www.habr.com