Nan kòmansman mwa Desanm, mwen te fè yon erè fatal e mwen te fè yon pwen vire nan lavi mwen kòm yon pwomotè epi mwen te deplase nan ekip Jeni Done (DE) nan konpayi an. Nan atik sa a mwen pral pataje kèk obsèvasyon ke mwen te fè pandan de mwa nan travay nan ekip la DE.
Poukisa done Jeni?
Vwayaj mwen nan DE te kòmanse nan ete 2019, lè nou ann ale nan , epi se la mwen reyalize Syèk Limyè. Mwen te kòmanse vin enterese nan sijè a, etidye algoritm e menm sou yo , ak Lè sa a, te panse sou sijè ki abòde lan aplikasyon ak byen vit te jwenn ke aplikasyon an pratik nan konpayi nou an distribye baz done.
Kisa ekip nou an fè egzakteman? Nou menm, tankou tout ti gason ak tifi ki alamòd, nou vle vin yon konpayi done kondwi. Ak nan lòd pou sa a vin posib, nou bezwen omwen bati yon etablisman depo serye, ki ka itilize yo bati nenpòt rapò konpayi an bezwen. Men, bagay ki pi enpòtan an se ke done yo nan depo sa a dwe fè konfyans. Anplis, lè l sèvi avèk done sa yo, ou bezwen kapab retabli eta a nan sistèm nan nan tan t. Tout bagay sa a konplike pa lefèt ke nou ap viv nan yon nouvo mond brav nan mikwosèvis, ak ideoloji sa a implique ke chak sèvis aplike pwòp ti fonksyonalite li yo, baz done li yo se pwòp biznis pa yo, epi li ka efase li omwen chak jou, men nan an menm tan nou dwe kapab resevwa ak trete eta sèvis la.
Si ou vle pou Done Driven, premye vin Evènman Driven
Pa tèlman senp. Evènman yo diferan, epi pwomotè a ak enjenyè done gade yo yon fason diferan. Pale sou evènman se yon sijè pou yon atik separe, kidonk mwen pa pral antre nan li isit la. Anplis de sa, tankou yon atik gen deja yon sèten Martin Fowler, mwen pa pral retire lorye l 'yo, kite l' tou vin pi popilè.
An jeneral, gen anpil bagay pou reflechi sou e se poutèt sa zòn sa a atire. Li rive konsa nan konpayi nou an, yon Enjenyè Done se yon zòn ki pi laj nan responsablite pase jis yon moun ki ekri tiyo ETL/ELT (si ou pa konnen ki sa abrevyasyon sa yo vle di, ale nan . Kòm piblisite kontèks).
Nou fè fas ak achitekti depo, modèl done, pwoblèm ki gen rapò ak sekirite done, ak tiyo yo tèt yo, nan kou. Nou bezwen tou asire w ke, sou yon bò, prezans nou an pa trè lou pou devlopè pwodwi yo epi yo dwe distrè pi piti ke posib pa kondisyon nou yo lè koupe nouvo karakteristik nan sistèm nan, epi nan lòt men an, nou bezwen bay yo fasilman mete deyò nan done depo pou analis ak ekip BI. Se konsa nap viv.
Difikilte lè tranzisyon soti nan devlopman
Nan premye jou travay mwen, mwen te rankontre yon kantite difikilte ke mwen vle pataje avèk ou.
1. Premye bagay mwen te wè se te absans tuling ak kèk pratik. Pran, pa egzanp, kouvèti kòd ak tès yo. Nou gen dè santèn de kad tès nan devlopman. Lè w ap travay ak done, tout bagay se pi konplike. Wi, nou ka teste tiyo ETL sou done tès yo, men nou dwe fè li tout manyèlman epi chèche solisyon pou chak ka espesifik. Kòm yon rezilta, pwoteksyon tès la pi mal anpil. Erezman, gen yon lòt kouch fidbak nan fòm lan nan siveyans ak mòso bwa, men sa deja mande pou nou reyaji reyaktif olye ke proactively, ki se an kòlè ak dekouraje.
2. Mond lan nan yon pèspektiv DE se pa ditou sa li sanble nan yon pwomotè pwodwi òdinè (byen, nan kou lektè a se pa konsa, epi li deja konnen tout bagay, men mwen pa t 'konnen e kounye a, mwen vise li moute). Kòm yon pwomotè, mwen kreye pwòp mikwosèvis mwen, mete done yo nan [baz done ou chwazi a], sove eta mwen an la, jwenn yon bagay pa ID epi li anfòm. Sèvis la ralanti, lòd yo konfizyon, se tout. Yo mande m pou m chèche eta mwen an nan yon lòt sèvis, kidonk mwen pral jete yon evènman nan kèk RabbitMQ e sa a. Ak isit la nou ankò tounen nan pwoblèm nan nan evènman ki dekri pi wo a.
Ki sa ki sèvis la bezwen pou travay operasyonèl pa kostim nou pou done istorik, kidonk kesyon an nan kontra sèvis retravay ak travay sere ak ekip devlopman kòmanse. Ou pa ka menm imajine konbyen èdtan li te pran nou dakò: ki kalite Event Driven li se nan konpayi nou an.
3. Ou bezwen panse ak tèt ou. Non, mwen pa vle di ke devlopè yo pa panse (byenke ki moun mwen ye pou pale pou tout moun), li jis ke nan devlopman pwodwi trè souvan ou deja gen kèk kalite achitekti, epi ou koupe chefeul diferan soti nan rès la. Natirèlman, sa a mande pou planifikasyon ak panse, men sa a se travay kouran, kote pwoblèm prensipal la se tou senpleman fè li byen ak efikasite.
Pou nou, li pa tèlman senp paske transfè a nan divès eleman sistèm soti nan yon monolit cho ak brikabrak nan mond lan nan forè mikwosèvis sovaj la pa tèlman senp. Lè sèvis la kòmanse voye evènman yo, ou bezwen rekonsidere lojik pou ranpli depo a, paske done yo kounye a sanble diferan. Sa a se kote ou bezwen panse anpil ak byen, pa ankò kòm yon pwomotè, men kòm yon enjenyè done. Li se yon istwa nòmal lè ou pase jou ak yon kaye ak plim oswa ak yon makè sou tablo a. Li difisil anpil, mwen pa renmen panse, mwen renmen pwodiksyon tou.
4. Petèt bagay ki pi enpòtan an se enfòmasyon. Kisa nou fè lè nou manke konesans? Ki moun ki di stackoverflow? Pran moun sa a soti nan chanm lan. Nou ale li dokiman, liv sou sijè a, epi tou gen yon kominote ki òganize fowòm, rankont ak konferans. Dokimantasyon se gwo, men malerezman, li ka enkonplè. Nou itilize Cosmos DB nan yon kantite pwojè. Bon chans li dokimantasyon pou pwodwi sa a. Liv yo se sèl sali a; erezman, yo egziste epi yo ka jwenn, yo gen anpil konesans fondamantal epi ou dwe li anpil ak toujou. Men pwoblèm nan se ak kominote a.
Koulye a, li difisil pou jwenn omwen yon konferans adekwat oswa reyinyon nan zòn nou an. Non, nan kou, gen yon anpil nan rankont ak mo Done a, men bò kote mo sa a anjeneral gen abrevyasyon etranj tankou ML oswa AI. Se konsa, sa a se pa pou nou, nou ap pale sou ki jan yo bati enstalasyon depo, epi yo pa ki jan yo fwote tèt nou ak newòn. Hipsters sa yo te pran tout bagay. Kòm rezilta, nou san yon kominote. By wout la, si ou se yon Enjenyè Done epi ou konnen bon kominote, tanpri ekri nan kòmantè yo.
Konklizyon ak anons rankont la
Ki sa nou fini ak? Premye eksperyans mwen di m 'ke santi nan soulye yo nan yon enjenyè done yo pral itil pou chak pwomotè. Li jis pèmèt nou gade bagay sa yo yon fason diferan epi yo pa sezi lè je nou jwenn san lè nou wè ki jan devlopè trete done yo. Se konsa, si gen yon DE nan konpayi ou, jis pale ak mesye sa yo, ou pral aprann anpil bagay nouvo (sou tèt ou).
Epi finalman, anons la. Depi li difisil pou jwenn rankont sou sijè nou pandan jounen an, nou deside fè pwòp pa nou. Poukisa nou pi mal? Erezman nou gen yon etonan ak zanmi nou yo soti nan , ki moun ki, tankou nou, santi ke enjenyè done yo enjis prive de atansyon.
Pwofite opòtinite sa a, mwen envite tout moun ki gen sousi pou yo vini nan premye rankont kominote nou an ak tit pwomèt "DE or DIE", ki pral fèt 27.02.2020 fevriye XNUMX nan biwo Dodo Pizza. Detay nan .
Si yon bagay rive, mwen pral la, ou ka di m pèsonèlman nan figi m 'ki jan mal mwen ye sou devlopè yo.
Sous: www.habr.com
