Ar ddechrau mis Rhagfyr, fe wnes i gamgymeriad angheuol a gwneud trobwynt yn fy mywyd fel datblygwr a symud i'r tîm Peirianneg Data (DE) o fewn y cwmni. Yn yr erthygl hon byddaf yn rhannu rhai arsylwadau a wneuthum yn ystod dau fis o weithio yn nhîm DE.
Pam Peirianneg Data?
Dechreuodd fy nhaith i DE yn haf 2019, pan wnaethom ni gadewch i ni fynd i , ac yno y cyflawnais oleuedigaeth. Dechreuais ymddiddori yn y pwnc, astudio algorithmau a hyd yn oed amdanyn nhw , ac yna meddwl am gwmpas y cais a darganfod yn gyflym bod y cais ymarferol yn ein cwmni yn cael ei ddosbarthu cronfeydd data.
Beth yn union mae ein tîm yn ei wneud? Rydyn ni, fel pob bachgen a merch ffasiynol, eisiau dod yn Gwmni a yrrir gan Ddata. Ac er mwyn i hyn ddod yn bosibl, mae angen i ni o leiaf adeiladu cyfleuster storio dibynadwy, y gellir ei ddefnyddio i adeiladu unrhyw adroddiadau sydd eu hangen ar y cwmni. Ond y peth pwysicaf yw bod yn rhaid ymddiried yn y data yn y storfa hon. Ar ben hynny, gan ddefnyddio'r data hyn, mae angen i chi allu adfer cyflwr y system ar amser t. Mae hyn i gyd yn cael ei gymhlethu gan y ffaith ein bod yn byw mewn byd dewr newydd o ficrowasanaethau, ac mae'r ideoleg hon yn awgrymu bod pob gwasanaeth yn gweithredu ei swyddogaethau bach ei hun, ei gronfa ddata yw ei fusnes ei hun, a gall ei ddileu o leiaf bob dydd, ond ar yr un pryd mae'n rhaid i ni allu derbyn a phrosesu cyflwr y gwasanaeth.
Os ydych chi am gael eich Gyrru gan Ddata, dewch yn Gyrru ar Ddigwyddiad yn gyntaf
Ddim mor syml. Mae digwyddiadau'n wahanol, ac mae'r datblygwr a'r peiriannydd data yn edrych arnynt yn wahanol. Mae siarad am ddigwyddiadau yn bwnc ar gyfer erthygl ar wahân, felly nid af i mewn iddo yma. Yn ogystal, mae erthygl o'r fath eisoes rhyw Martin Fowler, ni chymeraf ei rhwyfau i ffwrdd, gadewch iddo ddod yn enwog hefyd.
Yn gyffredinol, mae llawer i feddwl amdano a dyna pam mae'r ardal hon yn ddeniadol. Mae'n digwydd fel bod Peiriannydd Data yn ein cwmni ni yn faes llawer ehangach o gyfrifoldeb na dim ond person sy'n ysgrifennu piblinellau ETL/ELT (os nad ydych chi'n gwybod beth mae'r byrfoddau hyn yn ei olygu, dewch i . Fel hysbysebu cyd-destunol).
Rydym yn ymdrin â phensaernïaeth storio, modelu data, materion sy'n ymwneud â diogelwch data, a'r piblinellau eu hunain, wrth gwrs. Mae angen i ni hefyd wneud yn siŵr nad yw ein presenoldeb, ar y naill law, yn feichus iawn i ddatblygwyr cynnyrch ac mae'n rhaid i ni dynnu sylw cyn lleied â phosibl gan ein gofynion wrth dorri nodweddion newydd i'r system, ac ar y llaw arall, rydym ni angen eu darparu wedi'u gosod allan yn gyfleus mewn data storio ar gyfer dadansoddwyr a thîm BI. Dyna sut rydyn ni'n byw.
Anawsterau wrth drosglwyddo o ddatblygiad
Ar fy niwrnod cyntaf o waith, deuthum ar draws nifer o anawsterau yr wyf am eu rhannu gyda chi.
1. Y peth cyntaf a welais oedd absenoldeb tuling a rhai arferion. Cymerwch, er enghraifft, sylw cod gyda phrofion. Mae gennym gannoedd o fframweithiau profi yn cael eu datblygu. Wrth weithio gyda data, mae popeth yn fwy cymhleth. Oes, gallwn brofi piblinellau ETL ar ddata prawf, ond mae'n rhaid i ni wneud y cyfan â llaw a chwilio am atebion ar gyfer pob achos penodol. O ganlyniad, mae sylw prawf yn waeth o lawer. Yn ffodus, mae yna haen arall o adborth ar ffurf monitro a logiau, ond mae hyn eisoes yn ei gwneud yn ofynnol i ni ymateb yn adweithiol yn hytrach nag yn rhagweithiol, sy'n gynhyrfu ac yn ddinerfus.
2. Nid yw'r byd o safbwynt DE o gwbl yr hyn y mae'n ymddangos i ddatblygwr cynnyrch cyffredin (wel, wrth gwrs nid yw'r darllenydd felly, ac mae eisoes yn gwybod popeth, ond doeddwn i ddim yn gwybod ac yn awr rwy'n sgriwio mae i fyny). Fel datblygwr, rwy'n creu fy meicrowasanaeth fy hun, yn rhoi'r data yn [cronfa ddata o'ch dewis], yn arbed fy nhalaith yno, yn cael rhywbeth trwy ID ac mae'n iawn. Mae'r gwasanaeth yn araf, mae archebion yn ddryslyd, dyna i gyd. Maen nhw'n gofyn i mi chwilio am fy nghyflwr mewn gwasanaeth arall, felly byddaf yn taflu digwyddiad i rai RabbitMQ a dyna ni. A dyma ni eto yn dychwelyd at y mater o ddigwyddiadau a ddisgrifir uchod.
Nid yw'r hyn sydd ei angen ar y gwasanaeth ar gyfer gwaith gweithredol yn addas i ni ar gyfer data hanesyddol, felly mae'r cwestiwn o ail-weithio contractau gwasanaeth a gwaith agos gyda thimau datblygu yn dechrau. Ni allwch hyd yn oed ddychmygu faint o oriau a gymerodd i ni gytuno: pa fath o Ddigwyddiad Wedi'i Yrru y mae yn ein cwmni.
3. Mae angen i chi feddwl â'ch pen. Na, nid wyf yn golygu nad yw datblygwyr yn meddwl (er pwy ydw i i siarad ar ran pawb), dim ond wrth ddatblygu cynnyrch yn aml iawn bod gennych chi ryw fath o bensaernïaeth eisoes, ac rydych chi'n torri gwahanol sifftiau o'r ôl-groniad. Wrth gwrs, mae hyn yn gofyn am gynllunio a meddwl, ond gwaith ffrwd yw hwn, a'r brif broblem yn syml yw ei wneud yn dda ac yn effeithlon.
I ni, nid yw mor syml oherwydd nid yw trosglwyddo gwahanol gydrannau system o fonolith cynnes a chlyd i fyd y jyngl microwasanaeth gwyllt mor syml. Pan fydd y gwasanaeth yn dechrau sbio digwyddiadau, mae angen i chi ailystyried y rhesymeg ar gyfer llenwi'r storfa, oherwydd mae'r data bellach yn edrych yn wahanol. Dyma lle mae angen i chi feddwl llawer ac yn drylwyr, nid fel datblygwr mwyach, ond fel peiriannydd data. Mae'n stori arferol pan fyddwch chi'n treulio dyddiau gyda llyfr nodiadau a beiro neu gyda marciwr wrth y bwrdd. Mae'n anodd iawn, dwi ddim yn hoffi meddwl, dwi'n caru cynhyrchu hefyd.
4. Efallai mai'r peth pwysicaf yw gwybodaeth. Beth ydyn ni'n ei wneud pan fydd gennym ddiffyg gwybodaeth? Pwy ddywedodd stackoverflow? Tynnwch y person hwn allan o'r ystafell. Rydyn ni'n mynd i ddarllen dogfennau, llyfrau ar y pwnc, ac mae yna hefyd gymuned sy'n trefnu fforymau, cyfarfodydd a chynadleddau. Mae'r ddogfennaeth yn wych, ond yn anffodus, gall fod yn anghyflawn. Rydym yn defnyddio Cosmos DB mewn nifer o brosiectau. Pob lwc i chi ddarllen y dogfennau ar gyfer y cynnyrch hwn. Llyfrau yw'r unig iachawdwriaeth; yn ffodus, maent yn bodoli a gellir eu darganfod, maent yn cynnwys llawer o wybodaeth sylfaenol ac mae'n rhaid i chi ddarllen llawer ac yn gyson. Ond mae'r broblem gyda'r gymuned.
Nawr mae'n anodd dod o hyd i o leiaf un gynhadledd neu gyfarfod digonol yn ein hardal. Na, wrth gwrs, mae yna lawer o gyfarfodydd gyda'r gair Data, ond wrth ymyl y gair hwn fel arfer mae byrfoddau rhyfedd fel ML neu AI. Felly, nid yw hyn ar ein cyfer ni, rydym yn sôn am sut i adeiladu cyfleusterau storio, ac nid sut i arogli ein hunain â niwronau. Mae'r hipsters hyn wedi cymryd drosodd popeth. O ganlyniad, rydym heb gymuned. Gyda llaw, os ydych chi'n Beiriannydd Data ac yn adnabod cymunedau da, ysgrifennwch y sylwadau.
Casgliadau a chyhoeddiad y cyfarfod
Beth ydyn ni'n ei wneud yn y pen draw? Mae fy mhrofiad cyntaf yn dweud wrthyf y bydd teimlo yn esgidiau peiriannydd data yn ddefnyddiol i bob datblygwr. Mae'n caniatáu i ni edrych ar bethau'n wahanol a pheidio â synnu pan fydd ein llygaid yn cael gwaed pan fyddwn yn gweld sut mae datblygwyr yn trin eu data. Felly, os oes DE yn eich cwmni, siaradwch â'r bechgyn hyn, byddwch chi'n dysgu llawer o bethau newydd (amdanoch chi'ch hun).
Ac yn olaf, y cyhoeddiad. Gan ei bod yn anodd dod o hyd i gyfarfodydd ar ein pwnc yn ystod y dydd, fe benderfynon ni wneud ein rhai ein hunain. Pam ydym ni'n waeth? Yn ffodus mae gennym ni anhygoel a'n cyfeillion o , sydd, fel ni, yn teimlo bod peirianwyr data yn cael eu hamddifadu'n annheg o sylw.
Gan fanteisio ar y cyfle hwn, rwy’n gwahodd pawb sy’n poeni i ddod i’n cyfarfod cymunedol cyntaf gyda’r teitl addawol “DE or DIE”, a gynhelir ar Chwefror 27.02.2020, XNUMX yn swyddfa Dodo Pizza. Manylion yn .
Os bydd unrhyw beth yn digwydd, byddaf yno, gallwch chi ddweud wrthyf yn bersonol wrth fy wyneb pa mor anghywir ydw i am y datblygwyr.
Ffynhonnell: hab.com