Aig toiseach na Dùbhlachd, rinn mi mearachd marbhtach agus rinn mi àite tionndaidh nam bheatha mar leasaiche agus ghluais mi chun sgioba Innleadaireachd Dàta (DE) taobh a-staigh a’ chompanaidh. San artaigil seo roinnidh mi cuid de na beachdan a rinn mi rè dà mhìos de bhith ag obair ann an sgioba DE.
Carson Innleadaireachd Dàta?
Thòisich mo thuras gu DE as t-samhradh 2019, nuair a rinn sinn rachamaid gu , agus an sin fhuair mi soillseachadh. Thòisich mi air ùidh a ghabhail anns a 'chuspair, a' sgrùdadh algorithms agus eadhon mun deidhinn , agus an uairsin smaoinich sinn air farsaingeachd an tagraidh agus fhuair sinn a-mach gu sgiobalta gu bheil an tagradh practaigeach sa chompanaidh againn na stòran-dàta sgaoilte.
Dè dìreach a bhios an sgioba againn a’ dèanamh? Tha sinne, mar a h-uile balach is nighean fasanta, airson a bhith nar Companaidh air a stiùireadh le dàta. Agus gus am bi seo comasach, feumaidh sinn co-dhiù goireas stòraidh earbsach a thogail, a dh'fhaodar a chleachdadh gus aithisgean sam bith a dh 'fheumas a' chompanaidh a thogail. Ach is e an rud as cudromaiche gum feum earbsa a bhith anns an dàta anns an stòradh seo. A bharrachd air an sin, a 'cleachdadh an dàta seo, feumaidh tu a bhith comasach air staid an t-siostaim a thoirt air ais aig àm t. Tha seo uile iom-fhillte leis gu bheil sinn beò ann an saoghal gaisgeil ùr de mhicro-sheirbheisean, agus tha an ideòlas seo a’ ciallachadh gu bheil gach seirbheis a’ cur an gnìomh a ghnìomhachdan beaga fhèin, gur e gnìomhachas fhèin a th’ ann an stòr-dàta, agus gun urrainn dha a sguabadh às co-dhiù a h-uile latha, ach aig an aon àm. aig an aon àm feumaidh sinn a bhith comasach air staid na seirbheis fhaighinn agus a phròiseasadh.
Ma tha thu airson a bhith air a stiùireadh le dàta, an toiseach bi air a stiùireadh le Tachartas
Chan eil cho sìmplidh. Tha tachartasan eadar-dhealaichte, agus bidh an leasaiche agus an innleadair dàta a’ coimhead orra ann an dòigh eadar-dhealaichte. Tha bruidhinn mu thachartasan na chuspair airson artaigil air leth, mar sin cha tèid mi a-steach an seo. A bharrachd air an sin, tha artaigil mar seo mu thràth Màrtainn Fowler àraidh, cha toir mi air falbh a chuid labhrais, biodh e ainmeil cuideachd.
San fharsaingeachd, tha tòrr ri smaoineachadh agus is ann air sgàth sin a tha an raon seo tarraingeach. Tha e dìreach a’ tachairt, anns a’ chompanaidh againn, gu bheil Einnseanair Dàta na raon dleastanais fada nas fharsainge na dìreach neach a bhios a’ sgrìobhadh pìoban ETL/ELT (mura h-eil fios agad dè tha na giorrachaidhean sin a’ ciallachadh, thig gu . Mar sanasachd co-theacsail).
Bidh sinn a’ dèiligeadh ri ailtireachd stòraidh, modaladh dàta, cùisean co-cheangailte ri tèarainteachd dàta, agus na pìoban fhèin, gu dearbh. Feumaidh sinn cuideachd dèanamh cinnteach, air an aon làimh, nach eil ar làthaireachd gu math eallach do luchd-leasachaidh toraidh agus feumaidh sinn a bhith air an tarraing cho beag ‘s as urrainn leis na riatanasan againn nuair a bhios sinn a’ gearradh feartan ùra a-steach don t-siostam, agus air an làimh eile, tha sinn feumaidh iad an toirt seachad ann an dòigh iomchaidh ann an dàta stòraidh airson luchd-anailis agus sgioba BI. Sin mar a tha sinn beò.
Duilgheadasan nuair a ghluaiseas tu bho leasachadh
Air a’ chiad latha obrach agam, thachair mi ri grunn dhuilgheadasan a tha mi airson a roinn leat.
1. B' e a' cheud ni a chunnaic mi nach robh tuling agus cuid de chleachdaidhean ann. Gabh, mar eisimpleir, còmhdach còd le deuchainnean. Tha ceudan de fhrèaman deuchainn againn gan leasachadh. Nuair a bhios tu ag obair le dàta, tha a h-uile dad nas iom-fhillte. Faodaidh, is urrainn dhuinn pìoban ETL a dhearbhadh air dàta deuchainn, ach feumaidh sinn a h-uile càil a dhèanamh le làimh agus coimhead airson fuasglaidhean airson gach cùis shònraichte. Mar thoradh air an sin, tha craoladh deuchainn mòran nas miosa. Gu fortanach, tha sreath eile de bheachdan air ais ann an cruth sgrùdaidh agus logaichean, ach tha seo mar-thà ag iarraidh oirnn freagairt gu reactive seach gu for-ghnìomhach, rud a tha feargach agus neo-ghluasadach.
2. Chan eil an saoghal bho shealladh DE idir mar a tha e coltach do leasaiche toraidh àbhaisteach (uill, gu dearbh chan eil an leughadair mar sin, agus tha e eòlach air a h-uile càil mu thràth, ach cha robh fios agam agus a-nis tha mi a’ sgàineadh. e suas). Mar leasaiche, bidh mi a’ cruthachadh mo mhicro-sheirbheis fhìn, cuir an dàta ann an [stòr-dàta de do roghainn], sàbhail mo stàit an sin, faigh rudeigin le ID agus tha e ceart gu leòr. Tha an t-seirbheis slaodach, tha òrdughan troimh-chèile, sin e. Bidh iad ag iarraidh orm coimhead airson mo stàit ann an seirbheis eile, agus mar sin tilgidh mi tachartas a-steach do chuid de RabbitMQ agus sin agad e. Agus an seo thill sinn a-rithist gu cùis nan tachartasan a chaidh a mhìneachadh gu h-àrd.
Chan eil na tha a dhìth air an t-seirbheis airson obair obrachaidh a 'freagairt oirnn airson dàta eachdraidheil, agus mar sin tha a' cheist mu ath-obrachadh cùmhnantan seirbheis agus obair dlùth le sgiobaidhean leasachaidh a 'tòiseachadh. Chan urrainn dhut eadhon smaoineachadh cia mheud uair a thìde a thug e dhuinn aontachadh: dè an seòrsa tachartas air a stiùireadh a tha e nar companaidh.
3. Feumaidh tu smaoineachadh le do cheann. Chan eil, chan eil mi a 'ciallachadh nach eil luchd-leasachaidh a' smaoineachadh (ged a tha mi a 'bruidhinn airson a h-uile duine), gu bheil e dìreach ann an leasachadh toraidh gu math tric gu bheil ailtireachd de sheòrsa air choreigin agad mu thràth, agus tha thu a' gearradh diofar shuffles bhon chùl-raon. Gu dearbh, feumaidh seo planadh agus smaoineachadh, ach is e obair sruth a tha seo, far a bheil am prìomh dhuilgheadas dìreach ga dhèanamh gu math agus gu h-èifeachdach.
Dhuinne, chan eil e cho sìmplidh leis nach eil e cho sìmplidh gluasad diofar phàirtean den t-siostam bho monolith blàth is comhfhurtail a-steach do shaoghal jungle microservice fiadhaich. Nuair a thòisicheas an t-seirbheis a 'spùtadh thachartasan, feumaidh tu ath-bheachdachadh air an reusanachadh airson an stòradh a lìonadh, oir tha an dàta a-nis a' coimhead eadar-dhealaichte. Seo far am feum thu smaoineachadh tòrr agus gu mionaideach, chan ann a-nis mar leasaiche, ach mar innleadair dàta. Is e sgeulachd àbhaisteach a th’ ann nuair a chaitheas tu làithean le leabhar notaichean is peann no le comharraiche aig a’ bhòrd. Tha e gu math duilich, cha toil leam smaoineachadh, is toil leam cinneasachadh cuideachd.
4. Is dòcha gur e fiosrachadh an rud as cudromaiche. Dè nì sinn nuair a tha dìth eòlais againn? Cò a thuirt stackoverflow? Thoir an duine seo a-mach às an t-seòmar. Bidh sinn a’ leughadh sgrìobhainnean, leabhraichean air a’ chuspair, agus tha coimhearsnachd ann cuideachd a bhios a’ cur fòraman, coinneamhan agus co-labhairtean air dòigh. Tha na sgrìobhainnean math, ach gu mì-fhortanach, faodaidh e a bhith neo-iomlan. Bidh sinn a’ cleachdadh Cosmos DB ann an grunn phròiseactan. Math fortanach a bhith a’ leughadh na sgrìobhainnean airson an toraidh seo. Is e leabhraichean an aon sàbhaladh; gu fortanach, tha iad ann agus gheibhear iad, tha tòrr eòlas bunaiteach ann agus feumaidh tu tòrr a leughadh agus an-còmhnaidh. Ach 's ann leis a' choimhearsnachd a tha an duilgheadas.
A-nis tha e duilich co-dhiù aon cho-labhairt no coinneamh iomchaidh a lorg san sgìre againn. Chan e, gu dearbh, tha tòrr choinneamhan ann leis an fhacal Dàta, ach ri taobh an fhacail seo mar as trice tha giorrachaidhean neònach mar ML no AI. Mar sin, chan eil seo dhuinne, tha sinn a 'bruidhinn mu dheidhinn mar a thogail goireasan stòraidh, agus chan ann mar a smeuradh sinn fhìn le neurons. Tha na hipsters sin air a h-uile càil a ghabhail thairis. Mar thoradh air an sin, tha sinn às aonais coimhearsnachd. Co-dhiù, ma tha thu nad Einnseanair Dàta agus eòlach air coimhearsnachdan math, sgrìobh na beachdan.
Co-dhùnaidhean agus foillseachadh na coinneimh
Dè a tha sinn a 'crìochnachadh leis? Tha a’ chiad eòlas agam ag innse dhomh gum bi faireachdainn ann am brògan innleadair dàta feumail don h-uile leasaiche. Tha e dìreach a’ leigeil leinn coimhead air rudan ann an dòigh eadar-dhealaichte agus gun a bhith na iongnadh nuair a gheibh ar sùilean fuil nuair a chì sinn mar a bhios luchd-leasachaidh a’ làimhseachadh an dàta aca. Mar sin, ma tha DE anns a 'chompanaidh agad, dìreach bruidhinn ris na daoine sin, ionnsaichidh tu tòrr rudan ùra (mu dheidhinn fhèin).
Agus mu dheireadh, an sanas. Leis gu bheil e duilich coinneamhan a lorg air ar cuspair tron latha, chuir sinn romhainn ar cuid fhìn a dhèanamh. Carson a tha sinn nas miosa? Gu fortanach tha rud iongantach againn agus ar cairdean o , a tha, mar sinne, a 'faireachdainn gu bheil innleadairean dàta a' faighinn aire mì-chothromach.
A’ gabhail a’ chothruim seo, tha mi a’ toirt cuireadh don h-uile duine a tha airson a thighinn chun chiad choinneamh coimhearsnachd againn leis an tiotal gealltanach “DE or DIE”, a thèid a chumail air 27.02.2020 Gearran, XNUMX aig oifis Dodo Pizza. Mion-fhiosrachadh aig .
Ma thachras dad, bidh mi ann, faodaidh tu innse dhomh gu pearsanta nam aghaidh cho ceàrr sa tha mi air an luchd-leasachaidh.
Source: www.habr.com