I ka hoʻomaka ʻana o Kekemapa, ua hana hewa au a ua hoʻololi wau i koʻu ola ma ke ʻano he mea hoʻomohala a neʻe aku i ka hui Data Engineering (DE) i loko o ka hui. Ma kēia ʻatikala e hōʻike wau i kekahi mau ʻike aʻu i hana ai i ʻelua mahina o ka hana ʻana ma ka hui DE.
No ke aha ʻIkepili ʻIkepili?
Ua hoʻomaka kaʻu huakaʻi i DE i ke kauwela o 2019, i ko mākou manawa e hele kāua i , a malaila au i loaa ai ka malamalama. Ua hoʻomaka wau e lilo i mea hoihoi i ke kumuhana, e aʻo i nā algorithms a me lākou , a laila noʻonoʻo e pili ana i ke ʻano o ka noi a ʻike koke ʻo ia ka hoʻohana pono ʻana i kā mākou hui i kahele ʻana i nā ʻikepili.
He aha ka hana a kā mākou hui? ʻO mākou, e like me nā keikikāne a me nā kaikamahine a pau, makemake mākou e lilo i ʻoihana Data Driven. A i mea e hiki ai kēia, pono mākou e kūkulu i kahi hale mālama pono, hiki ke hoʻohana ʻia e kūkulu i nā hōʻike e pono ai ka ʻoihana. Akā ʻo ka mea nui loa, ʻo ia ka pono e hilinaʻi ʻia ka ʻikepili i loko o kēia waihona. Eia kekahi, me ka hoʻohana ʻana i kēia mau ʻikepili, pono ʻoe e hoʻihoʻi i ke kūlana o ka ʻōnaehana i ka manawa t. Paʻakikī kēia a pau ma ka ʻoiaʻiʻo e noho nei mākou i kahi honua wiwo ʻole o nā microservices, a ke hōʻike nei kēia manaʻo i kēlā me kēia lawelawe e hoʻokō i kāna mau hana liʻiliʻi, ʻo kāna ʻikepili kāna ʻoihana ponoʻī, a hiki ke hoʻopau iā ia ma ka liʻiliʻi loa i kēlā me kēia lā, akā ma ka i ka manawa like e hiki ai iā mākou ke loaʻa a hoʻoponopono i ke kūlana o ka lawelawe.
Inā makemake ʻoe e ʻike i ka ʻikepili, e lilo mua i Event Driven
ʻAʻole maʻalahi loa. He ʻokoʻa nā hanana, a ʻokoʻa ka nānā ʻana o ka mea hoʻomohala a me ka ʻenekini data. ʻO ke kamaʻilio ʻana e pili ana i nā hanana he kumuhana no kahi ʻatikala ʻokoʻa, no laila ʻaʻole wau e komo i loko ma ʻaneʻi. Eia hou, ua loaʻa i kēlā ʻatikala ʻO kekahi Martin Fowler, ʻaʻole au e lawe i kāna mau laurels, e lilo ia i mea kaulana.
Ma keʻano laulā, nui nā mea e noʻonoʻo ai a ʻo ia ke kumu i nani ai kēia wahi. ʻO ia wale nō ka mea i loko o kā mākou hui, ʻo ka Data Engineer kahi ʻāpana nui o ke kuleana ma mua o ke kanaka kākau i nā pipeline ETL/ELT (inā ʻaʻole ʻoe ʻike i ke ʻano o kēia mau pōkole, e hele mai i . E like me ka hoʻolaha hoʻolaha).
Hana mākou i ka hoʻolālā hale waihona, ka hoʻohālikelike ʻikepili, nā pilikia e pili ana i ka palekana ʻikepili, a me nā pipeline ponoʻī, ʻoiaʻiʻo. Pono mākou e hōʻoia, ma kekahi ʻaoʻao, ʻaʻole kaumaha loa ko mākou hele ʻana i nā mea hoʻomohala huahana a pono lākou e hoʻopilikia ʻia e ko mākou mau koi i ka wā e ʻoki ai i nā hiʻohiʻona hou i loko o ka ʻōnaehana, a ma kekahi ʻaoʻao, mākou. pono e hāʻawi iā lākou i waiho maʻalahi i ka ʻikepili mālama no nā mea loiloi a me ka hui BI. Pela ko makou noho ana.
Nā pilikia i ka hoʻololi ʻana mai ka hoʻomohala ʻana
I kaʻu lā mua o ka hana, ua loaʻa iaʻu nā pilikia he nui aʻu e makemake ai e kaʻana like me ʻoe.
1. ʻO ka mea mua aʻu i ʻike ai ʻo ka nele o ka tuling a me kekahi mau hana. E lawe, no ka laʻana, ka uhi code me nā hoʻāʻo. Loaʻa iā mākou he mau haneli o ka hoʻāʻo ʻana i ka hoʻomohala ʻana. Ke hana me ka ʻikepili, ʻoi aku ka paʻakikī o nā mea āpau. ʻAe, hiki iā mākou ke hoʻāʻo i nā pipelines ETL ma ka ʻikepili hōʻike, akā pono mākou e hana me ka lima āpau a ʻimi i nā hopena no kēlā me kēia hihia kikoʻī. ʻO ka hopena, ʻoi aku ka ʻino o ka uhi hoʻāʻo. ʻO ka mea pōmaikaʻi, aia kekahi papa manaʻo ʻē aʻe ma ke ʻano o ka nānā ʻana a me nā lāʻau, akā pono kēia iā mākou e pane koke aku ma mua o ka proactively.
2. ʻO ka honua mai kahi hiʻohiʻona DE ʻaʻole ia e like me ka mea i manaʻo ʻia e kahi mea hoʻomohala huahana maʻamau (pono, ʻoiaʻiʻo, ʻaʻole like ka mea heluhelu, a ua ʻike mua ʻo ia i nā mea āpau, akā ʻaʻole wau i ʻike a i kēia manawa ke wili nei au. i luna). Ma ke ʻano he mea hoʻomohala, hana wau i kaʻu microservice ponoʻī, hoʻokomo i ka ʻikepili i [database o kāu koho], mālama i koʻu mokuʻāina ma laila, loaʻa i kahi mea ma ka ID a maikaʻi. Ua lohi ka lawelawe, huikau nā kauoha, ʻo ia wale nō. Noi mai lākou iaʻu e ʻimi i koʻu mokuʻāina ma kahi lawelawe ʻē aʻe, no laila e hoʻolei wau i kahi hanana i kekahi RabbitMQ a ʻo ia nō. A eia kakou i hoi hou ai i ka pukana o na hanana i hoikeia maluna.
ʻO ka mea e pono ai ka lawelawe no ka hana hana ʻaʻole kūpono iā mākou no ka ʻikepili mōʻaukala, no laila e hoʻomaka ka nīnau no ka hana hou ʻana i nā ʻaelike lawelawe a me ka hana kokoke me nā hui hoʻomohala. ʻAʻole hiki iā ʻoe ke noʻonoʻo i ka nui o nā hola a mākou e ʻae ai: he aha ke ʻano o Event Driven i loko o kā mākou hui.
3. Pono ʻoe e noʻonoʻo me kou poʻo. ʻAʻole, ʻaʻole wau i manaʻo ʻaʻole noʻonoʻo nā mea hoʻomohala (ʻoiai ʻo wai wau e ʻōlelo no kēlā me kēia kanaka), ʻo ia wale nō i ka hoʻomohala ʻana i nā huahana i loaʻa pinepine ʻoe i kekahi ʻano o ka hoʻolālā, a ʻoki ʻoe i nā shuffles like ʻole mai ka backlog. ʻOiaʻiʻo, pono kēia i ka hoʻolālā a me ka noʻonoʻo, akā ʻo kēia ka hana kahawai, kahi o ka pilikia nui e hana maikaʻi a maikaʻi.
No mākou, ʻaʻole ia maʻalahi no ka mea ʻaʻole maʻalahi ka hoʻololi ʻana o nā ʻāpana ʻōnaehana like ʻole mai kahi monolith mahana a ʻoluʻolu i ka honua o ka nahele microservice wild. Ke hoʻomaka ka lawelawe e hoʻopuka i nā hanana, pono ʻoe e noʻonoʻo hou i ka loiloi no ka hoʻopiha ʻana i ka waihona, no ka mea, ʻokoʻa ke ʻano o ka ʻikepili i kēia manawa. ʻO kēia kahi e pono ai ʻoe e noʻonoʻo nui a maikaʻi, ʻaʻole ma ke ʻano he mea hoʻomohala, akā ma ke ʻano he ʻenekini data. He moʻolelo maʻamau ke hoʻohana ʻoe i nā lā me kahi puke puke a me ka peni a i ʻole me kahi māka ma ka papa. He paʻakikī loa kēia, ʻaʻole wau makemake e noʻonoʻo, makemake wau i ka hana ʻana.
4. ʻO ka ʻike paha ka mea nui. He aha kā mākou hana inā nele mākou i ka ʻike? Na wai i ʻōlelo ʻo stackoverflow? E lawe i kēia kanaka i waho o ka lumi. Hele mākou e heluhelu i nā palapala, nā puke e pili ana i ke kumuhana, a aia kekahi kaiāulu e hoʻonohonoho i nā ʻaha kūkā, nā hui a me nā ʻaha kūkā. Nui ka palapala, akā naʻe, hiki ʻole ke hoʻopiha. Hoʻohana mākou i ka Cosmos DB i kekahi mau papahana. Laki maikaʻi i ka heluhelu ʻana i nā palapala no kēia huahana. ʻO nā puke wale nō ke ola; ʻO ka pōmaikaʻi, aia lākou a hiki ke loaʻa, loaʻa iā lākou ka nui o ka ʻike kumu a pono ʻoe e heluhelu nui a mau. Akā aia ka pilikia me ke kaiāulu.
I kēia manawa he paʻakikī ka loaʻa ʻana ma kahi o hoʻokahi hālāwai kūkā kūpono a hui pū paha ma ko mākou wahi. ʻAʻole, ʻoiaʻiʻo, nui nā hui me ka huaʻōlelo ʻIkepili, akā ma ka ʻaoʻao o kēia huaʻōlelo he mau pōkole ʻē aʻe e like me ML a i ʻole AI. No laila, ʻaʻole kēia no mākou, ke kamaʻilio nei mākou e pili ana i ke kūkulu ʻana i nā hale mālama, a ʻaʻole pehea e hoʻomaʻamaʻa iā mākou iho me nā neurons. Ua lawe kēia mau hipsters i nā mea a pau. ʻO ka hopena, ʻaʻohe mākou kaiāulu. Ma ke ala, inā he Data Engineer ʻoe a ʻike i nā kaiāulu maikaʻi, e ʻoluʻolu e kākau i nā ʻōlelo.
Nā hopena a me ka hoʻolaha ʻana o ka hui
He aha kā mākou e hoʻopau ai? ʻO kaʻu ʻike mua e haʻi mai iaʻu i ka manaʻo i nā kāmaʻa o kahi ʻenekini data e pono no kēlā me kēia mea hoʻomohala. ʻAe wale ia iā mākou e nānā i nā mea ʻokoʻa a ʻaʻole e kāhāhā i ka wā e kahe koko ai ko mākou mau maka ke ʻike mākou i ka hana ʻana o nā mea hoʻomohala i kā lākou ʻikepili. No laila, inā he DE i kāu hui, e kamaʻilio wale me kēia poʻe, e aʻo ʻoe i nā mea hou (e pili ana iā ʻoe iho).
A ʻo ka hope, ka hoʻolaha. No ka paʻakikī o ka loaʻa ʻana o nā hui ma kā mākou kumuhana i ka lā, ua hoʻoholo mākou e hana i kā mākou iho. No ke aha mākou i hewa ai? Laki ka mea kupaianaha a me ko makou mau hoa mai , ka mea, e like me mākou, ke manaʻo nei ua hoʻonele pono ʻia nā ʻenekini data i ka nānā ʻana.
Ke lawe nei au i kēia manawa, kono aku au i ka poʻe a pau e makemake e hele mai i kā mākou hui kaiaulu mua me ka inoa hoʻohiki "DE or DIE", e hana ʻia ma Pepeluali 27.02.2020, XNUMX ma ke keʻena ʻo Dodo Pizza. Nā kikoʻī ma .
Inā loaʻa kekahi mea, aia wau ma laila, hiki iā ʻoe ke haʻi mai iaʻu i koʻu alo i koʻu hewa e pili ana i nā mea hoʻomohala.
Source: www.habr.com