Salama, Habr! Ao amin'ny Dodo Pizza Engineering, tianay ny data (ary iza no tsy tia an'izany amin'izao andro izao?). Amin'izao fotoana izao dia hisy tantara momba ny fomba hanangonana ny angon-drakitra rehetra ao amin'ny tontolon'ny Dodo Pizza ary hanomezana fahafaham-po ny mpiasan'ny orinasa amin'ny fidirana amin'ny angon-drakitra. Ny asa eo ambanin'ny asterisk: mitazona ny tebiteby amin'ny ekipan'ny Data Engineering.
Tahaka ny tena Plyushkins, manangona karazana fampahalalana rehetra momba ny asan'ny pizzeria izahay:
- tadidio ny baikon'ny mpampiasa rehetra;
- fantatray hoe hafiriana no nanaovana ny pizza voalohany tao Syktyvkar;
- hitantsika hoe hafiriana ny pizza vao mangatsiatsiaka amin'ny talantalana fanafanana ao Voronezh amin'izao fotoana izao;
- Mitahiry angona momba ny fanafoanana ny vokatra izahay;
- sy ny maro hafa.
Ekipa maromaro izao no tompon'andraikitra amin'ny fiaraha-miasa amin'ny angona ao amin'ny Dodo Pizza, iray amin'izy ireo ny ekipa Data Engineering. Ankehitriny izy ireo (izany hoe isika) dia miatrika ny asa hanome fahafaham-po ho an'ny mpiasa ao amin'ny orinasa ny fidirana amin'ny angon-drakitra.
Rehefa nanomboka nieritreritra ny fomba hanaovana izany izahay ary nanomboka niresaka momba ny olana, dia nahita fomba iray tena mahaliana momba ny fitantanana angona - (araho ny rohy dia hahita lahatsoratra goavana sy mahatahotra ianao). Mifanaraka tsara amin'ny hevitsika momba ny fomba tiantsika hananganana ny rafitray ny heviny. Ao amin'ny lahatsoratra dia hojerentsika indray ny fomba fiasa sy ny fomba fijerintsika ny fampiharana azy amin'ny Dodo Pizza Engineering.
Inona no atao hoe "data"
Voalohany, andeha hofaritana ny dikan'ny angona ao amin'ny Dodo Pizza Engineering:
- Hetsika nalefan'ny serivisy (manana fiara fitateram-bahoaka mahazatra izahay amin'ny fampiasana RabbitMQ);
- Firaketana ao anatin'ny angon-drakitra (ho anay MySQL sy CosmosDB ity);
- Clickstream avy amin'ny fampiharana finday sy tranonkala.
Mba ahafahan'ny orinasa Dodo Pizza mampiasa sy miantehitra amin'ity angona ity dia zava-dehibe ny mahafeno ireto fepetra manaraka ireto:
- Tsy maintsy feno izy ireo. Tsy maintsy mahazo antoka isika fa tsy manova ny angon-drakitra mandritra ny fikarakarana azy, voatahiry ary aseho. Raha tsy mahatoky ny angonay ny orinasa dia tsy hisy dikany izany.
- Tsy maintsy manana mari-pamantarana izy ireo ary tsy hosoratana. Midika izany fa amin'ny fotoana rehetra dia tiantsika ny ho afaka hiverina sy hijery ny angona avy amin'io vanim-potoana io. Ohatra, fantaro hoe firy ny pizza namidy tamin'ny 8 Jolay 2018.
- Tsy maintsy azo ianteherana izy ireo. Ao amin'ny dingan'ny fanangonana sy fitehirizana angon-drakitra, tsy tokony ho very ny fahamendrehana, fa koa ny fahamendrehana. Tsy afaka very angon-drakitra, fotoana fohy, satria miaraka amin'izy ireo dia very ny fitokisan'ny mpanjifanay (na ivelany na anatiny).
- Tsy maintsy miaraka amin'ny circuit stable izy ireo - manoratra fangatahana an'io data io izahay. Tena tsy tianay ny hiova be loatra amin'ny fanovana ny kaody fampiharana, miaraka amin'ny refactorings, hany ka tsy miasa intsony ny fanontanianay. Ny olona manoratra ny fanontaniana dia tsy ho fantatr'izy ireo mihitsy fa nanao refactoring ianao mandra-pahatapitry ny zava-drehetra. Tsy te handre izany amin'ny mpanjifa aho.
Raha jerena ireo fepetra rehetra ireo dia tonga tamin'ny fanatsoahan-kevitra izahay fa ny angon-drakitra ao amin'ny Dodo dia vokatra. Mitovy amin'ny API ho an'ny daholobe amin'ny serivisy. Araka izany, ny ekipa tompon'ny serivisy ihany no tokony hanana ny angon-drakitra. Ary koa, ny fiovana amin'ny schema data dia tsy maintsy mifanaraka amin'ny aoriana foana.
Fomba nentim-paharazana - Farihy Data
Mba hamahana ny olan'ny fitahirizana azo antoka sy ny fanodinana angon-drakitra lehibe, dia misy fomba nentim-paharazana ampiasaina amin'ny orinasa maro izay miasa amin'ny dobo fampahalalana toy izany - Data Lake. Ao anatin'ity fomba fiasa ity, ny injeniera data dia manangona vaovao avy amin'ny singa rehetra ao amin'ny rafitra ary mametraka azy ireo ao anaty tahiry lehibe iray (mety ho, ohatra, Hadoop, Azure Kusto, Apache Cassandra, na replica MySQL mihitsy aza, raha mifanaraka amin'ny data ny data. azy).
Avy eo ireo injeniera ireo ihany no manoratra fangatahana amin'ny fitahirizana toy izany. Ny fampiharana an'io fomba fiasa io ao amin'ny Dodo Pizza Engineering dia midika fa ny ekipan'ny Data Engineering dia hanana ny schema data ao amin'ny trano fanatobiana fanadihadiana.
Amin'ity tranga ity, lasa saka tena mampalahelo ny ekipa ary izao no antony:
- Tsy maintsy manara-maso ny fiovana ao izy rEHETRA serivisy ao anatin'ny orinasa. Ary be dia be amin'izy ireo ary be dia be ny fiovana (amin'ny ankapobeny dia manambatra ~ 100 fangatahana fisarihana isan-kerinandro, raha maro ny serivisy tsy manao fangatahana misintona mihitsy).
- Rehefa manova ny angona angona, ny tompon'ny vokatra sy ny ekipa manova ny angona angona dia tsy maintsy miandry ny Data Engineering hanampy ny kaody ilaina hanohanana ny fanovana. Etsy andanin'izany, efa ela be izahay no manana endri-javatra ary tsy dia fahita firy ny toe-javatra miandry ny ekipa iray. Ary tsy tianay ho lasa ampahany "ara-dalàna" amin'ny dingana fampandrosoana izany.
- Tsy maintsy atsoboka ao manontolo orinasa orinasa. Ny rojo pizzeria dia toa orinasa tsotra, saingy toa izany ihany. Sarotra be ny manangona fahaiza-manao ampy amin'ny ekipa iray hananganana modely angon-drakitra sahaza ho an'ny orinasa iray manontolo.
- Teboka tokana tsy fahombiazana izany. Isaky ny mila manova ny angona naverin'ny serivisy ianao na manoratra fangatahana, ireo asa rehetra ireo dia mianjera amin'ny ekipa Data Engineering. Vokatr'izany, manana backlog be loatra ny ekipa.
Hita fa eo amin’ny fihaonan’ny filana maro be ny ekipa ary azo inoana fa tsy ho afaka hanome fahafaham-po azy ireo. Amin'izay fotoana izay ihany koa dia ho eo ambany fanerena sy adin-tsaina tsy tapaka ianao. Tena tsy mila izany izahay. Noho izany, tsy maintsy mieritreritra ny fomba hamahana ireo olana ireo isika ary afaka mamakafaka ny angon-drakitra.
Mifindra avy amin'ny Lake Data mankany Data Mesh
Soa ihany fa tsy izahay irery no nametraka io fanontaniana io. Raha ny marina dia efa voavaha ny olana mitovy amin'izany ao amin'ny indostria (haleloia!). Any amin'ny faritra hafa fotsiny: fametrahana fampiharana. Eny, miresaka momba ny fomba fiasa DevOps aho, izay amaritan'ny ekipa ny fomba fametrahana ny vokatra noforoniny.
Fomba iray mitovy amin'izany amin'ny famahana ny olan'ny Data Lake no natolotr'i Zhamak Dehghani, mpanolo-tsaina ThoughtWorks. Nijery ny fomba namaha olana mitovy amin'izany i Netflix sy Spotify, nanoratra lahatsoratra mahagaga izy (eo am-piandohan'ny lahatsoratra ny rohy mankany aminy). Ny hevi-dehibe nesorinay tamin'izany:
- Zarao ho sehatra angon-drakitra ny Lake Data lehibe iray, izay tena mitovy amin'ny sehatra famolavolana entin'ny sehatra. Ny sehatra tsirairay dia contexte kely voafetra.
- Ekipa endri-javatra, izay tompon'andraikitra amin'ny sehatra DDD, dia tompon'andraikitra amin'ny sehatra data mifandraika amin'izany. Mitahiry ny tetika izy ireo, manao fanovana amin'izany ary mampiditra angona ao anatiny. Mandritra izany fotoana izany, izy ireo ihany no mahalala ny zava-drehetra: ny fomba hanovana ny angon-drakitra entana ary tsy handrava na inona na inona rehefa miova ny fampiharana. Tsy miala ny fahalalana. Tsy mila mandeha na aiza na aiza izy ireo hanokatra ny angona. Ny ekipa mihitsy no mitarika ny tsingerin'ny fampandrosoana feno manomboka amin'ny fanovana angon-drakitra miasa ho amin'ny fanomezana angona analytique ho an'ny antoko fahatelo. Ny ekipa iray dia manana ny zava-drehetra mifandray amin'ny sehatra (na ny sehatry ny orinasa na ny sehatra data).
- Data Engineer - anjara ao anatin'ny Ekipa Feature. Tsy voatery ho olon-tokana izany, fa tsy maintsy manana izany fahaiza-manao izany ny ekipa.
Nandritra izany, ny ekipan'ny Data Engineering...
Raha eritreretinao fa tanteraka amin'ny alalan'ny rantsan-tananao izany rehetra izany, dia tsy maintsy mamaly fanontaniana roa ihany ianao:
Inona no hataon'ny ekipan'ny Data Engineering ankehitriny? Efa manana sehatra/Ekipa SRE ny Dodo Pizza Engineering. Ny tanjon'izy ireo dia ny hanome fitaovana ho an'ny mpamorona ny fametrahana mora foana ny serivisy. Ny ekipan'ny Data Engineering dia hanao ny anjara asa mitovy amin'ny angona ihany.
Ny famadihana angon-drakitra miasa ho angona analitika dia dingana sarotra. Mbola sarotra kokoa ny fanaovana angon-drakitra analytique ho an'ny orinasa iray manontolo. Ireo olana ireo no hatrehin'ny ekipan'ny Data Engineering.
Hanome fitaovana sy fanao mety ho an'ny Ekipa Feature izahay mba hahafahan'izy ireo mamoaka angona avy amin'ny serivisiny mankany amin'ny orinasa sisa. Izahay koa dia ho tompon'andraikitra amin'ny fotodrafitrasa ankapobeny amin'ny fantsona data (fitsipika, fitehirizana azo itokisana, cluster amin'ny fanaovana fanovana amin'ny data).
Ahoana no hisehoan'ny fahaizan'ny Injeniera Data ao anatin'ny Ekipa Feature? Miaraka amin'ny Ekipa Feature dia sarotra kokoa. Mazava ho azy fa afaka manandrana manakarama Injeniera Data iray ho an'ny ekipantsika tsirairay isika. Saingy sarotra be izany. Sarotra ny mitady olona manana traikefa momba ny siansa momba ny angona sy mandresy lahatra azy hiasa ao anatin'ny ekipan'ny vokatra.
Ny tombony lehibe amin'ny Dodo dia ny fitiavanay ny fiofanana anatiny. Ka izao ny drafitray dia izao: manomboka mamoaka angona avy amin'ny serivisy sasany ny ekipan'ny Data Engineering, mitomany, manindrona ny tenany, fa manohy mihinana cactus. Rehefa fantatray fa manana dingana famoaham-boky, dia manomboka mampita izany amin'ny Ekipa Feature.
Manana fomba maromaro hanaovana izany izahay:
- , izay hitondranay anao amin'ny endriky ny dingana noforoninay, ny fitaovana misy ary ny fomba ampiasana azy ireo amin'ny fomba mahomby indrindra.
- Ny fitenenana ao amin'ny DevForum dia hanampy antsika hanangona hevitra avy amin'ny mpamorona vokatra. Aorian'izany dia afaka miditra amin'ny ekipan'ny vokatra isika ary manampy azy ireo hamaha olana amin'ny famoahana angon-drakitra, ary handamina fiofanana ho an'ny ekipa.
Fanjifana angona
Efa niresaka betsaka momba ny famoahana angona aho izao. Fa misy koa ny fanjifana. Ahoana ny momba ity olana ity?
Manana ekipa BI mahagaga izahay izay manoratra tatitra tena sarotra ho an'ny orinasa mpitantana. Ao anatin'ny Dodo IS dia misy tatitra maro ho an'ireo mpiara-miombon'antoka manampy azy ireo hitantana ny pizzeriany. Ao amin'ny maodely vaovao, mihevitra azy ireo ho mpanjifa data manana ny sahan'ny angon-dry zareo manokana izahay. Ary ny mpanjifa no ho tompon'andraikitra amin'ny sehatra misy azy. Indraindray ny sehatry ny mpanjifa dia azo faritana amin'ny fanontaniana iray mankany amin'ny trano fanatobiana fanadihadiana - ary tsara izany. Saingy takatsika fa tsy hahomby foana izany. Izany no antony irinay ny sehatra izay hoforoninay ho an'ny ekipan'ny vokatra mba ho azon'ny mpanjifa angon-drakitra ihany koa (raha ny marina, raha ny tatitra ao amin'ny Dodo IS dia ekipa iray ihany ireo).
Toy izao no fahitantsika miasa miaraka amin'ny angona ao amin'ny Dodo Pizza Engineering. Ho faly izahay hamaky ny hevitrao momba ity raharaha ity ao amin'ny fanehoan-kevitra.
Source: www.habr.com
