Дар ибтидои моҳи декабр ман хатои марговар содир кардам ва дар ҳаёти худ ҳамчун як таҳиягар нуқтаи гардиш кардам ва ба дастаи Data Engineering (DE) дар дохили ширкат гузаштам. Дар ин мақола ман баъзе мушоҳидаҳоеро нақл мекунам, ки дар давоми ду моҳи кор дар гурӯҳи DE кардаам.
Чаро муҳандисии маълумот?
Сафари ман ба DE дар тобистони соли 2019 оғоз ёфт, вақте ки мо биёед ба , ва дар он ҷо ман ба маърифат ноил шудам. Ман ба мавзӯъ, омӯзиши алгоритмҳо ва ҳатто дар бораи онҳо шавқ пайдо кардам , ва он гоҳ дар бораи доираи татбиқ фикр ва зуд фаҳмид, ки татбиқи амалӣ дар ширкати мо пойгоҳи додаҳо тақсим карда мешавад.
Дастаи мо маҳз чӣ кор мекунад? Мо, мисли ҳама писарон ва духтарони мӯд, мехоҳем ширкати Data Driven гардем. Ва барои он ки ин имконпазир гардад, мо бояд ҳадди аққал як анбори боэътимод созем, ки онро барои сохтани ҳама гуна гузоришҳои ба ширкат ниёздошта истифода бурдан мумкин аст. Аммо аз ҳама муҳим он аст, ки маълумот дар ин анбор бояд эътимод дошта бошад. Гузашта аз ин, бо истифода аз ин маълумот, шумо бояд қодир ба барқарор кардани ҳолати система дар вақти t. Ҳамаи ин бо он душвор аст, ки мо дар ҷаҳони нави ҷасуронаи хидматрасонии микросервисҳо зиндагӣ мекунем ва ин идеология маънои онро дорад, ки ҳар як хидмат функсияи хурди худро амалӣ мекунад, базаи он кори шахсии худ аст ва онро ҳадди аққал ҳар рӯз нест карда метавонад, аммо дар дар айни замон мо бояд долати хадамотро кабул ва коркард кунем.
Агар шумо хоҳед, ки ба маълумот асосёфта бошед, аввал ба рӯйдодҳо равона шавед
На он қадар оддӣ. Ҳодисаҳо гуногунанд ва таҳиякунанда ва муҳандиси маълумот ба онҳо ба таври гуногун менигаранд. Сӯҳбат дар бораи рӯйдодҳо як мавзӯи мақолаи алоҳида аст, бинобар ин ман дар ин ҷо ба он намеравам. Илова бар ин, чунин мақола аллакай дорад Мартин Фаулер, ман дастовардҳои ӯро намегирам, бигзор вай низ машҳур шавад.
Умуман, дар ин бора бисьёр фикр кардан лозим аст ва аз хамин сабаб ин мавзеъ дилкаш аст. Ҳамин тавр мешавад, ки дар ширкати мо, муҳандиси маълумот на танҳо шахсе, ки қубурҳои ETL/ELT менависад (агар шумо намедонед, ки ин ихтисорот чӣ маъно дорад, як соҳаи васеътари масъулият аст) . Ҳамчун таблиғоти контекстӣ).
Албатта, мо бо меъмории нигоҳдорӣ, моделсозии додаҳо, масъалаҳои марбут ба амнияти додаҳо ва худи қубурҳо сарукор дорем. Мо инчунин бояд боварӣ ҳосил кунем, ки аз як тараф, ҳузури мо барои таҳиягарони маҳсулот чандон гарон нест ва онҳо бояд ҳангоми буридани хусусиятҳои нав ба система ҳарчи камтар аз талаботи мо парешон шаванд ва аз тарафи дигар, мо лозим аст, ки онҳоро барои таҳлилгарон ва дастаи BI ба таври қулай дар нигоҳдории маълумот пешниҳод кунад. Мо ҳамин тавр зиндагӣ мекунем.
Мушкилот ҳангоми гузариш аз рушд
Дар рӯзи аввали кор ман бо як қатор душвориҳо дучор шудам, ки мехоҳам бо шумо нақл кунам.
1. Аввалин чизе, ки ман дидам, набудани тулинг ва баъзе амалияҳо буд. Масалан, фарогирии кодро бо тестҳо гиред. Мо садҳо чаҳорчӯбаи санҷиширо дар ҳоли таҳия дорем. Ҳангоми кор бо маълумот ҳама чиз мураккабтар аст. Бале, мо метавонем қубурҳои ETL-ро дар маълумоти санҷиш санҷем, аммо мо бояд ҳамаашро дастӣ иҷро кунем ва барои ҳар як ҳолати мушаххас ҳалли худро ҷӯем. Дар натиҷа, фарогирии санҷиш хеле бадтар аст. Хушбахтона, як қабати дигари фикру мулоҳизаҳо дар шакли мониторинг ва сабтҳо вуҷуд дорад, аммо ин аллакай аз мо талаб мекунад, ки реаксия кунем, на пешгирикунанда, ки хашмгин ва асабонӣ аст.
2. Дунё аз нуқтаи назари DE умуман он чизест, ки барои як таҳиягари маҳсулоти оддӣ ба назар мерасад (хуб, албатта, хонанда чунин нест ва ӯ аллакай ҳама чизро медонад, аммо ман намедонистам ва ҳоло ман вайрон кардани он). Ҳамчун таҳиякунанда, ман хидматрасонии хурди шахсии худро эҷод мекунам, маълумотро дар [базаи маълумоти интихобкардаи шумо] ҷойгир кунед, ҳолати худро дар он ҷо захира кунед, аз рӯи ID чизе ба даст оред ва ин хуб аст. Хизмат суст аст, фармоишҳо печидаанд, ҳамааш. Онҳо аз ман хоҳиш мекунанд, ки ҳолати худро дар хидмати дигар ҷустуҷӯ кунам, аз ин рӯ ман як воқеаро ба RabbitMQ мегузорам ва ҳамин тавр. Ва дар ин ҷо боз ба масъалаи воқеаҳои дар боло тавсифшуда баргаштем.
Он чизе ки хадамот барои кори оперативӣ ниёз дорад, барои маълумоти таърихӣ ба мо мувофиқат намекунад, аз ин рӯ масъалаи аз нав кор кардани шартномаҳои хидматрасонӣ ва кори зич бо гурӯҳҳои рушд оғоз меёбад. Шумо ҳатто тасаввур карда наметавонед, ки барои розӣ шудан чанд соат лозим шуд: ӯ дар ширкати мо чӣ гуна рӯйдод аст.
3. Бо сари худ фикр кардан лозим аст. Не, ман дар назар надорам, ки таҳиягарон фикр намекунанд (гарчанде ки ман барои ҳама сухан гӯям), ин танҳо он аст, ки дар таҳияи маҳсулот шумо аллакай як намуди меъморӣ доред ва шумо омехтаҳои гуногунро аз ақибмонда буридаед. Албатта, ин банақшагирӣ ва андешаро талаб мекунад, аммо ин кори ҷараён аст, ки дар он мушкили асосӣ танҳо хуб ва самаранок анҷом додани он аст.
Барои мо ин чандон осон нест, зеро интиқоли ҷузъҳои гуногуни система аз як монолити гарм ва бароҳат ба ҷаҳони ҷангали ваҳшии микросервис он қадар осон нест. Вақте ки хидмат ба паҳн кардани рӯйдодҳо оғоз мекунад, шумо бояд мантиқи пур кардани анборро аз нав дида бароед, зеро маълумот ҳоло дигар ба назар мерасад. Дар ин ҷо шумо бояд бисёр ва амиқ фикр кунед, на ҳамчун таҳиякунанда, балки ҳамчун муҳандиси маълумот. Ин як ҳикояи муқаррарӣ аст, вақте ки шумо рӯзҳоро бо дафтару қалам ё бо маркер дар тахта мегузаронед. Ин хеле душвор аст, ман фикр карданро дӯст намедорам, ман ҳам истеҳсолотро дӯст медорам.
4. Шояд аз ҳама муҳим ин маълумот бошад. Вақте ки мо дониш намерасем, мо чӣ кор мекунем? Кӣ гуфт, ки stackoverflow? Ин шахсро аз ҳуҷра берун кунед. Мо меравем, ки ҳуҷҷатҳо, китобҳо дар ин мавзӯъ мехонанд ва инчунин ҷомеае ҳаст, ки форумҳо, вохӯриҳо ва конфронсҳо ташкил мекунад. Ҳуҷҷатҳо бузург аст, аммо мутаассифона, он метавонад нопурра бошад. Мо Cosmos DB-ро дар як қатор лоиҳаҳо истифода мебарем. Муваффақият дар хондани ҳуҷҷатҳои ин маҳсулот. Китобҳо ягона наҷот ҳастанд, хушбахтона, онҳо вуҷуд доранд ва ёфтан мумкин аст, онҳо дорои донишҳои зиёди бунёдӣ мебошанд ва шумо бояд бисёр ва пайваста хонед. Аммо мушкилот дар ҷомеа аст.
Ҳоло дар минтақаи мо ақаллан як конфронси мувофиқ ё вохӯрӣ пайдо кардан душвор аст. Не, албатта, вохӯриҳои зиёде бо калимаи Data вуҷуд доранд, аммо дар паҳлӯи ин калима одатан ихтисораҳои аҷибе ба монанди ML ё AI мавҷуданд. Пас, ин барои мо нест, мо дар бораи чӣ гуна сохтани анборҳо гап мезанем, на ин ки чӣ тавр худро бо нейронҳо бӯй кунем. Ин хипстерҳо ҳама чизро гирифтаанд. Натичаи хамин аст, ки мо бе чамъиятем. Дар омади гап, агар шумо муҳандиси маълумот бошед ва ҷомеаҳои хубро медонед, лутфан дар шарҳҳо нависед.
Хулоса ва эълони вохӯрӣ
Мо бо чӣ анҷом медиҳем? Таҷрибаи аввалини ман ба ман мегӯяд, ки эҳсос дар пойафзоли муҳандиси маълумот барои ҳар як таҳиягар муфид хоҳад буд. Он танҳо ба мо имкон медиҳад, ки ба чизҳои дигар нигоҳ кунем ва вақте мебинем, ки таҳиягарон ба маълумоти онҳо чӣ гуна муносибат мекунанд, чашмони мо хунрез мешаванд, ҳайрон нашавем. Ҳамин тавр, агар дар ширкати шумо DE мавҷуд бошад, танҳо бо ин бачаҳо сӯҳбат кунед, шумо бисёр чизҳои навро меомӯзед (дар бораи худ).
Ва ниҳоят, эълон. Азбаски дар давоми рӯз дар мавзӯи мо вохӯриҳо ёфтан душвор аст, мо тасмим гирифтем, ки худамонро созем. Чаро мо бадтарем? Хушбахтона мо як аҷиб дорем ва дустони мо аз , ки мисли мо чунин мешуморанд, ки муҳандисони маълумот аз таваҷҷӯҳ беадолатона маҳруманд.
Бо истифода аз фурсат, ман ҳамаеро, ки ғамхорӣ мекунанд, даъват мекунам, ки ба аввалин вохӯрии ҷомеаи мо бо унвони умедбахши "DE or DIE", ки 27.02.2020 феврали соли XNUMX дар офиси Dodo Pizza баргузор мешавад, биёянд. Тафсилот дар .
Агар чизе рӯй диҳад, ман дар он ҷо хоҳам буд, шумо метавонед шахсан ба ман бигӯед, ки ман дар бораи таҳиягарон чӣ гуна хато мекунам.
Манбаъ: will.com