Салом ба ҳама, номи ман Александр ва ман муҳандиси сифати маълумот ҳастам, ки маълумотро барои сифати он тафтиш мекунад. Ин мақола дар бораи он, ки ман ба ин чӣ гуна расидам ва чаро дар соли 2020 ин соҳаи озмоиш дар болои мавҷ қарор дошт.
Тамоюли ҷаҳонӣ
Ҷаҳони имрӯза боз як инқилоби технологиро аз сар мегузаронад, ки яке аз ҷанбаҳои он истифодаи маълумоти ҷамъшуда аз ҷониби ҳама намуди ширкатҳо барои пешбурди чархи худи фурӯш, фоида ва PR мебошад. Чунин ба назар мерасад, ки мавҷудияти маълумоти хуб (сифат) ва инчунин мағзи моҳир, ки метавонанд аз он пул кор кунанд (дуруст коркард, визуализатсия, сохтани моделҳои омӯзиши мошин ва ғайра) барои бисёриҳо калиди муваффақияти имрӯза шудаанд. Агар 15-20 сол пеш ширкатҳои бузург асосан ба кори пуршиддат бо ҷамъоварӣ ва монетизатсияи маълумот машғул бошанд, имрӯз ин насиби қариб ҳамаи одамони солимфикр аст.
Дар робита ба ин, чанд сол пеш, тамоми порталҳои ба ҷустуҷӯи кор бахшидашуда дар саросари ҷаҳон бо ҷойҳои холӣ барои маълумотшиносон пур карда шуданд, зеро ҳама боварӣ доштанд, ки бо киро кардани чунин мутахассис, супермодели омӯзиши мошинсозӣ сохтан мумкин аст. , ояндаро пешгӯӣ кунед ва барои ширкат "ҷаҳидаи квантӣ" анҷом диҳед. Бо гузашти вақт, одамон фаҳмиданд, ки ин усул қариб ҳеҷ гоҳ дар ягон ҷо кор намекунад, зеро на ҳама маълумоте, ки ба дасти чунин мутахассисон меафтад, барои моделҳои таълим мувофиқ аст.
Ва дархостҳои олимони маълумот оғоз ёфтанд: "Биёед аз инҳо ва онон маълумоти бештар харем...", "Мо маълумоти кофӣ надорем...", "Ба мо маълумоти бештар лозим аст, беҳтараш маълумоти олӣ..." . Дар асоси ин дархостҳо, байни ширкатҳое, ки ин ё он маҷмӯи маълумот доранд, робитаҳои сершумор ба роҳ монда шуданд. Табиист, ки ин ташкили техникии ин равандро талаб мекард - пайвастшавӣ ба манбаи маълумот, зеркашӣ кардани он, тафтиши пурра бор карда шудани он ва ғайра. Шумораи ин гуна равандҳо афзоиш ёфтанд ва имрӯз мо ба як намуди дигар ниёз дорем. мутахассисон - Муҳандисони Сифати маълумот - онҳое, ки ҷараёни маълумот дар система (қубурҳои маълумот), сифати маълумотро дар воридот ва баромад назорат мекунанд ва дар бораи кифоя, якпорчагӣ ва дигар хусусиятҳои онҳо хулоса мебароранд.
Тамоюли муҳандисони сифати маълумот ба мо аз ИМА омад, ки дар он ҷо дар байни даврони шадиди капитализм ҳеҷ кас омода нест, ки дар мубориза барои маълумот мағлуб шавад. Дар зер ман скриншотҳоро аз ду сайти машҳуртарини ҷустуҷӯи кор дар ИМА пешниҳод кардам: и — ки маълумотро то 17 марти соли 2020 дар бораи шумораи ҷойҳои холии ҷойгиршуда бо калимаҳои калидӣ нишон медиҳад: Сифати маълумот ва Олими маълумот.
Мутахассисони маълумот – 21416 ҷойи холӣ
Сифати маълумот – 41104 ҷойи холӣ
Олимони маълумот – 404 ҷойи холӣ
Сифати маълумот - ҷойҳои холии 2020
Равшан аст, ки ин касбҳо ба ҳеҷ ваҷҳ бо ҳамдигар рақобат намекунанд. Бо скриншотҳо, ман танҳо мехостам вазъияти кунунии бозори меҳнатро дар робита ба дархостҳо барои муҳандисони сифати маълумот нишон диҳам, ки ҳоло нисбат ба маълумотшиносон бештар ниёз доранд.
Дар моҳи июни соли 2019, EPAM, ки ба ниёзҳои бозори муосири IT вокуниш нишон дода, сифати маълумотро ба як таҷрибаи алоҳида ҷудо кард. Муҳандисони сифати маълумот дар ҷараёни кори ҳаррӯзаи худ маълумотро идора мекунанд, рафтори онро дар шароит ва системаҳои нав месанҷанд, мувофиқати додаҳо, кифоя ва мувофиқ будани онро назорат мекунанд. Бо ҳамаи ин, ба маънои амалӣ, муҳандисони сифати маълумот воқеан вақти камро ба озмоиши функсионалии классикӣ сарф мекунанд, Бут ин хеле аз лоиҳа вобаста аст (ман дар зер мисол меорам).
Масъулиятҳои муҳандиси сифати додаҳо на танҳо бо санҷиши муқаррарии дастӣ/автоматии "нулҳо, ҳисобҳо ва маблағҳо" дар ҷадвалҳои пойгоҳи додаҳо маҳдуд нестанд, балки фаҳмиши амиқи эҳтиёҷоти тиҷории муштарӣ ва мувофиқан қобилияти табдил додани маълумоти мавҷударо талаб мекунанд. маълумоти муфид оид ба тиҷорат.
Назарияи сифати маълумот
Барои пурратар тасаввур кардани нақши чунин муҳандис, биёед бифаҳмем, ки сифати маълумот дар назария чист.
Сифати маълумот — яке аз марҳилаҳои идоракунии додаҳо (тамоми ҷаҳоне, ки мо барои шумо мустақилона таҳсил мекунем) ва барои таҳлили маълумот мувофиқи меъёрҳои зерин масъул аст:
Ман фикр мекунам, ки барои кушодани ҳар як нукта лозим нест (дар назария онҳоро "ченакҳои маълумот" меноманд), онҳо дар расм хеле хуб тасвир шудаанд. Аммо худи раванди санҷиш маънои ба таври қатъӣ нусхабардории ин хусусиятҳо ба ҳолатҳои санҷишӣ ва тафтиши онҳоро надорад. Дар сифати маълумот, ба мисли ҳама гуна дигар санҷишҳо, пеш аз ҳама, бояд ба талаботи сифати маълумот мувофиқашуда бо иштирокчиёни лоиҳа, ки қарорҳои тиҷоратӣ қабул мекунанд, асоснок карда шавад.
Вобаста аз лоиҳаи Сифати маълумот, муҳандис метавонад вазифаҳои гуногунро иҷро кунад: аз озмоишгари оддии автоматизатсия бо арзёбии сатҳии сифати маълумот то шахсе, ки профили амиқи маълумотро мувофиқи меъёрҳои дар боло зикршуда анҷом медиҳад.
Тавсифи хеле муфассали Идоракунии маълумот, Сифати маълумот ва равандҳои марбут ба он дар китоби номидашуда хуб тавсиф шудааст "DAMA-DMBOK: Ҳайати идоракунии маълумот: Нашри 2". Ман ин китобро ҳамчун муқаддима ба ин мавзӯъ тавсия медиҳам (шумо дар охири мақола истиноди онро хоҳед ёфт).
Ҳикояи ман
Дар саноати IT, ман аз озмоишгари ҷавон дар ширкатҳои маҳсулот то муҳандиси пешбари сифати маълумот дар EPAM кор кардам. Пас аз тақрибан ду соли кор ба ҳайси озмоишгар, ман боварӣ ҳосил кардам, ки ман комилан ҳама намуди санҷишҳоро анҷом додаам: регрессия, функсионалӣ, стресс, устуворӣ, амният, UI ва ғайра - ва шумораи зиёди асбобҳои санҷиширо санҷида, дар як вақт бо се забони барномасозӣ кор кардааст: Java, Scala, Python.
Ба қафо нигариста, ман мефаҳмам, ки чаро маҷмӯи маҳорати ман ин қадар гуногунранг буд - ман дар лоиҳаҳои ба маълумот асосёфта, калон ва хурд ҷалб шудам. Ин чизест, ки маро ба ҷаҳони асбобҳо ва имкониятҳои зиёд барои рушд овард.
Барои қадр кардани асбобҳо ва имкониятҳои гуногуни ба даст овардани дониш ва малакаҳои нав, танҳо ба расми зер нигаред, ки маъмултарин дар ҷаҳони "Data & AI" нишон дода шудааст.
Ин гуна тасвир ҳамасола аз ҷониби яке аз сармоядорони маъруфи венчурӣ Мэтт Турк, ки аз таҳияи нармафзор бармеояд, тартиб дода мешавад. Ин ҷо ба блоги худ ва , ки дар он чо шарик шуда кор мекунад.
Ман ба таври касбӣ хеле зуд рушд кардам, вақте ки ман ягона озмоишгари лоиҳа будам ё ҳадди аққал дар оғози лоиҳа. Маҳз дар чунин лаҳза аст, ки шумо бояд барои тамоми раванди санҷиш масъул бошед ва шумо имкони ақибнишиниро надоред, танҳо ба пеш. Дар аввал ин даҳшатнок буд, аммо ҳоло ҳама бартариҳои чунин санҷиш барои ман равшананд:
- Шумо бо тамоми даста мисли пештара муошират карданро оғоз мекунед, зеро прокси барои иртибот вуҷуд надорад: на менеҷери санҷиш ва на ҳамтоёни озмоишгарон.
- Гирифтан ба лоиҳа бениҳоят амиқ мегардад ва шумо дар бораи ҳама ҷузъҳо, ҳам дар маҷмӯъ ва ҳам муфассал маълумот доред.
- Таҳиягарон ба шумо на ҳамчун "он бачае аз озмоиш, ки чӣ кор карданашро намедонад", балки ҳамчун як шахсе, ки бо санҷишҳои автоматии худ ва интизории хатогиҳо дар як ҷузъи мушаххаси худ ба даста фоидаи бебаҳо меорад, назар мекунанд. маҳсулот.
- Дар натиҷа, шумо бештар самараноктар, соҳибихтисостар ва талабот бештар ҳастед.
Бо афзоиши лоиҳа, дар 100% ҳолатҳо ман мураббии озмоишгарони нав шудам, ба онҳо таълим медодам ва донишҳоеро, ки худам омӯхтам, интиқол медиҳам. Ҳамзамон, вобаста ба лоиҳа, ман на ҳама вақт сатҳи баландтарини мутахассисони санҷиши автомобилро аз роҳбарият қабул мекардам ва зарурати омӯзонидани онҳо ба автоматизатсия (барои шахсони манфиатдор) ё асбобҳо барои истифода дар фаъолияти ҳаррӯза (асбобҳо) вуҷуд дошт. барои тавлиди маълумот ва бор кардани он ба система , асбоб барои анҷом додани санҷиши сарборӣ/санҷиши устувории “зуд” ва ғ.).
Намунаи лоиҳаи мушаххас
Мутаассифона, аз сабаби ӯҳдадориҳои ифшо накардан, ман наметавонам дар бораи лоиҳаҳое, ки дар онҳо кор кардаам, муфассал сӯҳбат кунам, аммо ман мисолҳои вазифаҳои маъмулии муҳандиси сифати маълумотро дар яке аз лоиҳаҳо хоҳам овард.
Моҳияти лоиҳа татбиқи платформаи омода кардани маълумот барои омӯзиши моделҳои омӯзиши мошинсозӣ дар асоси он мебошад. Фармоишгар як ширкати бузурги фармасевтӣ аз ИМА буд. Аз ҷиҳати техникӣ он як кластер буд , баланд шудан ба мисолҳо, бо якчанд хидматрасонии хурд ва лоиҳаи асосии кушодаасос EPAM - , ба эҳтиёҷоти муштарии мушаххас мутобиқ карда шудааст (ҳоло лоиҳа аз нав таваллуд шудааст ). Бо истифода аз равандҳои ETL ташкил карда шуданд ва маълумот аз системаҳои муштариён дар Сатилҳо. Баъдан, тасвири Docker модели омӯзиши мошин дар платформа ҷойгир карда шуд, ки дар бораи маълумоти тоза омӯхта шуда буд ва бо истифода аз интерфейси REST API пешгӯиҳоеро ба вуҷуд овард, ки барои тиҷорат ҷолиб буданд ва мушкилоти мушаххасро ҳал карданд.
Ба таври визуалӣ, ҳама чиз чунин менамуд:
Дар ин лоиҳа санҷишҳои зиёди функсионалӣ мавҷуд буданд ва бо назардошти суръати рушди хусусиятҳо ва зарурати нигоҳ доштани суръати сикли релизҳо (спринтҳои дуҳафтаина), фавран дар бораи автоматикунонии санҷиши ҷузъҳои муҳимтарини система. Аксари худи платформаи Кубернетес тавассути санҷишҳои автоматӣ фаро гирифта шудаанд + Python, аммо онҳоро дастгирӣ ва васеъ кардан низ лозим буд. Илова бар ин, барои роҳати муштарӣ, GUI барои идоракунии моделҳои омӯзиши мошинии дар кластер ҷойгиршуда ва инчунин қобилияти муайян кардани маълумот барои омӯзиши моделҳо дар куҷо ва дар куҷо интиқол дода мешавад, сохта шудааст. Ин иловаи васеъ ба тавсеаи санҷиши функсионалии автоматӣ оварда расонд, ки он асосан тавассути зангҳои REST API ва шумораи ками санҷишҳои 2-охири UI анҷом дода мешуд. Дар атрофи экватори ин ҳама ҳаракат ба мо як озмоишгари дастӣ ҳамроҳ шуд, ки бо санҷиши қабули версияҳои маҳсулот ва иртибот бо муштарӣ дар бораи қабули нашри навбатӣ кори аъло анҷом дод. Илова бар ин, ба сабаби омадани мутахассиси нав, мо тавонистем кори худро ҳуҷҷатгузорӣ кунем ва якчанд санҷишҳои хеле муҳими дастӣ илова кунем, ки дарҳол автоматӣ кардан душвор буд.
Ва ниҳоят, пас аз он ки мо аз платформа ва иловаи GUI устуворӣ ба даст овардем, мо ба сохтани қубурҳои ETL бо истифода аз Apache Airflow DAGs оғоз кардем. Санҷиши автоматии сифати маълумот тавассути навиштани DAG-ҳои махсуси Airflow, ки маълумотро дар асоси натиҷаҳои раванди ETL тафтиш мекард, анҷом дода шуд. Дар доираи ин лоиҳа, мо хушбахт будем ва муштарӣ ба мо дастрасӣ ба маҷмӯаҳои маълумоти беном, ки мо санҷида будем, дод. Мо сатри маълумотро барои мувофиқат бо намудҳо, мавҷудияти маълумоти шикаста, шумораи умумии сабтҳо пеш ва баъд аз он, муқоисаи тағиротҳои тавассути раванди ETL барои ҷамъоварӣ, тағир додани номи сутунҳо ва чизҳои дигар тафтиш кардем. Илова бар ин, ин чекҳо ба манбаъҳои гуногуни додаҳо, масалан, ба ғайр аз SalesForce, инчунин ба MySQL, миқёс карда шуданд.
Санҷишҳои ниҳоии сифати маълумот аллакай дар сатҳи S3 гузаронида шуда буданд, ки онҳо дар он ҷо нигоҳ дошта мешуданд ва барои омӯзиши моделҳои омӯзиши мошинсозӣ омода буданд. Барои ба даст овардани маълумот аз файли ниҳоии CSV, ки дар Bucket S3 ҷойгир аст ва тасдиқи он, бо истифода аз код навишта шудааст .
Инчунин аз фармоишгар талаб карда шуд, ки як қисми маълумотро дар як сатили S3 ва қисми дигараш нигоҳ дорад. Ин инчунин навиштани чекҳои иловагиро барои санҷиши эътимоднокии чунин навъбандӣ талаб мекард.
Таҷрибаи умумӣ аз лоиҳаҳои дигар
Намунаи рӯйхати умумии фаъолиятҳои муҳандиси сифати маълумот:
- Тавассути асбоби автоматикунонидашуда маълумоти санҷиширо омода кунед (эътибор аст, ки хурди калон аст).
- Маҷмӯи маълумоти омодашударо ба манбаи аслӣ бор кунед ва санҷед, ки он барои истифода омода аст.
- Равандҳои ETL-ро барои коркарди маҷмӯи маълумот аз нигаҳдории манбаъ то нигаҳдории ниҳоӣ ё мобайнӣ бо истифода аз маҷмӯи муайяни танзимот оғоз кунед (агар имконпазир бошад, параметрҳои танзимшавандаро барои вазифаи ETL насб кунед).
- Маълумоте, ки аз ҷониби раванди ETL коркард шудааст, барои сифат ва мувофиқати он ба талаботи тиҷорат тасдиқ кунед.
Дар айни замон, диққати асосии санҷишҳо бояд на танҳо ба он бошад, ки ҷараёни додаҳо дар система аслан кор кардааст ва ба анҷом расидааст (ки қисми санҷиши функсионалӣ мебошад), балки асосан ба тафтиш ва тасдиқи маълумот барои риояи талаботи пешбинишуда, ошкор намудани аномалия ва дигар чизхо.
Tools
Яке аз усулҳои чунин назорати маълумот метавонад ташкили санҷишҳои занҷирӣ дар ҳар як марҳилаи коркарди маълумот бошад, ки ба истилоҳ «занҷири маълумот» дар адабиёт - назорати додаҳо аз манбаъ то нуқтаи истифодаи ниҳоӣ бошад. Ин намуди санҷишҳо аксар вақт тавассути навиштани дархостҳои санҷиши SQL амалӣ карда мешаванд. Маълум аст, ки чунин дархостҳо бояд то ҳадди имкон сабук бошанд ва қисмҳои алоҳидаи сифати маълумотро тафтиш кунанд (метамаълумоти ҷадвалҳо, сатрҳои холӣ, NULLҳо, Хатогиҳо дар синтаксис - дигар атрибутҳое, ки барои тафтиш заруранд).
Дар ҳолати санҷиши регрессионӣ, ки маҷмӯи додаҳои тайёрро (тағйирнопазир, каме тағйирёбанда) истифода мебарад, коди автотест метавонад қолабҳои тайёрро барои санҷиши мувофиқати маълумотҳо ба сифат нигоҳ дорад (тавсифҳои метамаълумоти ҷадвали интизорӣ; объектҳои намунаи сатр, ки метавонанд ҳангоми санҷиш ба таври тасодуфӣ интихоб карда шуд ва ғайра).
Инчунин, ҳангоми санҷиш, шумо бояд равандҳои санҷиши ETL-ро бо истифода аз чаҳорчӯбаҳо ба монанди Apache Airflow, ё ҳатто як абзори навъи абрии сиёҳ , Ва ғайра. Ин ҳолат муҳандиси озмоиширо маҷбур мекунад, ки ба принсипҳои кори асбобҳои дар боло зикршуда ғарқ шавад ва ҳам санҷиши функсионалӣ (масалан, равандҳои мавҷудаи ETL дар лоиҳа) гузаронад ва онҳоро барои тафтиши маълумот истифода барад. Аз ҷумла, Apache Airflow дорои операторҳои омода барои кор бо пойгоҳи додаҳои маъмули таҳлилӣ, масалан . Намунаи асосии истифодаи он аллакай зикр шудааст , бинобар ин ман худамро такрор намекунам.
Ба гайр аз карорхои тайёр, касе ба шумо чорй кардани техника ва асбобхои шахсии худро манъ намекунад. Ин на танҳо барои лоиҳа, балки барои худи муҳандиси сифати маълумот муфид хоҳад буд, ки ба ин васила уфуқҳои техникӣ ва малакаҳои рамзгузории худро такмил медиҳад.
Чӣ тавр он дар лоиҳаи воқеӣ кор мекунад
Намунаи хуби параграфҳои охирин дар бораи "занҷири маълумот", ETL ва санҷишҳои ҳамаҷониба раванди зерин аз яке аз лоиҳаҳои воқеӣ мебошад:
Дар ин ҷо, маълумотҳои гуногун (табиист, ки аз ҷониби мо омода карда шудааст) ба воридшавии "хавф" -и системаи мо ворид мешаванд: эътиборнок, беэътибор, омехта ва ғайра, пас онҳо филтр карда мешаванд ва дар нигаҳдории фосилавӣ ҷамъ мешаванд ва боз як қатор тағиротҳоро мегузаранд. ва дар анбори ниҳоӣ ҷойгир карда мешаванд, ки дар навбати худ, таҳлилҳо, сохтани марказҳои додаҳо ва ҷустуҷӯи фаҳмишҳои тиҷоратӣ анҷом дода мешаванд. Дар чунин система, бидуни санҷиши функсионалии кори равандҳои ETL, мо ба сифати маълумот пеш аз ва баъд аз тағирот, инчунин баромад ба таҳлил диққат медиҳем.
Барои ҷамъбаст кардани гуфтаҳои боло, новобаста аз ҷойҳое, ки ман кор мекардам, дар ҳама ҷо ман дар лоиҳаҳои додаҳо иштирок доштам, ки хусусиятҳои зеринро муштараканд:
- Танҳо тавассути автоматизатсия шумо метавонед баъзе ҳолатҳоро санҷед ва ба як давраи озодкунӣ, ки барои тиҷорат қобили қабул аст, ноил шавед.
- Санҷиш оид ба чунин лоиҳа яке аз аъзоёни бонуфузи даста мебошад, зеро он ба ҳар як иштирокчӣ фоидаи калон меорад (тезонидани санҷиш, маълумоти хуби маълумотшинос, муайян кардани камбудиҳо дар марҳилаҳои аввал).
- Фарқ надорад, ки шумо дар сахтафзори худ кор мекунед ё дар абрҳо - ҳама захираҳо дар кластер ба монанди Hortonworks, Cloudera, Mesos, Kubernetes ва ғайра абстракт карда мешаванд.
- Лоиҳаҳо дар асоси равиши микросервис сохта шудаанд, ҳисоббарории тақсимшуда ва параллелӣ бартарӣ дорад.
Ман мехоҳам қайд намоям, ки ҳангоми гузаронидани санҷиш дар соҳаи сифати маълумот, мутахассиси санҷиш диққати касбии худро ба рамзи маҳсулот ва асбобҳои истифодашуда равона мекунад.
Хусусиятҳои фарқкунандаи санҷиши сифати маълумот
Илова бар ин, ман барои худам хусусиятҳои фарқкунандаи санҷиш дар лоиҳаҳои (системаҳои) Data (Big Data) ва дигар соҳаҳои зеринро муайян кардам (ман фавран қайд мекунам, ки онҳо ХЕЛЕ умумӣ ва танҳо субъективӣ мебошанд):
Пайвандҳои муфид
- Назария: .
- ЭПАМ
- Маводҳои тавсияшуда барои муҳандиси сифати маълумот:
- Курси ройгон дар Степик: .
- Курс оид ба омӯзиши LinkedIn: .
- Мақолаҳо:
- ;
- ;
- ;
- Видео:
- ;
- ;
хулоса
Сифати маълумот як самти хеле ҷавони ояндадор аст, ки қисми он будан маънои қисми стартап буданро дорад. Як бор дар сифати маълумот шумо ба шумораи зиёди технологияҳои муосир ва серталаб ғарқ мешавед, аммо муҳимтар аз ҳама, барои шумо барои тавлид ва татбиқи ғояҳои худ имкониятҳои бузург боз хоҳанд шуд. Шумо метавонед усули такмилдиҳии пайвастаро на танҳо дар лоиҳа, балки барои худ низ истифода баред ва ҳамчун мутахассис пайваста инкишоф диҳед.
Манбаъ: will.com