Kuidas ettevõtted saavad valida andmeinseneride tööriistu ja mitte muuta kõike tehnoloogiliseks loomaaed: PROFI.RU kogemus

Netoloogia toimetaja rääkis BI meeskonna tiimijuhiga Profi.ru Pavel Sayapiniga, kes rääkis, milliseid ülesandeid lahendavad andmeinsenerid tema meeskonnas, milliseid tööriistu selleks kasutatakse ja kuidas õigesti läheneda tööriistade valimisele andmeprobleemide lahendamiseks, sealhulgas ebatüüpilistele. Pavel on õpetaja kursusel „Andmeinsener». 

Millega tegelevad andmeinsenerid Profi.ru-s

Profi.ru on teenus, mis aitab klientidel kohtuda erinevate valdkondade spetsialistidega. Teenuse andmebaasis on üle 900 000 spetsialisti 700 teenusevaldkonnas: juhendajad, remondimehed, treenerid, iluteenindajad, artistid ja teised. Igal päeval registreeritakse üle 10 000 uue tellimuse — see kõik annab umbes 100 miljonit sündmust päevas. Sellise andmemahtu korrashoidmine on professionaalsete andmeinseneride abita võimatu.  

Ideaalis arendab andEngineer andmekultuuri, mille abil ettevõte saab suurendada kasumit või vähendada kulusid. Ta toob ettevõttele väärtust, töötades meeskonnas ja olles oluline lüli erinevate osalejate vahel — arendajatest kuni äriaruannete kasutajateni. Kuid igas ettevõttes võivad ülesanded olla erinevad, seega vaatame neid Profi.ru näitel.

Koguvad andmeid otsuste tegemiseks ja esitavad need lõppkasutajale — tipptasemel juhile, tootearenduse juhile, analüütikule. 

Andmed peavad olema arusaadavad otsuste tegemiseks ja mugavad kasutamiseks. Pole vaja pingutada kirjelduse leidmiseks või koostada keerulisi SQL-päringuid, mis arvestavad palju erinevaid tegureid. Ideaalne olukord — kasutaja vaatab juhtpaneeli ja on rahul. Ja kui mõnes lõikes andmeid puuduvad, siis ta läheb andmebaasi ja lihtsa SQL-päringuga saab vajalikud andmed.

Andmekvaliteedi protsessi koht andmetehoidla üldstruktuuris.

Selgitava dokumentatsiooni tähtsus andmetega töötamisel on suur. See lihtsustab nii andmeinseneri tööd (kuna küsimustega ei häirita) kui ka andmekasutaja tööd (kes võib ise vastuseid leida). Profi.ru-s on sellised dokumendid kogutud sisefoorumisse.

Mugavus hõlmab ka andmete saamise kiirus. Kiirus = kergesti kätte saadav ühe sammu, ühe kliki - juhtpaneelil. Kuid praktikas on kõik keerulisem. 

Sama Tableau ei võimalda lõppkasutajal juhtpaneelilt välja tõmmata kõiki võimalikke mõõtmeid. Kasutaja on rahul vaid nende filtritega, mille on loonud juhtpaneeli arendaja. See toob kaasa kaks stsenaariumi: 

• Arendaja loob mitu lõike juhtpaneelile ⟶ lehtede arv suureneb oluliselt. See vähendab andmete kergesti kätte saamist: on keeruline aru saada, kus miski asub. 
• Arendaja loob vaid võtmelõiked. Teabe leidmine on lihtsam, kuid vähem standardse lõike puhul tuleb ikkagi minna kas andmebaasi või analüütikute juurde. See mõjutab samuti kergesti kätte saamist. 

Kättesaadavus on lai mõisted. See hõlmab andmete olemasolu nõuetekohases vormis, võimalust teavet saada armatuurlaudades ning vajalikku andmete lõikamist.

Koguvad andmeid kõigilt allikatelt ühte kohta.

Andmeallikad võivad olla sisemised ja välised. Näiteks kellegi äri sõltub ilmateadetest, mida tuleb koguda ja säilitada — need on välised allikad. 

Teavet tuleb säilitada koos allika märkimisega ning et andmed oleksid hõlpsasti leitavad. Profi.ru's on see ülesanne lahendatud automatiseeritud dokumentatsiooniga. Sisemiste andmeallikate dokumentatsiooniks kasutatakse YML-faile.

Loovad armatuurlaudasid.

Andmete visualiseerimist on kõige parem teha professionaalses tööriistas — näiteks Tableau's. 

Enamik teeb otsuseid emotsionaalselt — oluline on nähtavus ja esteetika. Näiteks Excel ei sobi visualiseerimiseks kuigi hästi: see ei kata kõiki andmekasutajate vajadusi. Näiteks tootejuht armastab numbritesse süveneda, kuid nii, et see oleks mugav. See võimaldab tal lahendada oma ülesandeid, mitte mõelda, kuidas teavet saada ja mõõdikuid koguda.

Kvaliteetne andmete visualiseerimine võimaldab otsuseid lihtsamini ja kiiremini vastu võtta.

 
Mida kõrgemal positsioonil inimene on, seda teravam on vajadus omada oma telefonis kokkuvõtlikke andmeid. Üksikasjad ei ole tippjuhtidele vajalikud — oluline on jälgida olukorda tervikuna, ja BI on selleks hea tööriist.

Näide Profi.ru tootetahvel (üks lehtedest). Teabe konfidentsiaalsuse eesmärkidel on mõõdikute ja telgede nimetused varjatud.

Reaalsed ülesannete näited 

Ülesanne 1 — kanda andmed algsetest (operatiivsetest) süsteemidest andmete ladustamisse või ETL-i.

Üks andmeinseneri rutiinsetest ülesannetest. 

Selleks võivad kasutada:

• käsitsi kirjutatud skripte, mis käivitatakse cron kaudu või spetsiaalse orkestreerija, nagu Airflow või Prefect, abil; 
• avatud lähtekoodiga ETL-lahendusi: Pentaho Data Integration, Talend Data Studio ja teised;
• patenteeritud lahendusi: Informatica PowerCenter, SSIS ja teised;
• pilvepõhiseid lahendusi: Matillion, Panoply ja teised. 

Lihtsas vormis lahendatakse ülesanne YML-faili kirjutamisega, mis sisaldab 20 rida. Selleks kulub umbes 5 minutit. 

Kõige keerulisemas olukorras, kui on vaja lisada uus allikas — näiteks uus andmebaas — võib see võtta kuni mitu päeva. 

Profi-s on see lihtne ülesanne — hästi toimivas protsessis — järgmised sammud:

• Selgitada tellijalt, milliseid andmeid on vaja ja kus need asuvad.
• Mõista, kas need andmed on kätte saadavad.
• Kui ligipääse ei ole, küsida administraatoritelt.
• Lisada Gitis uus haru, kus on ülesande kood Jira-s.
• Luua migreerimine, et lisada andmed ankurmudelitesse interaktiivse Python-skripti kaudu.
• Lisada laadimisfailid (YML-fail, milles on kirjas, kust andmed tulevad ja kuhu need salvestatakse).
• Testida testkeskkonnas.
• Laadida andmed hoidlas.
• Luua pull request.
• Töötada läbi koodivaatamine.
• Pärast koodivaatamise läbimist laaditakse andmed peaharusse ja need jagatakse automaatselt tootmisse (CI/CD).

Ülesanne 2 — mugavalt paigutada laaditud andmed

Teine sage ülesanne on laaditud andmete paigutamine nii, et lõppkasutajal (või BI-tööriistal) oleks mugav nendega töötada ja ei peaks tegema liigseid samme enamiku ülesannete täitmiseks. See tähendab Dimension Data Store'i (DDS) koostamist või uuendamist. 

Selleks võivad kehtida lahendused, mis põhinevad 1. ülesandel, kuna see on samuti ETL-protsess. Kõige lihtsamas variandis toimub DDS värskendamine SQL-skriptide abil.

3. ülesanne on ebatüüpiliste ülesannete seast.

Profi-s algab vooganalüüs. Toote meeskondadelt genereeritakse suur hulk sündmusi — salvestame need ClickHouse'i. Kuid seal ei ole võimalik salvestusi massiliselt lisada, seega tuleb salvestused ühendada partidesse. Otse kirjutamine ei ole lubatud — vajalik on vahepealne töötleja.

Kasutame mootorit, mis põhineb Apache Flinkil. Praegu on tegevuste järjekord järgmine: mootor töötab välja sisenevaid sündmuste vooge ⟶ kogub need partidesse ClickHouse'is ⟶ loendab sündmuste arvu 15 minuti jooksul ⟶ edastab need teenusele, mis määrab, kas esineb anomaaliaid — võrreldes sama ajavahemiku väärtustega, mille sügavus on 3 kuud ⟶ kui need on olemas, saadab teate Slacki.

Esialgne analüüsiskeem (osaliselt laadimine)

Apache Flink raamistik tagab kohaletoimetamise vähemalt ühe korra. Siiski võib tekkida duplikaate. RabbitMQ puhul saab selle lahendada, kasutades Correlation ID-d. Sel juhul on tagatud ainulaadne kohaletoimetamine ⟶ andmete terviklikkus.

Loeme sündmuste hulka taas Apache Flinki abil, edastame kohandatud juhtpaneeli kaudu, mis on kirjutatud NodeJS-is, ning front-end on ReactJS. Kiire otsing ei andnud sarnaseid lahendusi. Ja kood ise osutus lihtsaks — kirjutamine ei võtnud palju aega.

Monitooring on pigem tehniline. Vaatame anomaaliaid, et varakult probleeme ennetada. Olulised globaalsed ettevõtte mõõdikud pole veel monitooringusse kaasatud, kuna vooganalüütika suund on alles kujunemisjärgus.

Peamised andmeinseneride tööriistad

Andmete inseneride ülesannete osas on rohkem-vähem selge, nüüd räägime tööriistadest, mida nende probleemide lahendamiseks kasutatakse. Loomulikult võivad tööriistad erinevates ettevõtetes erineda (ja peaksidki erineda) — kõik sõltub andmete mahust, nende saabumise kiirusest ja mitmekesisusest. Samuti võib see sõltuda spetsialisti eelistustest, kes eelistab üht konkreetset tööriista lihtsalt seepärast, et ta on sellega töötanud ja tunneb seda hästi. Profi.ru on valinud järgmised variantid →

Andmete visualiseerimiseks — Tableau, Metabase

Tableau valiti juba ammu. See süsteem võimaldab kiiresti analüüsida suuri andmemassiive, ilma et oleks vajalik kulukas rakendamine. Meie jaoks on see mugav, ilus ja tuttav — me töötame sellega sageli.

Metabase'ist teavad vähesed, kuid tõeliselt hea prototüüpimiseks. 

Teiste visualiseerimistööriistade seas võib mainida ka Superseti Airbnb'lt. Selle eripära on palju ühendusi andmebaasidega ja visualiseerimise võimalusi. Kuid tavakasutaja jaoks on see vähem mugav kui Metabase — seal ei saa tabeleid ühendada, selleks on vaja luua eraldi vaated. 

Metabase'is saab tabelid omavahel ühendada, tõsi, et teenus teeb seda ise, arvestades andmebaasi skeemi. Metabase'i liides on ka lihtsam ja meeldivam.

Tööriistu on palju — lihtsalt leidke enda oma.

Andmete salvestamiseks — ClickHouse, Vertica

ClickHouse on tasuta kiire tööriist tooteürituste salvestamiseks. Analüütikud teevad seal eraldi analüüse (kui andmed on piisavad) või andmeinsenerid võtavad kokkuvõtted ja laadivad need Vertica'sse vitriinide loomiseks.

Vertica on äge mugav toode lõpp-vitriinide kuvamiseks. 

Andmevoogude haldamiseks ja arvutuste tegemiseks — Airflow

Me laadime andmed sisse konsooli tööriistade kaudu. Näiteks MySQL'i kaasas tuleva kliendi kaudu — see on kiirem. 

Konsooli tööriistade pluss on kiirus. Andmed ei liigu läbi sama Pythoniprotsessi mälu. Miinuseks on vähem kontrolli andmete üle, mis transporditakse ühest andmebaasist teise.

Peamine programmeerimiskeel on Python.

Pythonil on madalam sisenemisbarjäär, ja ettevõttes on selle keele oskusteave. Teine põhjus on see, et Airflow DAG-id on kirjutatud Pythonis. Need skriptid on lihtsalt üleslaadimise ümbrised, peamine töö toimub konsooliskripte kasutades. 

Java on meie kasutuses reaalajas analüütika arendamisel.

Andmete töötlustööriistade valiku lähenemine — kuidas vältida tehnoloogilist loomaaeda.

Turul on palju tööriistu, et hallata andmeid igas etapis: nende tekkimisest kuni juhtkonna armatuurlaudadele edastamiseni. Pole üllatav, et mõnel ettevõttel võivad tekkida mitmed omavahel mitte seotud lahendused — nn tehnoloogiline loomaaed.

Tehnoloogiline loomaaed on tööriistad, mis täidavad samu funktsioone. Näiteks Kafka ja RabbitMQ sõnumite edastamiseks või Grafana ja Zeppelin visualiseerimiseks. 

Andmete ja tehisintellekti valdkonna tehnoloogiate ja ettevõtete kaart. — näha, kui palju dubleerivaid lahendusi võib olla.

Paljud asuvad isiklike eesmärkide jaoks kasutavad erinevaid ETL-tööriistu. Profi puhul on just selline olukord. Peamine ETL töötab Airflow'il, kuid mõned isiklikeks ülesannete täitmiseks kasutavad Pentahot. Nad testivad hüpoteese ning inseneride kaudu neid andmeid edastama pole vaja. Peamiselt kasutavad 'ise teenindavad' tööriistu piisavalt kogenud spetsialistid, kes tegelevad teadusliku tegevusega — uurivad uusi võimalusi toote arendamiseks. Nende analüüsiks kasutatav andmekogum on huvitav peamiselt neile, lisaks muutub see pidevalt. Seega pole mõtet neid ülesandeid põhiplatvormi talletada. 

Tagasi liikudes loomaaeda. Tihti on dubleerivate tehnoloogiate kasutamine seotud inimfaktoriga. Iseseisvad sisemised tiimid on harjunud töötama teatud tööriistadega, mida teine meeskond ei pruugi kasutada. Ja mõnikord on autonoomia ainus viis spetsiifiliste ülesannete lahendamiseks. Näiteks vajab R&D meeskond midagi testida teatud tööriista abil — see on lihtsalt mugav, keegi meeskonnast on seda juba kasutanud või on mingi muu põhjus. Oodata süsteemiadministraatorite ressurssi selle tööriista installimiseks ja seadistamiseks on pikk. Sellega seoses peavad isegi arvestavad ja tähelepanelikud administraatorid tõestama, et see on tõeliselt vajalik. Nii et meeskond installib tööriista oma virtuaalmasinatesse ja lahendab oma spetsiifilisi ülesandeid.

Lahenduste loomaaed pole probleem, kuni see ei nõua märkimisväärseid tööintensiivsuse ressursse süsteemiadministraatorilt tööriista toe jaoks. Tuleb arvestada, kuidas tööriista kasutamine mõjutab tugiteenuste ressursse. 

Teine tavaline põhjus uue tööriistakomplekti ilmumiseks on soov proovida tundmatut toodet piisavalt uues valdkonnas, kus standardid ei ole veel kujunenud või puuduvad tõestatud soovitused. Andmeinsener, nagu ka arendaja, peab alati uurima uusi tööriistu, lootes leida tõhusama lahenduse praegustele ülesannetele või olla kursis, mida turg pakub.

Uute tööriistade proovimise ahvatlus on tõeliselt suur. Kuid mõistliku valiku tegemiseks on esmalt vajalik enesedistsipliin. See aitab vältida täielikku sukeldumist uurimissoovidesse ja arvestada ettevõtte võimekust uue tööriista infrastruktuuri toetamiseks. 

Tehnoloogiaid ei tohiks kasutada pelgalt tehnoloogiate pärast. Parim lähenemine on pragmaatiline: ülesanne ⟶ tööriistade komplekt, mis suudab seda ülesannet lahendada.

 Järgmine samm on igaühe hindamine ja parima valiku tegemine. Näiteks võib see tööriist lahendada probleemi tõhusamalt, kuid selleks ei ole kompetentsi, samas on see veidi vähem efektiivne, kuid ettevõttes on inimesed, kes teavad, kuidas sellega töötada. See tööriist on tasuline, kuid selle hooldamine ja kasutamine on lihtne, samas kui see on trendikas open source lahendus, mille toeks on vaja adminnide meeskonda. Sellised dikhotoomiad tekivad, mille lahendamiseks on vajalik külm pea.

Tööriista valik on osaliselt usaldushüpe ja osaliselt isiklik kogemus. Pole täielikku kindlust, et tööriist sobib.

Näiteks alustas Profi Pentaho kasutamist, kuna selle tööriista osas oli ekspertteadmised, kuid lõpuks osutus see vale otsuseks. Pentaho siserepo hakkas projekti kasvu käigus töö kiiruselt tõsiselt mõjutama. Andmete salvestamine võttis aega minut, ja kui on harjumus pidevalt tööd salvestada, siis aeg lihtsalt voolas läbi sõrmede. Sellele lisandus keeruline käivitamine ja ajastatud ülesanded – arvuti hangus. 

Kannatused lõppesid Airflow'le üleminekuga – populaarse tööriistaga, millel on suur kogukond. 

Kogukonnaplatvormi olemasolu ja tööriist on keeruliste probleemide lahendamiseks oluline — saate kolleegidelt nõu küsida.

Kui ettevõte on küps ja omab ressursse, tasub kaaluda tugiteenuse ostmist. See aitab kiiresti lahendada probleeme ja saada soovitusi toote kasutamiseks.

Valikute tegemise lähenemisviisi osas järgib Profi järgmisi põhimõtteid:

• Ärge tehke otsust üksi.. Kui inimene midagi valib, on ta automaatselt veendunud oma õigsuses. Teine asi on veenda teisi, kui on vaja tuua tõsiseid argumente oma kaitseks. See aitab ka näha tööriista nõrku kohti.
• Küsi nõu peaspetsialistilt andmete osas (vertikaalne dialoog). See võib olla peamine andmeinsener (Chief Data Engineer), BI-meeskonna juht. Juhtidel on laiem ülevaade olukorrast. 
• Suhtle teiste meeskondadega (horisontaalne dialoog). Milliseid tööriistu nad kasutavad ja kui hästi need toimivad. Võib-olla suudab kolleegide tööriist lahendada ka teie probleemid ja ei pea looma lahenduste loomaaeda.

Sisemised oskused kui tõhus asendus välistelt teenusepakkujalt.

Tööriistade valimisel võib arvestada ka ettevõtte sisemiste oskuste kasutamisega. 

Sageli esinevad olukorrad, kus ettevõttel on keeruline ülesanne, kuid selle täitmiseks ei ole raha. Ülesanne on suur ja oluline, ning oleks mõistlik kaasata teenuse pakkuja, kellel on vastav kogemus. Kuna sellist võimalust (raha) ei ole, usaldatakse ülesanne sisemisele meeskonnale. Tüüpiliselt usaldab ettevõte rohkem oma töötajaid, kui nad on juba oma tõhusust tõestanud.

Selliste ülesannete hulka, kus uus suund areneb töötajate jõul, kuulub näiteks koormustestide läbiviimine ja andmelao loomine. Eriti andmelao loomine, kuna see on iga ettevõtte jaoks ainulaadne lugu. Andmelao ostmine ei ole võimalik, saab ainult palgata väliseid spetsialiste, kes selle sisemiste meeskondade toetusel ehitavad.  

Muide, uue suuna edenedes võib meeskond mõista, et vajadus välise teenuse pakkuja järele on kadunud.

Profi BI rakendamine toimus in-house. Peamine väljakutse oli see, et äri soovis BI-d kiiresti käiku võtta. Kuid sellise projekti ülesehitamine nõudis aega: kompetentside kasvatamine, andmete sisestamine, mugava andmehoidla loomine, tööriistade valimine ja nende omandamine.

Peamine - kuum - faas, mil kõik ehitati ja kristallistus, kestis umbes aasta. Projekt areneb siiani. 

Ettevõtte andmehoidla rajamisel on oluline järgida kõrgeid standardeid, kaitsta oma positsioone ja mitte leppida kehvaga äri nimel. 

Suurte valude saatel tuli meil ümber teha suurem osa projektist, mille olime siis kiirelt valmis saanud.

 Kuid mõnikord on kiirustamine mõistlik lähenemine. Näiteks toote arenduses võib see olla isegi ainus õige tee. Tuleb kiiresti edasi liikuda, testida toote hüpoteese ja muud. Kuid andmehoidla peab põhinema tugeval arhitektuuril, vastasel juhul ei suuda see kiiresti leppida kasvava äri vajadustega ning projekt jäänuks seisma.

Selles keerulises projektis aitas meid oluliselt meie juht, kes kaitses tööd, selgitas juhtkonnale, mida me teeme, nõudis ressursse ja kaitses meid. Ilma sellise toeta ei ole ma kindel, et oleksime projekti käivitanud.

Taolistes lugudes mängivad olulist rolli nn varajased kasutajad — need, kes on valmis uut proovima — tippjuhtide, analüütikute ja tootmanageerijate seas. Et too toode tõuseks, on vaja esimesi katsetajaid, kes kinnitaksid, et kõik töötab ja seda on mugav kasutada.

Kui keegi soovib jagada lahendust kolmandale ülesandele, mida eespool kirjeldati — tere tulemast 🙂

Allikas: habr.com