Kuidas ettevõtted saavad valida tööriistu andmeinseneritele ja mitte muuta kõike tehnoloogiliseks loomaaiaks: PROFI.RU kogemus

Netology toimetaja vestles BI meeskonna tiimijuhiga Profi.ru Pavel Sayapiniga, et arutada, milliseid ülesandeid lahendavad andmeinsenerid tema meeskonnas, milliseid tööriistu nad selleks kasutavad ning kuidas õigesti valida tööriistade komplekti andmeülesannete lahendamiseks, sealhulgas ebatüüpilisteks. Pavel on õpetaja kursusel „Andmeinsener». 

Mida teevad andmeinsenerid Profi.ru-s

Profi.ru on teenus, mis aitab klientidel kohtuda erinevate valdkondade spetsialistidega. Teenuse andmebaasis on üle 900 000 spetsialisti 700 teenusevaldkonnas: õpetajad, remondimeistrid, treenerid, ilutöötajad, kunstnikud ja teised. Igapäevaselt registreeritakse üle 10 000 uue tellimuse — kõik see genereerib umbes 100 miljonit sündmust päevas. Sellise andmehulkade korraldamine ei ole võimalik ilma professionaalsete andmeinsenerideta.  

Ideaalis arendab andmeinsener andmete töötlemise kultuuri, mille kaudu ettevõte saab lisakasumit või vähendab kulusid. Ta toob ettevõttele väärtust, töötades meeskonnas ja olles oluline lüli erinevate osaliste vahel — arendajatest kuni äriaruande tarbijateni. Kuid igas ettevõttes võivad ülesanded erineda, seetõttu vaatleme neid Profi.ru näitel.

Koguvad andmeid otsuste tegemiseks ja edastavad need lõppkasutajale — tippjuhtkonnale, tootejuhile, analüütikule 

Andmed peavad olema arusaadavad otsuste tegemiseks ja mugavad kasutamiseks. Ei ole vaja pingutada, et otsida kirjeldusi või koostada keerulisi SQL-päringuid, mis võtavad arvesse paljusid erinevaid tegureid. Ideaalne olukord on selline, et kasutaja vaatab armatuurlauda ja on kõigega rahul. Ja kui mingis perspektiivis andmeid napib, siis läheb ta andmebaasi ja saab kõige lihtsama SQL-päringuga vajalikud andmed.

Andmekvaliteedi protsessi koht andmete ladustamise üldstruktuuris

Oluline osa on seletaval dokumentatsioonil andmete töötlemise kohta. See lihtsustab tööd nii andmeinsenerile (mida ei segata küsimustega) kui ka andmete kasutajale (kes saab ise leida vastused oma küsimustele). Profi.ru-s on sellised dokumendid kogutud sisemisele foorumile.

Mugavuse all mõistetakse ka andmete saamise kiirus. Kiirus = kättesaadavus ühes sammus, klõpsus — armatuurlaud. Kuid praktikas on kõik keerulisem. 

Sama Tableau lõppkasutaja vaatepunktist ei võimalda kõiki võimalikke mõõtmeid välja tuua. Kasutaja jääb rahule ainult nende filtritega, mis on loonud armatuurlaua arendaja. See loob kaks stsenaariumi: 

• Arendaja loob armatuurlaudade jaoks mitu lõiget ⟶ lehtede arv suureneb oluliselt. See vähendab andmete kergesti kättesaadavust: on keeruline mõista, kus miski asub. 
• Arendaja loob ainult võtmelõiked. Teabe leidmine on lihtsam, kuid vähem standardse lõike puhul tuleb siiski minna kas andmebaasi või analüütikute juurde. See mõjutab samuti kergesti kättesaadavust. 

Kergesti kättesaadavus on lai mõisted. See hõlmab andmete olemasolu õiges vormis, teabe saamist armatuurlaudadelt ja vajalikke andmelõike.

Koguvad andmeid kõigist allikatest ühte kohta

Andmeallikad võivad olla sisemised ja välimised. Näiteks kellegi äri sõltub ilmateadetest, mida tuleb koguda ja salvestada, — välistest allikatest. 

Teavet tuleb salvestada koos allika määratlemisega, et andmeid oleks lihtne leida. Profi.ru-s on see ülesanne lahendatud automatiseeritud dokumentatsiooni abil. Sisemiste andmeallikate dokumentatsiooniks kasutatakse YML-faile.

Loo armatuurlaudu

Andmete visualiseerimine tuleks teha professionaalses tööriistas — näiteks Tableau's. 

Enamik otsuseid tehakse emotsionaalselt, — oluline on visuaalsus ja esteetika. Sama Excel visuaaliseerimiseks, muide, ei sobi väga hästi: ei rahulda kõiki andmete kasutajate vajadusi. Näiteks toodete juht armastab süveneda numbritesse, kuid nii, et see oleks mugav. See võimaldab tal lahendada oma ülesandeid, mitte mõelda, kuidas teavet saada ja meetrikat koguda.

Kvaliteetne andmete visualiseerimine võimaldab otsuseid kergemini ja kiiremini vastu võtta.

 
Mida kõrgemal ametikohal inimene on, seda teravam on vajadus saada käepärast, telefonis, kokkuvõtlikke andmeid. Üksikasjad ei ole tippjuhtidele vajalikud — oluline on kontrollida üldiselt olukorda, ja BI on selleks hea tööriist.

Näide Profi.ru tootearmatuurlaudast (üks lehtedest). Teabe konfidentsiaalsuse eesmärgil on mõõtmete ja telgede nimed varjatud.

Reaalsete ülesannete näited 

Ülesanne 1 - edastada andmed algsetest (operatiivsetest) süsteemidest andmete ladustamisse või ETL-isse

Üks rutiinsetest ülesannetest andmeinsenerile. 

Selleks võib kasutada:

• enda kirjutatud skripte, mis запускаются cron'i kaudu või spetsiaalse orkestreerija abil, nagu Airflow või Prefect; 
• avanenud koodi ETL-lahendusi: Pentaho Data Integration, Talend Data Studio ja teised;
• proprietaarseid lahendusi: Informatica PowerCenter, SSIS ja teised;
• pilvelahendusi: Matillion, Panoply ja teised. 

Lihtsas täitmise korral lahendatakse ülesanne 20-realise YML-faili kirjutamisega. See võtab umbes 5 minutit. 

Kõige keerulisemas olukorras, kui on vaja lisada uus allikas - näiteks uus DB - võib see võtta kuni mitu päeva. 

Profi puhul on see lihtne ülesanne - korraliku protsessi korral - järgmised sammud:

• Selgitada klientilt välja, milliseid andmeid on vaja ja kus need asuvad.
• Mõista, kas nendele andmetele on juurdepääs.
• Kui juurdepääse ei ole, paluda administraatoritel neid.
• Lisada Git'i uus haru ülesande koodiga Jira's.
• Luua migratsioon andmete lisamiseks ankermudelisse interaktiivse Python-skripti kaudu.
• Lisada laadimisfailid (YML-fail, milles on kirjas, kust andmed pärinevad ja millisesse tabelisse need salvestatakse).
• Testida stendil.
• Laadida andmed hoidlasse.
• Luua pull request.
• Läbi viia koodikontroll.
• Pärast koodikontrolli sooritamist laaditakse andmed master-haru ja need laienevad automaatselt tootmisettevõttesse (CI/CD).

Ülesanne 2 - laaditud andmete mugav paigutamine

Muu sagedane ülesanne - paigutada laaditud andmed nii, et lõppkasutajal (või BI-tööriistal) oleks nendega mugav töötada ning ei tuleks teha liigseid toiminguid enamikku ülesandeid täitmiseks. Ehk ehitada või uuendada Dimension Data Store (DDS). 

Selleks võib rakendada lahendusi 1. ülesandest, kuna tegemist on samuti ETL-protsessiga. Kõige lihtsamas variandis uuendatakse DDS SQL-skripti abil.

Ülesanne 3 - ebatavaliste ülesannete hulgast

Profi-s tekib vooganalüütika. Tootegruppidelt genereeritakse suur hulk sündmusi - kanname need ClickHouse'i. Kuid seal ei saa kahjuks kirjeid ükshaaval massiliselt sisestada, seega tuleb kirjed grupeerida. See tähendab, et otse kirjutada ei saa - vajalik on vahepealne töötleja.

Kasutame Apache Flinki põhinevat mootorit. Praegune tegevuste järjekord on järgmine: mootor töötleb saabuvaid sündmuste vooge ⟶ kogub need ClickHouse'i partiidena ⟶ arvutab igal hetkel sündmuste arvu 15 minuti jooksul ⟶ edastab need teenusele, mis määrab, kas on anomaalia — võrdleb 15 minuti väärtusi 3 kuu sügavusega ⟶ kui on, saadab hoiatuse Slacki.

Eesmine analüüsiskeem (osaline laadimine)

Apache Flinki raamistik tagab kohaletoimetamise vähemalt korra. Siiski on võimalus duplikaatide tekkimiseks. RabbitMQ puhul saab selle lahendada, kasutades Correlation ID-d. Sel juhul garanteeritakse üksik kohaletoimetamine ⟶ andmete terviklikkus.

Arvutame sündmuste arvu taas Apache Flinki abil ning kuvame seda isetehtud armatuurlaudade kaudu, mis on kirjutatud NodeJS-is, + eesmine ReactJS-is. Kiire otsing ei leidnud sarnaseid lahendusi. Ja ise kood osutus lihtsaks — kirjutamine ei võtnud palju aega.

Monitooring on pigem tehniline. Vaatame anomaaliaid, et ennetada probleeme varastes etappides. Mõned olulised globaalsed ettevõtte mõõdikud ei kuulu hetkel monitooringusse, kuna voogude analüüsi suund on veel arengustaadiumis.

Peamised andmeinseneride tööriistad

Andmeinseneride ülesannete osas on suures osas selge, nüüd räägime natuke tööriistadest, mida nende lahendamiseks kasutatakse. Loomulikult võivad tööriistad erinevates ettevõtetes erineda (ja peavadki), sõltuvalt andmete mahust, nende saabumise kiirusest ja mitmekesisusest. Samuti võib see sõltuda spetsialisti kalduvusest ühele tööriistale ainult selle tõttu, et ta on selle kallal töötanud ja tunneb seda hästi. Profi.ru-s otsustasime järgmiste variantide kasuks →

Andmete visualiseerimiseks — Tableau, Metabase

Tableau valisime juba ammu. See süsteem võimaldab kiiresti analüüsida suuri andmemahtusid, samas ei nõua kulukat rakendamist. Meile on see mugav, ilus ja harjumuspärane — tihti töötame sellega.

Metabased teavad vähesed, kuid oma prototüüpide loomise jaoks on see väga hea. 

Visuaalitööri hulgast võib mainida Airbnb Supersetit. Selle eripära on paljusid andmebaaside ühendusi ja visualiseerimisvõimalusi. Küll aga on see keskmise kasutaja jaoks vähem mugav kui Metabase, kuna tabelite ühendamine ei ole võimalik, selleks tuleb luua eraldi esitlused. 

Metabases saab tabelite ühendamist teha, isegi rohkemgi — teenus teeb seda automaatselt, arvestades andmebaasi skeemi. Ja Metabase liides on lihtsam ja meeldivam.

Tööriistu on palju — lihtsalt leidke oma.

Andmete salvestamiseks — ClickHouse, Vertica

ClickHouse on tasuta kiire tööriist tootearuannete salvestamiseks. Analüütikud teevad seal eraldi analüütikat (kui neid andmeid piisab) või andmeinsenerid võtavad kogumid ja laadivad need Verticasse, et luua aruandeid.

Vertica on äge ja mugav toode lõpparuannete kuvamiseks. 

Andmevoogude haldamiseks ja arvutuste tegemiseks — Airflow

Andmeid laadime läbi käsurea tööriistade. Näiteks MySQL-i kliendi kaudu, mis on palju kiirem. 

Käsurea tööriistade plusspooleks on kiirus. Andmed ei liigu läbi sama Python-protsessi mälu. Miinusteks on vähem kontrolli andmete üle, mis üksteisest andmebaasi põhjustavad.

Peamine programmeerimiskeel on Python

Pythonil on oluliselt madalam sisenemisbarjäär + ettevõttes on selle keele oskused. Teine põhjus — Airflow's kirjutatakse DAG-sid Pythonis. Need skriptid on lihtsalt laadimiste ümbrised, põhitegevus toimub läbi käsureas olevate skriptide. 

Java't kasutame reaalajas analüüsi arendamiseks.

Andme-tööriistade valiku lähenemine — mida teha, et mitte tekitada tehnoloogilist loomaaiad.

Turul on palju tööriistu andmetega töötamiseks igas etapis: nende tekkimisest kuni direktorite nõukogu dashboardile kuvamiseni. Pole ime, et mõnes ettevõttes võivad ilmneda mitmed mitteühendatud lahendused — nn tehnoloogiline loomaed.

Tehnoloogiline loomaed — need on tööriistad, mis täidavad samu funktsioone. Näiteks Kafka ja RabbitMQ sõnumivahetuseks või Grafana ja Zeppelin visualiseerimiseks. 

Tehnoloogiate ja ettevõtete kaart andmete ja AI valdkonnas — on näha, kui palju dubleerivaid lahendusi võib olla

Samuti saavad paljud eraisikud kasutada erinevaid ETL-tööriistu. Profi puhul on just selline olukord. Peamine ETL tööriist on Airflow, kuid mõned inimesed kasutavad oma isiklike ülesannete jaoks Pentahot. Nad testivad hüpoteese ja nad ei pea neid andmeid inseneride kaudu läbima. Üldiselt kasutavad "ise teenindamise" tööriistu pigem kogenud spetsialistid, kes tegelevad uurimistööga – uurivad uusi toote arendamise võimalusi. Nende analüüsiks vajalik andmestik on enamasti neile huvitav, lisaks muudetakse seda pidevalt. Sellega seoses pole mõtet neid laadimisi põhiplatvormi lisada. 

Tagasi loomaaeda. Tihti on korraga kasutatavate tehnoloogiate kasutamine seotud inimfaktoriga. Iseseisvad siseelamud on harjunud töötama mingi konkreetse tööriistaga, mida teine meeskond võib-olla ei kasuta. Ja mõnikord on autonoomia ainus tee eriliste ülesannete lahendamiseks. Näiteks vajab R&D meeskond midagi testida teatud tööriistaga – see on lihtsalt mugav, keegi meeskonnast on seda juba kasutanud või on olemas mõni muu põhjus. Oodata süsteemiadministraatoritelt, et see tööriist installida ja seadistada, on tülikas. Samuti peavad nutikad ja tähelepanelikud administraatorid veel tõestama, et see on tõepoolest vajalik. Nii paigaldabki meeskond tööriista oma virtuaalmasinatesse ja lahendab oma spetsiifilised ülesanded.

Lahenduste loomaaed ei ole probleem, kui see ei nõua märkimisväärseid süsteemiadministraatori tööjõuressursse tööriista toetamiseks. Tuleb arvestada, kuidas tööriista kasutamine mõjutab tugivahendeid. 

Teine levinud põhjus uue tehnoloogia tekkimiseks on soov proovida tundmatut toodet täiesti uues valdkonnas, kus standardid pole veel välja kujunenud või pole väljakujunenud soovitusi. Andmeinsener, nagu ka arendaja, peab alati uurima uusi tööriistu lootuses leida tõhusam lahendus praegustele ülesannetele või olla kursis sellega, mida turg pakub.

Uusitehnoloogiate proovimise kiusatus on tõeliselt suur. Kuid mõistliku valiku tegemiseks on esmalt vaja enesedistsipliini. See aitab mitte lasta end täielikult juhuslikest uurimisimpulssidest, vaid arvestada ettevõtte võimalusi uue tööriista infrastruktuuri toetamiseks. 

Tehnoloogiat ei tohiks kasutada ainult tehnoloogia pärast. Parim lähenemine on pragmaatiline: ülesanne ⟶ tööriistade komplekt, mis suudab selle ülesande lahendada.

 Seejärel tuleb hinnata igaüht neid ja valida parim. Näiteks see tööriist võib ülesande efektiivsemalt lahendada, kuid selle kohta puuduvad kompetentsid, ja see on veidi vähem efektiivne, kuid ettevõttes on inimesi, kes teavad, kuidas sellega töötada. See tööriist on tasuline, kuid lihtne hooldada ja kasutada, aga see on populaarne avatud lähtekoodiga, mille toetamiseks on vaja administraatoride meeskonda. Sellised vastandused tekivad, mille lahendamiseks on vajalik külm mõistus.

Tööriista valik on osaliselt usuhüpe, osaliselt isiklik kogemus. Pole täielikku kindlust, et tööriist sobib.

Näiteks Profi alustas Pentahoga, kuna oli selle tööriista osas ekspertteadmised, kuid lõpuks osutus see ekslikuks valikuks. Pentaho siserepositoorium hakkas projekti kasvades tööprotsessi väga aeglustama. Andmete salvestamiseks kulus minut, ja kui on harjumus pidevalt oma tööd salvestada, siis aeg voolas lihtsalt sõrmede vahelt. Selle juurde lisandusid keerulised käivitamised ja ajastatud ülesanded — arvuti hangus. 

Kannatused lõppesid pärast üleminekut Airflow'le — populaarsele tööriistale, millel on suur kogukond. 

Teenuse või tööriista kogukonna olemasolu on oluline keeruliste ülesannete lahendamiseks — kolleegidelt saab nõu küsida.

Kui ettevõte on küps ja omab ressursse, tasub mõelda tugiteenuse ostmisele. See aitab kiiresti probleeme lahendada ning saada soovitusi toote kasutamise kohta.

Valiku lähenemisviisi osas järgib Profi järgmisi põhimõtteid:

• Ärge tehke otsust üksi. Kui inimene midagi valib, on ta automaatselt veendunud oma õiguses. Teine asi on veenda teisi, kui on vajalik esitada tõsiseid argumente kaitseks. See aitab ka näha tööriista nõrkusi.
• Konsulteerida andmepealiku (vertikaalne dialoog). See võib olla peamine andmeinsener (Chief Data Engineer) või BI-meeskonna juht. Tipud näevad olukorda laiemalt. 
• Suhelda teiste meeskondadega (horisontaalne dialoog). Milliseid tööriistu nad kasutavad ja kui edukalt. Võib-olla võivad kolleegide tööriistad lahendada ka teie ülesanded, nii et ei pea looma lahenduste zoo.

Sisemised pädevused kui tõhus asendus välist teenusepakkujat

Tööriistade valiku lähenemisviisiks võib pidada ka ettevõtte sisemiste oskuste kasutamist. 

Tunneme sageli olukordi, kus ettevõttel on keeruline ülesanne, kuid raha selle elluviimiseks pole. Ülesanne on ulatuslik ja oluline ning põhimõtteliselt oleks kõige parem kaasata väline teenusepakkuja, kellel on vastav kogemus. Kuid kuna sellist võimalust (raha) pole, usaldatakse ülesanne sisemisele meeskonnale. Tavaliselt usaldab ettevõte rohkem oma töötajaid, kui nad on juba oma tõhusust tõestanud.

Selliste ülesannete näideteks, kus uus suund areneb töötajate jõududega, on koormustestimise läbiviimine ja andmehoidla loomine. Erakordselt andmehoidla, kuna see on iga ettevõtte jaoks ainulaadne lugu. Andmehoidlat ei saa osta, seda saab ainult ehitada väliste spetsialistide abiga koos sisemeeskonna toega.  

Muide, uue suuna arendamisel võib meeskond mõista, et vajadus välist teenusepakkujat vastu pole.

Profi puhul toimus BI rakendamine in-house. Peamine raskus seisnes selles, et ettevõte soovis BI-d kiiresti käivitada. Kuid sellise projekti ehitamine nõudis aega: pädevuste arendamine, andmete laadimine, mugava andmehoidla skeemi loomine, tööriistade valimine ja nende omandamine.

Peamine - kuum - faas, kui kõik ehitati ja kristalliseerus, kestis umbes aasta. Ja projekt areneb endiselt. 

Ettevõtte andmehoidla ehitamisel on oluline järgida kõrgeid standardeid, kaitsta oma positsioone ja mitte teha asju kiirkorras äri huvides. 

Suurte valudega tegime suure osa projektist uuesti, mille pidime siis kiiresti tegema.

 Kuid mõnikord on kiirustamine otstarbekas. Näiteks toote arenduses võib see olla isegi ainus õige lähenemine. Peame kiiresti edasi liikuma, katsetama toote hüpoteese ja muud. Kuid andmehoidla peab põhinema tugeval arhitektuuril, vastasel juhul ei suuda see kiiresti kohanduda kasvava äri vajadustega ja projekt kukub läbi.

Selles keerulises projektis aitas meid väga meie juht, kes seisis tööde eest, selgitas juhtkonnale, mida me teeme, kaalus välja ressursse ja kaitses meid. Ilma sellise toetuse ei ole ma kindel, et oleksime suutnud projekti käivitada.

Sellistes olukordades mängivad olulist rolli nn varajased kasutajad — need, kes on valmis uut proovima — juhtide, analüütikute, tootemeetodite vahel. Et toode saaks tõusma, vajame teerajajaid, kes kinnitavad, et kõik töötab ja seda on mugav kasutada.

Kui keegi soovib jagada lahendust kolmandale ülesandele, siis olete teretulnud 🙂

Allikas: habr.com