🥇Andmete teadlase märkmed: isiklik ülevaade andme päringutest

Jag räägin oma kogemusest, kus ja millal midagi kasulikku leidsin. Ülevaatlikult ja lühidalt, et oleks arusaadav, mida ja kuhu edasi uurida — kuid see on ainult minu subjektiivne kogemus, teil võib olla kõik täiesti teistmoodi.

Miks on oluline teada ja osata kasutada päringukeeli? Data Science'is on mitmeid olulisi tööetappe, kus kõige esimene ja olulisem (ilma selleta ei toimi midagi!) on andmete hankimine või väljavõtmine. Kõige sagedamini on andmed mingis vormis kusagil peidus ja need tuleb sealt "välja tuua".

Päringukeeled just võimaldavad neid andmeid välja tõmmata! Täna räägin nendest päringukeeltest, mis on mulle kasulikud olnud, ja näitan, kus ja kuidas — miks on vajalik nende õppimine.

Kokku on kolm peamist tüüpi päringute blokki, mida me selles artiklis käsitleme:

"Standardsed" päringukeeled — need, mida tavaliselt mõistetakse räägides päringukeeltest, nagu näiteks relatsiooniline algebra või SQL.
Skripti päringukeeled: näiteks Pythonis kasutatavad pandas, numpy või shell scripting.
Päringukeeled teadmiste graafide ja graafandmebaaside jaoks.

Käesolevas kirjutises esitatud on lihtsalt isiklik kogemus, mis osutus kasulikuks, olukordadega ja "miks see vajalik oli" — igaüks võib proovida ette kujutada, kui sarnased olukorrad talle ette võivad tulla ning valmistuda neiseks ette, uurides neid keeli enne, kui peab neid (kiireloomuliselt) projektis rakendama või üldse sattuma projekti, kus neid vajatakse.

"Standardsed" päringukeeled

Standardsed päringukeeled just selles mõttes, et me mõtleme tavaliselt nendest, kui räägime päringutest.

Relatsiooniline algebra

Miks on täna vajalik relatsiooniline algebra? Selleks, et saada hea arusaam, miks päringukeeltes asjad on seadistatud teatud viisil, tuleb mõista aluspõhimõtteid.

Mis on relatsiooniline algebra?

Formaalne määratlemine on järgmine: relatsiooniline algebra — suletud operatsioonide süsteem suhete üle relatsioonilises andmemudelis. Inimkeeles öeldes, see on tabelite üle toimingute süsteem, mille tulemuseks on alati tabel.

Vaadake kõiki relatsioonilisi toiminguid sellest artiklis Habrast — siin selgitame, miks on vajalik teada ja kus seda kasutatakse.

Miks?

Sa saad aru, millest tegelikult päringukeelte keeled koosnevad ja millised toimingud seisavad nende konkreetses päringukeeles ülesannete taga — see annab sageli sügavamal arusaama, mis ja kuidas päringukeeltes töötab.

Võetud sellest artiklid. Näide toimingust: join, mis ühendab tabeleid.

Uurimismaterjalid:

Hea sissejuhatav kursus Stanfordist. Üldse, relatsioonilise algebra ja teooria kohta on palju materjale — Coursera, Udacity. Samuti on tohutult palju materjale veebis, sealhulgas häid akadeemilisi kursusi. Minu isiklik soovitus: peate relatsioonilist algebra hästi mõistma — see on põhialus.

SQL

Võetud sellest artiklist.

SQL on tegelikult relatsioonilise algebraga seotud rakendus — oluliselt on SQL deklaratiivne! Toimides relatsioonilise algebraga, ütlete tegelikult, kuidas tuleb arvutada — aga SQL-iga määrate, mida soovite välja võtta, ja seejärel genereerib andmebaasihaldussüsteem (tõhusad) avaldused relatsioonilise algebraga ( nende ekvivalentsust tuntakse meile) Codd'i teoreemi all).

Võetud sellest artiklist.

Miks?

Relatsioonilised andmebaasid: Oracle, Postgres, SQL Server jne — on endiselt peaaegu igal pool ja on tohutult suur võimalus, et peate nendega suhtlema, mis tähendab, et peate kas lugema SQL-i (mis on väga tõenäoline) või kirjutama seda (ka mitte ebatõenäoline).

Mida lugeda ja uurida

Sama kaudu, mida linkides eespool (relatsioonilise algebraga), on palju materjale, näiteks seda.

Muide, mis on NoSQL?

"Tuleb veel kord rõhutada, et termin "NoSQL" on täiesti spontaanselt tekkinud ja tal ei ole üldtunnustatud määratlust ega teaduslikku asutust selle selja taga." Vastav artikkel Habr's.

Inimesed said aru, et täielik relatsiooniline mudel ei ole paljude probleemide lahendamiseks vajalik, eriti seal, kus näiteks on oluline jõudlus ja domineerivad teatud lihtsad päringud koos aggregeerimisega — seal on kriitiliselt oluline kiiresti arvestada mõõdikuid ja need andmetesse kirjutada, ning enamik relatsioonilise funksioone osutus mitte ainult mitte vajalikuks, vaid ka kahjulikuks — miks normaliseerida midagi, kui see rikub meie jaoks kõige olulisemat (konkreetse ülesande jaoks) — jõudlust?

Samuti on sageli vajalikud paindlikud skeemid, mitte fikseeritud matemaatilised skeemid klassikalisest relatsioonilisest mudelist — ja see muudab rakenduste arendamise uskumatult lihtsamaks, kui on kriitiline süsteem kiiresti käivitada ja alustada töötamist, töötades tulemusi — või skeem ja salvestatavate andmete tüübid ei ole nii olulised.

Näiteks loome ekspertsüsteemi ja soovime salvestada teavet teatud domeeni kohta koos mingisuguse metaandmetega — me ei pruugi teada kõiki välju ja saame lihtsalt salvestada iga kirje jaoks JSON-i — see annab meile väga paindliku keskkonna andmemudeli laiendamiseks ja kiireks iteratsiooniks — seetõttu oleks sellisel juhul NoSQL isegi eelistatum ja loetavam. Näide kirjest (ühest minu projektist, kus NoSQL oli seal, kus seda tõesti vajasime).

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

Lisainfot saab lugeda siin NoSQL-ist.

Mida õppida?

Siin tuleb pigem lihtsalt hästi analüüsida oma ülesannet, millised on selle omadused ja millised NoSQL-süsteemid sobivad sellele kirjeldusele — ja siis hakata seda süsteemi õppima.

Päringuskripti keeled

Esmalt tundub, et mis seondub üleüldse Pythoniga — see on programmeerimiskeel, mitte päringute keel.

Pandas on tõeliselt mitmekülgne tööriist andmete teaduses, tohutu hulga andmete teisendamine, agregatsioon ja nii edasi toimub seal.
Numpy — vektorkalkulatsioonid, maatriksid ja lineaarne algebra on seal.
Scipy — sisaldab palju matemaatikat, eriti statistikat.
Jupyter lab — palju uurimisandmete analüüsi sobitub hästi märkmikesse — seda tasub osata.
Requests — veebi töötlemine.
Pyspark — väga populaarne andmeinseneride seas, tõenäoliselt peate te koos töötama kas selle või Sparkiga, lihtsalt nende populaarsuse tõttu.
*Selenium — väga kasulik andmete kogumiseks veebisaitidelt ja allikatelt, mõnikord on andmeid lihtsalt teisiti võimatu saada.

Minu peamine soovitus: õppige Pythonit!

Pandas

Võtame näiteks järgmise koodi:

import pandas as pd
df = pd.read_csv("data/dataset.csv")
# Arvutame ja nime järgi muudame agregaate
all_together = (df[df['trip_type'] == "return"]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': 'min_duration_seconds', 
           'amax': 'max_duration_seconds'}))

Sisuliselt näeme, et kood järgib klassikalist SQL-mustrit.

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = 'return'
GROUP BY start_station_name, end_station_name

Kuid oluline osa — see kood on osa skriptist ja torustikust, tegelikult integreerime päringud Python'i torustikku. Selles olukorras päringukeel tuleb meile raamatukogudest, nagu Pandas või pySpark.

Üldiselt pySparkis näeme sarnast tüüpi andmete transformatsiooni päringukeele kaudu, näiteks:

df.filter(df.trip_type = "return")
  .groupby("day")
  .agg({duration: 'mean'})
  .sort()

Kus ja mida lugeda

Kuna iseenesest Pythonis pole probleem leida õppematerjale. Internetis on tohutult palju õpetusi pandas, pySparkile ja kursusi (ka ise Spark (ja samuti kõige DS). Üldiselt on siin materjalid suurepäraselt leitavad ja kui peaksin valima ühe paketi, millele keskenduda — siis oleks see just pandas, muidugi. DS+Python seosest on ka väga palju materjale..

Shell päringukeelena

Palju andmeanalüüsi ja töötlemise projekte, millega olen tegelenud — need on sisuliselt shell-skriptid, mis kutsuvad esile koodi Pythonis, Java's ja shell-komandeid. Seetõttu võib torustikke bash/zsh/ jne. vaadelda kui mingit kõrgema taseme päringut (seal on muidugi võimalik ka silmusid kasutada, kuid see ei ole tüüpiline DS koodi puhul shelli keeltes), toome lihtsa näite — mul oli vaja teha QID mapping Wikidata ja täislinke vene ja inglise viki jaoks, selleks kirjutasin lihtsalt käskluste päringu bashis ja väljastamiseks kasutasin lihtsat Python'i skripti, mille kokku panin nagu nii:

pv "data/latest-all.json.gz" | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

kus

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")'

See oli sisuliselt kogu torustik, mis lõi vajaliku mappingu, nagu me näeme, kõik töötas voogesituse režiimis:

pv filepath — annab edusammu ribaga põhinevalt faili suurusest ja edastab oma sisu edasi
unpigz -c luges osa arhiivist ja edastas selle jq-le
jq võtmega — stream edastas kohe tulemuse ja edastas selle post-protsessorile (nagu ka esimese näite puhul) Python'is
post-protsessor on seespool lihtne olekuma, mis vormindas väljundi

Seega keeruline torustik, mis töötab voogesituse režiimis suurte andmemahtude juures (0.5TB), ilma oluliste ressurssideta ja loodud lihtsalt kerge torustiku ja paari tööriistaga.

Veel oluline nõuanne: osake hästi ja tõhusalt töötama terminalis ning kirjutama bash/zsh/jne.

Kus seda vaja läheb? Praktiliselt igal pool — õppematerjale on veebis samuti ÜLI palju. Eriti, siin on seda minu eelmine artikkel.

R skriptimine

Jällegi võib lugeja hüüatada — noh, see on ju terve programmeerimiskeel! Ja tal on kindlasti õigus. Siiski olen enamasti kokku puutunud R-iga kontekstis, kus see sarnanes pigem päringukeeles.

R on statistikaarvutuste keskkond ja statistilise arvutamise ja visualiseerimise keeles (vastavalt seda).

Võetud siit. Muide, soovitan, hea materjal.

Miks peab andeteadlane R-i teadma? Vähemalt seetõttu, et on tohutult inimesi, kes ei vasta IT-le ja teevad R-is andmeanalüüsi. Olen seda kohanud järgmistes kohtades:

Farmatseutiline sektor.
Bioloogid.
Finantssüsteem.
Inimesed, kellel on rangelt matemaatiline haridus ja kes tegelevad statistikaga.
Spetsialiseeritud statistilised mudelid ja masinõppe mudelid (mida sageli leidub ainult autori versioonis R-pakendina).

Miks on see tegelikult päringukeel? Nagu see tihti esineb — see on tegelikult päring mudeli loomiseks, sealhulgas andmete lugemine ja päringu (mudeli) parameetrite fikseerimine ning andmete visualiseerimine sellistes pakettides nagu ggplot2 — see on ka päringu kirjutamise vorm.

Visualiseerimiseks päringud

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

Üldiselt on paljusid R-i ideid üle viidud Pythonis olevatesse pakettidesse, nagu pandas, numpy või scipy, nagu andmeraamid ja andmete vektoreerimine — seega tunduvad paljud asjad R-is teile tuttavad ja mugavad.

Õppematerjale on palju, näiteks seda.

Teadmiste graafid (Knowledge graph)

Siin on mul veidi ebatavaline kogemus, sest pean üsna sageli töötama teadmiste graafide ja nende päringukeeltega. Seega käime lõpetuseks kiiresti läbi põhialused, kuna see osa on veidi eksootilisem.

Klassikalistes relatsioonilistes andmebaasides on meil fikseeritud skeem — siin on skeem aga paindlik, iga predikaat on tegelikult "veerg" ja veel rohkem.

Kujutage ette, et modelleerisite inimest ja soovite kirjeldada olulisi aspekte, näiteks võtame konkreetselt Douglas Adamsi, lähtudes järgmisest kirjeldusest.

www.wikidata.org/wiki/Q42

Kui kasutaksime relatsioonilisi andmeid, peaksime looma tohutu tabeli või tabelid tohutu arvu veergudega, kus enamik oleks NULL või täidetud mingite vaikimisi vale väärtustega, näiteks ei ole ilmselt paljude meist sissekannet riiklikus Korea raamatukogus — muidugi võiksime need eraldi tabelitesse viia, kuid see oleks lõppkokkuvõttes katse modelleerida paindlik loogilise skeemiga predikaate, kasutades fikseeritud relatsioonilisi.

Kujutage seega ette, et kõik andmed on salvestatud graafina või binaarsete ja unaarsete loogiliste väljenditena.

Kus te sellise asjaga kokku põrkate? Esiteks, töötades vikandme, samuti kõikide graafide andmebaaside või seotud andmete puhul.

Edasi tulevad peamised päringu keeled, millega olen kokku puutunud ja millega olen pidanud töötama.

SPARQL

Wiki:
SPARQL (rekursiivne akronüüm alates ingl. SPARQL Protocol and RDF Query Language) — andmete päringukeel, mis on esitatud mudeli kohaselt, nende päringute ja vastuste edastamiseks. SPARQL on W3C konsortsiumi soovitus RDF, samuti protokoll ja üks tehnoloogiatest semantilises veebis. Tegelikult on see päringukeel loogiliste unaarsete ja binaarsete predikaatide jaoks. Te lihtsalt määrate tinglikult, mis on loogilises väljendis fikseeritud ja mis mitte (väga lihtsustatult). Ise RDF (Resource Description Framework), millel SPARQL päringud käivad — see on kolmik.

object, predicate, subject

— ja päring valib vajalikud kolmikud toodud piirangute põhjal, mis tähendab: leida selline X, et p_55(X, q_33) on tõene — kus loomulikult p_55 on mingi suhe ID 55, ja q_33 on objekt ID 33 (see on kogu jutt, samuti jättes kõrvale kõik ümbritsevad detailid). Andmete esitamise näide: Pildid ja näide maadest on siin

Põhipäringu näide

Tegelikult tahame leida muutuja ?country väärtust, nii et predikaadi siit.

member_of on tõene, et member_of(?country,q458), ja q458 on Euroopa Liidu ID.

Reaalse SPARQL päringu näide Pythonis:
Reeglina olen ma pidanud lugema SPARQL-i, mitte kirjutama — sellistes olukordades on tõenäoliselt kasulik osata keelt vähemalt põhiliselt, et mõista, kuidas andmeid täpselt välja tõmmatakse.

Internetis on palju õppematerjale: näiteks siin on

Reeglina olen pidanud lugema SPARQL-i, mitte kirjutama — sellises olukorras on tõenäoliselt kasulik osata keelt vähemalt baas-toe tasemel, et mõista, kuidas andmeid täpselt ekstraktitakse.

Veebis on palju õppematerjale: näiteks, siin on seda ja seda. Tavaliselt otsin spetsiifilisi konstruktsioone ja näiteid Googlest ning see on seni piisav.

Loogilised päringuvahendid

Lisainfot teema kohta leiate minu artiklist siin. Siin käsitleme vaid lühidalt, miks loogilised päringuvahendid sobivad päringute kirjutamiseks. Sisuliselt on RDF lihtsalt loogiliste väidete kogum, näiteks p(X) ja h(X,Y), ja loogiline päring on sellise vormiga:

output(X) :- country(X), member_of(X,“EU”).

Siin loome uue predikaadi output/1 (/1 — tähendab ühemõttelist), tingimusel, et X jaoks kehtib, et country(X) — st, X on riik ja samuti member_of(X,“EU”).

Seega on meil andmed ja reeglid sellisel puhul esindatud täielikult ühtmoodi, mis võimaldab ülesannete modelleerimist väga lihtsalt ja hästi.

Kus oleme tööstuses kokku puutunud: suur projekt ettevõttega, kes kirjutab sellise keele päringuid, samuti praeguses projektis süsteemi tuumas — näiliselt üsna eksootiline, kuid aeg-ajalt esineb.

Loogilisel keelel põhinev koodifragmendi näide, mis töötleb wikidata: