🥇Andmete teadlase märkmed: isiklik ülevaade andmepäringute keeltest

Jag räägin isiklikest kogemustest, millal ja kus miski on kasulik olnud. Ülevaatlikult ja teesidena, et oleks aru saada, mida ja kuhu edasi uurida — aga see on puhtalt minu subjektiivne isiklik kogemus, teil võib kõik olla sootuks teine.

Miks on oluline teada ja osata käsitleda päringukeeli? Andmeteaduses on mitmeid olulisi tööetappe ning esimene ja tähtsaim (ilma selleta ei toimi tõepoolest mitte midagi!) — andmete saamine või väljavõtmine. Kõige sagedamini asuvad andmed mingis vormis kuskil ja neid tuleb sealt 'välja tõmmata'.

Päringukeeled just aitavadki neid andmeid välja võtta! Ja täna räägin ma neist päringukeeltest, mis mul on kasulikud olnud, ning näitan, kus ja kuidas täpselt — miks on vajalik neid õppida.

Kokku on kolm põhiblokki andmete päringute tüüpe, mida me selles artiklis käsitleme:

„Standardsed“ päringukeeled — need, mille kohta tavaliselt mõeldakse, kui räägitakse päringukeeltest, nagu näiteks relatsiooniline algebral või SQL.
Skriptikeeled päringute jaoks: näiteks Pythonis olevad vahendid pandas, numpy või shell-i skriptimine.
Päringukeeled teadmiste graafide ja graafandmebaaside jaoks.

Kõik, mis siin on kirjutatud, põhineb isiklikul kogemusel, mis on olnud kasulik, koos olukordade kirjelduse ja 'miks see oli vajalik' — igaüks võib end proovile panna, kuidas sellised olukorrad võiksid ette tulla ja proovida neile eelnevalt valmistuda, uurides neid keeli enne, kui tuleb neid (kõige kiiremas korras) rakendada projektis või sattuda projektile, kus need on vajalikud.

„Standardsed“ päringukeeled

Standardsed päringukeeled just selles mõttes, et tavaliselt mõtleme me nendest, kui räägime päringutest.

Relatsiooniline algebra

Miks on täna vajalik relatsiooniline algebra? Selleks, et omada head ettekujutust, miks päringukeeled on korraldatud teatud viisil ja teadlikult neid kasutada, tuleb aru saada põhijõududest, mis nende taga on.

Mis on relatsiooniline algebra?

Formaalne määratlus on järgmine: relatsiooniline algebra — suletud süsteem operatsioone suhete üle relatsioonilises andmemudelis. Kui rääkida inimsõbralikumalt, siis on see süsteem operatsioone tabelite üle, nii et tulemuseks on alati ka tabel.

Vaata kõiki relatsioonilisi operatsioone selle Habrist artiklis — siin me selgitame, miks on oluline teada ja kus seda rakendatakse.

Miks?

Sa hakkad aru saama, millest küsitluskeel koosneb ja millised toimingud on seotud konkreetsete küsitluskeelte mõistetega — see annab sageli sügavamal tasandil arusaama sellest, kuidas küsitluskeeled toimivad.

Võetud selle artiklist. Näide toimingust: join, mis ühendab tabeleid.

Õppematerjalid:

Hea sissejuhatav kursus Stanfordist. Üldiselt on relaatsiooni algebrast ja teooriast palju materjale — Coursera, Udacity. Samuti on internetis tohutult materjale, sealhulgas häid akadeemilisi kursusi. Minu isiklik nõuanne: relaatsiooni algebra peab olema väga hästi mõistetud — see on aluspõhi.

SQL

Võetud selle artiklist.

SQL on oma olemuselt relaatsiooni algebrakohane rakendus — olulise erandiga, SQL on deklaratiivne! See tähendab, et kui kirjutad päringu raja algebrakeeles, ütled sa sisuliselt, kuidas tuleks arvutada — kuid SQL-i puhul määratled, mida tahad välja kahe ja seejärel genereerib DBMS juba (tõhusad) väljendid raja algebra keeles (nende ekvivalents on meile teada kui Codd'i teoreem).

Võetud selle artiklist.

Miks?

Relaatsioonilised DBMS-id: Oracle, Postgres, SQL Server jne — on endiselt praktiliselt igal pool ja on uskumatult suur võimalus, et pead nendega suhtlema, mis tähendab, et pead kas lugema SQL-i (mis on väga tõenäoline) või kirjutama seda (ka mitte ebatõenäoline).

Mida lugeda ja õppida

Samad linkid eespool (ralaatsiooni algebra kohta) sisaldavad tohutult materjali, näiteks see.

Muide, mis on NoSQL?

„On veel üks kord oluline rõhutada, et termin „NoSQL” on täiesti orgaanilise päritoluga ning sellel ei ole üldiselt tunnustatud määratlust ega teadusasutust, mis selle taga seisab.” Vastav artikkel Habrist.

Sisuliselt mõistsid inimesed, et täielik relaatsiooniline mudel ei ole paljude probleemide lahendamiseks vajalik, eriti seal, kus näiteks toodangutootlikkus on oluline ja domineerivad teatud lihtsad küsitlusd, kus on kriitiliselt oluline kiiresti mõõdikuid arvestada ja need andmebaasi kirjutada, ja enamus funksioone, mis on seotud relaationitega, osutusid mitte ainult mittevajalikeks, vaid isegi kahjulikeks — miks normaliseerida midagi, kui see rikub meie jaoks kõige olulisemat (konkreetse ülesande jaoks) — tootlikkust?

Samuti on sageli vajalikud paindlikud skeemid traditsiooniliste relatsiooniliste mudelite fikseeritud matemaatiliste skeemide asemel — ja see lihtsustab rakenduste arendamist, kui on kriitiline süsteemi kiiresti seadistada ja tööd alustada, töötades tulemusi — või skeem ja salvestatud andmete tüübid ei ole nii olulised.

Näiteks loome ekspert süsteemi ja soovime salvestada teavet teatud domeeni kohta koos mõne metaandmega — me ei pruugi teada kõiki välju ja lihtsalt salvestame JSON-i iga kirje jaoks — see annab meile väga painduva keskkonna andmemudeli laiendamiseks ja kiireks iteratsiooniks — seega on sellisel juhul NoSQL isegi eelistatavam ja loetavam. Näide kirjest (ühelt minu projektist, kus NoSQL oli just seal, kus see vajalik oli).

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

Rohkem infot saab lugeda siit NoSQL-i kohta.

Mida õppida?

Siin tuleb pigem lihtsalt põhjalikult analüüsida oma ülesannet, millised on selle omadused ja millised NoSQL süsteemid sobivad selle kirjelduse alla — ja siis tegeleda selle süsteemi õppimisega.

Skripti keeltes päringud

Esialgu tundub, et mis see Python siin üldse teeb — see on programmeerimiskeel, mitte päringute keel.

Pandas on nagu Šveitsi armee nuga andmeteaduses, tohutult palju andmete transformatsiooni, agregatsiooni jne toimub selles.
Numpy — vektorkalkulatsioonid, maatriksid ja lineaarne algebra seal.
Scipy — palju matemaatikat selles paketis, eriti statistika.
Jupyter lab — palju uurimistöö analüüsi sobib hästi märkmikesse — kasulik osata.
Requests — töövõrguga.
Pyspark — väga populaarne andmeinseneride seas, tõenäoliselt peate te selle või Sparkiga koostööd tegema, lihtsalt nende populaarsuse tõttu.
*Selenium — väga kasulik andmete kogumiseks veebisaitidelt ja ressurssidelt, mõnikord ei saa te lihtsalt teisiti andmeid kätte.

Minu peamine soovitus: õppige Pythonit!

Pandas

Võtame näiteks järgmise koodi:

import pandas as pd
df = pd.read_csv("data/dataset.csv")
# Arvuta ja nimeta agregatsioonid ümber
all_together = (df[df['trip_type'] == "return"]
    .groupby(['start_station_name','end_station_name'])
                    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': 'min_duration_seconds', 
           'amax': 'max_duration_seconds'}))

Sisuliselt näeme, et kood sobib klassikaliselt SQL mustrisse.

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = 'return'
GROUPBY start_station_name, end_station_name

Kuid oluline osa on see, et see kood on osa skriptist ja torustikust; tegelikult integreerime päringud Python'i torustikku. Antud olukorras päringute keel tuleb meieni sellistest raamatutest nagu Pandas või pySpark.

Üldiselt näeme pySpark'is sarnast tüüpi andmete transformatsiooni päringu keele kaudu sellise vaimuga:

df.filter(df.trip_type = "return")
  .groupby("day")
  .agg({duration: 'mean'})
  .sort()

Kus ja mida lugeda

Pythoni kohta üldiselt pole probleem leidmaks õppematerjale. Internetis on tohutult palju õpetusi pandas, pySpark ja kursusi Spark (nagu ka kindlasti DS). Üldiselt on siin materjalid suurepäraselt otsitavad ja kui peaksin valima ühe paketi, millele keskenduda — siis oleks see kindlasti pandas. DS+Python seose kohta on samuti väga palju.

Shell kui päringu keel

Palju projekte andmete töötlemiseks ja analüüsiks, millega olen kokku puutunud — need on sisuliselt shell skriptid, mis käivitavad koodi Python'is, javasse ja tegelikult ka shell käsklused. Seetõttu võib torustikke bash'i/zsh'i/jne. kontekstis käsitleda kui mingit kõrgetasemelist päringut (seal saab muidugi ka tsükleid kasutada, aga see ei ole tüüpiline DS kood shell keeltes), toome välja lihtsa näite — mul oli vaja teha QID mappimise Vikipeedia ja täieliku lingi jaoks vene ja inglise Vikis, selle jaoks kirjutasin lihtsa päringu bash'i käskudest ja väljundi jaoks kirjutasin lihtsa Python skripti, mille seotud kokku järgmiselt:

pv "data/latest-all.json.gz" | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

kus

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")'

See oli sisuliselt kogu torustik, mis genereeris vajalikku mappimist; nagu näeme, töötas kõik voogesituse režiimis:

pv filepath — näitab edusammude baar, mis põhineb faili suurusel ja edastab selle sisu edasi
unpigz -c luges osa arhiivist ja andis selle edasi jq-le
jq võti — stream andis kohe tulemuse välja ja edastas selle postprotsessorile (nagu ka kõige esimese näite puhul) Python'is
postprotsessor on sisuliselt lihtsalt olekute masin, mis vormindas väljundi

Kokkuvõttes keeruline voolupipe, mis töötab suurte andmete (0.5TB) režiimis, ilma märkimisväärsete ressurssideta ning on koostatud lihtsast voolupipest ja paarist tööriistast.

Veel üks oluline näpunäide: osake hästi ja tõhusalt kasutada terminali ning kirjutada bash/zsh/ jne.

Kus see vajalik on? Peaaegu igal pool — õppematerjali on veebis ÜLI palju. Eriti just siit see minu eelmine artikkel.

R skriptimine

Jälle võib lugeja hüüda — see on ju terviklik programmeerimiskeel! Ja ta on kindlasti õige. Kuid tavaliselt olen ma R-iga kokku puutunud sellistes kontekstides, kus see sarnanes pigem päringukeelega.

R on statistiliste arvutuste keskkond ja statistiliste arvutuste ja visualiseerimise keel (vastavalt sellele).

Võetud siit. Muide, soovitan, hea materjal.

Miks peab andmete teadlane R-i teadma? Esiteks seepärast, et on tohutu hulk inimesi, kes ei ole IT-sektorist, kuid tegelevad andmete analüüsiga R-is. Olen kokku puutunud järgmistes valdkondades:

Farmaatsiatööstus.
Bioloogid.
Rahandusvaldkond.
Loodusteaduste haridusega inimesed, kes tegelevad statistikaga.
Spetsialiseeritud statistilised mudelid ja masinõppe mudelid (mida sageli leidub vaid autori versioonis R-paketina).

Miks on see tegelikult päringukeel? Selles vormis, milles see sageli esineb, on see tegelikult päring mudeli loomise kohta, sealhulgas andmete lugemine ja päringu (mudeli) parameetrite määramine, samuti andmete visualiseerimine sellistes paketides nagu ggplot2 — see on samuti vorm päringute kirjutamiseks.

Näide visualiseerimise päringutest

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

Kokkuvõttes on paljusid ideid R-ist üle võetud Python-i pakettidesse, nagu pandas, numpy või scipy, nagu andmeraamid ja andmete vektorisalad — seetõttu tunduvad paljusid asju R-is teile tuttavad ja mugavad.

Õppematerjale on palju, näiteks see.

Teadmiste graaf (Knowledge graph)

Siin on mul veidi ebatavaline kogemus, kuna ma pean üsna tihti töötama teadmusgraafide ja graafide päringukeeltega. Seetõttu läbime kiiresti põhitõed, kuna see osa on veidi eksootilisem.

Klassikalistes relatsioonilistes andmebaasides on meil fikseeritud skeem — siin on skeem paindlik, iga predikaat on sisuliselt "veerg" ja isegi rohkem.

Kujutage ette, et modelleerinud inimest ja soovitud kirjeldada võtmeasju, näiteks võtame konkreetse inimese Douglas Adamsi ja kasutame selleks järgmist kirjeldust.

www.wikidata.org/wiki/Q42

Kui me oleksime kasutanud relatsioonilist andmebaasi, oleksime pidanud looma tohutu tabeli või tabelid tohutu hulga veergudega, millest enamik oleks NULL või täidetud mingi vaikse False väärtusega, näiteks on kahtlemata vähe inimesi, kellel on kirje riiklikus Korea raamatukogus — loomulikult võiksime need eraldi tabelitesse viia, kuid see oleks lõpuks ikka katse modelleerida paindlikku loogilist skeemi predikaatidega, kasutades fikseeritud relatsioonilist.

Seega kujutage ette, et kõik andmed on salvestatud graafina või binaarsete ja unaarsete loogiliste väljenditena.

Kus te üldse sellise olukorraga kokku puutute? Esiteks tegeledes wikipedia andmetega, ja ka mis tahes graafipõhiste andmebaaside või seotud andmetega.

Järgmiseks on põhilised päringukeel, mida olen pidanud kasutama ja millega olen töötanud.

SPARQL

Wiki:
SPARQL (rekursiivne akronüüm alates inglise. SPARQL Protocol and RDF Query Language) — andmete päringukeel, mis esitatakse mudelis RDF, samuti protokoll selle päringute edastamiseks ja nendele vastamiseks. SPARQL on W3C konsortsiumi soovitus ja üks tehnoloogia semantilise võrgu Tegelikult on see päringukeel loogiliste unaarsete ja binaarsete predikaatide jaoks. Lihtsalt määratakse, mis on loogilises väljendis fikseeritud ja mis mitte (väga lihtsustatult)..

Isegi RDF (Resource Description Framework) andmebaas, mille üle SPARQL päringud teostatakse — see on kolmik

objekt, predikaat, subjekt — ja päring valib vajalikud kolmikud määratud piirangute alusel, nagu: leida selline X, et p_55(X, q_33) on tõene — kus p_55 on mingi suhe ID-ga 55 ja q_33 on objekt ID-ga 33 (ja see on kogu lugu, jättes kõrvale erinevad üksikasjad). Andmete esitlemise näide:

Pildid ja näide riikidest on siin

Põhirikka päringu näide siit.

Tegelikult tahame leida muutuja väärtust ?country, nii et predikaadi

member_of, on tõene, et member_of(?country,q458), kus q458 on Euroopa Liidu ID.
member_of, tõepoolest, et member_of(?country,q458), ja q458 on Euroopa Liidu ID.

Näide reaalsetest SPARQL päringutest Pythonis:

Reeglina olen pidanud SPARQLi lugema, mitte kirjutama - sellises olukorras on tõenäoliselt kasulik osata keelt vähemalt põhimõtteliselt, et mõista, kuidas andmeid väljaspoolt kätte saadakse.

Internetis on palju materjale õppimiseks: näiteks, siin on see ja see. Mina otsin tavaliselt konkreetseid konstruktsioone ja näiteid Google'ist ja seni on sellest piisavalt.

Loogilised päringukeeled

Teemast saab rohkem lugeda minu artiklist siit. Siin käsitleme ülevaatlikult, miks loogilised keeled sobivad hästi päringute kirjutamiseks. Tegelikult on RDF lihtsalt loogiliste väidete kogum, näiteks p(X) ja h(X,Y), ning loogiline päring näeb välja järgmine:

output(X) :- country(X), member_of(X,"EU").

Siin loome uue predikaadi output/1 (1 tähendab unaarset), eeldusel, et X on tõsi, et country(X) - ehk X on riik ja samas member_of(X,"EU").

See tähendab, et andmed ja reeglid on antud juhul esitatud täiesti ühtemoodi, mis võimaldab ülesandeid väga lihtsalt ja hästi modelleerida.

Kus on kohanud tööstuses: suur projekt ettevõttega, mis kirjutab päringuid sellisel keelel, ja ka praeguses projektis süsteemi tuumas - see võib tunduda üsna eksootiline, kuid mõnikord see siiski esineb.

Näide loogilisel keelel põhinevast koodifragmendist, mis töötleb wikidata: