Mo n sọ fun ọ lati iriri ti ara ẹni kini o wulo nibiti ati nigbawo. O jẹ awotẹlẹ ati iwe afọwọkọ, nitorinaa o han kini ati ibiti o le ma wà siwaju - ṣugbọn nibi Mo ni iriri ti ara ẹni iyasọtọ, boya ohun gbogbo yatọ patapata fun ọ.
Kini idi ti o ṣe pataki lati mọ ati ni anfani lati lo awọn ede ibeere? Ni ipilẹ rẹ, Imọ-jinlẹ data ni ọpọlọpọ awọn ipele pataki ti iṣẹ, ati pe akọkọ ati pataki julọ (laisi rẹ, dajudaju ohunkohun yoo ṣiṣẹ!) Ni gbigba tabi yiyọ data jade. Ni ọpọlọpọ igba, data naa joko ni ibikan ni diẹ ninu awọn fọọmu ati pe o nilo lati "gba pada" lati ibẹ.
Awọn ede ibeere gba ọ laaye lati jade data yii gan-an! Ati loni Emi yoo sọ fun ọ nipa awọn ede ibeere wọnyẹn ti o wulo fun mi ati pe Emi yoo sọ fun ọ ati ṣafihan ibiti ati bii gangan - idi ti o nilo lati kawe.
Awọn bulọọki akọkọ mẹta yoo wa ti awọn iru ibeere data, eyiti a yoo jiroro ninu nkan yii:
- Awọn ede ibeere "Standard" jẹ ohun ti a loye nigbagbogbo nigbati o ba sọrọ nipa ede ibeere kan, gẹgẹbi algebra ti o ni ibatan tabi SQL.
- Awọn ede ibeere iwe afọwọkọ: fun apẹẹrẹ, awọn nkan Python pandas, numpy tabi iwe afọwọkọ ikarahun.
- Awọn ede ibeere fun awọn aworan imo ati awọn apoti isura data eeya.
Ohun gbogbo ti a kọ nibi jẹ iriri ti ara ẹni nikan, kini o wulo, pẹlu apejuwe awọn ipo ati “idi ti o ṣe nilo” - gbogbo eniyan le gbiyanju lori bii awọn ipo ti o jọra ṣe le wa ni ọna rẹ ati gbiyanju lati mura silẹ fun wọn tẹlẹ nipa agbọye awọn ede wọnyi ṣaaju ki o to ni lati lo (ni kiakia) lori iṣẹ akanṣe kan tabi paapaa gba iṣẹ akanṣe nibiti wọn nilo wọn.
"Standard" awọn ede ibeere
Awọn ede ibeere deede jẹ deede ni ori ti a maa n ronu nipa wọn nigba ti a ba sọrọ nipa awọn ibeere.
Aljebra ibatan
Kini idi ti algebra ibatan ṣe nilo loni? Lati le ni oye ti o dara ti idi ti awọn ede ibeere ṣe ṣeto ni ọna kan ati lo wọn ni mimọ, o nilo lati loye ipilẹ ti o wa labẹ wọn.
Kini algebra ibatan?
Itumọ ojuṣe jẹ atẹle yii: algebra ibatan jẹ eto awọn iṣẹ ṣiṣe lori awọn ibatan ni awoṣe data ibatan. Lati fi diẹ sii diẹ sii eniyan, eyi jẹ eto awọn iṣẹ lori awọn tabili gẹgẹbi abajade jẹ tabili nigbagbogbo.
Wo gbogbo awọn iṣẹ ibatan ni nkan lati Habr - nibi a ṣe apejuwe idi ti o nilo lati mọ ati ibiti o wa ni ọwọ.
Kí nìdí?
Bibẹrẹ lati ni oye kini awọn ede ibeere jẹ gbogbo nipa ati kini awọn iṣẹ ṣiṣe ti o wa lẹhin awọn ikosile ni awọn ede ibeere kan pato nigbagbogbo n funni ni oye ti o jinlẹ ti kini ohun ti n ṣiṣẹ ni awọn ede ibeere ati bii.
Ya lati ìwé. Apeere ti isẹ kan: darapọ, eyiti o darapọ mọ awọn tabili.
Awọn ohun elo fun iwadi:
. Ni gbogbogbo, ọpọlọpọ awọn ohun elo wa lori algebra ibatan ati imọran - Coursera, Udacity. Iye nla ti ohun elo tun wa lori ayelujara, pẹlu ti o dara . Imọran ti ara mi: o nilo lati ni oye algebra ibatan daradara - eyi ni ipilẹ ti awọn ipilẹ.
SQL
Ya lati ìwé.
SQL jẹ pataki imuse ti algebra ibatan - pẹlu akiyesi pataki, SQL jẹ asọye! Iyẹn ni, nigba kikọ ibeere kan ni ede ti algebra ibatan, o sọ gangan bi o ṣe le ṣe iṣiro - ṣugbọn pẹlu SQL o pato ohun ti o fẹ jade, lẹhinna DBMS ti ṣe agbekalẹ awọn ọrọ ti o munadoko (doko) ni ede ti algebra ibatan (wọn deede ni a mọ si wa bi ).
Ya lati ìwé.
Kí nìdí?
Awọn DBMS ibatan: Oracle, Postgres, SQL Server, ati bẹbẹ lọ tun wa ni ibi gbogbo ati pe aye giga wa ti iyalẹnu ti iwọ yoo ni lati ṣe ajọṣepọ pẹlu wọn, eyiti o tumọ si pe iwọ yoo ni lati ka SQL (eyiti o ṣeeṣe pupọ) tabi kọ ( tun ko išẹlẹ ti).
Kini lati ka ati iwadi
Gẹgẹbi awọn ọna asopọ kanna loke (nipa algebra ibatan), iye ohun elo iyalẹnu wa, fun apẹẹrẹ, .
Nipa ọna, kini NoSQL?
“O tọ lati tẹnumọ lekan si pe ọrọ naa “NoSQL” ni ipilẹṣẹ lẹẹkọkan ati pe ko ni itumọ gbogbogbo tabi igbekalẹ imọ-jinlẹ lẹhin rẹ.” Ni ibamu lori Habr.
Ni otitọ, awọn eniyan rii pe awoṣe ibatan kikun ko nilo lati yanju ọpọlọpọ awọn iṣoro, ni pataki fun awọn nibiti, fun apẹẹrẹ, iṣẹ ṣiṣe ṣe pataki ati pe awọn ibeere ti o rọrun kan jẹ gaba lori - nibiti o ti jẹ pataki lati yara ṣe iṣiro awọn metiriki ki o kọ wọn si database, ati julọ awọn ẹya ara ẹrọ ti wa ni ibatan tan-jade lati wa ni ko nikan kobojumu, sugbon tun ipalara - idi ti normalize nkankan ti o ba ti yoo ikogun awọn julọ pataki ohun fun wa (fun diẹ ninu awọn kan pato iṣẹ-ṣiṣe) - ise sise?
Paapaa, awọn eto rọ ni igbagbogbo nilo dipo awọn igbero mathematiki ti o wa titi ti awoṣe ibatan kilasika - ati pe iyalẹnu jẹ irọrun idagbasoke ohun elo nigbati o ṣe pataki lati mu eto naa lọ ki o bẹrẹ ṣiṣẹ ni iyara, ṣiṣe awọn abajade - tabi ero ati awọn iru data ti o fipamọ. ni ko bẹ pataki.
Fun apẹẹrẹ, a n ṣẹda eto iwé kan ati pe a fẹ lati fi alaye pamọ sori aaye kan pato pẹlu diẹ ninu awọn alaye meta - a le ma mọ gbogbo awọn aaye ati ṣafipamọ JSON nirọrun fun igbasilẹ kọọkan - eyi fun wa ni agbegbe irọrun pupọ fun faagun data naa. awoṣe ati aṣetunṣe yarayara - nitorinaa ninu ọran yii, NoSQL yoo jẹ ayanfẹ paapaa ati kika diẹ sii. Akọsilẹ apẹẹrẹ (lati ọkan ninu awọn iṣẹ akanṣe mi nibiti NoSQL wa ni ibi ti o ti nilo).
{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}
O le ka diẹ ẹ sii nipa NoSQL.
Kini lati ṣe iwadi?
Nibi, dipo, o kan nilo lati ṣe itupalẹ iṣẹ-ṣiṣe rẹ daradara, kini awọn ohun-ini ti o ni ati kini awọn eto NoSQL wa ti yoo baamu apejuwe yii - ati lẹhinna bẹrẹ ikẹkọ eto yii.
Awọn ede ibeere kikọ
Ni akọkọ, o dabi pe kini Python ni lati ṣe pẹlu rẹ ni gbogbogbo - o jẹ ede siseto, kii ṣe nipa awọn ibeere rara.
- Pandas jẹ itumọ ọrọ gangan ọbẹ Ọmọ-ogun Swiss ti Imọ-jinlẹ data; iye nla ti iyipada data, apapọ, ati bẹbẹ lọ ṣẹlẹ ninu rẹ.
- Numpy - awọn iṣiro fekito, matrices ati algebra laini nibẹ.
- Scipy - ọpọlọpọ awọn mathimatiki ni package yii, paapaa awọn iṣiro.
- Jupyter lab - ọpọlọpọ awọn itupalẹ data ti iṣawari ni ibamu daradara sinu awọn kọnputa agbeka - wulo lati mọ.
- Awọn ibeere - ṣiṣẹ pẹlu nẹtiwọki.
- Pyspark jẹ olokiki pupọ laarin awọn onimọ-ẹrọ data, o ṣeese o yoo ni lati ṣe ajọṣepọ pẹlu eyi tabi Spark, lasan nitori olokiki wọn.
- * Selenium - wulo pupọ fun gbigba data lati awọn aaye ati awọn orisun, nigbakan ko si ọna miiran lati gba data naa.
Imọran akọkọ mi: kọ Python!
pandas
Jẹ ki a mu koodu atẹle bi apẹẹrẹ:
import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
.groupby(['start_station_name','end_station_name'])
.agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
.rename(columns={'size': 'num_trips',
'mean': 'avg_duration_seconds',
'amin': min_duration_seconds',
‘amax': 'max_duration_seconds'}))Ni pataki, a rii pe koodu naa baamu si apẹrẹ SQL Ayebaye.
SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_nameṢugbọn apakan pataki ni pe koodu yii jẹ apakan ti iwe afọwọkọ ati opo gigun ti epo; ni otitọ, a n ṣafikun awọn ibeere sinu opo gigun ti Python. Ni ipo yii, ede ibeere wa si wa lati awọn ile-ikawe bii Pandas tabi pySpark.
Ni gbogbogbo, ni pySpark a rii iru iru iyipada data nipasẹ ede ibeere ni ẹmi ti:
df.filter(df.trip_type = “return”)
.groupby(“day”)
.agg({duration: 'mean'})
.sort()Nibo ati kini lati ka
Lori Python funrararẹ ni gbogbogbo wa awọn ohun elo lati ṣe iwadi. Nibẹ ni o wa kan tobi nọmba ti Tutorial online , ati awọn courses lori (ati paapaa funrararẹ ). Ni apapọ, akoonu ti o wa nibi jẹ nla fun googling, ati pe ti MO ba ni lati mu package kan si idojukọ, yoo jẹ pandas, dajudaju. Nipa apapọ awọn ohun elo DS+Python paapaa .
Shell bi ede ibeere
Awọn iṣẹ ṣiṣe data diẹ diẹ ati awọn iṣẹ akanṣe ti Mo ti ṣiṣẹ pẹlu jẹ, ni otitọ, awọn iwe afọwọkọ ikarahun ti o pe koodu ni Python, Java, ati ikarahun paṣẹ funrara wọn. Nitorina, ni gbogbogbo, o le ṣe akiyesi awọn pipelines ni bash / zsh / ati be be lo bi diẹ ninu awọn ibeere ti o ga julọ (o le, dajudaju, awọn ohun elo nibe, ṣugbọn eyi kii ṣe aṣoju fun koodu DS ni awọn ede ikarahun), jẹ ki a fun apẹẹrẹ ti o rọrun - Mo nilo lati ṣe maapu QID kan ti wikidata ati awọn ọna asopọ ni kikun si awọn wiki Russian ati Gẹẹsi, fun eyi Mo kọ ibeere ti o rọrun lati awọn aṣẹ ni bash ati fun abajade Mo kọ iwe afọwọkọ ti o rọrun ni Python, eyiti Mo kọ. dapọ bi eleyi:
pv “data/latest-all.json.gz” |
unpigz -c |
jq --stream $JQ_QUERY |
python3 scripts/post_process.py "output.csv"
nibi ti
JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' Eyi jẹ, ni otitọ, gbogbo opo gigun ti epo ti o ṣẹda aworan agbaye ti a beere; bi a ti rii, ohun gbogbo ṣiṣẹ ni ipo ṣiṣan:
- pv filepath - funni ni igi ilọsiwaju ti o da lori iwọn faili ati ki o kọja awọn akoonu rẹ siwaju
- unpigz -c ka apakan ti pamosi o si fi fun jq
- jq pẹlu bọtini - ṣiṣan lẹsẹkẹsẹ gbejade abajade ati gbejade si postprocessor (kanna pẹlu apẹẹrẹ akọkọ) ni Python
- fipa, postprocessor je kan awọn ipinle ẹrọ ti o pa akoonu awọn ti o wu
Ni apapọ, opo gigun ti epo ti o n ṣiṣẹ ni ipo ṣiṣan lori data nla (0.5TB), laisi awọn orisun pataki ati ti a ṣe lati opo gigun ti o rọrun ati awọn irinṣẹ meji.
Imọran pataki miiran: ni anfani lati ṣiṣẹ daradara ati imunadoko ni ebute ati kọ bash / zsh/etc.
Nibo ni yoo wulo? Bẹẹni, fere nibikibi - lẹẹkansi, ọpọlọpọ awọn ohun elo wa lati ṣe iwadi lori Intanẹẹti. Ni pato, nibi mi ti tẹlẹ article.
R iwe afọwọkọ
Lẹẹkansi, oluka le kigbe - daradara, eyi jẹ gbogbo ede siseto! Ati pe dajudaju, yoo jẹ ẹtọ. Sibẹsibẹ, Mo nigbagbogbo pade R ni iru ipo kan pe, ni otitọ, o jọra pupọ si ede ibeere kan.
R jẹ agbegbe iširo iṣiro ati ede fun iširo aimi ati iworan (gẹgẹbi ).
gba . Nipa ọna, Mo ṣeduro rẹ, ohun elo to dara.
Kini idi ti onimọ-jinlẹ data nilo lati mọ R? O kere ju, nitori ipele nla ti awọn eniyan ti kii ṣe IT ti o ṣe itupalẹ data ni R. Mo wa kọja rẹ ni awọn aaye wọnyi:
- elegbogi eka.
- Awọn onimọ-jinlẹ.
- Owo eka.
- Awọn eniyan ti o ni eto-ẹkọ mathematiki nikan ti wọn ṣe pẹlu awọn iṣiro.
- Awọn awoṣe iṣiro amọja ati awọn awoṣe ikẹkọ ẹrọ (eyiti o le rii nigbagbogbo ni ẹya ti onkọwe bi package R).
Kini idi ti o jẹ ede ibeere nitootọ? Ninu fọọmu eyiti a rii nigbagbogbo, o jẹ ibeere lati ṣẹda awoṣe kan, pẹlu data kika ati awọn igbelewọn ibeere (awoṣe), ati wiwo data ni awọn idii bii ggplot2 - eyi tun jẹ fọọmu ti awọn ibeere kikọ .
Awọn ibeere apẹẹrẹ fun iworan
ggplot(data = beav,
aes(x = id, y = temp,
group = activ, color = activ)) +
geom_line() +
geom_point() +
scale_color_manual(values = c("red", "blue"))Ni gbogbogbo, ọpọlọpọ awọn imọran lati R ti lọ si awọn idii Python gẹgẹbi pandas, numpy tabi scipy, bii dataframes ati vectorization data - nitorinaa ni gbogbogbo ọpọlọpọ awọn nkan ni R yoo dabi faramọ ati irọrun si ọ.
Awọn orisun pupọ lo wa lati ṣe iwadi, fun apẹẹrẹ, .
Awọn aworan imọ
Nibi Mo ni iriri dani diẹ, nitori Mo nigbagbogbo ni lati ṣiṣẹ pẹlu awọn aworan imọ ati awọn ede ibeere fun awọn aworan. Nitorinaa, jẹ ki a kan lọ ni ṣoki lori awọn ipilẹ, nitori apakan yii jẹ ajeji diẹ sii.
Ninu awọn apoti isura infomesonu ibatan ti kilasika a ni ero ti o wa titi, ṣugbọn nibi ero naa jẹ rọ, asọtẹlẹ kọọkan jẹ “iwe-iwe” gangan ati paapaa diẹ sii.
Fojuinu pe o n ṣe apẹẹrẹ eniyan kan ati pe o fẹ lati ṣapejuwe awọn nkan pataki, fun apẹẹrẹ, jẹ ki a mu eniyan kan pato, Douglas Adams, ki o lo apejuwe yii gẹgẹbi ipilẹ.
Ti a ba lo ibi ipamọ data ibatan, a yoo ni lati ṣẹda tabili nla tabi awọn tabili pẹlu nọmba nla ti awọn ọwọn, pupọ julọ eyiti yoo jẹ NULL tabi kun pẹlu iye aiyipada aiyipada, fun apẹẹrẹ, ko ṣeeṣe pe ọpọlọpọ wa ni titẹsi ni ile-ikawe ti orilẹ-ede Korea - nitorinaa, a le fi wọn sinu awọn tabili lọtọ, ṣugbọn eyi yoo jẹ igbiyanju lati ṣe awoṣe Circuit mogbonwa rọ pẹlu awọn asọtẹlẹ nipa lilo ibatan ti o wa titi.
Nitorinaa fojuinu pe gbogbo data ti wa ni ipamọ bi aworan kan tabi bi alakomeji ati awọn ikosile Boolean unary.
Nibo ni o ti le pade eyi paapaa? Ni akọkọ, ṣiṣẹ pẹlu , ati pẹlu eyikeyi awọn apoti isura infomesonu aworan tabi data ti a ti sopọ.
Awọn atẹle ni awọn ede ibeere akọkọ ti Mo ti lo ati ṣiṣẹ pẹlu.
SPARQL
Wiki:
SPARQL lati Ilana SPARQL ati Ede ibeere RDF) - , ni ipoduduro nipasẹ awọn awoṣe Ati lati firanṣẹ awọn ibeere wọnyi ati dahun si wọn. SPARQL jẹ iṣeduro kan ati ọkan ninu awọn imọ-ẹrọ .
Ṣugbọn ni otitọ o jẹ ede ibeere fun unary ọgbọn ati awọn asọtẹlẹ alakomeji. O kan n ṣalaye ni majemu ni pato ohun ti o wa titi ni ikosile Boolean ati ohun ti kii ṣe (irọrun pupọ).
RDF (Ilana Apejuwe Awọn orisun) funrarẹ, eyiti o jẹ ṣiṣe awọn ibeere SPARQL, jẹ ilọpo mẹta. object, predicate, subject - ati pe ibeere naa yan awọn iwọn mẹta ti o nilo ni ibamu si awọn ihamọ pato ninu ẹmi: wa X kan ti p_55 (X, q_33) jẹ otitọ - nibiti, dajudaju, p_55 jẹ iru ibatan kan pẹlu ID 55, ati q_33 jẹ ẹya. ohun pẹlu ID 33 (nibi ati gbogbo itan, lẹẹkansi omitting gbogbo ona ti awọn alaye).
Apẹẹrẹ ti igbejade data:
Awọn aworan ati apẹẹrẹ pẹlu awọn orilẹ-ede nibi .
Apeere Ibere Ipilẹ
Ni otitọ, a fẹ lati wa iye ti ?orilẹ-ede oniyipada iru eyi fun predicate
egbe_ti, o jẹ otitọ pe ọmọ ẹgbẹ_ti (? orilẹ-ede,q458) ati q458 jẹ ID ti European Union.
Apeere ti ibeere SPARQL gidi kan ninu ẹrọ Python:
Ni deede, Mo ni lati ka SPARQL kuku kọ silẹ - ni ipo yẹn, o ṣee ṣe yoo jẹ ọgbọn ti o wulo lati ni oye ede ni o kere ju ni ipele ipilẹ lati ni oye gangan bi a ṣe gba data pada.
Ohun elo pupọ lo wa lati kawe lori ayelujara: fun apẹẹrẹ, nibi и . Mo nigbagbogbo google awọn apẹrẹ ati awọn apẹẹrẹ pato ati pe o to fun bayi.
Awọn ede ibeere ti oye
O le ka diẹ sii lori koko-ọrọ ninu nkan mi . Ati nihin, a yoo ṣe ayẹwo ni ṣoki ni ṣoki idi ti awọn ede ọgbọn fi baamu daradara fun awọn ibeere kikọ. Ni pataki, RDF jẹ ipilẹ awọn alaye ọgbọn ti fọọmu p(X) ati h(X,Y), ati pe ibeere ọgbọn kan ni fọọmu atẹle:
output(X) :- country(X), member_of(X,“EU”).
Nibi a n sọrọ nipa ṣiṣẹda iṣelọpọ asọtẹlẹ tuntun / 1 (/ 1 tumọ si unary), ti a pese pe fun X o jẹ otitọ pe orilẹ-ede (X) - ie, X jẹ orilẹ-ede ati ọmọ ẹgbẹ_ti (X,” EU “).
Iyẹn ni, ninu ọran yii, mejeeji data ati awọn ofin ni a gbekalẹ ni ọna kanna, eyiti o jẹ ki a ṣe apẹẹrẹ awọn iṣoro ni irọrun ati daradara.
Nibo ni o ti pade ni ile-iṣẹ naa?: gbogbo iṣẹ akanṣe nla kan pẹlu ile-iṣẹ ti o kọ awọn ibeere ni iru ede kan, bakannaa lori iṣẹ akanṣe lọwọlọwọ ni ipilẹ eto naa - yoo dabi pe eyi jẹ ohun ajeji dipo, ṣugbọn nigbami o ṣẹlẹ.
Àpẹrẹ àjẹkù kóòdù kan nínú ìṣàkóso wikidata èdè ọgbọ́n kan:
Awọn ohun elo: Emi yoo fun ni awọn ọna asopọ meji si ede siseto ọgbọn ode oni Idahun Ṣeto Eto – Mo ṣeduro kika rẹ:
orisun: www.habr.com