Waxaan khibrad shakhsi ah kuu sheegayaa waxa faa'iido u lahaa meesha iyo goorta. Waa dulmar iyo dulmar, si ay u caddaato waxa iyo meesha aad ka sii qodan karto - laakiin halkan waxaan ku leeyahay waayo-aragnimo shakhsi ahaaneed oo gaar ah, laga yaabee in wax walba adiga kugu duwan yihiin.
Maxay muhiim u tahay in la ogaado oo la awoodo isticmaalka luqadaha weydiinta? Asal ahaan, Sayniska Xogta wuxuu leeyahay dhowr marxaladood oo muhiim ah oo shaqada ah, iyo tan ugu horreysa iyo tan ugu muhiimsan (la'aanteed, hubaal waxba ma shaqeyn doono!) waa helitaanka ama soo saarista xogta. Inta badan, xogtu meel bay u fadhidaa qaab ahaan waxayna u baahan tahay in "laga soo saaro" halkaas.
Luqadaha weydiinta waxay kuu oggolaanayaan inaad soo saarto xogtan! Maantana waxaan kuu sheegi doonaa luqadahaas weydiimaha ah ee waxtarka ii lahaa, waxaanan kuu sheegi doonaa oo ku tusi doonaa meesha iyo sida saxda ah - sababta loogu baahan yahay in la barto.
Waxaa jiri doona saddex qaybood oo waaweyn oo ah noocyada weydiinta xogta, kuwaas oo aan kaga hadli doono maqaalkan:
- Luqadaha su'aalaha "Standard" waa waxa inta badan la fahmo marka laga hadlayo luqadda weydiinta, sida aljebrada ama SQL.
- Qorista luuqadaha weydiimaha: tusaale ahaan, Python things pandas, nambarada ama qoraalka qolofka.
- Luuqadaha waydiinta garaafyada aqoonta iyo xogta garaafyada.
Wax kasta oo halkan ku qoran waa uun waayo-aragnimo shakhsi ah, waxa faa'iido leh, oo leh sharraxaad ku saabsan xaaladaha iyo "sababta loo baahan yahay" - qof kastaa wuxuu isku dayi karaa sida xaaladaha la midka ah ay kuugu iman karaan oo isku day inaad hore ugu sii diyaargarowdo fahamka luqadahan ka hor inta aanad (si degdeg ah) u codsan mashruuc ama xitaa aadin mashruuc meesha looga baahan yahay.
"Standard" luqadaha weydiinta
Luqadaha su'aalaha caadiga ah waxay si sax ah ula jeedaan in aan inta badan ka fikirno iyaga marka aan ka hadlayno su'aalaha.
Aljabrada xidhiidhka
Waa maxay sababta aljabrada xidhiidhka loogu baahan yahay maanta? Si aad si fiican u fahamto sababta luqadaha weydiintu ay si gaar ah u qaabaysan yihiin oo si miyir leh loogu isticmaalo, waxaad u baahan tahay inaad fahamto xudunta u ah iyaga.
Waa maxay aljebrada xidhiidhsan?
Qeexida rasmiga ah waa sida soo socota: aljabra xiriirka waa nidaam xiran oo ku saabsan xiriirka ee qaabka xogta xiriirka. Si aad u yara dhigto bini'aadamka, tani waa nidaamka hawlgalka ee miisaska sida natiijada had iyo jeer waa miis.
Eeg dhammaan hawlgallada la xidhiidha gudaha Maqaalka Habr - halkan waxaan ku sifeyneynaa sababta aad ugu baahan tahay inaad ogaato iyo halka ay ku habboon tahay.
Waa maxay sababta?
Bilawga in la fahmo waxa luuqadaha waydiinta ay ku saabsan yihiin iyo hawlgallada ka dambeeya tibaaxaha luqadaha waydiinta gaarka ah waxay inta badan siinayaa faham qoto dheer oo ku saabsan waxa ka shaqeeya luqadaha waydiinta iyo sida.
Laga soo qaatay maqaallo. Tusaalaha qalliinka: ku biir, kaas oo ku biiraya miisaska.
Qalabka wax lagu barto:
. Guud ahaan, waxaa jira waxyaabo badan oo ku saabsan aljabrada xiriirka iyo aragtida - Coursera, Udacity. Waxa kale oo jira waxyaabo badan oo online ah, oo ay ku jiraan kuwa wanaagsan . Taladayda shakhsi ahaaneed: waxaad u baahan tahay inaad si fiican u fahamto aljabrada xidhiidhka - tani waa aasaaska aasaasiga ah.
SQL
Laga soo qaatay qodobbada.
SQL asal ahaan waa hirgelinta aljabrada xidhiidhka - oo leh baaq muhiim ah, SQL waa caddayn! Taasi waa, marka aad su'aal ku qorayso luqadda aljebrada ee xidhiidhka, waxaad dhab ahaantii tidhaahdaa sida loo xisaabiyo - laakiin SQL waxaad ku qeexdaa waxaad rabto inaad soo saarto, ka dibna DBMS waxay hore u soo saartay tibaaxo (wax ku ool ah) luqadda aljabrada u dhigma ayaa naloo yaqaan ).
Laga soo qaatay qodobbada.
Waa maxay sababta?
Xidhiidhka DBMS-yada: Oracle, Postgres, SQL Server, iwm ayaa wali ah meel walba waxaana jirta fursad aad u sareysa oo aad la falgali karto iyaga, taas oo macnaheedu yahay inaad akhrido SQL (oo aad u badan) ama qor ( midna lagama yaabo).
Waxa la akhriyo oo la barto
Sida laga soo xigtay isla xiriiriyeyaasha kore (ku saabsan aljabrada xiriirka), waxaa jira cadad cajiib ah oo walxo ah, tusaale ahaan, .
By habka, waa maxay NoSQL?
"Waxaa mudan in la xoojiyo mar kale in ereyga "NoSQL" uu leeyahay asal asal ah oo aan lahayn qeexitaan guud oo la aqbali karo ama machad cilmiyeed oo ka dambeeya." U dhiganta ee Habr.
Dhab ahaantii, dadku waxay ogaadeen in qaab buuxa oo xiriir ah aan loo baahnayn si loo xalliyo dhibaatooyin badan, gaar ahaan kuwa, tusaale ahaan, waxqabadku muhiim yahay iyo qaar ka mid ah weydiimaha fudud ee isku-darka ah - halkaas oo ay muhiim tahay in si degdeg ah loo xisaabiyo mitirka loona qoro database, iyo sifooyinka intooda badan waa xidhiidh soo baxay ma aha oo kaliya loo baahnayn, laakiin sidoo kale waxyeello - sababta caadi wax haddii ay kharribi doonto waxa ugu muhiimsan noo (hawlaha qaar ka mid ah) - wax soo saarka?
Sidoo kale, schemas dabacsan ayaa inta badan loo baahan yahay halkii laga heli lahaa jaantusyada xisaabeed go'an ee moodeelka xiriirka caadiga ah - tanina waxay si cajiib ah u fududaynaysaa horumarinta codsiga marka ay muhiim tahay in la geeyo nidaamka oo si degdeg ah loo bilaabo shaqada, habaynta natiijooyinka - ama qaabka iyo noocyada xogta la kaydiyay. aad muhiim uma aha.
Tusaale ahaan, waxaan abuureynaa nidaam khabiir ah waxaana rabnaa inaan ku keydinno macluumaadka domain gaar ah oo ay la socoto macluumaadka meta - waxaa laga yaabaa inaanan garanayn dhammaan beeraha oo si fudud u kaydinno JSON diiwaan kasta - tani waxay na siinaysaa jawi aad u dabacsan si loo ballaariyo xogta model oo si degdeg ah u soo noqnoqonaya - sidaas darteed kiiskan, NoSQL waxay noqon doontaa xitaa la doorbido oo aad loo akhriyo. Tusaalaha gelitaanka (laga bilaabo mid ka mid ah mashaariicdayda halkaasoo NoSQL ay ku saxnayd meeshii looga baahnaa).
{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}
Wax badan ayaad akhrin kartaa ku saabsan NoSQL.
Maxaa la baranayaa?
Halkan, halkii, kaliya waxaad u baahan tahay inaad si fiican u falanqeyso hawshaada, waxa guryaha ay leedahay iyo nidaamyada NoSQL ee la heli karo ee ku habboon sharaxaaddan - ka dibna bilow inaad barato nidaamkan.
Luqadaha weydiimaha qoraalka
Marka hore, waxay u muuqataa, maxay Python ku leedahay guud ahaan - waa luqad barnaamij, oo aan ku saabsanayn su'aalaha gabi ahaanba.
- Pandas dhab ahaantii waa mindi Ciidanka Swiss ee Sayniska Xogta; xaddi aad u badan oo isbeddel xog ah, isku-dar, iwm ayaa ku dhex dhaca.
- Numpy - xisaabinta vector, matrices iyo aljabrada toosan ee halkaas.
- Scipy - waxaa ku jira xirmo badan oo xisaab ah, gaar ahaan xisaabaadka.
- Shaybaadhka Jupyter - badan oo ah falanqaynta xogta sahaminta ayaa si fiican ugu habboon laptops - faa'iido leh in la ogaado.
- Codsiyada - la shaqaynta shabakada
- Pyspark aad ayey caan ugu yihiin injineerada xogta, waxay u badan tahay inaad la falgasho tan ama Spark, si fudud caannimadooda awgeed.
- * Selenium - aad bay faa'iido ugu leedahay ururinta xogta goobaha iyo ilaha, mararka qaarkood si fudud ma jirto hab kale oo lagu helo xogta.
Taladayda ugu weyn: baro Python!
Baandooyinka
Aan tusaale u soo qaadanno koodkan soo socda:
import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
.groupby(['start_station_name','end_station_name'])
.agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
.rename(columns={'size': 'num_trips',
'mean': 'avg_duration_seconds',
'amin': min_duration_seconds',
‘amax': 'max_duration_seconds'}))Asal ahaan, waxaan aragnaa in koodka uu ku habboon yahay qaabka caadiga ah ee SQL.
SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_nameLaakiin qaybta muhiimka ah ayaa ah in koodkan uu qayb ka yahay qoraalka iyo dhuumaha; dhab ahaantii, waxaan ku dhex gelinaynaa su'aalaha dhuumaha Python. Xaaladdan oo kale, luqadda weydiintu waxay nooga timaadaa maktabadaha sida Pandas ama pySpark.
Guud ahaan, gudaha pySpark waxaan ku aragnaa nooc la mid ah beddelka xogta iyada oo loo marayo luqad su'aal ah oo ku jirta ruuxa:
df.filter(df.trip_type = “return”)
.groupby(“day”)
.agg({duration: 'mean'})
.sort()Halkee iyo waxa la akhriyo
Python lafteeda guud ahaan Hel agab aad wax ku barato. Waxaa jira tiro badan oo casharro online ah , iyo koorsooyin ku saabsan (iyo waliba lafteeda ). Guud ahaan, waxa ku jira halkan aad ayey ugu fiican tahay googgooynta, iyo haddii aan doorto hal xidhmo si aan diiradda u saaro, waxay noqon lahayd pandas, dabcan. Marka la eego isku dhafka DS+Python sidoo kale .
Shell sida luqadda weydiinta
Dhawr mashruuc oo habaynta xogta iyo falanqaynta ah oo aan la shaqeeyay ayaa ah, runtii, qoraallada qolofka ah ee ugu yeera koodka Python, Java, iyo qolofku iyagaa amraya. Sidaa darteed, guud ahaan, waxaad u tixgelin kartaa dhuumaha bash / zsh / iwm sida nooc ka mid ah su'aalaha heerka sare ah (waxaad, dabcan, waxaad samayn kartaa siddo, laakiin tani maaha mid caadi u ah code DS ee luqadaha qolofka), aynu siino tusaale fudud - Waxaan u baahday in aan sameeyo khariidadda QID ee wikidata iyo xiriirinta buuxa ee wikis-ka Ruushka iyo Ingiriisiga, tan waxaan ka qoray codsi fudud oo ka yimid amarrada ku jira bash-ka iyo soo-saarka waxaan ku qoray qoraal fudud oo Python ah, kaas oo aan ku qoray. Isku soo wada duuboo sidan:
pv “data/latest-all.json.gz” |
unpigz -c |
jq --stream $JQ_QUERY |
python3 scripts/post_process.py "output.csv"
halkaas oo
JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' Tani waxay ahayd, dhab ahaantii, dhammaan dhuumaha abuuray khariidaynta loo baahan yahay; sida aan aragno, wax walba waxay ku shaqeeyeen habka socodka:
- pv filepath - waxay siisaa bar horumarka ku salaysan cabbirka faylka oo u gudbisa waxa ku jira
- unpigz -c akhri qayb ka mid ah kaydka oo siiyey jq
- jq oo leh furaha - durdurku isla markiiba wuxuu soo saaray natiijada wuxuuna u gudbiyay processor-ka dambe (oo la mid ah tusaalihii ugu horreeyay) ee Python
- gudaha, postprocessor-ku wuxuu ahaa mishiin dawladeed fudud oo qaabeeyay wax soo saarka
Wadar ahaan, dhuumo adag oo ku shaqeeya habka socodka xogta weyn (0.5TB), iyada oo aan lahayn kheyraad la taaban karo oo laga sameeyay dhuumo fudud iyo laba qalab.
Talo kale oo muhiim ah: awood u yeelatid inaad si fiican oo waxtar leh ugu shaqeyso terminalka oo aad qorto bash/zsh/iwm.
Halkee laga faa'iidaysan doonaa? Haa, ku dhawaad meel kasta - mar labaad, waxaa jira waxyaabo badan oo lagu barto internetka. Gaar ahaan, halkan maqaalkeygii hore.
R qorista
Mar labaad, akhristuhu wuxuu ku dhawaaqi karaa - si fiican, kani waa luqad barnaamij oo dhan! Dabcan, wuu saxnaan doonaa. Si kastaba ha ahaatee, waxaan inta badan la kulmaa R macnaha guud oo, dhab ahaantii, ay aad ula mid tahay luqadda weydiinta.
R waa jawi xisaabin xisaabeed iyo luuqad loogu talagalay xisaabinta joogtada ah iyo muuqaalaynta (sida ku cad ).
qaaday . By habka, waxaan ku talinayaa, qalab wanaagsan.
Muxuu saynisyahanka xogta u baahan yahay inuu ogaado R? Ugu yaraan, sababtoo ah waxaa jira lakab aad u weyn oo aan IT ahayn oo falanqeeya xogta R. Waxaan kula kulmay meelaha soo socda:
- Qaybta dawooyinka.
- Bayooloji.
- Qaybta maaliyadda.
- Dadka leh waxbarasho xisaabeed oo keliya oo wax ka qabta xisaabaadka.
- Noocyada gaarka ah ee tirakoobka iyo moodooyinka barashada mashiinka (kuwaas oo badanaa laga heli karo nooca qoraaga sida xirmo R).
Waa maxay sababta ay dhab ahaantii u tahay luqad su'aal? Foomka kaas oo inta badan laga helo, dhab ahaantii waa codsi ah in la abuuro moodal, oo ay ku jiraan xogta akhrinta iyo hagaajinta cabbirka weydiinta (qaabka), iyo sidoo kale muuqaalka xogta ee xirmooyinka sida ggplot2 - tani sidoo kale waa qaab qoraal ah oo su'aalo ah. .
Tusaalaha weydiimaha aragga
ggplot(data = beav,
aes(x = id, y = temp,
group = activ, color = activ)) +
geom_line() +
geom_point() +
scale_color_manual(values = c("red", "blue"))Guud ahaan, fikrado badan oo ka yimid R ayaa u haajiray xirmooyinka Python sida pandas, nupy ama scipy, sida dataframes iyo vectorization xogta - marka guud ahaan waxyaabo badan oo R ah ayaa kuugu ekaan doona kuwo aad taqaan oo kugu habboon.
Waxaa jira ilo badan oo wax lagu barto, tusaale ahaan, .
Garaafyada aqoonta
Halkan waxaan ku leeyahay waayo-aragnimo yar oo aan caadi ahayn, sababtoo ah inta badan waa inaan la shaqeeyaa garaafyada aqoonta iyo luqadaha weydiinta garaafyada. Sidaa darteed, waxaan si kooban u dul mari doonaa aasaaska, maadaama qaybtani ay tahay mid aad u qalaad.
Xog-ururinta qadiimiga ah waxaan ku haynaa qorshe go'an, laakiin halkan naqshaduhu waa dabacsan yahay, saadaal kastaa dhab ahaantii waa "column" iyo xitaa in ka badan.
Ka soo qaad inaad qof qaabaynaysay oo aad rabtay inaad sharaxdo waxyaabaha muhiimka ah, tusaale ahaan, aynu soo qaadano qof gaar ah, Douglas Adams, oo u isticmaal tilmaantan sal.
Haddii aan isticmaalno xog-ururin, waa in aan abuurno miis ama miis aad u weyn oo leh tiro aad u badan oo tiirar ah, kuwaas oo intooda badani ay yihiin NULL ama ay ka buuxsamaan waxoogaa qiimo been ah, tusaale ahaan, uma badna in qaar badan oo naga mid ah ay leeyihiin gelitaanka maktabadda qaranka Kuuriya - dabcan, waxaan ku dhejin karnaa miisas kala duwan, laakiin tani waxay ugu dambeyntii noqon doontaa isku day lagu qaabeynayo wareegga macquulka ah ee dabacsan oo leh saadaaliyayaal iyadoo la adeegsanayo mid go'an oo xiriir ah.
Haddaba qiyaas in dhammaan xogta ay u kaydsan tahay garaaf ahaan ama sida tibaaxaha boolean ee binary iyo unary.
Xagee xitaa tan la kulmi kartaa? Marka hore, la shaqeynta , iyo xog kasta oo garaaf ah ama xogta ku xidhan.
Kuwa soo socda waa luqadaha weydiinta ugu weyn ee aan isticmaalay oo aan la shaqeeyay.
SPARQL
Wiki:
SPARQL ( ka Hab-maamuuska SPARQL iyo luqadda weydiinta RDF) - , oo uu matalo qaabka Markaasay si loo gudbiyo codsiyadan loogana jawaabo. SPARQL waa talo iyo mid ka mid ah tignoolajiyada .
Laakiin dhab ahaantii waa luuqad su'aal ah oo loogu talagalay unary macquul ah iyo saadaalinta binary. Waxaad si fudud shuruud ahaan u caddaynaysaa waxa lagu go'aamiyay odhaah Boolean ah iyo waxa aan ahayn (aad loo fududeeyay).
RDF (Qaabka Sharaxaada Khayraadka) lafteeda, kaas oo su'aalaha SPARQL lagu fuliyo, waa saddex laab. object, predicate, subject - su'aashuna waxay doorataa saddex-laab loo baahan yahay iyadoo loo eegayo xaddidaadaha la cayimay ee ruuxa: hel X sida p_55 (X, q_33) waa run - halkaasoo, dabcan, p_55 ay tahay nooc xiriir la leh aqoonsiga 55, iyo q_33 waa shay wata aqoonsiga 33 (halkan iyo sheekada oo dhan, mar kale ka saaraya dhammaan noocyada faahfaahinta).
Tusaalaha soo bandhigida xogta:
Sawiro iyo tusaale dalalka halkan .
Tusaalaha weydiinta aasaasiga ah
Dhab ahaantii, waxaan rabnaa inaan helno qiimaha doorsoomiyaha dalka oo kale oo loogu talagalay saadaasha
xubin_ka mid ah, waa run in xubin_(? Country,q458) iyo q458 ay tahay aqoonsiga Midowga Yurub.
Tusaale ahaan weydiinta dhabta ah ee SPARQL gudaha mishiinka Python:
Caadi ahaan, waa inaan akhriyo SPARQL intii aan qori lahaa - xaaladdaas, waxay u badan tahay inay noqoto xirfad waxtar leh si loo fahmo luqadda ugu yaraan heer aasaasi ah si loo fahmo sida saxda ah ee xogta loo soo saaro.
Waxaa jira waxyaabo badan oo lagu barto khadka: tusaale, halkan и . Caadi ahaan waxaan google-ka sameeyaa naqshado gaar ah iyo tusaaleyaal taasna waa igu filan hadda.
Luuqadaha weydiinta macquulka ah
Waxaad wax badan oo mawduuca ku saabsan ka akhriyi kartaa maqaalkayga . Oo halkan, waxaan si kooban u baari doonaa sababta luqadaha macquulka ah ay ugu habboon yihiin qorista weydiimaha. Asal ahaan, RDF waa uun weedho macquul ah oo ah qaabka p(X) iyo h(X,Y), waydiina macquul ahi waxay leedahay qaabkan:
output(X) :- country(X), member_of(X,“EU”).
Halkan waxaan kaga hadlaynaa abuurista wax-soo-saar cusub/1 (/1 macnaheedu waa unary), waase haddii X ay run tahay in waddankaas (X) - tusaale ahaan, X uu yahay waddan iyo sidoo kale xubin (X,"EU").
Taasi waa, kiiskan, labadaba xogta iyo xeerarka ayaa loo soo bandhigay si isku mid ah, taas oo noo ogolaanaysa inaan ku daydo dhibaatooyinka si fudud oo wanaagsan.
Halkee kula kulantay warshadaha?Mashruuc weyn oo dhan oo leh shirkad ku qorta su'aalaha luqadda noocan oo kale ah, iyo sidoo kale mashruuca hadda jira ee xudunta u ah nidaamka - waxay u muuqan kartaa in tani ay tahay wax qalaad, laakiin waxay dhacdaa mararka qaarkood.
Tusaale jajab kood ku jira habaynta luqadda macquulka ah wikidata:
Qalabka: Waxaan halkan ku siin doonaa dhawr xiriiriye oo ku saabsan luuqada casriga ah ee barnaamijka macquulka ah ee Jawaabta Dejinta Programming - Waxaan ku talinayaa in aad barato:
Source: www.habr.com