زه تاسو ته د شخصي تجربې څخه وایم چې کوم ځای او کله ګټور و. دا عمومي کتنه او مقاله ده ، نو دا روښانه ده چې څه او چیرې تاسو کولی شئ نور وخورئ - مګر دلته زه په ځانګړي ډول شخصي شخصي تجربه لرم ، شاید هرڅه ستاسو لپاره په بشپړ ډول توپیر ولري.
ولې دا مهمه ده چې پوه شئ او د پوښتنو ژبې کارولو وړتیا ولرئ؟ په اصل کې، د ډیټا ساینس د کار ډیری مهمې مرحلې لري، او خورا لومړی او خورا مهم (د دې پرته، یقینا هیڅ شی به کار ونه کړي!) د معلوماتو ترلاسه کول یا استخراج کول دي. ډیری وختونه، ډاټا په یو بل ځای کې ناست وي او اړتیا لري چې له هغه ځایه "ترلاسه" شي.
د پوښتنو ژبې تاسو ته اجازه درکوي دا خورا ډیټا استخراج کړئ! او نن به زه تاسو ته د هغو پوښتنو ژبې په اړه ووایم چې زما لپاره ګټورې دي او زه به تاسو ته ووایم او تاسو ته به وښیم چې چیرې او څنګه په سمه توګه - ولې مطالعې ته اړتیا ده.
د ډیټا پوښتنو ډولونو درې اصلي بلاکونه به وي ، کوم چې موږ به پدې مقاله کې بحث وکړو:
- د "معیاري" پوښتنو ژبې هغه څه دي چې معمولا د پوښتنې ژبې په اړه خبرې کوي، لکه اړونده الجبرا یا SQL.
- د سکریپټینګ پوښتنو ژبې: د بیلګې په توګه، د Python شیان پانډا، numpy یا شیل سکریپټینګ.
- د پوهې ګرافونو او ګراف ډیټابیسونو لپاره پوښتنې ژبې.
دلته هر څه لیکل شوي یوازې شخصي تجربه ده، څه ګټور وو، د شرایطو تشریح او "ولې ورته اړتیا وه" - هرڅوک کولی شي هڅه وکړي چې څنګه ورته حالتونه ستاسو لاره ومومي او د دې ژبو په پوهیدو سره مخکې له مخکې د دوی لپاره چمتو کولو هڅه وکړي. مخکې لدې چې تاسو په یوه پروژه کې (عاجل) غوښتنه وکړئ یا حتی یوې پروژې ته ورشئ چیرې چې ورته اړتیا وي.
د "معیاري" پوښتنو ژبې
د معیاري پوښتنو ژبې دقیقا په دې معنی دي چې موږ معمولا د دوی په اړه فکر کوو کله چې موږ د پوښتنو په اړه خبرې کوو.
اړونده الجبرا
ولې نن ورځ اړونده الجبرا ته اړتیا ده؟ د دې لپاره چې ښه پوهه ولرئ چې ولې د پوښتنو ژبې په یو ځانګړي ډول جوړښت شوي او په شعوري ډول یې کاروئ ، تاسو اړتیا لرئ د دوی اصلي اصلي پوهه ولرئ.
اړونده الجبرا څه شی دی؟
رسمي تعریف په لاندې ډول دی: اړونده الجبرا د ارتباطي ډیټا ماډل کې د اړیکو په اړه د عملیاتو یو تړلی سیسټم دی. د دې لپاره چې دا یو څه نور په انساني توګه واچوئ، دا په میزونو کې د عملیاتو یو سیسټم دی چې پایله یې تل یو میز وي.
ټول اړونده عملیات په کې وګورئ د حبر څخه مقاله - دلته موږ تشریح کوو چې ولې تاسو اړتیا لرئ پوه شئ او چیرې دا په کار کې راځي.
ولې؟
د دې پوهیدل پیل کول چې د پوښتنو ژبې ټول څه دي او د ځانګړو پوښتنو ژبو کې د څرګندونو تر شا کوم عملیات شتون لري اکثرا د دې په اړه ژور پوهاوی ورکوي چې د پوښتنې ژبې کې څه کار کوي او څنګه.
څخه اخیستل شوی مقالې د عملیاتو یوه بیلګه: یوځای کیدل، کوم چې میز سره یوځای کیږي.
د مطالعې لپاره مواد:
. په عموم کې، د اړونده الجبرا او تیورۍ په اړه ډیری مواد شتون لري - کورسیرا، اډاسی. د ښه په شمول د آنلاین موادو لوی مقدار هم شتون لري . زما شخصي مشوره: تاسو اړتیا لرئ د اړونده الجبرا په ښه توګه پوه شئ - دا د اساساتو اساس دی.
د ايس کيو ايل
څخه اخیستل شوی مقالې.
SQL په اصل کې د اړونده الجبرا تطبیق دی - د یو مهم احتیاط سره، SQL بیانونکی دی! دا دی، کله چې د اړونده الجبرا په ژبه یوه پوښتنه لیکئ، تاسو واقعیا ووایاست چې څنګه محاسبه وکړئ - مګر د SQL سره تاسو مشخص کوئ چې تاسو یې غواړئ استخراج کړئ، او بیا DBMS دمخه د اړونده الجبرا په ژبه کې (اغیزمن) څرګندونې رامینځته کوي (د دوی. مساوات موږ ته په توګه پیژندل کیږي ).
څخه اخیستل شوی مقالې.
ولې؟
اړونده DBMSs: اوریکل، پوسټګریس، ایس کیو ایل سرور، او داسې نور لاهم په حقیقت کې هرچیرې شتون لري او د حیرانتیا وړ لوړ چانس شتون لري چې تاسو به د دوی سره اړیکه ونیسئ، پدې معنی چې تاسو باید یا SQL ولولئ (کوم چې ډیر احتمال لري) یا دا ولیکئ ( هم امکان نه لري).
څه لوستل او مطالعه کول
د پورتنیو ورته لینکونو له مخې (د اړونده الجبرا په اړه)، د موادو یو نه منلو وړ مقدار شتون لري، د بیلګې په توګه، .
په لاره کې، NoSQL څه شی دی؟
"دا یو ځل بیا د ټینګار کولو ارزښت لري چې د "NoSQL" اصطلاح په بشپړ ډول ناڅاپه اصل لري او په عمومي ډول منل شوي تعریف یا ساینسي بنسټ نه لري. اړونده په هابر کې
په حقیقت کې، خلکو پوهیدلي چې د ډیرو ستونزو د حل لپاره بشپړ ارتباطي ماډل ته اړتیا نشته، په ځانګړې توګه د هغو کسانو لپاره چې د بیلګې په توګه، فعالیت خورا مهم دی او ځینې ساده پوښتنې چې د مجموعې حاکمیت لري - چیرته چې دا مهمه ده چې ژر تر ژره میټریک محاسبه کړي او دوی ته یې ولیکي. ډیټابیس، او ډیری ځانګړتیاوې په تړاو کې نه یوازې غیر ضروري، بلکې زیانمنونکي دي - ولې یو څه نورمال کړئ که چیرې دا زموږ لپاره خورا مهم شی خراب کړي (د یو ځانګړي کار لپاره) - تولید؟
همچنان، انعطاف منونکي سکیمونه اکثرا د کلاسیک اړونده ماډل د ثابت ریاضياتي سکیمونو پرځای اړتیا لري - او دا په حیرانتیا سره د غوښتنلیک پراختیا ساده کوي کله چې د سیسټم پلي کول او په چټکۍ سره کار پیل کول مهم وي ، د پایلو پروسس کول - یا سکیما او د ذخیره شوي ډیټا ډولونه دومره مهم نه دي.
د مثال په توګه، موږ یو ماهر سیسټم رامینځته کوو او غواړو چې په یو ځانګړي ډومین کې د ځینې میټا معلوماتو سره معلومات ذخیره کړو - موږ ممکن ټولې ساحې نه پیژنو او په ساده ډول د هر ریکارډ لپاره JSON ذخیره کوو - دا موږ ته د ډیټا پراخولو لپاره خورا انعطاف وړ چاپیریال راکوي. ماډل او په چټکۍ سره تکرار کول - نو پدې حالت کې، NoSQL به حتی غوره او د لوستلو وړ وي. د مثال داخلول (زما د یوې پروژې څخه چیرې چې NoSQL سم و چیرې چې ورته اړتیا وه).
{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}
تاسو کولی شئ نور ولولئ د NoSQL په اړه.
څه زده کړئ؟
دلته، بلکه، تاسو اړتیا لرئ چې خپل کار په بشپړه توګه وڅیړئ، دا کوم ځانګړتیاوې لري او کوم NoSQL سیسټمونه شتون لري چې د دې توضیح سره سمون لري - او بیا د دې سیسټم مطالعه پیل کړئ.
د سکریپټینګ پوښتنو ژبې
په لومړي سر کې، داسې ښکاري، چې Python په عمومي توګه د دې سره څه وکړي - دا د پروګرام کولو ژبه ده، او د پوښتنو په اړه نه.
- پانډاس په حقیقت کې د ډیټا ساینس د سویس اردو چاقو دی؛ د ډیټا لوی بدلون ، راټولول او نور پدې کې پیښیږي.
- Numpy - د ویکتور حسابونه، میټریکونه او خطي الجبرا هلته.
- سکای - پدې کڅوړه کې ډیری ریاضیات شتون لري ، په ځانګړي توګه احصایې.
- د جوپېټر لابراتوار - د ډیری سپړنې ډیټا تحلیلونه په لپټاپونو کې ښه فټ کوي - پوهیدل ګټور دي.
- غوښتنې - د شبکې سره کار کول.
- پیسپارک د ډیټا انجینرانو ترمینځ خورا مشهور دی ، ډیری احتمال تاسو به د دې یا سپارک سره اړیکه ونیسئ ، په ساده ډول د دوی د شهرت له امله.
- * سیلینیم - د سایټونو او سرچینو څخه د معلوماتو راټولولو لپاره خورا ګټور دی ، ځینې وختونه د معلوماتو ترلاسه کولو لپاره بله لاره شتون نلري.
زما اصلي مشوره: پایتون زده کړئ!
پانډا
راځئ چې لاندې کوډ د مثال په توګه واخلو:
import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
.groupby(['start_station_name','end_station_name'])
.agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
.rename(columns={'size': 'num_trips',
'mean': 'avg_duration_seconds',
'amin': min_duration_seconds',
‘amax': 'max_duration_seconds'}))په لازمي ډول، موږ ګورو چې کوډ د کلاسیک SQL نمونې سره سمون لري.
SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_nameمګر مهمه برخه دا ده چې دا کوډ د سکریپټ او پایپ لاین برخه ده؛ په حقیقت کې، موږ د Python پایپ لاین کې پوښتنې ځای پرځای کوو. پدې حالت کې ، د پوښتنې ژبه موږ ته د کتابتونونو لکه پانډاس یا pySpark څخه راځي.
په عموم کې، په pySpark کې موږ په روح کې د پوښتنې ژبې له لارې د معلوماتو د بدلون ورته ډول ګورو:
df.filter(df.trip_type = “return”)
.groupby(“day”)
.agg({duration: 'mean'})
.sort()چیرته او څه لوستل
پخپله په Python کې په عمومي توګه د مطالعې لپاره مواد پیدا کړئ. د آنلاین درسونو لوی شمیر شتون لري , او کورسونه روان دي (او پخپله هم ). په ټوله کې ، دلته مینځپانګه د ګوګل کولو لپاره عالي ده ، او که زه د تمرکز لپاره یو بسته غوره کړم ، البته دا به پانډا وي. د DS + Python موادو ترکیب په اړه هم .
شیل د پوښتنې ژبې په توګه
د ډیری ډیټا پروسس کولو او تحلیلي پروژې چې ما ورسره کار کړی په حقیقت کې د شیل سکریپټ دي چې په پایتون ، جاوا کې کوډ غږوي او پخپله شیل کمانډونه. له همدې امله، په عموم کې، تاسو کولی شئ په bash/zsh/etc کې پایپ لاینونه د یو ډول لوړې کچې پوښتنې په توګه په پام کې ونیسئ (تاسو کولی شئ، البته، هلته توکي لوپ کړئ، مګر دا د شیل په ژبو کې د DS کوډ لپاره عادي ندي)، راځئ چې ورکړو. یو ساده مثال - ما د ویکیډاټا QID نقشه کولو او د روسی او انګلیسي ویکیو بشپړ لینکونو ته اړتیا درلوده، د دې لپاره ما په باش کې د کمانډونو څخه یوه ساده غوښتنه لیکلې او د محصول لپاره ما په Python کې یو ساده سکریپټ ولیکه، کوم چې زه په دې ډول سره یوځای کړئ:
pv “data/latest-all.json.gz” |
unpigz -c |
jq --stream $JQ_QUERY |
python3 scripts/post_process.py "output.csv"
چې
JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' دا په حقیقت کې ټوله پایپ لاین و چې اړین نقشه یې رامینځته کړې؛ لکه څنګه چې موږ ګورو ، هرڅه په جریان حالت کې کار کوي:
- pv فایلپاټ - د فایل اندازې پراساس د پرمختګ بار ورکوي او د هغې مینځپانګې وروسته تیریږي
- unpigz -c د آرشیف یوه برخه ولوستله او jq ته یې ورکړه
- jq د کیلي سره - جریان سمدلاسه پایله تولید کړه او په پایتون کې یې پوسټ پروسیسر ته (د لومړي مثال په څیر) ته انتقال کړه
- په داخلي توګه، پوسټ پروسیسر یو ساده دولتي ماشین و چې د محصول بڼه یې کوله
په مجموع کې، یو پیچلي پایپ لاین چې په لوی ډیټا (0.5TB) کې د جریان حالت کې کار کوي، د پام وړ سرچینو پرته او د ساده پایپ لاین او څو وسیلو څخه جوړ شوی.
بله مهمه لارښوونه: په ټرمینل کې د ښه او مؤثره کار کولو وړتیا ولرئ او bash/zsh/etc ولیکئ.
چیرته به ګټور وي؟ هو، نږدې هر ځای - بیا، په انټرنیټ کې د مطالعې لپاره ډیری مواد شتون لري. په ځانګړې توګه، دلته زما پخوانۍ مقاله.
R سکریپټینګ
یوځل بیا ، لوستونکی شاید ووایی - ښه ، دا د برنامه کولو ټوله ژبه ده! او البته، هغه به سم وي. په هرصورت، زه معمولا په داسې شرایطو کې د R سره مخ شوم چې په حقیقت کې دا د پوښتنې ژبې ته ورته وه.
R د احصایوي کمپیوټري چاپیریال او د جامد کمپیوټري او لید لپاره ژبه ده (په وینا ).
اخیستل . په هرصورت، زه یې وړاندیز کوم، ښه مواد.
ولې د ډیټا ساینس پوه اړتیا لري R پوه شي؟ لږترلږه، ځکه چې د غیر IT خلکو یوه لویه پرت شتون لري چې په R کې ډاټا تحلیلوي. ما په لاندې ځایونو کې ولیدل:
- د درمل جوړولو سکتور.
- بیولوژیست.
- مالي سکتور.
- هغه خلک چې د خالص ریاضي زده کړې لري چې د احصایو سره معامله کوي.
- ځانګړي احصایوي ماډلونه او د ماشین زده کړې ماډلونه (کوم چې ډیری وختونه یوازې د لیکوال په نسخه کې د R کڅوړې په توګه موندل کیدی شي).
ولې دا په حقیقت کې د پوښتنې ژبه ده؟ په هغه فورمه کې چې دا ډیری وختونه موندل کیږي، دا په حقیقت کې د ماډل جوړولو غوښتنه ده، په شمول د معلوماتو لوستل او د پوښتنو (موډل) پیرامیټرو فکس کول، او همدارنګه په پیکجونو کې د معلوماتو لیدل لکه ggplot2 - دا د پوښتنو لیکلو یوه بڼه هم ده. .
د لید لپاره د پوښتنو بیلګې
ggplot(data = beav,
aes(x = id, y = temp,
group = activ, color = activ)) +
geom_line() +
geom_point() +
scale_color_manual(values = c("red", "blue"))په عموم کې، د R څخه ډیری نظرونه د python کڅوړو ته لیږدول شوي لکه پانډا، numpy یا scipy، لکه ډیټا فریمونه او د ډیټا ویکتوریزیشن - نو په عمومي توګه په R کې ډیری شیان به تاسو ته پیژندل شوي او مناسب ښکاري.
د مطالعې لپاره ډیری سرچینې شتون لري، د بیلګې په توګه، .
د پوهې ګرافونه
دلته زه یو څه غیر معمولي تجربه لرم، ځکه چې زه ډیری وختونه د ګرافونو لپاره د پوهې ګرافونو او پوښتنو ژبو سره کار کوم. له همدې امله ، راځئ چې په لنډ ډول اساساتو ته لاړ شو ، ځکه چې دا برخه یو څه نوره بهرنۍ ده.
په کلاسیک ارتباطي ډیټابیسونو کې موږ یو ثابت سکیما لرو، مګر دلته سکیما انعطاف وړ ده، هر وړاندیز په حقیقت کې یو "کالم" دی او حتی نور.
تصور وکړئ چې تاسو د یو کس نمونه یاست او غواړئ مهم شیان تشریح کړئ، د بیلګې په توګه، راځئ چې یو ځانګړی شخص، ډګلاس اډمز واخلو، او دا تشریح د اساس په توګه وکاروئ.
که موږ یو اړونده ډیټابیس وکاروو، نو موږ باید یو لوی جدول یا میزونه د ډیری کالمونو سره جوړ کړو، چې ډیری یې به NULL وي یا د ځینې اصلي غلط ارزښت سره ډک وي، د بیلګې په توګه، دا امکان نلري چې زموږ ډیری یې ولري. د کوریا ملي کتابتون کې ننوتل - البته، موږ کولی شو دوی په جلا جدولونو کې واچوو، مګر دا به په پای کې د ثابت اړیکو په کارولو سره د وړاندوینې سره د انعطاف وړ منطقي سرکټ ماډل کولو هڅه وي.
نو تصور وکړئ چې ټول معلومات د ګراف په توګه یا د بائنری او یونري بولین څرګندونو په توګه زیرمه شوي.
تاسو حتی د دې سره چیرته مخ کیدی شئ؟ لومړی، کار کول ، او د هر ډول ګراف ډیټابیس یا وصل شوي ډیټا سره.
لاندې د اصلي پوښتنو ژبې دي چې ما کارولې او کار کړی دی.
SPARQL
ويکيپېډيا:
SPARQL ( от د SPARQL پروتوکول او RDF پوښتنې ژبه) - د ماډل لخوا نمایندګي او همدارنګه د دې غوښتنو لیږدولو او ځواب ویلو لپاره. SPARQL یو وړاندیز دی او یو له ټیکنالوژیو څخه .
مګر په حقیقت کې دا د منطقي یونري او بائنری وړاندیزونو لپاره د پوښتنې ژبه ده. تاسو په ساده ډول په مشروط ډول مشخص کوئ چې په بولین بیان کې څه ټاکل شوي او څه ندي (ډیر ساده شوي).
د RDF (د منابعو توضیحاتو چوکاټ) اساس پخپله، په کوم کې چې د SPARQL پوښتنې اجرا کیږي، درې چنده ده object, predicate, subject - او پوښتنه په روح کې د ټاکل شوي محدودیتونو سره سم اړین درې ګوني ټاکي: داسې ایکس ومومئ چې p_55(X, q_33) ریښتیا وي - چیرې چې البته، p_55 د ID 55 سره یو ډول اړیکه ده، او q_33 یو دی اعتراض د ID 33 سره (دلته او ټوله کیسه، بیا د هر ډول توضیحاتو له مینځه وړل).
د معلوماتو د وړاندې کولو بیلګه:
د هیوادونو سره انځورونه او مثالونه دلته .
د اساسي پوښتنې بېلګه
په حقیقت کې، موږ غواړو د هیواد متغیر ارزښت ومومئ لکه د وړاندوینې لپاره
member_of، دا ریښتیا ده چې member_of(؟country,q458) او q458 د اروپایی اتحادیې ID دی.
د python انجن دننه د ریښتینې SPARQL پوښتنې یوه بیلګه:
په عموم ډول، ما باید د لیکلو پرځای SPARQL لوستلی وي - په دې حالت کې، دا به یو ګټور مهارت وي چې لږترلږه په لومړنۍ کچه ژبه پوه شي ترڅو پوه شي چې څنګه ډاټا بیرته اخیستل کیږي.
د آنلاین مطالعې لپاره ډیری مواد شتون لري: د مثال په توګه، دلته и . زه معمولا ځانګړي ډیزاینونه او مثالونه ګوګل کوم او دا د اوس لپاره کافي دي.
د منطقي پوښتنو ژبې
تاسو کولی شئ زما په مقاله کې د موضوع په اړه نور ولولئ . او دلته، موږ به یوازې په لنډه توګه وڅیړو چې ولې منطقي ژبې د پوښتنو لیکلو لپاره مناسب دي. په اصل کې، RDF یوازې د p(X) او h(X،Y) فورمې د منطقي بیاناتو یوه مجموعه ده، او منطقي پوښتنه لاندې بڼه لري:
output(X) :- country(X), member_of(X,“EU”).
دلته موږ د نوي وړاندوینې محصول / 1 (/1 معنی unary) رامینځته کولو په اړه خبرې کوو ، په دې شرط چې د X لپاره دا ریښتیا وي چې هیواد (X) - یعنی X یو هیواد دی او د (X,"EU") غړیتوب هم لري.
دا، په دې حالت کې، دواړه ډاټا او قواعد په ورته ډول وړاندې کیږي، کوم چې موږ ته اجازه راکوي چې ستونزې په اسانۍ او ښه توګه ماډل کړو.
تاسو په صنعت کې چیرته ولیدل؟: د یوه شرکت سره یوه بشپړه لویه پروژه چې په داسې ژبه کې پوښتنې لیکي، او همدارنګه د سیسټم په اصلي برخه کې د اوسني پروژې په اړه - داسې ښکاري چې دا یو غیر معمولي شی دی، مګر کله ناکله دا پیښیږي.
د ویکیډاټا پروسس کولو منطقی ژبه کې د کوډ ټوټې یوه بیلګه:
توکي: زه به دلته د عصري منطقي پروګرام کولو ژبې ځواب سیټ پروګرام کولو ته یو څو لینکونه ورکړم - زه وړاندیز کوم چې مطالعه یې کړئ:
سرچینه: www.habr.com