🥇डेटा सायंटिस्टच्या नोट्स: डेटा क्वेरी भाषांचे वैयक्तिक पुनरावलोकन

मी तुम्हाला वैयक्तिक अनुभवावरून सांगत आहे की कुठे आणि केव्हा काय उपयोगी होते. हे विहंगावलोकन आणि प्रबंध आहे, जेणेकरुन हे स्पष्ट होईल की आपण पुढे काय आणि कोठे खोदून काढू शकता - परंतु येथे मला केवळ व्यक्तिनिष्ठ वैयक्तिक अनुभव आहे, कदाचित सर्व काही आपल्यासाठी पूर्णपणे भिन्न असेल.

क्वेरी भाषा जाणून घेणे आणि वापरण्यास सक्षम असणे महत्त्वाचे का आहे? डेटा सायन्समध्ये कामाचे अनेक महत्त्वाचे टप्पे आहेत आणि सर्वात पहिले आणि सर्वात महत्त्वाचे (त्याशिवाय, नक्कीच काहीही कार्य करणार नाही!) डेटा मिळवणे किंवा काढणे आहे. बर्‍याचदा, डेटा कुठल्यातरी स्वरूपात कुठेतरी बसलेला असतो आणि तेथून "पुनर्प्राप्त" करणे आवश्यक असते.

क्वेरी भाषा आपल्याला हा डेटा काढण्याची परवानगी देतात! आणि आज मी तुम्हाला त्या प्रश्नांच्या भाषांबद्दल सांगेन ज्या माझ्यासाठी उपयुक्त आहेत आणि मी तुम्हाला सांगेन आणि तुम्हाला कुठे आणि कसे - याचा अभ्यास करण्याची आवश्यकता का आहे ते दाखवीन.

डेटा क्वेरी प्रकारांचे तीन मुख्य ब्लॉक्स असतील, ज्याची आपण या लेखात चर्चा करू:

रिलेशनल बीजगणित किंवा SQL सारख्या क्वेरी भाषेबद्दल बोलताना "मानक" क्वेरी भाषा सामान्यतः समजल्या जातात.
स्क्रिप्टिंग क्वेरी भाषा: उदाहरणार्थ, पायथन गोष्टी पांडा, नम्पी किंवा शेल स्क्रिप्टिंग.
ज्ञान आलेख आणि आलेख डेटाबेससाठी क्वेरी भाषा.

येथे लिहिलेली प्रत्येक गोष्ट फक्त एक वैयक्तिक अनुभव आहे, काय उपयुक्त होते, परिस्थितीचे वर्णन आणि "ते का आवश्यक होते" - प्रत्येकजण अशाच परिस्थिती आपल्या मार्गावर कसा येऊ शकतो याचा प्रयत्न करू शकतो आणि या भाषा समजून घेऊन त्यांच्यासाठी आगाऊ तयारी करण्याचा प्रयत्न करू शकतो. तुम्हाला एखाद्या प्रकल्पावर (तात्काळ) अर्ज करण्‍यापूर्वी किंवा एखाद्या प्रकल्पावर जाण्‍यापूर्वी, जेथे त्यांची गरज आहे.

"मानक" क्वेरी भाषा

मानक क्वेरी भाषा या अर्थाने तंतोतंत आहेत की जेव्हा आपण क्वेरींबद्दल बोलतो तेव्हा आपण सहसा त्यांच्याबद्दल विचार करतो.

रिलेशनल बीजगणित

आज रिलेशनल बीजगणित का आवश्यक आहे? क्वेरी भाषांची रचना एका विशिष्ट पद्धतीने का केली जाते आणि त्या जाणीवपूर्वक का वापरल्या जातात हे चांगल्या प्रकारे समजून घेण्यासाठी, तुम्हाला त्यांचा अंतर्निहित मुख्य भाग समजून घेणे आवश्यक आहे.

रिलेशनल बीजगणित म्हणजे काय?

औपचारिक व्याख्या खालीलप्रमाणे आहे: रिलेशनल बीजगणित रिलेशनल डेटा मॉडेलमधील संबंधांवर ऑपरेशन्सची बंद प्रणाली आहे. हे थोडे अधिक मानवी रीतीने सांगायचे तर, ही टेबलवरील ऑपरेशन्सची एक प्रणाली आहे की परिणाम नेहमी एक टेबल असतो.

मध्ये सर्व रिलेशनल ऑपरेशन्स पहा हे Habr मधील लेख - येथे आम्ही वर्णन करतो की तुम्हाला हे का माहित असणे आवश्यक आहे आणि ते कोठे उपयुक्त आहे.

का?

क्वेरी भाषा कशाबद्दल आहेत आणि विशिष्ट क्वेरी भाषांमधील अभिव्यक्तींच्या मागे कोणती ऑपरेशन्स आहेत हे समजून घेण्यास सुरुवात केल्याने अनेकदा क्वेरी भाषांमध्ये काय आणि कसे कार्य करते याची सखोल माहिती मिळते.

कडून घेतले हे लेख ऑपरेशनचे उदाहरण: सामील व्हा, जे टेबलमध्ये सामील होते.

अभ्यासासाठी साहित्य:

स्टॅनफोर्डचा चांगला परिचयात्मक अभ्यासक्रम. सर्वसाधारणपणे, रिलेशनल बीजगणित आणि सिद्धांत - Coursera, Udacity वर भरपूर साहित्य आहेत. चांगल्यासह मोठ्या प्रमाणात ऑनलाइन सामग्री देखील आहे शैक्षणिक अभ्यासक्रम. माझा वैयक्तिक सल्ला: तुम्हाला रिलेशनल बीजगणित चांगल्या प्रकारे समजून घेणे आवश्यक आहे - हा मूलभूत गोष्टींचा आधार आहे.

एस क्यू एल

कडून घेतले हे लेख.

एसक्यूएल हे मूलत: रिलेशनल बीजगणिताची अंमलबजावणी आहे - महत्त्वाच्या सावधगिरीसह, एसक्यूएल हे घोषणात्मक आहे! म्हणजेच, रिलेशनल बीजगणिताच्या भाषेत क्वेरी लिहिताना, तुम्ही प्रत्यक्षात गणना कशी करायची ते सांगता - परंतु एसक्यूएलमध्ये तुम्ही काय काढू इच्छिता ते निर्दिष्ट करता आणि नंतर डीबीएमएस आधीच रिलेशनल बीजगणित (त्यांच्या) भाषेत (प्रभावी) अभिव्यक्ती तयार करते. समतुल्य आम्हाला म्हणून ओळखले जाते कॉडचे प्रमेय).

कडून घेतले हे लेख.

का?

रिलेशनल डीबीएमएस: ओरॅकल, पोस्टग्रेस, एसक्यूएल सर्व्हर इ. अजूनही अक्षरशः सर्वत्र आहेत आणि तुम्हाला त्यांच्याशी संवाद साधावा लागेल अशी कमालीची उच्च शक्यता आहे, याचा अर्थ तुम्हाला एकतर एसक्यूएल वाचावे लागेल (जे बहुधा आहे) किंवा ते लिहावे लागेल ( एकतर संभव नाही).

काय वाचायचे आणि अभ्यासायचे

वरील समान दुव्यांनुसार (संबंधित बीजगणित बद्दल), तेथे अविश्वसनीय प्रमाणात सामग्री आहे, उदाहरणार्थ, हे.

तसे, NoSQL म्हणजे काय?

"पुन्हा एकदा जोर देण्यासारखे आहे की "NoSQL" या शब्दाची उत्पत्ती पूर्णपणे उत्स्फूर्त आहे आणि त्यामागे कोणतीही सामान्यतः स्वीकृत व्याख्या किंवा वैज्ञानिक संस्था नाही." संबंधित लेख Habr वर.

खरं तर, लोकांना समजले की अनेक समस्यांचे निराकरण करण्यासाठी पूर्ण रिलेशनल मॉडेलची आवश्यकता नाही, विशेषत: त्यांच्यासाठी जेथे, उदाहरणार्थ, कार्यप्रदर्शन गंभीर आहे आणि एकत्रीकरणासह काही सोप्या प्रश्नांवर वर्चस्व आहे - जेथे मेट्रिक्सची त्वरीत गणना करणे आणि त्यांना लिहिणे महत्वाचे आहे. डेटाबेस, आणि बहुतेक वैशिष्ट्ये रिलेशनल आहेत हे केवळ अनावश्यकच नाही तर हानिकारक देखील आहेत - जर एखादी गोष्ट आपल्यासाठी सर्वात महत्वाची गोष्ट (काही विशिष्ट कार्यासाठी) खराब करेल तर ते सामान्य का करावे - उत्पादकता?

तसेच, शास्त्रीय रिलेशनल मॉडेलच्या निश्चित गणितीय स्कीमाऐवजी अनेकदा लवचिक स्कीमा आवश्यक असतात - आणि जेव्हा सिस्टम तैनात करणे आणि त्वरीत कार्य करणे, परिणामांवर प्रक्रिया करणे - किंवा स्कीमा आणि संग्रहित डेटाचे प्रकार - हे अनुप्रयोग विकासास आश्चर्यकारकपणे सुलभ करते. इतके महत्त्वाचे नाहीत.

उदाहरणार्थ, आम्ही एक तज्ञ प्रणाली तयार करत आहोत आणि काही मेटा माहितीसह विशिष्ट डोमेनवर माहिती संग्रहित करू इच्छितो - आम्हाला कदाचित सर्व फील्ड माहित नसतील आणि प्रत्येक रेकॉर्डसाठी फक्त JSON संचयित करू - यामुळे आम्हाला डेटा विस्तृत करण्यासाठी एक अतिशय लवचिक वातावरण मिळते. मॉडेल आणि त्वरीत पुनरावृत्ती - म्हणून या प्रकरणात, NoSQL अधिक श्रेयस्कर आणि अधिक वाचनीय असेल. उदाहरण एंट्री (माझ्या एका प्रोजेक्टमधून जिथे NoSQL आवश्यक आहे तिथे योग्य होता).

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

आपण अधिक वाचू शकता येथे NoSQL बद्दल.

काय अभ्यास करायचा?

येथे, त्याऐवजी, तुम्हाला तुमच्या कार्याचे सखोल विश्लेषण करणे आवश्यक आहे, त्यात कोणते गुणधर्म आहेत आणि कोणत्या NoSQL प्रणाली उपलब्ध आहेत ज्या या वर्णनात बसतील - आणि नंतर या प्रणालीचा अभ्यास सुरू करा.

स्क्रिप्टिंग क्वेरी भाषा

सुरुवातीला, असे दिसते की पायथनचा सर्वसाधारणपणे त्याच्याशी काय संबंध आहे - ही एक प्रोग्रामिंग भाषा आहे आणि प्रश्नांबद्दल अजिबात नाही.

पांडा अक्षरशः डेटा सायन्सचा स्विस आर्मी चाकू आहे; त्यात मोठ्या प्रमाणात डेटा ट्रान्सफॉर्मेशन, एकत्रीकरण इ.
Numpy - तेथे वेक्टर गणना, मॅट्रिक्स आणि रेखीय बीजगणित.
स्किपी - या पॅकेजमध्ये बरेच गणित आहे, विशेषतः आकडेवारी.
ज्युपिटर लॅब - बरेच शोधक डेटा विश्लेषण लॅपटॉपमध्ये चांगले बसते - जाणून घेणे उपयुक्त आहे.
विनंत्या - नेटवर्कसह कार्य करणे.
डेटा अभियंत्यांमध्ये Pyspark खूप लोकप्रिय आहे, बहुधा तुम्हाला या किंवा स्पार्कशी संवाद साधावा लागेल, फक्त त्यांच्या लोकप्रियतेमुळे.
*सेलेनियम - साइट्स आणि संसाधनांमधून डेटा गोळा करण्यासाठी खूप उपयुक्त आहे, काहीवेळा डेटा मिळविण्याचा दुसरा कोणताही मार्ग नसतो.

माझा मुख्य सल्ला: पायथन शिका!

पांड्या

उदाहरण म्हणून खालील कोड घेऊ.

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

मूलत:, आम्ही पाहतो की कोड क्लासिक SQL पॅटर्नमध्ये बसतो.

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

पण महत्त्वाचा भाग असा आहे की हा कोड स्क्रिप्ट आणि पाइपलाइनचा भाग आहे; खरं तर, आम्ही पायथन पाइपलाइनमध्ये क्वेरी एम्बेड करत आहोत. या परिस्थितीत, पांडस किंवा पायस्पार्क सारख्या लायब्ररींमधून प्रश्नांची भाषा आमच्याकडे येते.

सर्वसाधारणपणे, pySpark मध्ये आपल्याला क्वेरी भाषेद्वारे समान प्रकारचे डेटा ट्रान्सफॉर्मेशन दिसते:

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

कुठे आणि काय वाचायचे

सर्वसाधारणपणे पायथनवरच हरकत नाही, हरकत नसणे अभ्यासासाठी साहित्य शोधा. ऑनलाइन मोठ्या संख्येने ट्यूटोरियल आहेत पांडा, pySpark आणि अभ्यासक्रम चालू आहेत स्पार्क (आणि स्वतः देखील DS). एकंदरीत, येथील सामग्री गुगलिंगसाठी उत्तम आहे, आणि जर मला लक्ष केंद्रित करण्यासाठी एक पॅकेज निवडावे लागले तर ते नक्कीच पांडा असेल. डीएस + पायथन सामग्रीच्या संयोजनाबद्दल देखील खूप.

क्वेरी भाषा म्हणून शेल

मी काम केलेले काही डेटा प्रोसेसिंग आणि विश्लेषण प्रकल्प हे खरेतर शेल स्क्रिप्ट आहेत जे पायथन, जावा आणि शेल कमांडमध्ये कोड कॉल करतात. त्यामुळे, सर्वसाधारणपणे, तुम्ही bash/zsh/etc मधील पाइपलाइन्सचा काही प्रकारची उच्च-स्तरीय क्वेरी म्हणून विचार करू शकता (तुम्ही नक्कीच तेथे सामग्री लूप करू शकता, परंतु हे शेल भाषांमध्ये डीएस कोडसाठी वैशिष्ट्यपूर्ण नाही), चला देऊया. एक साधे उदाहरण - मला विकिडेटाचे QID मॅपिंग आणि रशियन आणि इंग्रजी विकीच्या संपूर्ण लिंक्सची आवश्यकता होती, यासाठी मी बॅशमधील कमांड्समधून एक साधी विनंती लिहिली आणि आउटपुटसाठी मी पायथनमध्ये एक साधी स्क्रिप्ट लिहिली, जी मी असे एकत्र ठेवा:

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

जेथे

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")'

खरं तर, ही संपूर्ण पाइपलाइन होती ज्याने आवश्यक मॅपिंग तयार केले; जसे आपण पाहतो, सर्वकाही प्रवाह मोडमध्ये कार्य करते:

pv फाइलपाथ - फाइल आकारावर आधारित प्रगती बार देते आणि त्यातील सामग्री पुढे पाठवते
unpigz -c ने संग्रहणाचा भाग वाचला आणि तो jq ला दिला
jq की सह - प्रवाहाने लगेच निकाल दिला आणि तो पायथनमधील पोस्टप्रोसेसरला (पहिल्या उदाहरणाप्रमाणेच) पास केला.
अंतर्गत, पोस्टप्रोसेसर हे एक साधे राज्य मशीन होते जे आउटपुटचे स्वरूपित करते

एकूण, एक जटिल पाइपलाइन मोठ्या डेटावर (0.5TB) प्रवाह मोडमध्ये कार्य करते, महत्त्वपूर्ण संसाधनांशिवाय आणि साध्या पाइपलाइन आणि काही साधनांनी बनलेली.

दुसरी महत्त्वाची टीप: टर्मिनलमध्ये चांगले आणि प्रभावीपणे कार्य करण्यास सक्षम व्हा आणि bash/zsh/etc लिहा.

त्याचा कुठे उपयोग होईल? होय, जवळजवळ सर्वत्र - पुन्हा, इंटरनेटवर अभ्यास करण्यासाठी भरपूर सामग्री आहेत. विशेषतः, येथे हे माझा मागील लेख.

आर स्क्रिप्टिंग

पुन्हा, वाचक उद्गारू शकतो - ठीक आहे, ही संपूर्ण प्रोग्रामिंग भाषा आहे! आणि नक्कीच, तो बरोबर असेल. तथापि, मला सहसा अशा संदर्भात R चा सामना करावा लागला की, खरं तर, ती क्वेरी भाषेसारखीच होती.

R हे स्टॅटिक कॉम्प्युटिंग आणि व्हिज्युअलायझेशनसाठी एक सांख्यिकीय संगणन वातावरण आणि भाषा आहे (यानुसार हे).

घेतले येथून. तसे, मी शिफारस करतो, चांगली सामग्री.

डेटा सायंटिस्टला आर माहित असणे का आवश्यक आहे? किमान, कारण R मध्ये डेटाचे विश्लेषण करणार्‍या नॉन-आयटी लोकांचा एक मोठा थर आहे. मला ते खालील ठिकाणी आढळले:

फार्मास्युटिकल क्षेत्र.
जीवशास्त्रज्ञ.
आर्थिक क्षेत्र.
पूर्णपणे गणिती शिक्षण असलेले लोक जे आकडेवारीशी व्यवहार करतात.
विशेष सांख्यिकीय मॉडेल्स आणि मशीन लर्निंग मॉडेल्स (जे सहसा लेखकाच्या आवृत्तीमध्ये आर पॅकेज म्हणून आढळू शकतात).

ती प्रत्यक्षात क्वेरी भाषा का आहे? ज्या फॉर्ममध्ये ते अनेकदा आढळते, प्रत्यक्षात डेटा वाचणे आणि क्वेरी (मॉडेल) पॅरामीटर्स निश्चित करणे, तसेच ggplot2 सारख्या पॅकेजमध्ये डेटा व्हिज्युअलायझ करणे यासह मॉडेल तयार करण्याची विनंती आहे - हा देखील प्रश्न लिहिण्याचा एक प्रकार आहे. .

व्हिज्युअलायझेशनसाठी उदाहरण क्वेरी

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

सर्वसाधारणपणे, R मधील अनेक कल्पना pandas, numpy किंवा scipy सारख्या python पॅकेजेसमध्ये स्थलांतरित झाल्या आहेत, जसे की डेटाफ्रेम्स आणि डेटा व्हेक्टरायझेशन - त्यामुळे सर्वसाधारणपणे R मधील बर्‍याच गोष्टी तुम्हाला परिचित आणि सोयीस्कर वाटतील.

अभ्यास करण्यासाठी अनेक स्त्रोत आहेत, उदाहरणार्थ, हे.

ज्ञान आलेख

येथे मला थोडासा असामान्य अनुभव आहे, कारण मला बर्‍याचदा आलेखांसाठी ज्ञान आलेख आणि क्वेरी भाषांमध्ये काम करावे लागते. म्हणूनच, मूलभूत गोष्टींवर थोडक्यात जाऊया, कारण हा भाग थोडा अधिक विलक्षण आहे.

शास्त्रीय रिलेशनल डेटाबेसेसमध्ये आमच्याकडे एक निश्चित स्कीमा आहे, परंतु येथे स्कीमा लवचिक आहे, प्रत्येक अंदाज प्रत्यक्षात एक "स्तंभ" आहे आणि आणखीही.

अशी कल्पना करा की तुम्ही एखाद्या व्यक्तीचे मॉडेलिंग करत आहात आणि मुख्य गोष्टींचे वर्णन करू इच्छित आहात, उदाहरणार्थ, एक विशिष्ट व्यक्ती, डग्लस अॅडम्स घेऊ आणि हे वर्णन आधार म्हणून वापरू.

www.wikidata.org/wiki/Q42

जर आपण रिलेशनल डेटाबेस वापरला असेल, तर आपल्याला मोठ्या संख्येने कॉलम असलेली एक मोठी टेबल किंवा टेबल्स तयार करावी लागतील, ज्यापैकी बहुतेक NULL असतील किंवा काही डीफॉल्ट असत्य व्हॅल्यूने भरलेले असतील, उदाहरणार्थ, आपल्यापैकी अनेकांकडे असण्याची शक्यता नाही. कोरियन नॅशनल लायब्ररीमध्ये प्रवेश - अर्थातच, आम्ही त्यांना वेगळ्या तक्त्यामध्ये ठेवू शकतो, परंतु हा शेवटी एक निश्चित रिलेशनल वापरून प्रेडिकेट्ससह लवचिक लॉजिकल सर्किट मॉडेल करण्याचा प्रयत्न असेल.

म्हणून कल्पना करा की सर्व डेटा आलेख म्हणून किंवा बायनरी आणि युनरी बुलियन अभिव्यक्ती म्हणून संग्रहित केला जातो.

तुम्हाला हे कुठे भेटेल? प्रथम, सह काम डेटा विकी, आणि कोणत्याही आलेख डेटाबेस किंवा कनेक्ट केलेल्या डेटासह.

मी वापरलेल्या आणि काम केलेल्या मुख्य क्वेरी भाषा खालीलप्रमाणे आहेत.

स्पार्कल

विकीः
स्पार्कल (आवर्ती संक्षेप पासून इंग्रजी SPARQL प्रोटोकॉल आणि RDF क्वेरी भाषा) - डेटा क्वेरी भाषा, मॉडेलद्वारे प्रस्तुत केले जाते आरडीएफआणि प्रोटोकॉल या विनंत्या प्रसारित करण्यासाठी आणि त्यांना प्रतिसाद देण्यासाठी. SPARQL एक शिफारस आहे W3C कंसोर्टियम आणि तंत्रज्ञानांपैकी एक सिमेंटिक वेब.

परंतु प्रत्यक्षात ही तार्किक युनरी आणि बायनरी प्रेडिकेट्ससाठी क्वेरी भाषा आहे. बुलियन अभिव्यक्तीमध्ये काय निश्चित आहे आणि काय नाही (अगदी सरलीकृत) तुम्ही फक्त सशर्तपणे निर्दिष्ट करत आहात.

आरडीएफ (संसाधन वर्णन फ्रेमवर्क) बेस स्वतः, ज्यावर SPARQL क्वेरी कार्यान्वित केल्या जातात, तिहेरी आहे object, predicate, subject - आणि क्वेरी स्पिरिटमधील निर्दिष्ट निर्बंधांनुसार आवश्यक तिप्पट निवडते: एक X शोधा की p_55(X, q_33) सत्य आहे - जिथे, अर्थातच, p_55 हा ID 55 शी काही प्रकारचा संबंध आहे आणि q_33 हा एक आहे ID 33 सह ऑब्जेक्ट (येथे आणि संपूर्ण कथा, पुन्हा सर्व प्रकारचे तपशील वगळून).

डेटा सादरीकरणाचे उदाहरण:

येथे देशांसह चित्रे आणि उदाहरणे येथून.

मूलभूत प्रश्न उदाहरण

खरेतर, आम्हाला ?देशीय चलचे मूल्य असे शोधायचे आहे की प्रेडिकेटसाठी
member_of, हे खरे आहे की member_of(?country,q458) आणि q458 हा युरोपियन युनियनचा आयडी आहे.

पायथन इंजिनमधील वास्तविक SPARQL क्वेरीचे उदाहरण:

सामान्यतः, मला SPARQL लिहिण्याऐवजी वाचावे लागले - अशा परिस्थितीत, डेटा कसा पुनर्प्राप्त केला जातो हे समजून घेण्यासाठी किमान मूलभूत स्तरावर भाषा समजून घेणे हे एक उपयुक्त कौशल्य असेल.

ऑनलाइन अभ्यास करण्यासाठी भरपूर साहित्य आहे: उदाहरणार्थ, येथे हे и हे. मी सहसा विशिष्ट डिझाइन आणि उदाहरणे गुगल करतो आणि आतासाठी ते पुरेसे आहे.

तार्किक क्वेरी भाषा

आपण माझ्या लेखातील विषयावर अधिक वाचू शकता येथे. आणि इथे, प्रश्न लिहिण्यासाठी तार्किक भाषा का योग्य आहेत याचे थोडक्यात परीक्षण करू. मूलत:, RDF हा p(X) आणि h(X,Y) फॉर्मच्या तार्किक विधानांचा फक्त एक संच आहे आणि तार्किक क्वेरी खालील फॉर्म आहे:

output(X) :- country(X), member_of(X,“EU”).

येथे आपण नवीन predicate output/1 (/1 म्हणजे unary) तयार करण्याबद्दल बोलत आहोत, जर X साठी ते देश(X) खरे असेल - म्हणजेच X हा देश आहे आणि सदस्य_of(X,"EU").

म्हणजेच, या प्रकरणात, डेटा आणि नियम दोन्ही समान प्रकारे सादर केले जातात, जे आम्हाला समस्यांचे मॉडेल अगदी सहज आणि चांगल्या प्रकारे करण्यास अनुमती देतात.

इंडस्ट्रीत कुठे भेटलास?: एखाद्या कंपनीसह एक संपूर्ण मोठा प्रकल्प जो अशा भाषेत प्रश्न लिहितो, तसेच सिस्टमच्या मूळ प्रकल्पावर - असे दिसते की ही एक विचित्र गोष्ट आहे, परंतु कधीकधी असे होते.

लॉजिकल लँग्वेज प्रोसेसिंग विकिडेटामधील कोड फ्रॅगमेंटचे उदाहरण:

साहित्य: मी येथे आधुनिक लॉजिकल प्रोग्रामिंग भाषेच्या उत्तर सेट प्रोग्रामिंगच्या काही लिंक देईन - मी त्याचा अभ्यास करण्याची शिफारस करतो:

स्त्रोत: www.habr.com

डेटा सायंटिस्टच्या नोट्स: डेटा क्वेरी भाषांचे वैयक्तिकृत पुनरावलोकन