🥇ডেটা সায়েন্টিস্টের নোট: ডেটা কোয়েরি ভাষার ব্যক্তিগত পর্যালোচনা

আমি আপনাকে ব্যক্তিগত অভিজ্ঞতা থেকে বলছি কোথায় এবং কখন কী দরকারী ছিল। এটি ওভারভিউ এবং থিসিস, যাতে এটি পরিষ্কার হয় যে আপনি কী এবং কোথায় আরও খনন করতে পারেন - তবে এখানে আমার একচেটিয়াভাবে ব্যক্তিগত ব্যক্তিগত অভিজ্ঞতা রয়েছে, সম্ভবত আপনার জন্য সবকিছু সম্পূর্ণ আলাদা।

কোয়েরি ভাষা জানা এবং ব্যবহার করতে সক্ষম হওয়া কেন গুরুত্বপূর্ণ? এর মূলে, ডেটা সায়েন্সের কাজের বেশ কয়েকটি গুরুত্বপূর্ণ ধাপ রয়েছে এবং খুব প্রথম এবং সবচেয়ে গুরুত্বপূর্ণ (এটি ছাড়া, অবশ্যই কিছুই কাজ করবে না!) ডেটা প্রাপ্ত করা বা বের করা। প্রায়শই, ডেটা কোথাও না কোথাও বসে থাকে এবং সেখান থেকে "পুনরুদ্ধার" করা প্রয়োজন।

ক্যোয়ারী ল্যাঙ্গুয়েজ আপনাকে এই খুব ডাটা বের করতে দেয়! এবং আজ আমি আপনাকে সেই ক্যোয়ারী ল্যাঙ্গুয়েজগুলি সম্পর্কে বলব যেগুলি আমার পক্ষে কার্যকর হয়েছে এবং আমি আপনাকে বলব এবং আপনাকে দেখাব কোথায় এবং কীভাবে ঠিক - কেন এটি অধ্যয়নের প্রয়োজন।

ডেটা ক্যোয়ারী ধরণের তিনটি প্রধান ব্লক থাকবে, যা আমরা এই নিবন্ধে আলোচনা করব:

"স্ট্যান্ডার্ড" ক্যোয়ারী ল্যাঙ্গুয়েজ হল যা সাধারণভাবে বোঝা যায় যখন একটি ক্যোয়ারী ল্যাঙ্গুয়েজ সম্পর্কে কথা বলা হয়, যেমন রিলেশনাল অ্যালজেব্রা বা SQL।
স্ক্রিপ্টিং ক্যোয়ারী ল্যাঙ্গুয়েজ: উদাহরণস্বরূপ, পাইথন জিনিস পান্ডা, নম্পি বা শেল স্ক্রিপ্টিং।
জ্ঞান গ্রাফ এবং গ্রাফ ডাটাবেসের জন্য ভাষা জিজ্ঞাসা করুন।

এখানে যা কিছু লেখা হয়েছে তা কেবল একটি ব্যক্তিগত অভিজ্ঞতা, যা দরকারী ছিল, পরিস্থিতির বর্ণনা সহ এবং "কেন এটি প্রয়োজন ছিল" - প্রত্যেকে চেষ্টা করতে পারে যে কীভাবে অনুরূপ পরিস্থিতিগুলি আপনার পথে আসতে পারে এবং এই ভাষাগুলি বোঝার মাধ্যমে আগে থেকেই তাদের জন্য প্রস্তুত করার চেষ্টা করতে পারে। আপনাকে একটি প্রকল্পে (জরুরিভাবে) আবেদন করতে হবে বা এমনকি একটি প্রকল্পে যেতে হবে যেখানে তাদের প্রয়োজন।

"স্ট্যান্ডার্ড" ক্যোয়ারী ভাষা

স্ট্যান্ডার্ড ক্যোয়ারী ল্যাঙ্গুয়েজগুলি ঠিক এই অর্থে যে আমরা সাধারণত সেগুলি সম্পর্কে চিন্তা করি যখন আমরা প্রশ্নগুলির বিষয়ে কথা বলি।

রিলেশনাল বীজগণিত

কেন রিলেশনাল বীজগণিত আজ প্রয়োজন? কেন কোয়েরি ভাষাগুলি একটি নির্দিষ্ট উপায়ে গঠন করা হয় এবং সেগুলি সচেতনভাবে ব্যবহার করা হয় তা ভালভাবে বোঝার জন্য, আপনাকে সেগুলির অন্তর্নিহিত মূলটি বুঝতে হবে।

রিলেশনাল বীজগণিত কি?

আনুষ্ঠানিক সংজ্ঞাটি নিম্নরূপ: রিলেশনাল অ্যালজেব্রা হল রিলেশনাল ডেটা মডেলে সম্পর্কের উপর অপারেশনের একটি বন্ধ সিস্টেম। এটিকে আরও কিছুটা মানবিকভাবে বলতে গেলে, এটি টেবিলের উপর ক্রিয়াকলাপের একটি সিস্টেম যাতে ফলাফলটি সর্বদা একটি টেবিল।

সমস্ত রিলেশনাল অপারেশন দেখুন এই হাবর থেকে নিবন্ধ - এখানে আমরা বর্ণনা করি যে কেন আপনাকে জানতে হবে এবং এটি কোথায় কার্যকর হবে।

কেন?

ক্যোয়ারী ল্যাঙ্গুয়েজগুলি কী সম্পর্কে এবং নির্দিষ্ট ক্যোয়ারী ল্যাঙ্গুয়েজগুলিতে এক্সপ্রেশনের পিছনে কোন ক্রিয়াকলাপগুলি রয়েছে তা বোঝার শুরু করা প্রায়শই কোয়েরি ভাষায় কী কাজ করে এবং কীভাবে তা গভীরভাবে উপলব্ধি করে।

থেকে নেওয়া এই প্রবন্ধ একটি অপারেশনের উদাহরণ: যোগদান, যা টেবিলে যোগদান করে।

অধ্যয়নের জন্য উপকরণ:

স্ট্যানফোর্ড থেকে ভাল পরিচায়ক কোর্স. সাধারণভাবে, রিলেশনাল বীজগণিত এবং তত্ত্বের উপর প্রচুর উপকরণ রয়েছে - Coursera, Udacity। ভাল সহ অনলাইনে প্রচুর পরিমাণে উপাদান রয়েছে একাডেমিক কোর্স. আমার ব্যক্তিগত পরামর্শ: আপনাকে সম্পর্কীয় বীজগণিত খুব ভালভাবে বুঝতে হবে - এটি মূল বিষয়গুলির ভিত্তি।

এসকিউএল

থেকে নেওয়া এই নিবন্ধ।

এসকিউএল মূলত রিলেশনাল বীজগণিতের একটি বাস্তবায়ন - একটি গুরুত্বপূর্ণ সতর্কতা সহ, এসকিউএল হল ঘোষণামূলক! অর্থাৎ, রিলেশনাল বীজগণিতের ভাষায় একটি ক্যোয়ারী লেখার সময়, আপনি আসলে বলেন কিভাবে গণনা করতে হয় - কিন্তু SQL দিয়ে আপনি যা বের করতে চান তা উল্লেখ করেন এবং তারপর DBMS ইতিমধ্যেই রিলেশনাল বীজগণিতের ভাষায় (কার্যকর) এক্সপ্রেশন তৈরি করে (তাদের সমতা আমাদের কাছে পরিচিত কডের উপপাদ্য).

থেকে নেওয়া এই নিবন্ধ।

কেন?

রিলেশনাল ডিবিএমএস: ওরাকল, পোস্টগ্রেস, এসকিউএল সার্ভার, ইত্যাদি এখনও কার্যত সর্বত্র রয়েছে এবং একটি অবিশ্বাস্যভাবে উচ্চ সম্ভাবনা রয়েছে যে আপনাকে তাদের সাথে যোগাযোগ করতে হবে, যার অর্থ আপনাকে হয় এসকিউএল পড়তে হবে (যা খুব সম্ভবত) বা লিখতে হবে ( অসম্ভাব্যও নয়)।

কি পড়া এবং পড়াশুনা

উপরের একই লিঙ্ক অনুসারে (সম্পর্কিক বীজগণিত সম্পর্কে), এখানে একটি অবিশ্বাস্য পরিমাণ উপাদান রয়েছে, উদাহরণস্বরূপ, এই.

উপায় দ্বারা, NoSQL কি?

"এটা আবারও জোর দিয়ে বলা উচিত যে "NoSQL" শব্দটির একটি একেবারে স্বতঃস্ফূর্ত উৎপত্তি রয়েছে এবং এর পিছনে কোন সাধারণভাবে স্বীকৃত সংজ্ঞা বা বৈজ্ঞানিক প্রতিষ্ঠান নেই।" অনুরূপ একটি নিবন্ধ হাবরের উপর।

প্রকৃতপক্ষে, লোকেরা বুঝতে পেরেছিল যে অনেক সমস্যা সমাধানের জন্য একটি সম্পূর্ণ রিলেশনাল মডেলের প্রয়োজন নেই, বিশেষত তাদের জন্য যেখানে, উদাহরণস্বরূপ, কর্মক্ষমতা সমালোচনামূলক এবং একত্রিতকরণের প্রাধান্য সহ কিছু সাধারণ প্রশ্ন - যেখানে দ্রুত মেট্রিক্স গণনা করা এবং সেগুলিকে লিখতে গুরুত্বপূর্ণ ডাটাবেস, এবং বেশিরভাগ বৈশিষ্ট্যগুলি কেবল অপ্রয়োজনীয় নয়, ক্ষতিকারকও বলে প্রমাণিত হয়েছে - কেন কিছুকে স্বাভাবিক করা হবে যদি এটি আমাদের জন্য সবচেয়ে গুরুত্বপূর্ণ জিনিসটি নষ্ট করে দেয় - উত্পাদনশীলতা?

এছাড়াও, ক্লাসিক্যাল রিলেশনাল মডেলের স্থির গাণিতিক স্কিমাগুলির পরিবর্তে নমনীয় স্কিমাগুলি প্রায়শই প্রয়োজন হয় - এবং এটি অবিশ্বাস্যভাবে অ্যাপ্লিকেশন বিকাশকে সহজ করে তোলে যখন সিস্টেমটি স্থাপন করা এবং দ্রুত কাজ শুরু করা, ফলাফলগুলি প্রক্রিয়া করা - বা স্কিমা এবং সংরক্ষিত ডেটার প্রকারগুলি গুরুত্বপূর্ণ। এত গুরুত্বপূর্ণ নয়।

উদাহরণস্বরূপ, আমরা একটি বিশেষজ্ঞ সিস্টেম তৈরি করছি এবং কিছু মেটা তথ্য সহ একটি নির্দিষ্ট ডোমেনে তথ্য সঞ্চয় করতে চাই - আমরা সমস্ত ক্ষেত্র জানি না এবং প্রতিটি রেকর্ডের জন্য JSON সঞ্চয় করতে পারি - এটি আমাদের ডেটা প্রসারিত করার জন্য একটি খুব নমনীয় পরিবেশ দেয় মডেল এবং দ্রুত পুনরাবৃত্তি - তাই এই ক্ষেত্রে, NoSQL এমনকি পছন্দনীয় এবং আরো পাঠযোগ্য হবে। উদাহরণ এন্ট্রি (আমার একটি প্রকল্প থেকে যেখানে NoSQL সঠিক ছিল যেখানে এটি প্রয়োজন ছিল)।

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

আপনি আরও পড়তে পারেন এখানে NoSQL সম্পর্কে।

কি পড়াশুনা করতে হবে?

এখানে, বরং, আপনাকে কেবল আপনার কাজটি পুঙ্খানুপুঙ্খভাবে বিশ্লেষণ করতে হবে, এটির কী বৈশিষ্ট্য রয়েছে এবং কোন NoSQL সিস্টেমগুলি উপলব্ধ যা এই বিবরণের সাথে মানানসই হবে - এবং তারপরে এই সিস্টেমটি অধ্যয়ন করা শুরু করুন৷

স্ক্রিপ্টিং ক্যোয়ারী ভাষা

প্রথমে, মনে হয়, পাইথনের সাথে সাধারণভাবে কী করার আছে - এটি একটি প্রোগ্রামিং ভাষা, এবং মোটেও প্রশ্নগুলির বিষয়ে নয়।

পান্ডাস আক্ষরিক অর্থে ডেটা সায়েন্সের একটি সুইস আর্মি ছুরি; এতে প্রচুর পরিমাণে ডেটা রূপান্তর, একত্রীকরণ ইত্যাদি ঘটে।
Numpy - সেখানে ভেক্টর গণনা, ম্যাট্রিক্স এবং রৈখিক বীজগণিত।
স্কিপি - এই প্যাকেজে প্রচুর গণিত রয়েছে, বিশেষ করে পরিসংখ্যান।
জুপিটার ল্যাব - প্রচুর অনুসন্ধানমূলক ডেটা বিশ্লেষণ ল্যাপটপের সাথে ভালভাবে ফিট করে - জানতে উপযোগী।
অনুরোধ - নেটওয়ার্কের সাথে কাজ করা।
Pyspark ডাটা ইঞ্জিনিয়ারদের মধ্যে খুব জনপ্রিয়, সম্ভবত তাদের জনপ্রিয়তার কারণে আপনাকে এটি বা স্পার্কের সাথে যোগাযোগ করতে হবে।
*সেলেনিয়াম - সাইট এবং সংস্থানগুলি থেকে ডেটা সংগ্রহের জন্য খুব দরকারী, কখনও কখনও ডেটা পাওয়ার অন্য কোনও উপায় নেই।

আমার প্রধান পরামর্শ: পাইথন শিখুন!

পান্ডাস

আসুন একটি উদাহরণ হিসাবে নিম্নলিখিত কোড গ্রহণ করা যাক:

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

মূলত, আমরা দেখতে পাই যে কোডটি ক্লাসিক SQL প্যাটার্নের সাথে খাপ খায়।

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

কিন্তু গুরুত্বপূর্ণ অংশ হল এই কোডটি স্ক্রিপ্ট এবং পাইপলাইনের অংশ; আসলে, আমরা পাইথন পাইপলাইনে প্রশ্নগুলি এম্বেড করছি। এই পরিস্থিতিতে, ক্যোয়ারী ভাষা আমাদের কাছে আসে পান্ডাস বা পাইস্পার্কের মতো লাইব্রেরি থেকে।

সাধারণভাবে, pySpark-এ আমরা একটি ক্যোয়ারী ভাষার মাধ্যমে একই ধরনের ডেটা রূপান্তর দেখতে পাই:

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

কোথায় কি পড়তে হবে

সাধারণভাবে পাইথনে নিজেই কোন সমস্যা নেই অধ্যয়নের জন্য উপকরণ খুঁজুন। অনলাইনে বিপুল সংখ্যক টিউটোরিয়াল রয়েছে পান্ডাস, pySpark এবং কোর্স চালু আছে স্ফুলিঙ্গ (এবং নিজেও DS) সামগ্রিকভাবে, এখানে বিষয়বস্তু গুগলিংয়ের জন্য দুর্দান্ত, এবং যদি আমাকে ফোকাস করার জন্য একটি প্যাকেজ বাছাই করতে হয় তবে অবশ্যই এটি পান্ডা হবে। ডিএস + পাইথন উপকরণগুলির সংমিশ্রণ সম্পর্কেও অনেক.

একটি প্রশ্নের ভাষা হিসাবে শেল

বেশ কিছু ডেটা প্রসেসিং এবং অ্যানালাইসিস প্রজেক্ট যেগুলির সাথে আমি কাজ করেছি আসলে, শেল স্ক্রিপ্ট যা পাইথন, জাভাতে কোড কল করে এবং শেল কমান্ডগুলি নিজেরাই। অতএব, সাধারণভাবে, আপনি bash/zsh/etc-এ পাইপলাইনগুলিকে এক ধরণের উচ্চ-স্তরের ক্যোয়ারী হিসাবে বিবেচনা করতে পারেন (আপনি অবশ্যই সেখানে স্টাফ লুপ করতে পারেন, তবে এটি শেল ভাষায় ডিএস কোডের জন্য সাধারণ নয়), আসুন দেওয়া যাক একটি সাধারণ উদাহরণ - আমার উইকিডাটা এবং রাশিয়ান এবং ইংরেজি উইকিগুলির সম্পূর্ণ লিঙ্কগুলির একটি QID ম্যাপিং করা দরকার, এর জন্য আমি ব্যাশের কমান্ডগুলি থেকে একটি সাধারণ অনুরোধ লিখেছিলাম এবং আউটপুটের জন্য আমি পাইথনে একটি সাধারণ স্ক্রিপ্ট লিখেছিলাম, যা আমি এই মত একত্রিত করা:

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

যেখানে

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")'

এটি ছিল, প্রকৃতপক্ষে, সমগ্র পাইপলাইন যা প্রয়োজনীয় ম্যাপিং তৈরি করেছিল; যেমনটি আমরা দেখি, সবকিছু প্রবাহ মোডে কাজ করেছে:

pv ফাইলপথ - ফাইলের আকারের উপর ভিত্তি করে একটি অগ্রগতি বার দেয় এবং এর বিষয়বস্তুকে এগিয়ে দেয়
unpigz -c আর্কাইভের কিছু অংশ পড়ে jq কে দিয়েছে
কী সহ jq - স্ট্রীম অবিলম্বে ফলাফল তৈরি করে এবং পাইথনে পোস্টপ্রসেসরে (প্রথম উদাহরণের মতো) পাস করে
অভ্যন্তরীণভাবে, পোস্টপ্রসেসর ছিল একটি সাধারণ স্টেট মেশিন যা আউটপুট ফর্ম্যাট করে

মোট, একটি জটিল পাইপলাইন বড় ডেটাতে (0.5TB) ফ্লো মোডে কাজ করে, উল্লেখযোগ্য সংস্থান ছাড়াই এবং একটি সাধারণ পাইপলাইন এবং কয়েকটি সরঞ্জাম থেকে তৈরি।

আরেকটি গুরুত্বপূর্ণ টিপ: টার্মিনালে ভাল এবং কার্যকরভাবে কাজ করতে এবং bash/zsh/etc লিখতে সক্ষম হন।

এটা কোথায় কাজে লাগবে? হ্যাঁ, প্রায় সর্বত্র - আবার, ইন্টারনেটে অধ্যয়নের জন্য প্রচুর উপকরণ রয়েছে। বিশেষ করে, এখানে এই আমার আগের নিবন্ধ।

আর স্ক্রিপ্টিং

আবার, পাঠক চিৎকার করে বলতে পারেন - আচ্ছা, এটি একটি সম্পূর্ণ প্রোগ্রামিং ভাষা! এবং অবশ্যই, তিনি সঠিক হবে। যাইহোক, আমি সাধারণত এমন একটি প্রেক্ষাপটে R এর সম্মুখীন হয়েছি যে, আসলে, এটি একটি কোয়েরি ভাষার সাথে খুব মিল ছিল।

R হল স্ট্যাটিক কম্পিউটিং এবং ভিজ্যুয়ালাইজেশনের জন্য একটি পরিসংখ্যানগত কম্পিউটিং পরিবেশ এবং ভাষা (এর মতে The).

ধরা এখানে থেকে. যাইহোক, আমি এটি সুপারিশ, ভাল উপাদান.

কেন একজন ডেটা সায়েন্টিস্টকে আর জানতে হবে? অন্তত, কারণ সেখানে নন-আইটি লোকদের একটি বিশাল স্তর রয়েছে যারা R-তে ডেটা বিশ্লেষণ করে। আমি নিম্নলিখিত জায়গায় এটি দেখতে পেয়েছি:

ফার্মাসিউটিক্যাল সেক্টর।
জীববিজ্ঞানী।
আর্থিক খাত.
পরিসংখ্যান মোকাবেলা যারা একটি বিশুদ্ধরূপে গাণিতিক শিক্ষা সঙ্গে মানুষ.
বিশেষায়িত পরিসংখ্যান মডেল এবং মেশিন লার্নিং মডেল (যা প্রায়শই লেখকের সংস্করণে R প্যাকেজ হিসাবে পাওয়া যায়)।

কেন এটা আসলে একটি কোয়েরি ভাষা? যে ফর্মে এটি প্রায়শই পাওয়া যায়, এটি আসলে একটি মডেল তৈরি করার অনুরোধ, যার মধ্যে ডেটা পড়া এবং ক্যোয়ারী (মডেল) প্যারামিটার ঠিক করা, সেইসাথে ggplot2-এর মতো প্যাকেজে ডেটা ভিজ্যুয়ালাইজ করা - এটিও একটি প্রশ্ন লেখার একটি ফর্ম। .

ভিজ্যুয়ালাইজেশনের জন্য উদাহরণ প্রশ্ন

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

সাধারণভাবে, R থেকে অনেক ধারণা পাইথন প্যাকেজে স্থানান্তরিত হয়েছে যেমন পান্ডা, নম্পি বা স্কিপি, যেমন ডেটাফ্রেম এবং ডেটা ভেক্টরাইজেশন - তাই সাধারণভাবে R-এর অনেক কিছু আপনার কাছে পরিচিত এবং সুবিধাজনক বলে মনে হবে।

অধ্যয়নের জন্য অনেক উত্স আছে, উদাহরণস্বরূপ, এই.

জ্ঞান গ্রাফ

এখানে আমার একটি সামান্য অস্বাভাবিক অভিজ্ঞতা আছে, কারণ আমাকে প্রায়শই জ্ঞানের গ্রাফ এবং গ্রাফের জন্য কোয়েরি ভাষা নিয়ে কাজ করতে হয়। অতএব, আসুন সংক্ষিপ্তভাবে বেসিকগুলি নিয়ে যাই, কারণ এই অংশটি একটু বেশি বহিরাগত।

ক্লাসিক্যাল রিলেশনাল ডাটাবেসে আমাদের একটি নির্দিষ্ট স্কিমা আছে, কিন্তু এখানে স্কিমাটি নমনীয়, প্রতিটি প্রেডিকেট আসলে একটি "কলাম" এবং আরও বেশি।

কল্পনা করুন যে আপনি একজন ব্যক্তির মডেলিং করছেন এবং মূল জিনিসগুলি বর্ণনা করতে চেয়েছিলেন, উদাহরণস্বরূপ, আসুন একজন নির্দিষ্ট ব্যক্তি, ডগলাস অ্যাডামসকে নিন এবং এই বিবরণটিকে ভিত্তি হিসাবে ব্যবহার করুন।

www.wikidata.org/wiki/Q42

যদি আমরা একটি রিলেশনাল ডাটাবেস ব্যবহার করি, তাহলে আমাদের একটি বিশাল সংখ্যক কলাম সহ একটি বিশাল টেবিল বা টেবিল তৈরি করতে হবে, যার বেশিরভাগই NULL হবে বা কিছু ডিফল্ট False মান দিয়ে পূর্ণ হবে, উদাহরণস্বরূপ, এটি অসম্ভাব্য যে আমাদের অনেকের একটি কোরিয়ান ন্যাশনাল লাইব্রেরিতে এন্ট্রি - অবশ্যই, আমরা সেগুলিকে আলাদা টেবিলে রাখতে পারি, কিন্তু এটি শেষ পর্যন্ত একটি নির্দিষ্ট রিলেশনাল ব্যবহার করে ভবিষ্যদ্বাণী সহ একটি নমনীয় লজিক্যাল সার্কিট মডেল করার একটি প্রচেষ্টা হবে।

সুতরাং কল্পনা করুন যে সমস্ত ডেটা একটি গ্রাফ হিসাবে বা বাইনারি এবং ইউনারী বুলিয়ান এক্সপ্রেশন হিসাবে সংরক্ষণ করা হয়েছে।

আপনি এমনকি এই সম্মুখীন করতে পারেন কোথায়? প্রথমত, সঙ্গে কাজ ডেটা উইকি, এবং যেকোনো গ্রাফ ডাটাবেস বা সংযুক্ত ডেটা সহ।

নিম্নলিখিত প্রধান কোয়েরি ভাষা যা আমি ব্যবহার করেছি এবং কাজ করেছি।

SPARQL

প্রধান উইকি:
SPARQL (পুনরাবৃত্ত সংক্ষিপ্ত রূপ থেকে ইং। SPARQL প্রোটোকল এবং RDF কোয়েরি ভাষা) - ডেটা কোয়েরির ভাষা, মডেল দ্বারা প্রতিনিধিত্ব RDFএবং প্রোটোকল এই অনুরোধ প্রেরণ এবং তাদের প্রতিক্রিয়া. SPARQL একটি সুপারিশ W3C কনসোর্টিয়াম এবং প্রযুক্তিগুলির মধ্যে একটি শব্দার্থিক ওয়েব.

কিন্তু বাস্তবে এটি লজিক্যাল ইউনারী এবং বাইনারি প্রেডিকেটের জন্য একটি কোয়েরি ভাষা। আপনি কেবল শর্তসাপেক্ষে নির্দিষ্ট করছেন বুলিয়ান এক্সপ্রেশনে কী স্থির করা হয়েছে এবং কী নয় (খুব সরলীকৃত)।

RDF (রিসোর্স বর্ণনা ফ্রেমওয়ার্ক) বেস নিজেই, যার উপর SPARQL প্রশ্নগুলি চালানো হয়, এটি একটি ট্রিপল object, predicate, subject - এবং ক্যোয়ারী স্পিরিটে নির্দিষ্ট বিধিনিষেধ অনুসারে প্রয়োজনীয় ট্রিপল নির্বাচন করে: এমন একটি X খুঁজুন যাতে p_55(X, q_33) সত্য হয় - যেখানে অবশ্যই, p_55 হল ID 55 এর সাথে এক ধরনের সম্পর্ক, এবং q_33 হল একটি আইডি 33 সহ অবজেক্ট (এখানে এবং পুরো গল্প, আবার সব ধরণের বিবরণ বাদ দিয়ে)।

তথ্য উপস্থাপনের উদাহরণ:

দেশগুলির সাথে ছবি এবং উদাহরণ এখানে এখানে থেকে.

মৌলিক ক্যোয়ারী উদাহরণ

প্রকৃতপক্ষে, আমরা ?দেশের পরিবর্তনশীলের মান খুঁজে পেতে চাই যেটি পূর্বনির্ধারণের জন্য
member_of, এটা সত্য যে member_of(?country,q458) এবং q458 হল ইউরোপীয় ইউনিয়নের আইডি।

পাইথন ইঞ্জিনের ভিতরে একটি বাস্তব SPARQL কোয়েরির একটি উদাহরণ:

সাধারণত, আমাকে লেখার পরিবর্তে SPARQL পড়তে হয়েছিল - সেই পরিস্থিতিতে, ডেটা কীভাবে পুনরুদ্ধার করা হয় তা বোঝার জন্য অন্তত একটি মৌলিক স্তরে ভাষা বোঝার জন্য এটি সম্ভবত একটি দরকারী দক্ষতা হতে পারে।

অনলাইনে অধ্যয়নের জন্য প্রচুর উপাদান রয়েছে: উদাহরণস্বরূপ, এখানে এই и এই. আমি সাধারণত নির্দিষ্ট ডিজাইন এবং উদাহরণগুলি গুগল করি এবং এটিই এখন যথেষ্ট।

লজিক্যাল ক্যোয়ারী ভাষা

আপনি আমার নিবন্ধে বিষয়ে আরো পড়তে পারেন এখানে. এবং এখানে, আমরা শুধুমাত্র সংক্ষিপ্তভাবে পরীক্ষা করব কেন যৌক্তিক ভাষাগুলি প্রশ্ন লেখার জন্য উপযুক্ত। মূলত, RDF হল p(X) এবং h(X,Y) ফর্মের লজিক্যাল স্টেটমেন্টের একটি সেট এবং একটি লজিক্যাল কোয়েরির নিম্নলিখিত ফর্ম রয়েছে:

output(X) :- country(X), member_of(X,“EU”).

এখানে আমরা একটি নতুন predicate output/1 (/1 মানে unary) তৈরি করার কথা বলছি, শর্ত থাকে যে X এর জন্য এটা সত্য যে দেশ(X) - অর্থাৎ, X একটি দেশ এবং সদস্য_of(X,"EU")।

অর্থাৎ, এই ক্ষেত্রে, ডেটা এবং নিয়ম উভয়ই একইভাবে উপস্থাপিত হয়, যা আমাদেরকে খুব সহজে এবং ভালভাবে সমস্যার মডেল করতে দেয়।

ইন্ডাস্ট্রিতে কোথায় দেখা হয়েছিল?: একটি কোম্পানির সাথে একটি সম্পূর্ণ বৃহৎ প্রকল্প যা এই জাতীয় ভাষায় প্রশ্নগুলি লিখে, সেইসাথে সিস্টেমের মূল অংশে বর্তমান প্রকল্পে - মনে হবে এটি একটি বরং বহিরাগত জিনিস, তবে কখনও কখনও এটি ঘটে।

লজিক্যাল ল্যাঙ্গুয়েজ প্রসেসিং উইকিডাটাতে কোড ফ্র্যাগমেন্টের একটি উদাহরণ:

উপাদান: আমি এখানে আধুনিক লজিক্যাল প্রোগ্রামিং ভাষার উত্তর সেট প্রোগ্রামিংয়ের কয়েকটি লিঙ্ক দেব - আমি এটি অধ্যয়ন করার পরামর্শ দিচ্ছি:

উত্স: www.habr.com

ডেটা সায়েন্টিস্টের নোট: ডেটা কোয়েরি ভাষার একটি ব্যক্তিগতকৃত পর্যালোচনা