ડેટા સાયન્ટિસ્ટની નોંધો: ડેટા ક્વેરી ભાષાઓની વ્યક્તિગત સમીક્ષા

હું તમને અંગત અનુભવથી કહું છું કે ક્યાં અને ક્યારે શું ઉપયોગી હતું. તે વિહંગાવલોકન અને થીસીસ છે, જેથી તે સ્પષ્ટ થાય કે તમે આગળ શું અને ક્યાં ખોદી શકો છો - પરંતુ અહીં મારી પાસે ફક્ત વ્યક્તિલક્ષી વ્યક્તિગત અનુભવ છે, કદાચ તમારા માટે બધું સંપૂર્ણપણે અલગ છે.

ક્વેરી ભાષાઓ જાણવી અને તેનો ઉપયોગ કરવામાં સક્ષમ બનવું શા માટે મહત્વનું છે? તેના મૂળમાં, ડેટા સાયન્સ કાર્યના ઘણા મહત્વપૂર્ણ તબક્કાઓ ધરાવે છે, અને ખૂબ જ પ્રથમ અને સૌથી મહત્વપૂર્ણ (તેના વિના, ચોક્કસપણે કંઈપણ કામ કરશે નહીં!) ડેટા મેળવવા અથવા કાઢવાનું છે. મોટાભાગે, ડેટા ક્યાંક ક્યાંક કોઈક સ્વરૂપે બેઠો હોય છે અને ત્યાંથી "પુનઃપ્રાપ્ત" કરવાની જરૂર હોય છે. 

ક્વેરી લેંગ્વેજ તમને આ ખૂબ જ ડેટા કાઢવાની મંજૂરી આપે છે! અને આજે હું તમને તે ક્વેરી ભાષાઓ વિશે કહીશ જે મારા માટે ઉપયોગી છે અને હું તમને કહીશ અને તમને બતાવીશ કે ક્યાં અને કેવી રીતે બરાબર - શા માટે અભ્યાસ કરવાની જરૂર છે.

ડેટા ક્વેરી પ્રકારોના ત્રણ મુખ્ય બ્લોક્સ હશે, જેની આપણે આ લેખમાં ચર્ચા કરીશું:

• "સ્ટાન્ડર્ડ" ક્વેરી લેંગ્વેજ એ છે જે સામાન્ય રીતે ક્વેરી લેંગ્વેજ વિશે વાત કરતી વખતે સમજવામાં આવે છે, જેમ કે રિલેશનલ બીજગણિત અથવા SQL.
• સ્ક્રિપ્ટીંગ ક્વેરી ભાષાઓ: ઉદાહરણ તરીકે, પાયથોન વસ્તુઓ પાંડા, નમ્પી અથવા શેલ સ્ક્રિપ્ટીંગ.
• જ્ઞાન ગ્રાફ અને ગ્રાફ ડેટાબેસેસ માટે ક્વેરી ભાષાઓ.

અહીં લખેલી દરેક વસ્તુ ફક્ત એક વ્યક્તિગત અનુભવ છે, જે ઉપયોગી હતું, પરિસ્થિતિઓના વર્ણન સાથે અને "તેની શા માટે જરૂર હતી" - દરેક વ્યક્તિ પ્રયત્ન કરી શકે છે કે સમાન પરિસ્થિતિઓ કેવી રીતે તમારા માર્ગ પર આવી શકે છે અને આ ભાષાઓને સમજીને તેના માટે અગાઉથી તૈયારી કરવાનો પ્રયાસ કરી શકે છે. તમારે કોઈ પ્રોજેક્ટ પર (તાત્કાલિક) અરજી કરવી પડે તે પહેલાં અથવા જ્યાં તેઓની જરૂર હોય તેવા પ્રોજેક્ટ પર પહોંચતા પહેલા.

"સ્ટાન્ડર્ડ" ક્વેરી ભાષાઓ

માનક ક્વેરી લેંગ્વેજ એ અર્થમાં ચોક્કસ છે કે જ્યારે આપણે ક્વેરી વિશે વાત કરીએ છીએ ત્યારે આપણે સામાન્ય રીતે તેમના વિશે વિચારીએ છીએ.

રિલેશનલ બીજગણિત

રિલેશનલ બીજગણિત આજે શા માટે જરૂરી છે? ક્વેરી લેંગ્વેજ શા માટે ચોક્કસ રીતે રચવામાં આવે છે અને તેનો સભાનપણે ઉપયોગ કરે છે તેની સારી સમજ મેળવવા માટે, તમારે તેના અંતર્ગત મુખ્યને સમજવાની જરૂર છે.

રિલેશનલ બીજગણિત શું છે?

ઔપચારિક વ્યાખ્યા નીચે મુજબ છે: રિલેશનલ બીજગણિત એ રિલેશનલ ડેટા મોડેલમાં સંબંધો પરની કામગીરીની બંધ સિસ્ટમ છે. તેને થોડું વધુ માનવીય રીતે મૂકવા માટે, આ કોષ્ટકો પરની કામગીરીની એક સિસ્ટમ છે જેમ કે પરિણામ હંમેશા ટેબલ હોય છે.

માં તમામ રિલેશનલ ઓપરેશન્સ જુઓ આ Habr નો લેખ - અહીં અમે વર્ણન કરીએ છીએ કે તમારે શા માટે જાણવાની જરૂર છે અને તે ક્યાં કામ આવે છે.

શા માટે?

ક્વેરી લેંગ્વેજ શું છે અને ચોક્કસ ક્વેરી લેંગ્વેજમાં અભિવ્યક્તિઓ પાછળ કઈ ક્રિયાઓ છે તે સમજવાની શરૂઆત ઘણીવાર ક્વેરી લેંગ્વેજમાં શું કામ કરે છે અને કેવી રીતે થાય છે તેની ઊંડી સમજ આપે છે.

માંથી લીધેલું આ લેખો ઑપરેશનનું ઉદાહરણ: જોડાઓ, જે કોષ્ટકોને જોડે છે.

અભ્યાસ માટેની સામગ્રી:

સ્ટેનફોર્ડ તરફથી સારો પ્રારંભિક અભ્યાસક્રમ. સામાન્ય રીતે, રિલેશનલ બીજગણિત અને સિદ્ધાંત પર ઘણી બધી સામગ્રી છે - કોર્સેરા, ઉડાસીટી. સારા સહિત ઓનલાઈન સામગ્રીનો વિશાળ જથ્થો પણ છે શૈક્ષણિક અભ્યાસક્રમો. મારી અંગત સલાહ: તમારે રિલેશનલ બીજગણિતને ખૂબ સારી રીતે સમજવાની જરૂર છે - આ બેઝિક્સનો આધાર છે.

એસક્યુએલ

માંથી લીધેલું આ લેખ.

SQL અનિવાર્યપણે રિલેશનલ બીજગણિતનું અમલીકરણ છે - એક મહત્વપૂર્ણ ચેતવણી સાથે, SQL ઘોષણાત્મક છે! એટલે કે, રિલેશનલ બીજગણિતની ભાષામાં ક્વેરી લખતી વખતે, તમે ખરેખર કહો છો કે કેવી રીતે ગણતરી કરવી - પરંતુ SQL સાથે તમે સ્પષ્ટ કરો છો કે તમે શું કાઢવા માંગો છો, અને પછી DBMS પહેલેથી જ રિલેશનલ બીજગણિતની ભાષામાં (અસરકારક) અભિવ્યક્તિઓ જનરેટ કરે છે. સમાનતા અમને તરીકે ઓળખવામાં આવે છે કૉડનું પ્રમેય).

માંથી લીધેલું આ લેખ.

શા માટે?

રિલેશનલ ડીબીએમએસ: ઓરેકલ, પોસ્ટગ્રેસ, એસક્યુએલ સર્વર, વગેરે હજી પણ વર્ચ્યુઅલ રીતે દરેક જગ્યાએ છે અને અવિશ્વસનીય રીતે ઉચ્ચ તક છે કે તમારે તેમની સાથે ક્રિયાપ્રતિક્રિયા કરવી પડશે, જેનો અર્થ છે કે તમારે કાં તો SQL (જે ખૂબ જ સંભવ છે) વાંચવું પડશે અથવા તેને લખવું પડશે ( અસંભવિત પણ નથી).

શું વાંચવું અને ભણવું

ઉપરોક્ત સમાન લિંક્સ અનુસાર (સંબંધિત બીજગણિત વિશે), ત્યાં સામગ્રીનો અવિશ્વસનીય જથ્થો છે, ઉદાહરણ તરીકે, આ.

માર્ગ દ્વારા, NoSQL શું છે?

"તે ફરી એકવાર ભારપૂર્વક જણાવવા યોગ્ય છે કે "NoSQL" શબ્દ એકદમ સ્વયંસ્ફુરિત મૂળ ધરાવે છે અને તેની પાછળ કોઈ સામાન્ય રીતે સ્વીકૃત વ્યાખ્યા અથવા વૈજ્ઞાનિક સંસ્થા નથી." અનુરૂપ લેખ Habr પર.

વાસ્તવમાં, લોકોને સમજાયું કે ઘણી સમસ્યાઓ ઉકેલવા માટે સંપૂર્ણ રિલેશનલ મોડલની જરૂર નથી, ખાસ કરીને એવા લોકો માટે જ્યાં, ઉદાહરણ તરીકે, પ્રદર્શન મહત્વપૂર્ણ છે અને એકત્રીકરણ સાથેની કેટલીક સરળ ક્વેરીઝ પ્રભુત્વ ધરાવે છે - જ્યાં મેટ્રિક્સની ઝડપથી ગણતરી કરવી અને તેમને લખવા માટે મહત્વપૂર્ણ છે. ડેટાબેઝ, અને મોટાભાગની સુવિધાઓ રિલેશનલ છે તે માત્ર બિનજરૂરી જ નહીં, પણ હાનિકારક પણ છે - શા માટે કોઈ વસ્તુને સામાન્ય બનાવવી જો તે આપણા માટે સૌથી મહત્વપૂર્ણ વસ્તુ (કોઈ ચોક્કસ કાર્ય માટે) - ઉત્પાદકતાને બગાડે છે?

ઉપરાંત, ક્લાસિકલ રિલેશનલ મોડલના નિશ્ચિત ગાણિતિક સ્કીમાને બદલે ઘણી વખત લવચીક સ્કીમાની જરૂર પડે છે - અને આ અદ્ભુત રીતે એપ્લિકેશન ડેવલપમેન્ટને સરળ બનાવે છે જ્યારે સિસ્ટમને જમાવવા અને ઝડપથી કામ કરવાનું શરૂ કરવું, પરિણામોની પ્રક્રિયા કરવી - અથવા સ્કીમા અને સંગ્રહિત ડેટાના પ્રકારો. એટલા મહત્વપૂર્ણ નથી.

ઉદાહરણ તરીકે, અમે એક નિષ્ણાત સિસ્ટમ બનાવી રહ્યા છીએ અને અમુક મેટા માહિતી સાથે ચોક્કસ ડોમેન પર માહિતી સંગ્રહિત કરવા માંગીએ છીએ - અમે કદાચ તમામ ક્ષેત્રો જાણતા નથી અને દરેક રેકોર્ડ માટે ફક્ત JSON સંગ્રહિત કરી શકીએ છીએ - આ અમને ડેટાને વિસ્તૃત કરવા માટે ખૂબ જ લવચીક વાતાવરણ આપે છે. મોડેલ અને ઝડપથી પુનરાવર્તિત - તેથી આ કિસ્સામાં, NoSQL વધુ પ્રાધાન્યક્ષમ અને વધુ વાંચવા યોગ્ય હશે. ઉદાહરણ એન્ટ્રી (મારા એક પ્રોજેક્ટમાંથી જ્યાં NoSQL યોગ્ય હતું જ્યાં તેની જરૂર હતી).

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

તમે વધુ વાંચી શકો છો અહીં NoSQL વિશે.

શું ભણવું?

અહીં, તેના બદલે, તમારે ફક્ત તમારા કાર્યનું સંપૂર્ણ વિશ્લેષણ કરવાની જરૂર છે, તેની પાસે કયા ગુણધર્મો છે અને કઈ NoSQL સિસ્ટમ્સ ઉપલબ્ધ છે જે આ વર્ણનને અનુરૂપ હશે - અને પછી આ સિસ્ટમનો અભ્યાસ કરવાનું શરૂ કરો.

સ્ક્રિપ્ટીંગ ક્વેરી ભાષાઓ

શરૂઆતમાં, એવું લાગે છે કે સામાન્ય રીતે પાયથોનને તેની સાથે શું કરવું છે - તે એક પ્રોગ્રામિંગ ભાષા છે, અને ક્વેરી વિશે બિલકુલ નથી.

• પાંડા શાબ્દિક રીતે ડેટા સાયન્સની સ્વિસ આર્મી છરી છે; તેમાં મોટી માત્રામાં ડેટા ટ્રાન્સફોર્મેશન, એકત્રીકરણ વગેરે થાય છે.
• Numpy - ત્યાં વેક્ટર ગણતરીઓ, મેટ્રિસિસ અને રેખીય બીજગણિત.
• સ્કીપી - આ પેકેજમાં ઘણું ગણિત છે, ખાસ કરીને આંકડા.
• જ્યુપીટર લેબ - ઘણા બધા સંશોધનાત્મક ડેટા વિશ્લેષણ લેપટોપમાં સારી રીતે બંધબેસે છે - જાણવા માટે ઉપયોગી છે.
• વિનંતીઓ - નેટવર્ક સાથે કામ.
• ડેટા એન્જિનિયરોમાં Pyspark ખૂબ જ લોકપ્રિય છે, મોટે ભાગે તમારે આ અથવા સ્પાર્ક સાથે સંપર્ક કરવો પડશે, ફક્ત તેમની લોકપ્રિયતાને કારણે.
• *સેલેનિયમ - સાઇટ્સ અને સંસાધનોમાંથી ડેટા એકત્રિત કરવા માટે ખૂબ જ ઉપયોગી છે, કેટલીકવાર ડેટા મેળવવા માટે અન્ય કોઈ રસ્તો નથી.

મારી મુખ્ય સલાહ: પાયથોન શીખો!

પાંડા

ચાલો નીચે આપેલા કોડને ઉદાહરણ તરીકે લઈએ:

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

આવશ્યકપણે, આપણે જોઈએ છીએ કે કોડ ક્લાસિક SQL પેટર્નમાં બંધબેસે છે.

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

પરંતુ મહત્વનો ભાગ એ છે કે આ કોડ સ્ક્રિપ્ટ અને પાઇપલાઇનનો ભાગ છે; વાસ્તવમાં, અમે પાયથોન પાઇપલાઇનમાં પ્રશ્નોને એમ્બેડ કરી રહ્યા છીએ. આ સ્થિતિમાં, ક્વેરી લેંગ્વેજ આપણી પાસે પાંડા અથવા પાયસ્પાર્ક જેવી પુસ્તકાલયોમાંથી આવે છે.

સામાન્ય રીતે, pySpark માં આપણે ક્વેરી લેંગ્વેજ દ્વારા આની ભાવનામાં સમાન પ્રકારના ડેટા ટ્રાન્સફોર્મેશનને જોઈએ છીએ:

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

ક્યાં અને શું વાંચવું

સામાન્ય રીતે પાયથોન પર સમસ્યા નથી અભ્યાસ માટે સામગ્રી શોધો. ઑનલાઇન ટ્યુટોરિયલ્સની વિશાળ સંખ્યા છે પંડાસ, pySpark અને અભ્યાસક્રમો ચાલુ છે સ્પાર્ક (અને પોતે પણ DS). એકંદરે, અહીંની સામગ્રી ગુગલિંગ માટે સરસ છે, અને જો મારે ધ્યાન કેન્દ્રિત કરવા માટે એક પેકેજ પસંદ કરવું હોય, તો તે પાંડા હશે, અલબત્ત. DS+Python સામગ્રીના સંયોજનને પણ ખૂબ જ.

ક્વેરી ભાષા તરીકે શેલ

કેટલાક ડેટા પ્રોસેસિંગ અને એનાલિસિસ પ્રોજેક્ટ્સ કે જેની સાથે મેં કામ કર્યું છે તે હકીકતમાં શેલ સ્ક્રિપ્ટ્સ છે જે પાયથોન, જાવા અને શેલ કમાન્ડમાં કોડને કૉલ કરે છે. તેથી, સામાન્ય રીતે, તમે bash/zsh/etc માં પાઇપલાઇન્સને અમુક પ્રકારની ઉચ્ચ-સ્તરની ક્વેરી તરીકે ધ્યાનમાં લઈ શકો છો (તમે, અલબત્ત, ત્યાં સામગ્રી લૂપ કરી શકો છો, પરંતુ આ શેલ ભાષાઓમાં DS કોડ માટે લાક્ષણિક નથી), ચાલો આપીએ. એક સરળ ઉદાહરણ - મારે વિકિડેટાનું QID મેપિંગ અને રશિયન અને અંગ્રેજી વિકિની સંપૂર્ણ લિંક્સ કરવાની જરૂર હતી, આ માટે મેં બેશમાં આદેશોમાંથી એક સરળ વિનંતી લખી અને આઉટપુટ માટે મેં પાયથોનમાં એક સરળ સ્ક્રિપ્ટ લખી, જે હું આની જેમ એકસાથે મૂકો:

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

જ્યાં

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' 

આ, હકીકતમાં, આખી પાઇપલાઇન હતી જેણે જરૂરી મેપિંગ બનાવ્યું; જેમ આપણે જોઈએ છીએ, બધું ફ્લો મોડમાં કામ કરે છે:

• pv ફાઇલપાથ - ફાઇલના કદના આધારે પ્રોગ્રેસ બાર આપે છે અને તેના સમાવિષ્ટોને આગળ પસાર કરે છે
• unpigz -c એ આર્કાઇવનો ભાગ વાંચ્યો અને jq ને આપ્યો
• કી સાથે jq - સ્ટ્રીમ તરત જ પરિણામ ઉત્પન્ન કરે છે અને તેને પાયથોનમાં પોસ્ટપ્રોસેસર (પહેલા ઉદાહરણની જેમ જ)ને પાસ કરે છે.
• આંતરિક રીતે, પોસ્ટપ્રોસેસર એ એક સરળ રાજ્ય મશીન હતું જે આઉટપુટને ફોર્મેટ કરે છે 

કુલ મળીને, એક જટિલ પાઇપલાઇન જે મોટા ડેટા (0.5TB) પર ફ્લો મોડમાં કામ કરે છે, નોંધપાત્ર સંસાધનો વિના અને સરળ પાઇપલાઇન અને કેટલાક સાધનોથી બનેલી છે.

બીજી મહત્વની ટિપ: ટર્મિનલમાં સારી રીતે અને અસરકારક રીતે કામ કરવા સક્ષમ બનો અને bash/zsh/etc લખો.

તે ક્યાં ઉપયોગી થશે? હા, લગભગ દરેક જગ્યાએ - ફરીથી, ઇન્ટરનેટ પર અભ્યાસ કરવા માટે ઘણી બધી સામગ્રી છે. ખાસ કરીને, અહીં ઇટા મારો અગાઉનો લેખ.

આર સ્ક્રિપ્ટીંગ

ફરીથી, વાચક બૂમ પાડી શકે છે - સારું, આ એક સંપૂર્ણ પ્રોગ્રામિંગ ભાષા છે! અને અલબત્ત, તે સાચો હશે. જો કે, મને સામાન્ય રીતે આવા સંદર્ભમાં R નો સામનો કરવો પડ્યો હતો કે, હકીકતમાં, તે ક્વેરી લેંગ્વેજ જેવી જ હતી.

R એ સ્ટેટિક કમ્પ્યુટિંગ અને વિઝ્યુલાઇઝેશન માટે સ્ટેટિસ્ટિકલ કમ્પ્યુટિંગ વાતાવરણ અને ભાષા છે (આ મુજબ આ).

લીધેલ અહીંથી. માર્ગ દ્વારા, હું તેની ભલામણ કરું છું, સારી સામગ્રી.

ડેટા સાયન્ટિસ્ટને શા માટે R જાણવાની જરૂર છે? ઓછામાં ઓછું, કારણ કે ત્યાં નોન-આઈટી લોકોનો એક વિશાળ સ્તર છે જેઓ R માં ડેટાનું વિશ્લેષણ કરે છે. નીચેની જગ્યાએ મને તે મળ્યું:

• ફાર્માસ્યુટિકલ સેક્ટર.
• જીવવિજ્ઞાનીઓ.
• નાણાકીય ક્ષેત્ર.
• સંપૂર્ણ ગાણિતિક શિક્ષણ ધરાવતા લોકો જે આંકડા સાથે વ્યવહાર કરે છે.
• વિશિષ્ટ આંકડાકીય મૉડલ અને મશીન લર્નિંગ મૉડલ્સ (જે ઘણીવાર માત્ર લેખકના સંસ્કરણમાં R પૅકેજ તરીકે જોવા મળે છે).

શા માટે તે વાસ્તવમાં ક્વેરી ભાષા છે? જે ફોર્મમાં તે વારંવાર જોવા મળે છે, તે વાસ્તવમાં એક મોડેલ બનાવવાની વિનંતી છે, જેમાં ડેટા વાંચવા અને ક્વેરી (મોડેલ) પરિમાણોને ફિક્સ કરવા, તેમજ ggplot2 જેવા પેકેજોમાં ડેટાને વિઝ્યુઅલાઈઝ કરવાનો સમાવેશ થાય છે - આ પણ પ્રશ્નો લખવાનું એક સ્વરૂપ છે. .

વિઝ્યુલાઇઝેશન માટેના ઉદાહરણ પ્રશ્નો

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

સામાન્ય રીતે, R ના ઘણા વિચારો પાયથોન પેકેજોમાં સ્થાનાંતરિત થયા છે જેમ કે પાંડા, નમ્પી અથવા સ્કીપી, જેમ કે ડેટાફ્રેમ્સ અને ડેટા વેક્ટરાઇઝેશન - તેથી સામાન્ય રીતે R માં ઘણી બધી વસ્તુઓ તમને પરિચિત અને અનુકૂળ લાગશે.

અભ્યાસ માટે ઘણા સ્ત્રોતો છે, ઉદાહરણ તરીકે, આ.

જ્ઞાન આલેખ

અહીં મને થોડો અસામાન્ય અનુભવ છે, કારણ કે મારે ઘણી વાર જ્ઞાન ગ્રાફ અને ગ્રાફ માટે ક્વેરી લેંગ્વેજ સાથે કામ કરવું પડે છે. તેથી, ચાલો સંક્ષિપ્તમાં મૂળભૂત બાબતો પર જઈએ, કારણ કે આ ભાગ થોડો વધુ વિચિત્ર છે.

ક્લાસિકલ રિલેશનલ ડેટાબેઝમાં આપણી પાસે એક નિશ્ચિત સ્કીમા છે, પરંતુ અહીં સ્કીમા લવચીક છે, દરેક અનુમાન વાસ્તવમાં "કૉલમ" છે અને તેનાથી પણ વધુ.

કલ્પના કરો કે તમે કોઈ વ્યક્તિનું મોડેલિંગ કરી રહ્યાં છો અને મુખ્ય વસ્તુઓનું વર્ણન કરવા માગો છો, ઉદાહરણ તરીકે, ચાલો કોઈ ચોક્કસ વ્યક્તિ, ડગ્લાસ એડમ્સને લઈએ અને આ વર્ણનનો આધાર તરીકે ઉપયોગ કરીએ.

www.wikidata.org/wiki/Q42

જો આપણે રિલેશનલ ડેટાબેઝનો ઉપયોગ કર્યો હોય, તો અમારે વિશાળ સંખ્યામાં કૉલમ સાથે એક વિશાળ ટેબલ અથવા કોષ્ટકો બનાવવા પડશે, જેમાંથી મોટા ભાગના NULL હશે અથવા અમુક ડિફોલ્ટ False મૂલ્યથી ભરેલા હશે, ઉદાહરણ તરીકે, તે અસંભવિત છે કે આપણામાંથી ઘણા પાસે કોરિયન રાષ્ટ્રીય પુસ્તકાલયમાં પ્રવેશ - અલબત્ત, અમે તેમને અલગ કોષ્ટકોમાં મૂકી શકીએ છીએ, પરંતુ આ આખરે નિશ્ચિત સંબંધી એકનો ઉપયોગ કરીને આગાહી સાથે લવચીક લોજિકલ સર્કિટનું મોડેલ બનાવવાનો પ્રયાસ હશે.

તેથી કલ્પના કરો કે તમામ ડેટા ગ્રાફ તરીકે અથવા બાઈનરી અને યુનરી બુલિયન એક્સપ્રેશન તરીકે સંગ્રહિત છે.

તમે આનો સામનો પણ ક્યાં કરી શકો? સૌ પ્રથમ, સાથે કામ કરો ડેટા વિકિ, અને કોઈપણ ગ્રાફ ડેટાબેસેસ અથવા કનેક્ટેડ ડેટા સાથે.

નીચેની મુખ્ય ક્વેરી ભાષાઓ છે જેનો મેં ઉપયોગ કર્યો છે અને તેની સાથે કામ કર્યું છે.

SPARQL

વિકી:
SPARQL (પુનરાવર્તિત ટૂંકાક્ષર થી Eng. SPARQL પ્રોટોકોલ અને RDF ક્વેરી લેંગ્વેજ) - ડેટા ક્વેરી ભાષા, મોડેલ દ્વારા રજૂ થાય છે RDF, અને પ્રોટોકોલ આ વિનંતીઓ પ્રસારિત કરવા અને તેનો જવાબ આપવા માટે. SPARQL એ એક ભલામણ છે W3C કન્સોર્ટિયમ અને એક તકનીક સિમેન્ટીક વેબ.

પરંતુ વાસ્તવમાં તે લોજિકલ યુનરી અને દ્વિસંગી અનુમાન માટે ક્વેરી લેંગ્વેજ છે. તમે ફક્ત શરતી રીતે સ્પષ્ટ કરી રહ્યાં છો કે બુલિયન અભિવ્યક્તિમાં શું નિશ્ચિત છે અને શું નથી (ખૂબ જ સરળ).

આરડીએફ (સંસાધન વર્ણન ફ્રેમવર્ક) આધાર પોતે, જેના પર SPARQL ક્વેરીઝ ચલાવવામાં આવે છે, તે ટ્રિપલ છે object, predicate, subject - અને ક્વેરી ભાવનામાં નિર્દિષ્ટ પ્રતિબંધો અનુસાર જરૂરી ત્રિપુટીઓ પસંદ કરે છે: એક X શોધો કે જે p_55(X, q_33) સાચું હોય - જ્યાં, અલબત્ત, p_55 એ ID 55 સાથે અમુક પ્રકારનો સંબંધ છે, અને q_33 એક છે ID 33 સાથેનો ઑબ્જેક્ટ (અહીં અને આખી વાર્તા, ફરીથી તમામ પ્રકારની વિગતોને બાદ કરતાં).

ડેટા પ્રસ્તુતિનું ઉદાહરણ:

અહીંના દેશો સાથેના ચિત્રો અને ઉદાહરણ અહીંથી.

મૂળભૂત ક્વેરી ઉદાહરણ

વાસ્તવમાં, અમે ?દેશ ચલનું મૂલ્ય શોધવા માંગીએ છીએ જેમ કે આગાહી માટે
member_of, તે સાચું છે કે member_of(?country,q458) અને q458 એ યુરોપિયન યુનિયનનું ID છે.

પાયથોન એન્જિનની અંદર વાસ્તવિક SPARQL ક્વેરીનું ઉદાહરણ:

સામાન્ય રીતે, મારે SPARQL લખવાને બદલે વાંચવું પડ્યું છે - તે સ્થિતિમાં, ડેટા કેવી રીતે પુનઃપ્રાપ્ત કરવામાં આવે છે તે સમજવા માટે ઓછામાં ઓછા મૂળભૂત સ્તરે ભાષાને સમજવા માટે તે ઉપયોગી કૌશલ્ય હશે. 

ઑનલાઇન અભ્યાસ કરવા માટે ઘણી બધી સામગ્રી છે: ઉદાહરણ તરીકે, અહીં આ и આ. હું સામાન્ય રીતે વિશિષ્ટ ડિઝાઇન અને ઉદાહરણો ગૂગલ કરું છું અને તે અત્યારે પૂરતું છે.

લોજિકલ ક્વેરી ભાષાઓ

તમે મારા લેખમાં વિષય પર વધુ વાંચી શકો છો અહીં. અને અહીં, અમે ફક્ત ટૂંકમાં તપાસ કરીશું કે શા માટે તાર્કિક ભાષાઓ પ્રશ્નો લખવા માટે યોગ્ય છે. અનિવાર્યપણે, RDF એ p(X) અને h(X,Y) સ્વરૂપના તાર્કિક નિવેદનોનો માત્ર સમૂહ છે, અને લોજિકલ ક્વેરી નીચેના સ્વરૂપ ધરાવે છે:

output(X) :- country(X), member_of(X,“EU”).

અહીં આપણે એક નવું પ્રિડિકેટ આઉટપુટ/1 (/1 એટલે અનરી) બનાવવા વિશે વાત કરી રહ્યા છીએ, જો કે X માટે તે દેશ(X) સાચું હોય - એટલે કે, X એ દેશ છે અને (X,"EU")નો સભ્ય_ પણ છે.

એટલે કે, આ કિસ્સામાં, ડેટા અને નિયમો બંને એ જ રીતે રજૂ કરવામાં આવે છે, જે અમને સમસ્યાઓને ખૂબ જ સરળતાથી અને સારી રીતે મોડેલ કરવાની મંજૂરી આપે છે.

ઈન્ડસ્ટ્રીમાં તમે ક્યાં મળ્યા?: એક કંપની સાથેનો એક આખો મોટો પ્રોજેક્ટ કે જે આવી ભાષામાં પ્રશ્નો લખે છે, તેમજ સિસ્ટમના મૂળમાં વર્તમાન પ્રોજેક્ટ પર - એવું લાગે છે કે આ એક વિચિત્ર વસ્તુ છે, પરંતુ કેટલીકવાર તે થાય છે.

લોજિકલ લેંગ્વેજ પ્રોસેસિંગ વિકિડેટામાં કોડ ફ્રેગમેન્ટનું ઉદાહરણ:

સામગ્રી: હું અહીં આધુનિક લોજિકલ પ્રોગ્રામિંગ ભાષા જવાબ સેટ પ્રોગ્રામિંગની કેટલીક લિંક્સ આપીશ - હું તેનો અભ્યાસ કરવાની ભલામણ કરું છું:

• http://peace.eas.asu.edu/aaai12tutorial/asp-tutorial-aaai.pdf
• http://ceur-ws.org/Vol-1145/tutorial1.pdf
• https://www.youtube.com/watch?v=gVQ0bP8zyHw
• https://www.youtube.com/watch?v=kdcd7Je2glc
• https://potassco.org/book/
• http://potassco.sourceforge.net/teaching.html
• https://www.cs.uni-potsdam.de/~torsten/Potassco/Tutorials/fmcad12.pdf

સોર્સ: www.habr.com