ഡാറ്റാ സയന്റിസ്റ്റിന്റെ കുറിപ്പുകൾ: ഡാറ്റാ അന്വേഷണ ഭാഷകളുടെ ഒരു വ്യക്തിഗത അവലോകനം

എവിടെ, എപ്പോൾ ഉപയോഗപ്രദമായിരുന്നുവെന്ന് വ്യക്തിപരമായ അനുഭവത്തിൽ നിന്ന് ഞാൻ നിങ്ങളോട് പറയുന്നു. ഇത് ഒരു അവലോകനവും പ്രബന്ധവുമാണ്, അതിനാൽ നിങ്ങൾക്ക് എന്ത്, എവിടെ നിന്ന് കൂടുതൽ കുഴിക്കാൻ കഴിയുമെന്ന് വ്യക്തമാകും - എന്നാൽ ഇവിടെ എനിക്ക് പ്രത്യേകമായി ആത്മനിഷ്ഠമായ വ്യക്തിഗത അനുഭവമുണ്ട്, ഒരുപക്ഷേ എല്ലാം നിങ്ങൾക്ക് തികച്ചും വ്യത്യസ്തമായിരിക്കും.

അന്വേഷണ ഭാഷകൾ അറിയേണ്ടതും ഉപയോഗിക്കാൻ കഴിയുന്നതും പ്രധാനമായിരിക്കുന്നത് എന്തുകൊണ്ട്? അതിന്റെ കേന്ദ്രത്തിൽ, ഡാറ്റാ സയൻസിന് നിരവധി സുപ്രധാന ഘട്ടങ്ങളുണ്ട്, ആദ്യത്തേതും ഏറ്റവും പ്രധാനപ്പെട്ടതും (അതില്ലാതെ, തീർച്ചയായും ഒന്നും പ്രവർത്തിക്കില്ല!) ഡാറ്റ നേടുകയോ എക്‌സ്‌ട്രാക്റ്റുചെയ്യുകയോ ചെയ്യുക എന്നതാണ്. മിക്കപ്പോഴും, ഡാറ്റ ഏതെങ്കിലും രൂപത്തിൽ എവിടെയോ ഇരിക്കുന്നു, അവിടെ നിന്ന് "വീണ്ടെടുക്കേണ്ടതുണ്ട്". 

ഈ ഡാറ്റ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യാൻ അന്വേഷണ ഭാഷകൾ നിങ്ങളെ അനുവദിക്കുന്നു! എനിക്ക് ഉപയോഗപ്രദമായ ആ അന്വേഷണ ഭാഷകളെക്കുറിച്ച് ഇന്ന് ഞാൻ നിങ്ങളോട് പറയും, കൂടാതെ എവിടെ, എങ്ങനെ കൃത്യമായി പഠിക്കണമെന്ന് ഞാൻ നിങ്ങളോട് പറയുകയും കാണിക്കുകയും ചെയ്യും - എന്തുകൊണ്ടാണ് ഇത് പഠിക്കേണ്ടത്.

ഡാറ്റാ അന്വേഷണ തരങ്ങളുടെ മൂന്ന് പ്രധാന ബ്ലോക്കുകൾ ഉണ്ടാകും, അവ ഈ ലേഖനത്തിൽ ഞങ്ങൾ ചർച്ച ചെയ്യും:

• റിലേഷണൽ ബീജഗണിതം അല്ലെങ്കിൽ SQL പോലുള്ള ഒരു ചോദ്യ ഭാഷയെക്കുറിച്ച് സംസാരിക്കുമ്പോൾ സാധാരണയായി മനസ്സിലാക്കുന്നത് "സ്റ്റാൻഡേർഡ്" അന്വേഷണ ഭാഷകളാണ്.
• സ്ക്രിപ്റ്റിംഗ് അന്വേഷണ ഭാഷകൾ: ഉദാഹരണത്തിന്, പൈത്തൺ കാര്യങ്ങൾ പാണ്ടകൾ, നമ്പി അല്ലെങ്കിൽ ഷെൽ സ്ക്രിപ്റ്റിംഗ്.
• വിജ്ഞാന ഗ്രാഫുകൾക്കും ഗ്രാഫ് ഡാറ്റാബേസുകൾക്കുമായി ഭാഷകൾ അന്വേഷിക്കുക.

ഇവിടെ എഴുതിയതെല്ലാം വ്യക്തിപരമായ അനുഭവം മാത്രമാണ്, സാഹചര്യങ്ങളുടെ വിവരണവും "എന്തുകൊണ്ടാണ് അത് ആവശ്യമായി വന്നത്" എന്നതും ഉപയോഗപ്രദമായത് - സമാന സാഹചര്യങ്ങൾ നിങ്ങളുടെ വഴിയിൽ എങ്ങനെ വരാം എന്ന് എല്ലാവർക്കും ശ്രമിക്കാം, കൂടാതെ ഈ ഭാഷകൾ മനസ്സിലാക്കി അവയ്‌ക്കായി മുൻകൂട്ടി തയ്യാറാകാൻ ശ്രമിക്കുക. നിങ്ങൾ ഒരു പ്രോജക്റ്റിൽ (അടിയന്തിരമായി) അപേക്ഷിക്കുന്നതിന് മുമ്പ് അല്ലെങ്കിൽ അവ ആവശ്യമുള്ള ഒരു പ്രോജക്റ്റിലേക്ക് പോകുന്നതിന് മുമ്പ്.

"സ്റ്റാൻഡേർഡ്" അന്വേഷണ ഭാഷകൾ

സ്റ്റാൻഡേർഡ് ക്വറി ഭാഷകൾ, ചോദ്യങ്ങളെക്കുറിച്ച് സംസാരിക്കുമ്പോൾ നമ്മൾ സാധാരണയായി അവയെ കുറിച്ച് ചിന്തിക്കുന്ന അർത്ഥത്തിലാണ്.

റിലേഷണൽ ബീജഗണിതം

റിലേഷണൽ ബീജഗണിതം ഇന്ന് ആവശ്യമായിരിക്കുന്നത് എന്തുകൊണ്ട്? അന്വേഷണ ഭാഷകൾ ഒരു പ്രത്യേക രീതിയിൽ രൂപപ്പെടുത്തിയിരിക്കുന്നത് എന്തുകൊണ്ടാണെന്നും അവ ബോധപൂർവ്വം ഉപയോഗിക്കുകയും ചെയ്യുന്നത് എന്തുകൊണ്ടാണെന്ന് നന്നായി മനസ്സിലാക്കുന്നതിന്, അവയുടെ അടിസ്ഥാനപരമായ കാതൽ നിങ്ങൾ മനസ്സിലാക്കേണ്ടതുണ്ട്.

എന്താണ് റിലേഷണൽ ബീജഗണിതം?

ഔപചാരികമായ നിർവചനം ഇപ്രകാരമാണ്: റിലേഷണൽ ആൾജിബ്ര എന്നത് ഒരു റിലേഷണൽ ഡാറ്റാ മാതൃകയിലുള്ള ബന്ധങ്ങളെക്കുറിച്ചുള്ള പ്രവർത്തനങ്ങളുടെ ഒരു അടഞ്ഞ സംവിധാനമാണ്. കുറച്ചുകൂടി മാനുഷികമായി പറഞ്ഞാൽ, ഇത് ടേബിളുകളിലെ പ്രവർത്തനങ്ങളുടെ ഒരു സംവിധാനമാണ്, ഫലം എല്ലായ്പ്പോഴും ഒരു പട്ടികയാണ്.

എല്ലാ റിലേഷണൽ പ്രവർത്തനങ്ങളും കാണുക ഇത് ഹബറിൽ നിന്നുള്ള ലേഖനം - നിങ്ങൾ അറിയേണ്ടത് എന്തുകൊണ്ടാണെന്നും അത് എവിടെയാണ് പ്രയോജനപ്പെടുന്നതെന്നും ഞങ്ങൾ ഇവിടെ വിവരിക്കുന്നു.

എന്തുകൊണ്ട്?

അന്വേഷണ ഭാഷകൾ എന്തിനെക്കുറിച്ചാണെന്നും നിർദ്ദിഷ്ട ചോദ്യ ഭാഷകളിലെ പദപ്രയോഗങ്ങൾക്ക് പിന്നിൽ എന്തെല്ലാം പ്രവർത്തനങ്ങളാണെന്നും മനസിലാക്കാൻ തുടങ്ങുന്നത്, അന്വേഷണ ഭാഷകളിൽ എന്താണ് പ്രവർത്തിക്കുന്നത്, എങ്ങനെ എന്നതിനെ കുറിച്ച് ആഴത്തിലുള്ള ധാരണ നൽകുന്നു.

നിന്ന് എടുത്തത് ഇത് ലേഖനങ്ങൾ. ഒരു പ്രവർത്തനത്തിന്റെ ഒരു ഉദാഹരണം: ചേരുക, അത് പട്ടികകളിൽ ചേരുന്നു.

പഠനത്തിനുള്ള സാമഗ്രികൾ:

സ്റ്റാൻഫോർഡിൽ നിന്നുള്ള നല്ല ആമുഖ കോഴ്‌സ്. പൊതുവേ, റിലേഷണൽ ബീജഗണിതത്തിലും സിദ്ധാന്തത്തിലും ധാരാളം മെറ്റീരിയലുകൾ ഉണ്ട് - Coursera, Udacity. നല്ലതുൾപ്പെടെ വലിയ അളവിലുള്ള മെറ്റീരിയലുകളും ഓൺലൈനിലുണ്ട് അക്കാദമിക് കോഴ്സുകൾ. എന്റെ വ്യക്തിപരമായ ഉപദേശം: നിങ്ങൾ റിലേഷണൽ ബീജഗണിതം നന്നായി മനസ്സിലാക്കേണ്ടതുണ്ട് - ഇതാണ് അടിസ്ഥാനകാര്യങ്ങളുടെ അടിസ്ഥാനം.

SQL

നിന്ന് എടുത്തത് ഇത് ലേഖനങ്ങൾ.

SQL അടിസ്ഥാനപരമായി റിലേഷണൽ ബീജഗണിതത്തിന്റെ ഒരു നിർവ്വഹണമാണ് - ഒരു പ്രധാന മുന്നറിയിപ്പ് ഉപയോഗിച്ച്, SQL ഡിക്ലറേറ്റീവ് ആണ്! അതായത്, റിലേഷണൽ ബീജഗണിതത്തിന്റെ ഭാഷയിൽ ഒരു ചോദ്യം എഴുതുമ്പോൾ, നിങ്ങൾ യഥാർത്ഥത്തിൽ എങ്ങനെ കണക്കുകൂട്ടണം എന്ന് പറയുന്നു - എന്നാൽ SQL ഉപയോഗിച്ച് നിങ്ങൾ എന്താണ് എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യേണ്ടതെന്ന് വ്യക്തമാക്കുക, തുടർന്ന് ഡിബിഎംഎസ് ഇതിനകം തന്നെ റിലേഷണൽ ബീജഗണിതത്തിന്റെ ഭാഷയിൽ (ഫലപ്രദമായ) പദപ്രയോഗങ്ങൾ സൃഷ്ടിക്കുന്നു. തുല്യത നമുക്ക് അറിയപ്പെടുന്നത് കോഡിന്റെ സിദ്ധാന്തം).

നിന്ന് എടുത്തത് ഇത് ലേഖനങ്ങൾ.

എന്തുകൊണ്ട്?

റിലേഷണൽ DBMS-കൾ: Oracle, Postgres, SQL സെർവർ മുതലായവ ഇപ്പോഴും ഫലത്തിൽ എല്ലായിടത്തും ഉണ്ട്, നിങ്ങൾക്ക് അവരുമായി ഇടപഴകാൻ അവിശ്വസനീയമാംവിധം ഉയർന്ന സാധ്യതയുണ്ട്, അതായത് നിങ്ങൾ ഒന്നുകിൽ SQL (ഇത് വളരെ സാധ്യതയുള്ളത്) വായിക്കുകയോ എഴുതുകയോ ചെയ്യേണ്ടിവരും ( സാധ്യതയുമില്ല).

എന്ത് വായിക്കണം, പഠിക്കണം

മുകളിലുള്ള അതേ ലിങ്കുകൾ അനുസരിച്ച് (റിലേഷണൽ ബീജഗണിതത്തെക്കുറിച്ച്), അവിശ്വസനീയമായ അളവിലുള്ള മെറ്റീരിയലുണ്ട്, ഉദാഹരണത്തിന്, ഇത്.

വഴിയിൽ, എന്താണ് NoSQL?

"NoSQL" എന്ന പദത്തിന് തികച്ചും സ്വതസിദ്ധമായ ഉത്ഭവമുണ്ടെന്നും അതിന് പിന്നിൽ പൊതുവായി അംഗീകരിക്കപ്പെട്ട നിർവചനമോ ശാസ്ത്രീയ സ്ഥാപനമോ ഇല്ലെന്നതും ഒരിക്കൽ കൂടി ഊന്നിപ്പറയേണ്ടതാണ്. അനുബന്ധം ഒരു ലേഖനം ഹബ്രിൽ.

വാസ്തവത്തിൽ, പല പ്രശ്‌നങ്ങളും പരിഹരിക്കുന്നതിന് ഒരു സമ്പൂർണ്ണ റിലേഷണൽ മോഡൽ ആവശ്യമില്ലെന്ന് ആളുകൾ മനസ്സിലാക്കി, പ്രത്യേകിച്ചും, ഉദാഹരണത്തിന്, പ്രകടനം നിർണായകവും അഗ്രഗേഷൻ ഉള്ള ചില ലളിതമായ ചോദ്യങ്ങളും ആധിപത്യം പുലർത്തുന്നവയ്ക്ക് - മെട്രിക്‌സ് വേഗത്തിൽ കണക്കാക്കി അവ എഴുതുന്നത് നിർണായകമാണ്. ഡാറ്റാബേസ്, കൂടാതെ മിക്ക ഫീച്ചറുകളും റിലേഷണൽ എന്നത് അനാവശ്യമായി മാത്രമല്ല, ദോഷകരവുമാണ് - നമുക്ക് ഏറ്റവും പ്രധാനപ്പെട്ട കാര്യം (ചില പ്രത്യേക ജോലികൾക്കായി) നശിപ്പിക്കുകയാണെങ്കിൽ എന്തെങ്കിലും സാധാരണമാക്കുന്നത് എന്തുകൊണ്ട്?

കൂടാതെ, ക്ലാസിക്കൽ റിലേഷണൽ മോഡലിന്റെ ഫിക്സഡ് മാത്തമാറ്റിക്കൽ സ്കീമകൾക്ക് പകരം ഫ്ലെക്സിബിൾ സ്കീമകൾ പലപ്പോഴും ആവശ്യമാണ് - സിസ്റ്റം വിന്യസിക്കാനും വേഗത്തിൽ പ്രവർത്തിക്കാനും ഫലങ്ങൾ പ്രോസസ്സ് ചെയ്യാനും - അല്ലെങ്കിൽ സ്കീമയും സംഭരിച്ച ഡാറ്റയുടെ തരങ്ങളും നിർണായകമാകുമ്പോൾ ഇത് ആപ്ലിക്കേഷൻ വികസനം അവിശ്വസനീയമാംവിധം ലളിതമാക്കുന്നു. അത്ര പ്രധാനമല്ല.

ഉദാഹരണത്തിന്, ഞങ്ങൾ ഒരു വിദഗ്‌ധ സംവിധാനം സൃഷ്‌ടിക്കുന്നു, ചില മെറ്റാ വിവരങ്ങളോടൊപ്പം ഒരു നിർദ്ദിഷ്‌ട ഡൊമെയ്‌നിൽ വിവരങ്ങൾ സംഭരിക്കാൻ ആഗ്രഹിക്കുന്നു - ഞങ്ങൾക്ക് എല്ലാ ഫീൽഡുകളും അറിയില്ലായിരിക്കാം കൂടാതെ ഓരോ റെക്കോർഡിനും JSON സംഭരിക്കുക - ഇത് ഡാറ്റ വിപുലീകരിക്കുന്നതിനുള്ള വളരെ വഴക്കമുള്ള അന്തരീക്ഷം നൽകുന്നു. മോഡലും വേഗത്തിൽ ആവർത്തിക്കുന്നു - അതിനാൽ ഈ സാഹചര്യത്തിൽ, NoSQL കൂടുതൽ അഭികാമ്യവും കൂടുതൽ വായിക്കാവുന്നതുമായിരിക്കും. ഉദാഹരണ എൻട്രി (NoSQL ആവശ്യമുള്ളിടത്ത് എന്റെ പ്രോജക്‌റ്റുകളിലൊന്നിൽ നിന്ന്).

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

നിങ്ങൾക്ക് കൂടുതൽ വായിക്കാം ഇവിടെ NoSQL നെ കുറിച്ച്.

എന്താണ് പഠിക്കേണ്ടത്?

ഇവിടെ, പകരം, നിങ്ങളുടെ ടാസ്‌ക് സമഗ്രമായി വിശകലനം ചെയ്യേണ്ടതുണ്ട്, അതിന് എന്ത് ഗുണങ്ങളുണ്ട്, ഈ വിവരണത്തിന് അനുയോജ്യമായ NoSQL സിസ്റ്റങ്ങൾ ലഭ്യമാണ് - തുടർന്ന് ഈ സിസ്റ്റം പഠിക്കാൻ ആരംഭിക്കുക.

സ്ക്രിപ്റ്റിംഗ് അന്വേഷണ ഭാഷകൾ

ആദ്യം, പൈത്തണിന് ഇതുമായി പൊതുവായി എന്ത് ബന്ധമുണ്ടെന്ന് തോന്നുന്നു - ഇതൊരു പ്രോഗ്രാമിംഗ് ഭാഷയാണ്, അല്ലാതെ ചോദ്യങ്ങളെക്കുറിച്ചല്ല.

• പാണ്ഡാസ് അക്ഷരാർത്ഥത്തിൽ ഡാറ്റാ സയൻസിന്റെ ഒരു സ്വിസ് ആർമി കത്തിയാണ്; ഒരു വലിയ അളവിലുള്ള ഡാറ്റ പരിവർത്തനം, സമാഹരണം മുതലായവ അതിൽ സംഭവിക്കുന്നു.
• നമ്പി - വെക്റ്റർ കണക്കുകൂട്ടലുകൾ, മാട്രിക്സ്, ലീനിയർ ബീജഗണിതം എന്നിവ.
• Scipy - ഈ പാക്കേജിൽ ധാരാളം ഗണിതശാസ്ത്രങ്ങളുണ്ട്, പ്രത്യേകിച്ച് സ്ഥിതിവിവരക്കണക്കുകൾ.
• ജൂപ്പിറ്റർ ലാബ് - ധാരാളം പര്യവേക്ഷണ ഡാറ്റ വിശകലനം ലാപ്‌ടോപ്പുകളിലേക്ക് നന്നായി യോജിക്കുന്നു - അറിയാൻ ഉപയോഗപ്രദമാണ്.
• അഭ്യർത്ഥനകൾ - നെറ്റ്‌വർക്കുമായി പ്രവർത്തിക്കുന്നു.
• ഡാറ്റാ എഞ്ചിനീയർമാർക്കിടയിൽ Pyspark വളരെ ജനപ്രിയമാണ്, മിക്കവാറും അവരുടെ ജനപ്രീതി കാരണം നിങ്ങൾ ഇതുമായോ സ്പാർക്കുമായോ ഇടപഴകേണ്ടി വരും.
• *സെലിനിയം - സൈറ്റുകളിൽ നിന്നും ഉറവിടങ്ങളിൽ നിന്നും ഡാറ്റ ശേഖരിക്കുന്നതിന് വളരെ ഉപയോഗപ്രദമാണ്, ചിലപ്പോൾ ഡാറ്റ ലഭിക്കുന്നതിന് മറ്റ് മാർഗങ്ങളില്ല.

എന്റെ പ്രധാന ഉപദേശം: പൈത്തൺ പഠിക്കുക!

പാണ്ഡകൾ

നമുക്ക് ഇനിപ്പറയുന്ന കോഡ് ഉദാഹരണമായി എടുക്കാം:

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

അടിസ്ഥാനപരമായി, കോഡ് ക്ലാസിക് SQL പാറ്റേണിലേക്ക് യോജിക്കുന്നതായി ഞങ്ങൾ കാണുന്നു.

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

എന്നാൽ ഈ കോഡ് സ്ക്രിപ്റ്റിന്റെയും പൈപ്പ്ലൈനിന്റെയും ഭാഗമാണ് എന്നതാണ് പ്രധാന ഭാഗം; വാസ്തവത്തിൽ, ഞങ്ങൾ പൈത്തൺ പൈപ്പ്ലൈനിലേക്ക് അന്വേഷണങ്ങൾ ഉൾപ്പെടുത്തുകയാണ്. ഈ സാഹചര്യത്തിൽ, പാണ്ടസ് അല്ലെങ്കിൽ പൈസ്പാർക്ക് പോലുള്ള ലൈബ്രറികളിൽ നിന്നാണ് അന്വേഷണ ഭാഷ നമ്മിലേക്ക് വരുന്നത്.

പൊതുവേ, pySpark-ൽ ഒരു ചോദ്യ ഭാഷയിലൂടെ സമാനമായ ഒരു ഡാറ്റാ പരിവർത്തനം നമ്മൾ കാണുന്നു:

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

എവിടെ, എന്ത് വായിക്കണം

പൊതുവെ പൈത്തണിൽ തന്നെ ഒരു പ്രശ്നവുമില്ല പഠിക്കാനുള്ള സാമഗ്രികൾ കണ്ടെത്തുക. ഓൺലൈനിൽ ധാരാളം ട്യൂട്ടോറിയലുകൾ ഉണ്ട് പാണ്ടകൾ, pySpark കോഴ്സുകളും തീപ്പൊരി (കൂടാതെ തന്നെ DS). മൊത്തത്തിൽ, ഇവിടെയുള്ള ഉള്ളടക്കം ഗൂഗിളിംഗിന് മികച്ചതാണ്, ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ എനിക്ക് ഒരു പാക്കേജ് തിരഞ്ഞെടുക്കേണ്ടി വന്നാൽ, അത് തീർച്ചയായും പാണ്ടകളായിരിക്കും. DS+Python മെറ്റീരിയലുകളുടെ സംയോജനത്തെക്കുറിച്ച് ഒരുപാട്.

ഒരു ചോദ്യ ഭാഷയായി ഷെൽ

പൈത്തൺ, ജാവ, ഷെൽ കമാൻഡുകൾ എന്നിവയിൽ കോൾ കോൾ ചെയ്യുന്ന ഷെൽ സ്ക്രിപ്റ്റുകളാണ് ഞാൻ പ്രവർത്തിച്ചിട്ടുള്ള കുറച്ച് ഡാറ്റ പ്രോസസ്സിംഗ്, വിശകലന പ്രോജക്റ്റുകൾ. അതിനാൽ, പൊതുവേ, നിങ്ങൾക്ക് bash/zsh/etc എന്നതിലെ പൈപ്പ് ലൈനുകൾ ഒരുതരം ഉയർന്ന തലത്തിലുള്ള അഭ്യർത്ഥനയായി കണക്കാക്കാം (തീർച്ചയായും, നിങ്ങൾക്ക് അവിടെ സ്റ്റഫ് ലൂപ്പുകൾ ചെയ്യാം, പക്ഷേ ഇത് ഷെൽ ഭാഷകളിലെ DS കോഡിന് സാധാരണമല്ല), നമുക്ക് നൽകാം. ഒരു ലളിതമായ ഉദാഹരണം - എനിക്ക് വിക്കിഡാറ്റയുടെ ഒരു QID മാപ്പിംഗും റഷ്യൻ, ഇംഗ്ലീഷ് വിക്കികളിലേക്കുള്ള പൂർണ്ണ ലിങ്കുകളും ചെയ്യേണ്ടതുണ്ട്, ഇതിനായി ഞാൻ ബാഷിലെ കമാൻഡുകളിൽ നിന്ന് ഒരു ലളിതമായ അഭ്യർത്ഥന എഴുതി, ഔട്ട്പുട്ടിനായി ഞാൻ പൈത്തണിൽ ഒരു ലളിതമായ സ്ക്രിപ്റ്റ് എഴുതി, അത് ഞാൻ ഇതുപോലെ കൂട്ടിച്ചേർക്കുക:

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

എവിടെ

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' 

വാസ്തവത്തിൽ, ആവശ്യമായ മാപ്പിംഗ് സൃഷ്ടിച്ച മുഴുവൻ പൈപ്പ്ലൈനും ഇതാണ്; നമ്മൾ കാണുന്നതുപോലെ, എല്ലാം സ്ട്രീം മോഡിൽ പ്രവർത്തിച്ചു:

• pv filepath - ഫയൽ വലുപ്പത്തെ അടിസ്ഥാനമാക്കി ഒരു പ്രോഗ്രസ് ബാർ നൽകുകയും അതിലെ ഉള്ളടക്കങ്ങൾ മുന്നോട്ട് കൊണ്ടുപോകുകയും ചെയ്യുന്നു
• unpigz -c ആർക്കൈവിന്റെ ഒരു ഭാഗം വായിച്ച് jq-ന് നൽകി
• jq കീ ഉപയോഗിച്ച് - സ്ട്രീം ഉടൻ തന്നെ ഫലം ഉണ്ടാക്കുകയും പൈത്തണിലെ പോസ്റ്റ്പ്രൊസസറിലേക്ക് (ആദ്യത്തെ ഉദാഹരണം പോലെ തന്നെ) കൈമാറുകയും ചെയ്തു.
• ആന്തരികമായി, ഔട്ട്പുട്ട് ഫോർമാറ്റ് ചെയ്യുന്ന ഒരു ലളിതമായ സ്റ്റേറ്റ് മെഷീനായിരുന്നു പോസ്റ്റ്പ്രൊസസ്സർ 

മൊത്തത്തിൽ, വലിയ ഡാറ്റയിൽ (0.5TB) ഫ്ലോ മോഡിൽ പ്രവർത്തിക്കുന്ന ഒരു സങ്കീർണ്ണ പൈപ്പ്ലൈൻ, കാര്യമായ ഉറവിടങ്ങളില്ലാതെ ലളിതമായ പൈപ്പ്ലൈനിൽ നിന്നും രണ്ട് ടൂളുകളിൽ നിന്നും നിർമ്മിച്ചതാണ്.

മറ്റൊരു പ്രധാന നുറുങ്ങ്: ടെർമിനലിൽ നന്നായി പ്രവർത്തിക്കാനും bash/zsh/etc എഴുതാനും കഴിയും.

അത് എവിടെ ഉപയോഗപ്രദമാകും? അതെ, മിക്കവാറും എല്ലായിടത്തും - വീണ്ടും, ഇന്റർനെറ്റിൽ പഠിക്കാൻ ധാരാളം മെറ്റീരിയലുകൾ ഉണ്ട്. പ്രത്യേകിച്ച്, ഇവിടെ ഇത് എന്റെ മുൻ ലേഖനം.

ആർ സ്ക്രിപ്റ്റിംഗ്

വീണ്ടും, വായനക്കാരൻ ആക്രോശിച്ചേക്കാം - ശരി, ഇതൊരു മുഴുവൻ പ്രോഗ്രാമിംഗ് ഭാഷയാണ്! തീർച്ചയായും, അവൻ ശരിയാകും. എന്നിരുന്നാലും, അത്തരം ഒരു സന്ദർഭത്തിലാണ് ഞാൻ സാധാരണയായി R നേരിട്ടത്, വാസ്തവത്തിൽ അത് ഒരു അന്വേഷണ ഭാഷയുമായി വളരെ സാമ്യമുള്ളതാണ്.

സ്റ്റാറ്റിക് കമ്പ്യൂട്ടിംഗിനും ദൃശ്യവൽക്കരണത്തിനുമുള്ള ഒരു സ്റ്റാറ്റിസ്റ്റിക്കൽ കമ്പ്യൂട്ടിംഗ് പരിതസ്ഥിതിയും ഭാഷയുമാണ് R (അതനുസരിച്ച് ഇത്).

എടുത്തത് ഇവിടെ നിന്ന്. വഴിയിൽ, ഞാൻ ഇത് ശുപാർശ ചെയ്യുന്നു, നല്ല മെറ്റീരിയൽ.

ഒരു ഡാറ്റാ ശാസ്ത്രജ്ഞന് R അറിയേണ്ടത് എന്തുകൊണ്ട്? കുറഞ്ഞത്, R-ലെ ഡാറ്റ വിശകലനം ചെയ്യുന്ന ഐടി ഇതര ആളുകളുടെ ഒരു വലിയ പാളി ഉള്ളതിനാൽ, ഇനിപ്പറയുന്ന സ്ഥലങ്ങളിൽ ഞാൻ അത് കണ്ടു:

• ഫാർമസ്യൂട്ടിക്കൽ മേഖല.
• ജീവശാസ്ത്രജ്ഞർ.
• സാമ്പത്തിക മേഖല.
• സ്ഥിതിവിവരക്കണക്കുകൾ കൈകാര്യം ചെയ്യുന്ന തികച്ചും ഗണിതശാസ്ത്ര വിദ്യാഭ്യാസമുള്ള ആളുകൾ.
• പ്രത്യേക സ്റ്റാറ്റിസ്റ്റിക്കൽ മോഡലുകളും മെഷീൻ ലേണിംഗ് മോഡലുകളും (ഇവ പലപ്പോഴും രചയിതാവിന്റെ പതിപ്പിൽ ഒരു R പാക്കേജായി മാത്രമേ കണ്ടെത്താൻ കഴിയൂ).

എന്തുകൊണ്ടാണ് ഇത് യഥാർത്ഥത്തിൽ ഒരു അന്വേഷണ ഭാഷയായിരിക്കുന്നത്? ഇത് പലപ്പോഴും കാണപ്പെടുന്ന രൂപത്തിൽ, ഡാറ്റ റീഡിംഗ്, ക്വറി (മോഡൽ) പാരാമീറ്ററുകൾ ശരിയാക്കുക, അതുപോലെ തന്നെ ggplot2 പോലുള്ള പാക്കേജുകളിൽ ഡാറ്റ ദൃശ്യവൽക്കരിക്കുന്നത് ഉൾപ്പെടെയുള്ള ഒരു മോഡൽ സൃഷ്ടിക്കുന്നതിനുള്ള ഒരു അഭ്യർത്ഥനയാണ് ഇത് - ഇത് ചോദ്യങ്ങൾ എഴുതുന്നതിനുള്ള ഒരു രൂപമാണ്. .

ദൃശ്യവൽക്കരണത്തിനുള്ള ഉദാഹരണ അന്വേഷണങ്ങൾ

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

പൊതുവേ, R-ൽ നിന്നുള്ള പല ആശയങ്ങളും ഡാറ്റാഫ്രെയിമുകളും ഡാറ്റ വെക്‌ടറൈസേഷനും പോലെയുള്ള പാണ്ടകൾ, നമ്പി അല്ലെങ്കിൽ സ്‌സിപ്പി പോലുള്ള പൈത്തൺ പാക്കേജുകളിലേക്ക് മൈഗ്രേറ്റ് ചെയ്തിട്ടുണ്ട് - അതിനാൽ പൊതുവെ R-ലെ ഒരുപാട് കാര്യങ്ങൾ നിങ്ങൾക്ക് പരിചിതവും സൗകര്യപ്രദവുമാണെന്ന് തോന്നും.

പഠിക്കാൻ ധാരാളം ഉറവിടങ്ങളുണ്ട്, ഉദാഹരണത്തിന്, ഇത്.

വിജ്ഞാന ഗ്രാഫുകൾ

ഇവിടെ എനിക്ക് അല്പം അസാധാരണമായ അനുഭവമുണ്ട്, കാരണം എനിക്ക് പലപ്പോഴും വിജ്ഞാന ഗ്രാഫുകളും ഗ്രാഫുകൾക്കായുള്ള അന്വേഷണ ഭാഷകളും ഉപയോഗിച്ച് പ്രവർത്തിക്കേണ്ടതുണ്ട്. അതിനാൽ, ഈ ഭാഗം കുറച്ചുകൂടി വിചിത്രമായതിനാൽ ഞങ്ങൾ അടിസ്ഥാനകാര്യങ്ങളിലേക്ക് ചുരുക്കമായി പോകും.

ക്ലാസിക്കൽ റിലേഷണൽ ഡാറ്റാബേസുകളിൽ നമുക്ക് ഒരു നിശ്ചിത സ്കീമ ഉണ്ട്, എന്നാൽ ഇവിടെ സ്കീമ വഴക്കമുള്ളതാണ്, ഓരോ പ്രവചനവും യഥാർത്ഥത്തിൽ ഒരു "നിര" ആണ്, അതിലും കൂടുതൽ.

നിങ്ങൾ ഒരു വ്യക്തിയെ മാതൃകയാക്കുകയാണെന്നും പ്രധാന കാര്യങ്ങൾ വിവരിക്കാൻ ആഗ്രഹിക്കുന്നുവെന്നും സങ്കൽപ്പിക്കുക, ഉദാഹരണത്തിന്, ഡഗ്ലസ് ആഡംസ് എന്ന ഒരു പ്രത്യേക വ്യക്തിയെ എടുത്ത് ഈ വിവരണം അടിസ്ഥാനമായി ഉപയോഗിക്കാം.

www.wikidata.org/wiki/Q42

ഞങ്ങൾ ഒരു റിലേഷണൽ ഡാറ്റാബേസ് ഉപയോഗിക്കുകയാണെങ്കിൽ, ധാരാളം നിരകളുള്ള ഒരു വലിയ പട്ടികയോ പട്ടികകളോ സൃഷ്ടിക്കേണ്ടതുണ്ട്, അവയിൽ ഭൂരിഭാഗവും NULL അല്ലെങ്കിൽ ഏതെങ്കിലും സ്ഥിരസ്ഥിതി തെറ്റായ മൂല്യം കൊണ്ട് നിറയും, ഉദാഹരണത്തിന്, നമ്മിൽ പലർക്കും ഇത് ഉണ്ടായിരിക്കാൻ സാധ്യതയില്ല. കൊറിയൻ നാഷണൽ ലൈബ്രറിയിലെ പ്രവേശനം - തീർച്ചയായും, നമുക്ക് അവ പ്രത്യേക പട്ടികകളിൽ ഇടാം, പക്ഷേ ഇത് ആത്യന്തികമായി ഒരു നിശ്ചിത റിലേഷണൽ ഒന്ന് ഉപയോഗിച്ച് പ്രവചനങ്ങളുള്ള ഒരു ഫ്ലെക്സിബിൾ ലോജിക്കൽ സർക്യൂട്ട് മാതൃകയാക്കാനുള്ള ശ്രമമായിരിക്കും.

അതിനാൽ എല്ലാ ഡാറ്റയും ഒരു ഗ്രാഫായി അല്ലെങ്കിൽ ബൈനറി, ഏകീകൃത ബൂളിയൻ എക്സ്പ്രഷനുകളായി സംഭരിച്ചിട്ടുണ്ടെന്ന് സങ്കൽപ്പിക്കുക.

നിങ്ങൾക്ക് ഇത് എവിടെ നേരിടാനാകും? ഒന്നാമതായി, കൂടെ പ്രവർത്തിക്കുന്നു ഡാറ്റ വിക്കി, കൂടാതെ ഏതെങ്കിലും ഗ്രാഫ് ഡാറ്റാബേസുകളോ ബന്ധിപ്പിച്ച ഡാറ്റയോ ഉപയോഗിച്ച്.

ഞാൻ ഉപയോഗിക്കുകയും പ്രവർത്തിക്കുകയും ചെയ്ത പ്രധാന അന്വേഷണ ഭാഷകൾ ഇനിപ്പറയുന്നവയാണ്.

സ്പാർക്ൾ

വിക്കി:
SPARQL (ആവർത്തന ചുരുക്കെഴുത്ത് от Eng. SPARQL പ്രോട്ടോക്കോളും RDF അന്വേഷണ ഭാഷയും) - ഡാറ്റ അന്വേഷണ ഭാഷ, മോഡൽ പ്രതിനിധീകരിക്കുന്നു ആർ ഡി എഫ്, അതുപോലെ തന്നെ പ്രോട്ടോക്കോൾ ഈ അഭ്യർത്ഥനകൾ കൈമാറുന്നതിനും അവയോട് പ്രതികരിക്കുന്നതിനും. SPARQL ഒരു ശുപാർശയാണ് W3C കൺസോർഷ്യം സാങ്കേതിക വിദ്യകളിൽ ഒന്ന് സെമാന്റിക് വെബ്.

എന്നാൽ വാസ്തവത്തിൽ ഇത് ലോജിക്കൽ യൂണറി, ബൈനറി പ്രെഡിക്കേറ്റുകൾക്കുള്ള അന്വേഷണ ഭാഷയാണ്. ഒരു ബൂളിയൻ എക്സ്പ്രഷനിൽ എന്താണ് ഉറപ്പിച്ചിരിക്കുന്നതെന്നും അല്ലാത്തത് (വളരെ ലളിതമാക്കിയത്) നിങ്ങൾ സോപാധികമായി വ്യക്തമാക്കുകയാണ്.

SPARQL അന്വേഷണങ്ങൾ നടപ്പിലാക്കുന്ന RDF (റിസോഴ്സ് ഡിസ്ക്രിപ്ഷൻ ഫ്രെയിംവർക്ക്) ബേസ് തന്നെ ട്രിപ്പിൾ ആണ്. object, predicate, subject - കൂടാതെ സ്പിരിറ്റിലെ നിർദ്ദിഷ്ട നിയന്ത്രണങ്ങൾക്കനുസരിച്ച് അന്വേഷണം ആവശ്യമായ ട്രിപ്പിൾ തിരഞ്ഞെടുക്കുന്നു: p_55(X, q_33) ശരിയാകുന്ന ഒരു X കണ്ടെത്തുക - ഇവിടെ, തീർച്ചയായും, p_55 എന്നത് ID 55 മായി ഒരു തരത്തിലുള്ള ബന്ധമാണ്, കൂടാതെ q_33 എന്നത് ഒരു ഐഡി 33 ഉള്ള ഒബ്ജക്റ്റ് (ഇവിടെയും മുഴുവൻ കഥയും, വീണ്ടും എല്ലാത്തരം വിശദാംശങ്ങളും ഒഴിവാക്കുന്നു).

ഡാറ്റാ അവതരണത്തിന്റെ ഉദാഹരണം:

രാജ്യങ്ങൾക്കൊപ്പമുള്ള ചിത്രങ്ങളും ഉദാഹരണങ്ങളും ഇവിടെയുണ്ട് ഇവിടെ നിന്ന്.

അടിസ്ഥാന അന്വേഷണ ഉദാഹരണം

വാസ്‌തവത്തിൽ, പ്രവചനത്തിനായുള്ള ?കൺട്രി വേരിയബിളിന്റെ മൂല്യം കണ്ടെത്താൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു
അംഗം_ഓഫ്, മെമ്പർ_ഓഫ്(?country,q458), q458 എന്നിവ യൂറോപ്യൻ യൂണിയന്റെ ഐഡിയാണെന്നത് ശരിയാണ്.

പൈത്തൺ എഞ്ചിനുള്ളിലെ ഒരു യഥാർത്ഥ SPARQL അന്വേഷണത്തിന്റെ ഒരു ഉദാഹരണം:

സാധാരണഗതിയിൽ, എനിക്ക് SPARQL എഴുതുന്നതിനുപകരം അത് വായിക്കേണ്ടതായി വന്നിട്ടുണ്ട് - ആ സാഹചര്യത്തിൽ, ഡാറ്റ എങ്ങനെ വീണ്ടെടുക്കുന്നുവെന്ന് കൃത്യമായി മനസ്സിലാക്കാൻ ഒരു അടിസ്ഥാന തലത്തിലെങ്കിലും ഭാഷ മനസ്സിലാക്കുന്നത് ഉപയോഗപ്രദമായ ഒരു വൈദഗ്ധ്യമായിരിക്കും. 

ഓൺലൈനിൽ പഠിക്കാൻ ധാരാളം മെറ്റീരിയലുകൾ ഉണ്ട്: ഉദാഹരണത്തിന്, ഇവിടെ ഇത് и ഇത്. ഞാൻ സാധാരണയായി നിർദ്ദിഷ്ട ഡിസൈനുകളും ഉദാഹരണങ്ങളും ഗൂഗിൾ ചെയ്യാറുണ്ട്, ഇപ്പോൾ ഇത് മതിയാകും.

ലോജിക്കൽ അന്വേഷണ ഭാഷകൾ

എന്റെ ലേഖനത്തിൽ നിങ്ങൾക്ക് വിഷയത്തെക്കുറിച്ച് കൂടുതൽ വായിക്കാം ഇവിടെ. ഇവിടെ, ചോദ്യങ്ങൾ എഴുതുന്നതിന് ലോജിക്കൽ ഭാഷകൾ എന്തുകൊണ്ട് അനുയോജ്യമാണെന്ന് ഞങ്ങൾ ചുരുക്കമായി പരിശോധിക്കും. അടിസ്ഥാനപരമായി, RDF എന്നത് p(X), h(X,Y) ഫോമിന്റെ ലോജിക്കൽ സ്റ്റേറ്റ്‌മെന്റുകളുടെ ഒരു കൂട്ടം മാത്രമാണ്, കൂടാതെ ഒരു ലോജിക്കൽ അന്വേഷണത്തിന് ഇനിപ്പറയുന്ന ഫോം ഉണ്ട്:

output(X) :- country(X), member_of(X,“EU”).

ഇവിടെ നമ്മൾ ഒരു പുതിയ പ്രവചന ഔട്ട്‌പുട്ട് സൃഷ്‌ടിക്കുന്നതിനെക്കുറിച്ചാണ് സംസാരിക്കുന്നത്/1 (/1 എന്നാൽ ഏകീകൃതമല്ലാത്തത്), X ന് രാജ്യം(X) എന്നത് ശരിയാണെങ്കിൽ - അതായത്, X എന്നത് ഒരു രാജ്യമാണ്, കൂടാതെ അംഗ_ഓഫ്(X,"EU ").

അതായത്, ഈ സാഹചര്യത്തിൽ, ഡാറ്റയും നിയമങ്ങളും ഒരേ രീതിയിൽ അവതരിപ്പിക്കപ്പെടുന്നു, ഇത് പ്രശ്നങ്ങൾ വളരെ എളുപ്പത്തിലും നല്ലതിലും മാതൃകയാക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നു.

വ്യവസായത്തിൽ എവിടെയാണ് കണ്ടുമുട്ടിയത്?: അത്തരമൊരു ഭാഷയിൽ ചോദ്യങ്ങൾ എഴുതുന്ന ഒരു കമ്പനിയുമായുള്ള ഒരു വലിയ പ്രോജക്റ്റ്, അതുപോലെ തന്നെ സിസ്റ്റത്തിന്റെ കാമ്പിലുള്ള നിലവിലെ പ്രോജക്റ്റിലും - ഇത് തികച്ചും വിചിത്രമായ കാര്യമാണെന്ന് തോന്നുന്നു, പക്ഷേ ചിലപ്പോൾ അത് സംഭവിക്കുന്നു.

ലോജിക്കൽ ലാംഗ്വേജ് പ്രോസസ്സിംഗ് വിക്കിഡാറ്റയിലെ ഒരു കോഡ് ശകലത്തിന്റെ ഉദാഹരണം:

മെറ്റീരിയലുകൾ: ആധുനിക ലോജിക്കൽ പ്രോഗ്രാമിംഗ് ഭാഷയിലേക്കുള്ള രണ്ട് ലിങ്കുകൾ ഞാൻ ഇവിടെ തരാം ഉത്തരം സെറ്റ് പ്രോഗ്രാമിംഗ് - ഇത് പഠിക്കാൻ ഞാൻ ശുപാർശ ചെയ്യുന്നു:

• http://peace.eas.asu.edu/aaai12tutorial/asp-tutorial-aaai.pdf
• http://ceur-ws.org/Vol-1145/tutorial1.pdf
• https://www.youtube.com/watch?v=gVQ0bP8zyHw
• https://www.youtube.com/watch?v=kdcd7Je2glc
• https://potassco.org/book/
• http://potassco.sourceforge.net/teaching.html
• https://www.cs.uni-potsdam.de/~torsten/Potassco/Tutorials/fmcad12.pdf

അവലംബം: www.habr.com