ഓപ്പൺ സോഴ്‌സ് ഡാറ്റാബേസുകളിൽ ഞങ്ങൾ എന്ത്, എന്തുകൊണ്ട് ചെയ്യുന്നു. ആന്ദ്രേ ബോറോഡിൻ (Yandex.Cloud)

ഇനിപ്പറയുന്ന ഡാറ്റാബേസുകളിലേക്കുള്ള Yandex-ന്റെ സംഭാവന അവലോകനം ചെയ്യും.

• ക്ലിക്ക്ഹ ouse സ്
• ഒഡീസ്സി
• ഒരു ഘട്ടത്തിലേക്ക് വീണ്ടെടുക്കൽ (WAL-G)
• PostgreSQL (ലോഗററുകൾ, ആംചെക്ക്, ഹീപ്പ് ചെക്ക് ഉൾപ്പെടെ)
• ഗ്രീൻപ്ലം

വീഡിയോ:

ഹലോ വേൾഡ്! എന്റെ പേര് ആൻഡ്രി ബോറോഡിൻ. Yandex.Cloud-ൽ ഞാൻ ചെയ്യുന്നത് Yandex.Cloud, Yandex.Cloud ക്ലയന്റുകളുടെ താൽപ്പര്യങ്ങൾക്കായി തുറന്ന റിലേഷണൽ ഡാറ്റാബേസുകൾ വികസിപ്പിക്കുക എന്നതാണ്.

ഈ സംഭാഷണത്തിൽ, ഓപ്പൺ ഡാറ്റാബേസുകൾ സ്കെയിലിൽ നേരിടുന്ന വെല്ലുവിളികളെക്കുറിച്ച് നമ്മൾ സംസാരിക്കും. എന്തുകൊണ്ട് അത് പ്രധാനമാണ്? കാരണം കൊതുകുകളെപ്പോലെ ആനകളാകുന്ന ചെറിയ ചെറിയ പ്രശ്നങ്ങൾ. നിങ്ങൾക്ക് ധാരാളം ക്ലസ്റ്ററുകൾ ഉള്ളപ്പോൾ അവ വലുതായിത്തീരുന്നു.

എന്നാൽ പ്രധാന കാര്യം അതല്ല. അവിശ്വസനീയമായ കാര്യങ്ങൾ സംഭവിക്കുന്നു. ദശലക്ഷത്തിൽ ഒരാൾക്ക് സംഭവിക്കുന്ന കാര്യങ്ങൾ. ഒരു ക്ലൗഡ് പരിതസ്ഥിതിയിൽ, നിങ്ങൾ അതിനായി തയ്യാറായിരിക്കണം, കാരണം സ്കെയിലിൽ എന്തെങ്കിലും നിലനിൽക്കുമ്പോൾ അവിശ്വസനീയമായ കാര്യങ്ങൾ ഉയർന്ന സാധ്യതയുണ്ട്.

പക്ഷേ! തുറന്ന ഡാറ്റാബേസുകളുടെ പ്രയോജനം എന്താണ്? ഏത് പ്രശ്‌നത്തെയും നേരിടാൻ നിങ്ങൾക്ക് സൈദ്ധാന്തിക അവസരമുണ്ട് എന്നതാണ് വസ്തുത. നിങ്ങൾക്ക് സോഴ്സ് കോഡ് ഉണ്ട്, നിങ്ങൾക്ക് പ്രോഗ്രാമിംഗ് പരിജ്ഞാനമുണ്ട്. ഞങ്ങൾ ഇത് സംയോജിപ്പിച്ച് പ്രവർത്തിക്കുന്നു.

ഓപ്പൺ സോഴ്‌സ് സോഫ്‌റ്റ്‌വെയറിൽ പ്രവർത്തിക്കുന്നതിന് എന്ത് സമീപനങ്ങളാണ് ഉള്ളത്?

• സോഫ്‌റ്റ്‌വെയർ ഉപയോഗിക്കുക എന്നതാണ് ഏറ്റവും ലളിതമായ സമീപനം. നിങ്ങൾ പ്രോട്ടോക്കോളുകൾ ഉപയോഗിക്കുകയാണെങ്കിൽ, നിങ്ങൾ മാനദണ്ഡങ്ങൾ ഉപയോഗിക്കുകയാണെങ്കിൽ, നിങ്ങൾ ഫോർമാറ്റുകൾ ഉപയോഗിക്കുകയാണെങ്കിൽ, നിങ്ങൾ ഓപ്പൺ സോഴ്‌സ് സോഫ്റ്റ്വെയറിൽ ചോദ്യങ്ങൾ എഴുതുകയാണെങ്കിൽ, നിങ്ങൾ ഇതിനകം അതിനെ പിന്തുണയ്ക്കുന്നു.
• നിങ്ങൾ അതിന്റെ ആവാസവ്യവസ്ഥയെ വലുതാക്കുന്നു. നിങ്ങൾ ഒരു ബഗ് നേരത്തെ കണ്ടെത്താനുള്ള സാധ്യത വർദ്ധിപ്പിക്കുന്നു. നിങ്ങൾ ഈ സിസ്റ്റത്തിന്റെ വിശ്വാസ്യത വർദ്ധിപ്പിക്കുന്നു. നിങ്ങൾ വിപണിയിൽ ഡവലപ്പർമാരുടെ ലഭ്യത വർദ്ധിപ്പിക്കുന്നു. നിങ്ങൾ ഈ സോഫ്റ്റ്‌വെയർ മെച്ചപ്പെടുത്തൂ. നിങ്ങൾ സ്റ്റൈൽ നേടുകയും അവിടെ എന്തെങ്കിലുമൊക്കെ ടിങ്കർ ചെയ്യുകയും ചെയ്താൽ നിങ്ങൾ ഇതിനകം തന്നെ ഒരു സംഭാവകനാണ്.
• മനസ്സിലാക്കാവുന്ന മറ്റൊരു സമീപനം ഓപ്പൺ സോഴ്‌സ് സോഫ്റ്റ്‌വെയർ സ്പോൺസർ ചെയ്യുകയാണ്. ഉദാഹരണത്തിന്, അറിയപ്പെടുന്ന ഗൂഗിൾ സമ്മർ ഓഫ് കോഡ് പ്രോഗ്രാം, ലോകമെമ്പാടുമുള്ള ധാരാളം വിദ്യാർത്ഥികൾക്ക് ഗൂഗിൾ പണം നൽകുമ്പോൾ, ചില ലൈസൻസിംഗ് ആവശ്യകതകൾ നിറവേറ്റുന്ന ഓപ്പൺ സോഫ്‌റ്റ്‌വെയർ പ്രോജക്റ്റുകൾ അവർ വികസിപ്പിക്കുന്നു.
• ഇത് വളരെ രസകരമായ ഒരു സമീപനമാണ്, കാരണം കമ്മ്യൂണിറ്റിയിൽ നിന്ന് ഫോക്കസ് മാറ്റാതെ സോഫ്റ്റ്‌വെയറിനെ വികസിപ്പിക്കാൻ ഇത് അനുവദിക്കുന്നു. ഒരു സാങ്കേതിക ഭീമൻ എന്ന നിലയിൽ Google, ഞങ്ങൾക്ക് ഈ സവിശേഷത വേണമെന്ന് പറയുന്നില്ല, ഈ ബഗ് പരിഹരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു, ഇവിടെയാണ് നമ്മൾ കുഴിക്കേണ്ടത്. Google പറയുന്നു: “നിങ്ങൾ ചെയ്യുന്നത് ചെയ്യുക. നിങ്ങൾ പ്രവർത്തിക്കുന്ന രീതിയിൽ പ്രവർത്തിക്കുന്നത് തുടരുക, എല്ലാം ശരിയാകും. ”
• ഓപ്പൺ സോഴ്സിൽ പങ്കെടുക്കുന്നതിനുള്ള അടുത്ത സമീപനം പങ്കാളിത്തമാണ്. നിങ്ങൾക്ക് ഓപ്പൺ സോഴ്‌സ് സോഫ്‌റ്റ്‌വെയറിൽ പ്രശ്‌നമുണ്ടാകുമ്പോൾ ഡെവലപ്പർമാർ ഉണ്ടെങ്കിൽ, നിങ്ങളുടെ ഡവലപ്പർമാർ പ്രശ്‌നങ്ങൾ പരിഹരിക്കാൻ തുടങ്ങും. അവർ നിങ്ങളുടെ ഇൻഫ്രാസ്ട്രക്ചർ കൂടുതൽ കാര്യക്ഷമമാക്കാൻ തുടങ്ങുന്നു, നിങ്ങളുടെ പ്രോഗ്രാമുകൾ വേഗമേറിയതും കൂടുതൽ വിശ്വസനീയവുമാണ്.

ഓപ്പൺ സോഴ്‌സ് സോഫ്‌റ്റ്‌വെയർ മേഖലയിലെ ഏറ്റവും പ്രശസ്തമായ Yandex പ്രോജക്‌റ്റുകളിലൊന്നാണ് ClickHouse. Yandex.Metrica നേരിടുന്ന വെല്ലുവിളികൾക്കുള്ള പ്രതികരണമായി ജനിച്ച ഒരു ഡാറ്റാബേസാണിത്.

ഒരു ഡാറ്റാബേസ് എന്ന നിലയിൽ, ഒരു ഇക്കോസിസ്റ്റം സൃഷ്ടിക്കുന്നതിനും മറ്റ് ഡവലപ്പർമാരുമായി (Yandex-ൽ മാത്രമല്ല) വികസിപ്പിക്കുന്നതിനുമായി ഇത് ഓപ്പൺ സോഴ്‌സിൽ നിർമ്മിച്ചതാണ്. ഇപ്പോൾ ഇത് വിവിധ കമ്പനികൾ ഉൾപ്പെടുന്ന ഒരു വലിയ പദ്ധതിയാണ്.

Yandex.Cloud-ൽ, Yandex ഒബ്‌ജക്റ്റ് സ്റ്റോറേജിന്റെ മുകളിൽ, അതായത് ക്ലൗഡ് സ്റ്റോറേജിന്റെ മുകളിൽ ഞങ്ങൾ ClickHouse സൃഷ്ടിച്ചു.

എന്തുകൊണ്ടാണ് ഇത് ക്ലൗഡിൽ പ്രധാനമായിരിക്കുന്നത്? കാരണം ഏതൊരു ഡാറ്റാബേസും ഈ ത്രികോണത്തിൽ, ഈ പിരമിഡിൽ, മെമ്മറി തരങ്ങളുടെ ഈ ശ്രേണിയിൽ പ്രവർത്തിക്കുന്നു. നിങ്ങൾക്ക് വേഗതയേറിയതും എന്നാൽ ചെറുതുമായ രജിസ്റ്ററുകളും വിലകുറഞ്ഞ വലുതും എന്നാൽ വേഗത കുറഞ്ഞതുമായ എസ്എസ്ഡികളും ഹാർഡ് ഡ്രൈവുകളും മറ്റ് ചില ബ്ലോക്ക് ഉപകരണങ്ങളും ഉണ്ട്. പിരമിഡിന്റെ മുകളിൽ നിങ്ങൾ കാര്യക്ഷമതയുള്ളവരാണെങ്കിൽ, നിങ്ങൾക്ക് വേഗതയേറിയ ഡാറ്റാബേസ് ഉണ്ടായിരിക്കും. ഈ പിരമിഡിന്റെ അടിയിൽ നിങ്ങൾ കാര്യക്ഷമതയുള്ളവരാണെങ്കിൽ, നിങ്ങൾക്ക് ഒരു സ്കെയിൽ ഡാറ്റാബേസ് ഉണ്ടായിരിക്കും. ഇക്കാര്യത്തിൽ, താഴെ നിന്ന് മറ്റൊരു ലെയർ ചേർക്കുന്നത് ഡാറ്റാബേസിന്റെ സ്കേലബിളിറ്റി വർദ്ധിപ്പിക്കുന്നതിനുള്ള ഒരു യുക്തിസഹമായ സമീപനമാണ്.

അത് എങ്ങനെ ചെയ്യാനാകും? ഈ റിപ്പോർട്ടിലെ ഒരു പ്രധാന പോയിന്റാണിത്.

• MDS-ൽ ക്ലിക്ക്‌ഹൗസ് നടപ്പിലാക്കാം. MDS ഒരു ആന്തരിക Yandex ക്ലൗഡ് സ്റ്റോറേജ് ഇന്റർഫേസാണ്. ഇത് സാധാരണ S3 പ്രോട്ടോക്കോളിനേക്കാൾ സങ്കീർണ്ണമാണ്, എന്നാൽ ഇത് ഒരു ബ്ലോക്ക് ഉപകരണത്തിന് കൂടുതൽ അനുയോജ്യമാണ്. ഡാറ്റ റെക്കോർഡ് ചെയ്യാൻ ഇത് നല്ലതാണ്. ഇതിന് കൂടുതൽ പ്രോഗ്രാമിംഗ് ആവശ്യമാണ്. പ്രോഗ്രാമർമാർ പ്രോഗ്രാം ചെയ്യും, ഇത് പോലും നല്ലതാണ്, ഇത് രസകരമാണ്.
• ചില തരത്തിലുള്ള ജോലിഭാരങ്ങളുമായി പൊരുത്തപ്പെടുന്ന ചെലവിൽ ഇന്റർഫേസ് ലളിതമാക്കുന്ന ഒരു സാധാരണ സമീപനമാണ് S3.

സ്വാഭാവികമായും, മുഴുവൻ ClickHouse ഇക്കോസിസ്റ്റത്തിനും പ്രവർത്തനക്ഷമത നൽകാനും Yandex.Cloud-നുള്ളിൽ ആവശ്യമായ ചുമതലകൾ ചെയ്യാനും ആഗ്രഹിക്കുന്നു, മുഴുവൻ ClickHouse കമ്മ്യൂണിറ്റിക്കും അതിൽ നിന്ന് പ്രയോജനം ലഭിക്കുമെന്ന് ഉറപ്പാക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു. ഞങ്ങൾ S3-ൽ ക്ലിക്ക്ഹൗസ് നടപ്പിലാക്കി, MDS-ൽ ക്ലിക്ക്ഹൗസ് അല്ല. പിന്നെ ഇത് ഒരുപാട് ജോലിയാണ്.

റെഫറൻസുകൾ:

https://github.com/ClickHouse/ClickHouse/pull/7946 "ഫയൽസിസ്റ്റം അബ്സ്ട്രാക്ഷൻ ലെയർ"
https://github.com/ClickHouse/ClickHouse/pull/8011 "AWS SDK S3 ഏകീകരണം"
https://github.com/ClickHouse/ClickHouse/pull/8649 "S3 നായുള്ള IDisk ഇന്റർഫേസിന്റെ അടിസ്ഥാന നിർവ്വഹണം"
https://github.com/ClickHouse/ClickHouse/pull/8356 "ഐഡിസ്ക് ഇന്റർഫേസുമായി ലോഗ് സ്റ്റോറേജ് എഞ്ചിനുകളുടെ സംയോജനം"
https://github.com/ClickHouse/ClickHouse/pull/8862 "S3, SeekableReadBuffer എന്നിവയ്ക്കുള്ള ലോഗ് എഞ്ചിൻ പിന്തുണ"
https://github.com/ClickHouse/ClickHouse/pull/9128 "സ്റ്റോറേജ് സ്ട്രൈപ്പ് ലോഗ് S3 പിന്തുണ"
https://github.com/ClickHouse/ClickHouse/pull/9415 "S3-നുള്ള സ്റ്റോറേജ് മെർജ്‌ട്രീ പ്രാരംഭ പിന്തുണ"
https://github.com/ClickHouse/ClickHouse/pull/9646 "S3-നുള്ള MergeTree പൂർണ്ണ പിന്തുണ"
https://github.com/ClickHouse/ClickHouse/pull/10126 "S3-നേക്കാൾ റെപ്ലിക്കേറ്റഡ് മെർജ് ട്രീയെ പിന്തുണയ്ക്കുക"
https://github.com/ClickHouse/ClickHouse/pull/11134 "s3 സംഭരണത്തിനായി ഡിഫോൾട്ട് ക്രെഡൻഷ്യലുകളും ഇഷ്‌ടാനുസൃത തലക്കെട്ടുകളും ചേർക്കുക"
https://github.com/ClickHouse/ClickHouse/pull/10576 "ഡൈനാമിക് പ്രോക്സി കോൺഫിഗറേഷനോടുകൂടിയ S3"
https://github.com/ClickHouse/ClickHouse/pull/10744 "പ്രോക്സി റിസോൾവർ ഉള്ള S3"

ClickHouse-ൽ ഒരു വെർച്വൽ ഫയൽ സിസ്റ്റം നടപ്പിലാക്കുന്നതിനുള്ള ഒരു പുൾ അഭ്യർത്ഥന പട്ടികയാണിത്. പുൾ അഭ്യർത്ഥനകളുടെ ഒരു വലിയ സംഖ്യയാണിത്.

റെഫറൻസുകൾ:

https://github.com/ClickHouse/ClickHouse/pull/9760 "DiskS3 ഹാർഡ്‌ലിങ്കുകൾ ഒപ്റ്റിമൽ നടപ്പിലാക്കൽ"
https://github.com/ClickHouse/ClickHouse/pull/11522 "S3 HTTP ക്ലയന്റ് - പ്രതികരണ സ്ട്രീം മെമ്മറിയിലേക്ക് പകർത്തുന്നത് ഒഴിവാക്കുക"
https://github.com/ClickHouse/ClickHouse/pull/11561 “S3 HTTP-ൽ മുഴുവൻ പ്രതികരണ സ്ട്രീമും മെമ്മറിയിലേക്ക് പകർത്തുന്നത് ഒഴിവാക്കുക
കക്ഷി"
https://github.com/ClickHouse/ClickHouse/pull/13076 "S3 ഡിസ്കിനുള്ള കാഷെ മാർക്കിനും ഇൻഡക്സ് ഫയലുകൾക്കും ഉള്ള കഴിവ്"
https://github.com/ClickHouse/ClickHouse/pull/13459 "DiskLocal ൽ നിന്ന് DiskS3 ലേക്ക് സമാന്തരമായി ഭാഗങ്ങൾ നീക്കുക"

എന്നാൽ പണി അവിടെ അവസാനിച്ചില്ല. ഫീച്ചർ ഉണ്ടാക്കിയ ശേഷം, ഈ പ്രവർത്തനം ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിന് കുറച്ച് കൂടി ജോലി ആവശ്യമായിരുന്നു.

റെഫറൻസുകൾ:

https://github.com/ClickHouse/ClickHouse/pull/12638 "തിരഞ്ഞെടുത്ത വരികളും തിരഞ്ഞെടുത്ത ബൈറ്റുകൾ ഇവന്റുകളും ചേർക്കുക"
https://github.com/ClickHouse/ClickHouse/pull/12464 "S3 അഭ്യർത്ഥനയിൽ നിന്ന് system.events-ലേക്ക് പ്രൊഫൈലിംഗ് ഇവന്റുകൾ ചേർക്കുക"
https://github.com/ClickHouse/ClickHouse/pull/13028 "QueryTimeMicroseconds, SelectQueryTimeMicroseconds, InsertQueryTimeMicroseconds എന്നിവ ചേർക്കുക"

തുടർന്ന് ഇത് രോഗനിർണയം നടത്താനും നിരീക്ഷണം സജ്ജമാക്കാനും കൈകാര്യം ചെയ്യാനും ആവശ്യമായി വന്നു.

ഇതെല്ലാം ചെയ്തു, അങ്ങനെ മുഴുവൻ സമൂഹത്തിനും, മുഴുവൻ ക്ലിക്ക്ഹൗസ് ഇക്കോസിസ്റ്റത്തിനും ഈ ജോലിയുടെ ഫലം ലഭിക്കും.

ട്രാൻസാക്ഷൻ ഡാറ്റാബേസുകളിലേക്കും, വ്യക്തിപരമായി എന്നോട് കൂടുതൽ അടുപ്പമുള്ള OLTP ഡാറ്റാബേസുകളിലേക്കും നമുക്ക് പോകാം.

ഇതാണ് ഓപ്പൺ സോഴ്സ് ഡിബിഎംഎസ് വികസന വിഭാഗം. ഇടപാട് ഓപ്പൺ ഡാറ്റാബേസുകൾ മെച്ചപ്പെടുത്താൻ ഈ ആളുകൾ തെരുവ് മാജിക് ചെയ്യുന്നു.

പ്രോജക്റ്റുകളിൽ ഒന്ന്, ഒരു ഉദാഹരണം ഉപയോഗിച്ച്, എങ്ങനെ, എന്ത് ചെയ്യുന്നു എന്നതിനെക്കുറിച്ച് നമുക്ക് സംസാരിക്കാം, പോസ്റ്റ്ഗ്രേസിലെ കണക്ഷൻ പൂളർ ആണ്.

Postgres ഒരു പ്രോസസ്സ് ഡാറ്റാബേസ് ആണ്. ഇടപാടുകൾ കൈകാര്യം ചെയ്യാൻ കഴിയുന്നത്ര കുറച്ച് നെറ്റ്‌വർക്ക് കണക്ഷനുകൾ ഡാറ്റാബേസിൽ ഉണ്ടായിരിക്കണം എന്നാണ് ഇതിനർത്ഥം.

മറുവശത്ത്, ഒരു ക്ലൗഡ് പരിതസ്ഥിതിയിൽ, ഒരു ക്ലസ്റ്ററിലേക്ക് ഒരേസമയം ആയിരം കണക്ഷനുകൾ വരുന്നതാണ് ഒരു സാധാരണ സാഹചര്യം. ഒരു ചെറിയ എണ്ണം സെർവർ കണക്ഷനുകളിലേക്ക് ആയിരം കണക്ഷനുകൾ പാക്ക് ചെയ്യുക എന്നതാണ് കണക്ഷൻ പൂളറുടെ ചുമതല.

ബൈറ്റുകൾ കാര്യക്ഷമമായി ഡാറ്റാബേസിൽ എത്തുന്നതിനായി അവയെ പുനഃക്രമീകരിക്കുന്ന ടെലിഫോൺ ഓപ്പറേറ്ററാണ് കണക്ഷൻ പൂളർ എന്ന് നമുക്ക് പറയാം.

നിർഭാഗ്യവശാൽ, കണക്ഷൻ പൂളറിന് നല്ല റഷ്യൻ പദമില്ല. ചിലപ്പോൾ ഇതിനെ മൾട്ടിപ്ലക്സർ കണക്ഷനുകൾ എന്ന് വിളിക്കുന്നു. കണക്ഷൻ പൂളറിനെ എന്താണ് വിളിക്കേണ്ടതെന്ന് നിങ്ങൾക്കറിയാമെങ്കിൽ, എന്നോട് പറയുന്നത് ഉറപ്പാക്കുക, ശരിയായ റഷ്യൻ സാങ്കേതിക ഭാഷ സംസാരിക്കുന്നതിൽ ഞാൻ വളരെ സന്തുഷ്ടനാകും.

https://pgconf.ru/2017/92899

മാനേജ് ചെയ്ത പോസ്റ്റ്ഗ്രെസ് ക്ലസ്റ്ററിന് അനുയോജ്യമായ കണക്ഷൻ പൂളറുകൾ ഞങ്ങൾ അന്വേഷിച്ചു. PgBouncer ആയിരുന്നു ഞങ്ങൾക്ക് ഏറ്റവും മികച്ച ചോയ്സ്. എന്നാൽ PgBouncer-ൽ ഞങ്ങൾ നിരവധി പ്രശ്നങ്ങൾ നേരിട്ടു. വർഷങ്ങൾക്ക് മുമ്പ്, വോലോദ്യ ബോറോഡിൻ ഞങ്ങൾ PgBouncer ഉപയോഗിക്കുന്നതായി റിപ്പോർട്ടുകൾ നൽകി, ഞങ്ങൾക്ക് എല്ലാം ഇഷ്ടമാണ്, പക്ഷേ സൂക്ഷ്മതകളുണ്ട്, പ്രവർത്തിക്കാൻ എന്തെങ്കിലും ഉണ്ട്.

https://pgconf.ru/media/2017/04/03/20170316H1_V.Borodin.pdf

ഞങ്ങൾ ജോലി ചെയ്യുകയും ചെയ്തു. ഞങ്ങൾ നേരിട്ട പ്രശ്‌നങ്ങൾ ഞങ്ങൾ പരിഹരിച്ചു, ഞങ്ങൾ ബൗൺസർ പാച്ച് ചെയ്തു, പുൾ അഭ്യർത്ഥനകൾ അപ്‌സ്ട്രീം ചെയ്യാൻ ശ്രമിച്ചു. എന്നാൽ അടിസ്ഥാന സിംഗിൾ-ത്രെഡിംഗ് പ്രവർത്തിക്കാൻ ബുദ്ധിമുട്ടായിരുന്നു.

പാച്ച് ചെയ്ത ബൗൺസർമാരിൽ നിന്ന് ഞങ്ങൾക്ക് കാസ്കേഡുകൾ ശേഖരിക്കേണ്ടി വന്നു. നമുക്ക് നിരവധി ഒറ്റ-ത്രെഡ് ബൗൺസറുകൾ ഉള്ളപ്പോൾ, മുകളിലെ ലെയറിലെ കണക്ഷനുകൾ ബൗൺസറുകളുടെ ആന്തരിക പാളിയിലേക്ക് മാറ്റപ്പെടും. അങ്ങോട്ടും ഇങ്ങോട്ടും നിർമ്മിക്കാനും സ്കെയിൽ ചെയ്യാനും ബുദ്ധിമുട്ടുള്ള മോശമായി കൈകാര്യം ചെയ്യപ്പെടുന്ന സംവിധാനമാണിത്.

ഞങ്ങൾ ഞങ്ങളുടെ സ്വന്തം കണക്ഷൻ പൂളർ സൃഷ്ടിച്ചുവെന്ന നിഗമനത്തിലെത്തി, അതിനെ ഒഡീസി എന്ന് വിളിക്കുന്നു. ഞങ്ങൾ അത് ആദ്യം മുതൽ എഴുതി.

https://www.pgcon.org/2019/schedule/events/1312.en.html

2019-ൽ, PgCon കോൺഫറൻസിൽ, ഡെവലപ്പർ കമ്മ്യൂണിറ്റിക്ക് ഞാൻ ഈ പൂളർ അവതരിപ്പിച്ചു. ഇപ്പോൾ ഞങ്ങൾക്ക് GitHub-ൽ 2-ൽ താഴെ നക്ഷത്രങ്ങളുണ്ട്, അതായത് പ്രോജക്റ്റ് സജീവമാണ്, പ്രോജക്റ്റ് ജനപ്രിയമാണ്.

Yandex.Cloud-ൽ നിങ്ങൾ ഒരു Postgres ക്ലസ്റ്റർ സൃഷ്ടിക്കുകയാണെങ്കിൽ, അത് ബിൽറ്റ്-ഇൻ ഒഡീസി ഉള്ള ഒരു ക്ലസ്റ്ററായിരിക്കും, അത് ക്ലസ്റ്ററിനെ അങ്ങോട്ടും ഇങ്ങോട്ടും സ്കെയിൽ ചെയ്യുമ്പോൾ പുനഃക്രമീകരിക്കും.

ഈ പ്രോജക്റ്റിൽ നിന്ന് ഞങ്ങൾ എന്താണ് പഠിച്ചത്? മത്സരിക്കുന്ന ഒരു പ്രോജക്റ്റ് സമാരംഭിക്കുന്നത് എല്ലായ്പ്പോഴും ഒരു ആക്രമണാത്മക ചുവടുവെപ്പാണ്, വേണ്ടത്ര വേഗത്തിൽ പരിഹരിക്കപ്പെടാത്ത, നമുക്ക് അനുയോജ്യമായ സമയ ഇടവേളകളിൽ പരിഹരിക്കപ്പെടാത്ത പ്രശ്‌നങ്ങളുണ്ടെന്ന് ഞങ്ങൾ പറയുമ്പോൾ അത് ഒരു അങ്ങേയറ്റത്തെ നടപടിയാണ്. എന്നാൽ ഇത് ഫലപ്രദമായ നടപടിയാണ്.

PgBouncer വേഗത്തിൽ വികസിപ്പിക്കാൻ തുടങ്ങി.

ഇപ്പോൾ മറ്റ് പ്രോജക്ടുകൾ പ്രത്യക്ഷപ്പെട്ടു. ഉദാഹരണത്തിന്, Red Hat ഡവലപ്പർമാർ വികസിപ്പിച്ചെടുത്ത pgagroal. അവർ സമാന ലക്ഷ്യങ്ങൾ പിന്തുടരുകയും സമാന ആശയങ്ങൾ നടപ്പിലാക്കുകയും ചെയ്യുന്നു, പക്ഷേ, തീർച്ചയായും, അവരുടെ സ്വന്തം പ്രത്യേകതകളോടെ, pgagroal ഡവലപ്പർമാരോട് കൂടുതൽ അടുക്കുന്നു.

പോസ്റ്റ്‌ഗ്രേസ് കമ്മ്യൂണിറ്റിയുമായി ചേർന്ന് പ്രവർത്തിക്കുന്ന മറ്റൊരു സംഭവം ഒരു ഘട്ടത്തിലേക്ക് പുനഃസ്ഥാപിക്കുകയാണ്. ഇത് ഒരു പരാജയത്തിന് ശേഷമുള്ള വീണ്ടെടുക്കലാണ്, ഇത് ഒരു ബാക്കപ്പിൽ നിന്നുള്ള വീണ്ടെടുക്കലാണ്.

നിരവധി ബാക്കപ്പുകൾ ഉണ്ട്, അവയെല്ലാം വ്യത്യസ്തമാണ്. മിക്കവാറും എല്ലാ പോസ്റ്റ്‌ഗ്രെസ് വെണ്ടർമാർക്കും അതിന്റേതായ ബാക്കപ്പ് പരിഹാരമുണ്ട്.

നിങ്ങൾ എല്ലാ ബാക്കപ്പ് സിസ്റ്റങ്ങളും എടുത്താൽ, ഒരു ഫീച്ചർ മാട്രിക്സ് സൃഷ്ടിച്ച് ഈ മാട്രിക്സിലെ ഡിറ്റർമിനന്റ് തമാശയായി കണക്കാക്കിയാൽ, അത് പൂജ്യമായിരിക്കും. എന്താണിതിനർത്ഥം? നിങ്ങൾ ഒരു നിർദ്ദിഷ്‌ട ബാക്കപ്പ് ഫയൽ എടുക്കുകയാണെങ്കിൽ, മറ്റെല്ലാ കഷണങ്ങളിൽ നിന്നും അത് കൂട്ടിച്ചേർക്കാൻ കഴിയില്ല. അത് നടപ്പിലാക്കുന്നതിൽ അദ്വിതീയമാണ്, അതിന്റെ ഉദ്ദേശ്യത്തിൽ അത് അദ്വിതീയമാണ്, അതിൽ ഉൾച്ചേർത്ത ആശയങ്ങളിൽ അത് അദ്വിതീയമാണ്. കൂടാതെ അവയെല്ലാം നിർദ്ദിഷ്ടവുമാണ്.

https://www.citusdata.com/blog/2017/08/18/introducing-wal-g-faster-restores-for-postgres/

ഞങ്ങൾ ഈ പ്രശ്നത്തിൽ പ്രവർത്തിക്കുമ്പോൾ, CitusData WAL-G പ്രോജക്റ്റ് ആരംഭിച്ചു. ക്ലൗഡ് പരിതസ്ഥിതിയിൽ കണ്ണുവെച്ച് നിർമ്മിച്ച ഒരു ബാക്കപ്പ് സംവിധാനമാണിത്. ഇപ്പോൾ CitusData ഇതിനകം മൈക്രോസോഫ്റ്റിന്റെ ഭാഗമാണ്. ആ നിമിഷം, WAL-G യുടെ പ്രാരംഭ റിലീസുകളിൽ പറഞ്ഞിരിക്കുന്ന ആശയങ്ങൾ ഞങ്ങൾ ശരിക്കും ഇഷ്ടപ്പെട്ടു. ഞങ്ങൾ ഈ പ്രോജക്റ്റിലേക്ക് സംഭാവന ചെയ്യാൻ തുടങ്ങി.

https://github.com/wal-g/wal-g/graphs/contributors

ഇപ്പോൾ ഈ പ്രോജക്റ്റിൽ ഡസൻ കണക്കിന് ഡവലപ്പർമാർ ഉണ്ട്, എന്നാൽ WAL-G-യുടെ മികച്ച 10 സംഭാവകരിൽ 6 Yandexoids ഉൾപ്പെടുന്നു. ഞങ്ങളുടെ ഒരുപാട് ആശയങ്ങൾ ഞങ്ങൾ അവിടെ കൊണ്ടുവന്നു. വലിയ WAL-G കമ്മ്യൂണിറ്റിയുമായി ഇടപഴകുമ്പോൾ, തീർച്ചയായും, ഞങ്ങൾ അവ സ്വയം നടപ്പിലാക്കി, സ്വയം പരീക്ഷിച്ചു, അവ സ്വയം ഉൽപ്പാദിപ്പിച്ചു, ഞങ്ങൾ തന്നെ അവ ഉപയോഗിക്കുന്നു, അടുത്തതായി എവിടേക്ക് നീങ്ങണമെന്ന് ഞങ്ങൾ സ്വയം കണ്ടെത്തുന്നു.

ഞങ്ങളുടെ വീക്ഷണകോണിൽ നിന്ന്, ഇപ്പോൾ ഈ ബാക്കപ്പ് സിസ്റ്റം, ഞങ്ങളുടെ ശ്രമങ്ങൾ കണക്കിലെടുക്കുന്നതുൾപ്പെടെ, ഒരു ക്ലൗഡ് പരിതസ്ഥിതിക്ക് അനുയോജ്യമായി മാറിയിരിക്കുന്നു. ക്ലൗഡിൽ Postgres ബാക്കപ്പ് ചെയ്യുന്നതിനുള്ള ഏറ്റവും മികച്ച ചിലവാണിത്.

എന്താണ് ഇതിനർത്ഥം? ഞങ്ങൾ വളരെ വലിയ ഒരു ആശയം പ്രമോട്ട് ചെയ്യുകയായിരുന്നു: ബാക്കപ്പ് സുരക്ഷിതവും പ്രവർത്തിക്കാൻ ചെലവുകുറഞ്ഞതും പുനഃസ്ഥാപിക്കാൻ കഴിയുന്നത്ര വേഗത്തിലുള്ളതുമായിരിക്കണം.

എന്തുകൊണ്ട് പ്രവർത്തിക്കുന്നത് വിലകുറഞ്ഞതായിരിക്കണം? ഒന്നും തകരാറിലാകുമ്പോൾ, നിങ്ങൾക്ക് ബാക്കപ്പുകൾ ഉണ്ടെന്ന് നിങ്ങൾ അറിയരുത്. എല്ലാം നന്നായി പ്രവർത്തിക്കുന്നു, നിങ്ങൾ കഴിയുന്നത്ര കുറച്ച് സിപിയു പാഴാക്കുന്നു, നിങ്ങളുടെ ഡിസ്ക് ഉറവിടങ്ങൾ കഴിയുന്നത്ര കുറച്ച് ഉപയോഗിക്കുന്നു, കൂടാതെ നിങ്ങളുടെ വിലയേറിയ സേവനങ്ങളുടെ പേലോഡിൽ ഇടപെടാതിരിക്കാൻ കഴിയുന്നത്ര കുറച്ച് ബൈറ്റുകൾ നെറ്റ്‌വർക്കിലേക്ക് അയയ്‌ക്കുന്നു.

എല്ലാം തകരുമ്പോൾ, ഉദാഹരണത്തിന്, അഡ്മിൻ ഡാറ്റ ഉപേക്ഷിച്ചു, എന്തോ കുഴപ്പം സംഭവിച്ചു, നിങ്ങൾ അടിയന്തിരമായി ഭൂതകാലത്തിലേക്ക് മടങ്ങേണ്ടതുണ്ട്, എല്ലാ പണവും ഉപയോഗിച്ച് നിങ്ങൾ വീണ്ടെടുക്കും, കാരണം നിങ്ങളുടെ ഡാറ്റ വേഗത്തിലും കേടുകൂടാതെയും തിരികെ ലഭിക്കാൻ നിങ്ങൾ ആഗ്രഹിക്കുന്നു.

ഈ ലളിതമായ ആശയം ഞങ്ങൾ പ്രോത്സാഹിപ്പിക്കുകയും ചെയ്തു. കൂടാതെ, അത് നടപ്പിലാക്കാൻ ഞങ്ങൾക്ക് കഴിഞ്ഞുവെന്ന് ഞങ്ങൾക്ക് തോന്നുന്നു.

എന്നാൽ അത് മാത്രമല്ല. ഒരു ചെറിയ കാര്യം കൂടി ഞങ്ങൾ ആഗ്രഹിച്ചു. ഞങ്ങൾക്ക് നിരവധി വ്യത്യസ്ത ഡാറ്റാബേസുകൾ വേണം. ഞങ്ങളുടെ എല്ലാ ക്ലയന്റുകളും Postgres ഉപയോഗിക്കുന്നില്ല. ചില ആളുകൾ MySQL, MongoDB ഉപയോഗിക്കുന്നു. കമ്മ്യൂണിറ്റിയിൽ, മറ്റ് ഡെവലപ്പർമാർ FoundationDB-യെ പിന്തുണച്ചിട്ടുണ്ട്. ഈ പട്ടിക നിരന്തരം വികസിച്ചുകൊണ്ടിരിക്കുന്നു.

ക്ലൗഡിൽ നിയന്ത്രിത പരിതസ്ഥിതിയിൽ ഡാറ്റാബേസ് പ്രവർത്തിപ്പിക്കുന്ന ആശയം കമ്മ്യൂണിറ്റി ഇഷ്ടപ്പെടുന്നു. ഡെവലപ്പർമാർ അവരുടെ ഡാറ്റാബേസുകൾ പരിപാലിക്കുന്നു, അത് ഞങ്ങളുടെ ബാക്കപ്പ് സിസ്റ്റം ഉപയോഗിച്ച് പോസ്റ്റ്‌ഗ്രെസിനൊപ്പം ഒരേപോലെ ബാക്കപ്പ് ചെയ്യാൻ കഴിയും.

ഈ കഥയിൽ നിന്ന് നമ്മൾ എന്താണ് പഠിച്ചത്? ഞങ്ങളുടെ ഉൽപ്പന്നം, ഒരു വികസന വിഭാഗം എന്ന നിലയിൽ, കോഡിന്റെ വരികളല്ല, അത് പ്രസ്താവനകളല്ല, ഫയലുകളല്ല. ഞങ്ങളുടെ ഉൽപ്പന്നം പിൻവലിക്കൽ അഭ്യർത്ഥനകളല്ല. ഈ ആശയങ്ങളാണ് നാം സമൂഹത്തിന് കൈമാറുന്നത്. ഇത് സാങ്കേതിക വൈദഗ്ധ്യവും ക്ലൗഡ് പരിതസ്ഥിതിയിലേക്കുള്ള സാങ്കേതികവിദ്യയുടെ ചലനവുമാണ്.

Postgres പോലുള്ള ഒരു ഡാറ്റാബേസ് ഉണ്ട്. എനിക്ക് ഏറ്റവും ഇഷ്ടം Postgres കോർ ആണ്. കമ്മ്യൂണിറ്റിയുമായി പോസ്റ്റ്‌ഗ്രെസ് കോർ വികസിപ്പിക്കുന്നതിന് ഞാൻ ധാരാളം സമയം ചെലവഴിക്കുന്നു.

എന്നാൽ ഇവിടെ Yandex.Cloud നിയന്ത്രിത ഡാറ്റാബേസുകളുടെ ആന്തരിക ഇൻസ്റ്റാളേഷൻ ഉണ്ടെന്ന് പറയണം. Yandex.Mail-ൽ ഇത് വളരെക്കാലം മുമ്പ് ആരംഭിച്ചു. പോസ്റ്റ്‌ഗ്രെസിലേക്ക് മാറാൻ മെയിൽ ആഗ്രഹിച്ചപ്പോൾ നേടിയെടുത്ത വൈദഗ്ധ്യം ഇപ്പോൾ മാനേജ്‌മെന്റ് പോസ്റ്റ്‌ഗ്രേസിലേക്ക് നയിച്ചു.

മെയിലിന് ക്ലൗഡിന് സമാനമായ ആവശ്യകതകളുണ്ട്. നിങ്ങളുടെ ഡാറ്റയിലെ ഏത് ഘട്ടത്തിലും അപ്രതീക്ഷിതമായ എക്‌സ്‌പോണൻഷ്യൽ വളർച്ചയിലേക്ക് സ്കെയിൽ ചെയ്യാൻ നിങ്ങൾക്ക് കഴിയേണ്ടതുണ്ട്. നിരന്തരം നിരവധി അഭ്യർത്ഥനകൾ നടത്തുന്ന ധാരാളം ഉപയോക്താക്കളുടെ ദശലക്ഷക്കണക്കിന് മെയിൽബോക്സുകളുള്ള മെയിലിന് ഇതിനകം ഒരു ലോഡ് ഉണ്ടായിരുന്നു.

പോസ്റ്റ്‌ഗ്രെസ് വികസിപ്പിക്കുന്ന ടീമിന് ഇത് വളരെ ഗുരുതരമായ വെല്ലുവിളിയായിരുന്നു. അക്കാലത്ത്, ഞങ്ങൾ നേരിടുന്ന എന്തെങ്കിലും പ്രശ്‌നങ്ങൾ സമൂഹത്തെ അറിയിക്കുമായിരുന്നു. മറ്റ് ചില ഡാറ്റാബേസുകൾക്കുള്ള പണമടച്ചുള്ള പിന്തുണയുടെ തലത്തിൽ പോലും ചില സ്ഥലങ്ങളിൽ കമ്മ്യൂണിറ്റി ഈ പ്രശ്നങ്ങൾ ശരിയാക്കുകയും ശരിയാക്കുകയും ചെയ്തു. അതായത്, നിങ്ങൾക്ക് PgSQL ഹാക്കർക്ക് ഒരു കത്ത് അയയ്ക്കാനും 40 മിനിറ്റിനുള്ളിൽ പ്രതികരണം സ്വീകരിക്കാനും കഴിയും. ചില ഡാറ്റാബേസുകളിലെ പണമടച്ചുള്ള പിന്തുണ നിങ്ങളുടെ ബഗിനേക്കാൾ മുൻഗണനയുള്ള കാര്യങ്ങൾ ഉണ്ടെന്ന് കരുതിയേക്കാം.

ഇപ്പോൾ പോസ്റ്റ്‌ഗ്രേസിന്റെ ആന്തരിക ഇൻസ്റ്റാളേഷൻ കുറച്ച് പെറ്റാബൈറ്റ് ഡാറ്റയാണ്. സെക്കന്റിൽ വരുന്ന ദശലക്ഷക്കണക്കിന് അഭ്യർത്ഥനകളാണിത്. ഇവ ആയിരക്കണക്കിന് ക്ലസ്റ്ററുകളാണ്. ഇത് വളരെ വലിയ തോതിലുള്ളതാണ്.

എന്നാൽ ഒരു ന്യൂനൻസ് ഉണ്ട്. ഇത് ഫാൻസി നെറ്റ്‌വർക്ക് ഡ്രൈവുകളിലല്ല, മറിച്ച് വളരെ ലളിതമായ ഹാർഡ്‌വെയറിലാണ് ജീവിക്കുന്നത്. രസകരമായ പുതിയ കാര്യങ്ങൾക്കായി പ്രത്യേകമായി ഒരു പരീക്ഷണ അന്തരീക്ഷമുണ്ട്.

ടെസ്റ്റ് പരിതസ്ഥിതിയിലെ ഒരു നിശ്ചിത നിമിഷത്തിൽ, ഡാറ്റാബേസ് സൂചികകളുടെ ആന്തരിക മാറ്റങ്ങളെ ലംഘിക്കുന്നതായി സൂചിപ്പിക്കുന്ന ഒരു സന്ദേശം ഞങ്ങൾക്ക് ലഭിച്ചു.

ഒരു മാറ്റമില്ലാത്തത് എല്ലായ്പ്പോഴും നിലനിർത്താൻ ഞങ്ങൾ പ്രതീക്ഷിക്കുന്ന ഒരുതരം ബന്ധമാണ്.

ഞങ്ങൾക്ക് വളരെ നിർണായകമായ ഒരു സാഹചര്യം. ചില ഡാറ്റ നഷ്ടപ്പെട്ടിരിക്കാമെന്ന് ഇത് സൂചിപ്പിക്കുന്നു. കൂടാതെ, ഡാറ്റാ നഷ്‌ടം തികച്ചും വിനാശകരമായ ഒന്നാണ്.

മാനേജ് ചെയ്ത ഡാറ്റാബേസുകളിൽ നമ്മൾ പിന്തുടരുന്ന പൊതുവായ ആശയം, പരിശ്രമിച്ചാലും ഡാറ്റ നഷ്‌ടപ്പെടാൻ ബുദ്ധിമുട്ടായിരിക്കും എന്നതാണ്. നിങ്ങൾ അവ മനഃപൂർവം നീക്കം ചെയ്‌താലും, ദീർഘകാലത്തേക്ക് അവരുടെ അഭാവം നിങ്ങൾ അവഗണിക്കേണ്ടതുണ്ട്. ഡാറ്റ സുരക്ഷ എന്നത് നമ്മൾ വളരെ ശ്രദ്ധയോടെ പിന്തുടരുന്ന ഒരു മതമാണ്.

ഇവിടെ ഒരു സാഹചര്യം ഉയർന്നുവരുന്നു, അതിന് ഞങ്ങൾ തയ്യാറാകാത്ത ഒരു സാഹചര്യം ഉണ്ടാകാം. ഞങ്ങൾ ഈ സാഹചര്യത്തിനായി തയ്യാറെടുക്കാൻ തുടങ്ങി.

https://commitfest.postgresql.org/23/2171/

ഈ ആയിരക്കണക്കിന് ക്ലസ്റ്ററുകളിൽ നിന്നുള്ള തടികൾ കുഴിച്ചിടുകയായിരുന്നു ഞങ്ങൾ ആദ്യം ചെയ്തത്. ഡാറ്റാ പേജ് അപ്‌ഡേറ്റുകൾ നഷ്‌ടപ്പെടുന്ന പ്രശ്‌നമുള്ള ഫേംവെയറുള്ള ഡിസ്‌കുകളിൽ ഏതൊക്കെ ക്ലസ്റ്ററുകളാണ് ഉള്ളതെന്ന് ഞങ്ങൾ കണ്ടെത്തി. എല്ലാ Postgres ഡാറ്റ കോഡും അടയാളപ്പെടുത്തി. ഡാറ്റാ അഴിമതി കണ്ടെത്തുന്നതിന് രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന കോഡ് ഉപയോഗിച്ച് ആന്തരിക മാറ്റങ്ങളുടെ ലംഘനങ്ങളെ സൂചിപ്പിക്കുന്ന സന്ദേശങ്ങൾ ഞങ്ങൾ അടയാളപ്പെടുത്തി.

ഈ പാച്ച് കൂടുതൽ ചർച്ചകളില്ലാതെ കമ്മ്യൂണിറ്റി പ്രായോഗികമായി അംഗീകരിച്ചു, കാരണം ഓരോ പ്രത്യേക സാഹചര്യത്തിലും എന്തെങ്കിലും മോശം സംഭവിച്ചുവെന്ന് വ്യക്തമായതിനാൽ ലോഗിൽ റിപ്പോർട്ട് ചെയ്യേണ്ടത് ആവശ്യമാണ്.

ഇതിനുശേഷം, ലോഗുകൾ സ്കാൻ ചെയ്യുന്ന നിരീക്ഷണം ഉണ്ടെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി. സംശയാസ്പദമായ സന്ദേശങ്ങളുടെ കാര്യത്തിൽ, അവൻ ഡ്യൂട്ടി ഓഫീസറെ ഉണർത്തുകയും ഡ്യൂട്ടി ഓഫീസർ അത് നന്നാക്കുകയും ചെയ്യുന്നു.

പക്ഷേ! ലോഗുകൾ സ്കാൻ ചെയ്യുന്നത് ഒരു ക്ലസ്റ്ററിലെ വിലകുറഞ്ഞതും ആയിരം ക്ലസ്റ്ററുകൾക്ക് വിനാശകരമായി ചെലവേറിയതുമായ പ്രവർത്തനമാണ്.

എന്നൊരു വിപുലീകരണം ഞങ്ങൾ എഴുതി ലോജർമാർ. മുൻകാല പിശകുകളെക്കുറിച്ചുള്ള സ്ഥിതിവിവരക്കണക്കുകൾ നിങ്ങൾക്ക് വിലകുറഞ്ഞും വേഗത്തിലും തിരഞ്ഞെടുക്കാൻ കഴിയുന്ന ഡാറ്റാബേസിന്റെ ഒരു കാഴ്ച ഇത് സൃഷ്ടിക്കുന്നു. ഞങ്ങൾക്ക് ഡ്യൂട്ടി ഓഫീസറെ ഉണർത്തണമെങ്കിൽ, ജിഗാബൈറ്റ് ഫയലുകൾ സ്കാൻ ചെയ്യാതെ, ഹാഷ് ടേബിളിൽ നിന്ന് കുറച്ച് ബൈറ്റുകൾ എക്‌സ്‌ട്രാക്‌റ്റ് ചെയ്‌ത് ഞങ്ങൾ ഇതിനെക്കുറിച്ച് കണ്ടെത്തും.

ഈ വിപുലീകരണം സ്വീകരിച്ചു, ഉദാഹരണത്തിന്, ശേഖരത്തിൽ ഉപയോഗം CentOS. നിങ്ങൾക്ക് ഇത് ഉപയോഗിക്കാൻ താൽപ്പര്യമുണ്ടെങ്കിൽ, നിങ്ങൾക്ക് ഇത് സ്വയം ഇൻസ്റ്റാൾ ചെയ്യാൻ കഴിയും. തീർച്ചയായും ഇത് ഓപ്പൺ സോഴ്‌സ് ആണ്.

https://www.postgresql.org/message-id/flat/[ഇമെയിൽ പരിരക്ഷിച്ചിരിക്കുന്നു]

എന്നാൽ അത് മാത്രമല്ല. സൂചികകളിലെ മാറ്റമില്ലാത്ത ലംഘനങ്ങൾ കണ്ടെത്താൻ ഞങ്ങൾ കമ്മ്യൂണിറ്റി നിർമ്മിത വിപുലീകരണമായ ആംചെക്ക് ഉപയോഗിക്കാൻ തുടങ്ങി.

നിങ്ങൾ ഇത് സ്കെയിലിൽ പ്രവർത്തിപ്പിക്കുകയാണെങ്കിൽ, ബഗുകൾ ഉണ്ടെന്ന് ഞങ്ങൾ കണ്ടെത്തി. ഞങ്ങൾ അവ ശരിയാക്കാൻ തുടങ്ങി. ഞങ്ങളുടെ തിരുത്തലുകൾ സ്വീകരിച്ചു.

https://www.postgresql.org/message-id/flat/[ഇമെയിൽ പരിരക്ഷിച്ചിരിക്കുന്നു]

ഈ വിപുലീകരണത്തിന് GiST & GIT സൂചികകൾ വിശകലനം ചെയ്യാൻ കഴിയില്ലെന്ന് ഞങ്ങൾ കണ്ടെത്തി. ഞങ്ങൾ അവർക്ക് പിന്തുണ നൽകി. എന്നാൽ ഈ പിന്തുണ ഇപ്പോഴും കമ്മ്യൂണിറ്റി ചർച്ച ചെയ്യുന്നു, കാരണം ഇത് താരതമ്യേന പുതിയ പ്രവർത്തനമാണ്, കൂടാതെ ധാരാളം വിശദാംശങ്ങൾ അവിടെയുണ്ട്.

https://commitfest.postgresql.org/29/2667/

കൂടാതെ, റെപ്ലിക്കേഷൻ ലീഡറിൽ, മാസ്റ്ററിൽ, ലംഘനങ്ങൾക്കായി സൂചികകൾ പരിശോധിക്കുമ്പോൾ, എല്ലാം നന്നായി പ്രവർത്തിക്കുന്നു, എന്നാൽ പകർപ്പുകളിൽ, അനുയായിയിൽ, അഴിമതിക്കായുള്ള തിരയൽ അത്ര ഫലപ്രദമല്ലെന്നും ഞങ്ങൾ കണ്ടെത്തി. എല്ലാ മാറ്റങ്ങളും പരിശോധിക്കില്ല. ഒരു മാറ്റമില്ലാത്തവൻ ഞങ്ങളെ വല്ലാതെ അലട്ടി. പകർപ്പുകളിൽ ഈ പരിശോധന പ്രവർത്തനക്ഷമമാക്കുന്നതിനായി ഞങ്ങൾ ഒന്നര വർഷം കമ്മ്യൂണിറ്റിയുമായി ആശയവിനിമയം നടത്തി.

എല്ലാ പ്രോട്ടോക്കോളുകളും പിന്തുടരേണ്ട കോഡ് ഞങ്ങൾ എഴുതി. ക്രഞ്ചി ഡാറ്റയിൽ നിന്നുള്ള പീറ്റർ ഗഗനുമായി ഞങ്ങൾ ഈ പാച്ച് കുറച്ച് സമയം ചർച്ച ചെയ്തു. ഈ പാച്ച് അംഗീകരിക്കാൻ അദ്ദേഹത്തിന് പോസ്റ്റ്ഗ്രേസിലെ നിലവിലുള്ള ബി-ട്രീയിൽ ചെറിയ മാറ്റം വരുത്തേണ്ടി വന്നു. അവൻ സ്വീകരിച്ചു. ഇപ്പോൾ പകർപ്പുകളിലെ സൂചികകൾ പരിശോധിക്കുന്നതും ഞങ്ങൾ നേരിട്ട ലംഘനങ്ങൾ കണ്ടെത്തുന്നതിന് പര്യാപ്തമാണ്. അതായത്, ഡിസ്ക് ഫേംവെയറിലെ പിശകുകൾ, പോസ്റ്റ്‌ഗ്രെസിലെ ബഗുകൾ, ലിനക്സ് കേർണലിലെ ബഗുകൾ, ഹാർഡ്‌വെയർ പ്രശ്നങ്ങൾ എന്നിവയാൽ സംഭവിക്കാവുന്ന ലംഘനങ്ങൾ ഇവയാണ്. ഞങ്ങൾ തയ്യാറാക്കിക്കൊണ്ടിരിക്കുന്ന പ്രശ്നങ്ങളുടെ ഉറവിടങ്ങളുടെ വളരെ വിപുലമായ ലിസ്റ്റ്.

https://www.postgresql.org/message-id/flat/38AF687F-8F6B-48B4-AB9E-A60CFD6CC261%40enterprisedb.com#0e86a12c01d967bac04a9bf83cd337cb

എന്നാൽ സൂചികകൾ കൂടാതെ, കൂമ്പാരം പോലെയുള്ള ഒരു ഭാഗമുണ്ട്, അതായത് ഡാറ്റ സംഭരിച്ചിരിക്കുന്ന സ്ഥലം. കൂടാതെ പരിശോധിക്കാൻ കഴിയുന്ന നിരവധി മാറ്റങ്ങളൊന്നുമില്ല.

ഞങ്ങൾക്ക് Heapcheck എന്നൊരു വിപുലീകരണം ഉണ്ട്. ഞങ്ങൾ അത് വികസിപ്പിക്കാൻ തുടങ്ങി. സമാന്തരമായി, ഞങ്ങളോടൊപ്പം, എന്റർപ്രൈസ് ഡിബി കമ്പനിയും ഒരു മൊഡ്യൂൾ എഴുതാൻ തുടങ്ങി, അതിനെ അവർ അതേ രീതിയിൽ ഹീപ്ചെക്ക് എന്ന് വിളിച്ചു. ഞങ്ങൾ അതിനെ PgHeapcheck എന്ന് മാത്രമേ വിളിച്ചിരുന്നുള്ളൂ, അവർ അതിനെ Heapcheck എന്ന് വിളിച്ചു. അവർക്ക് സമാനമായ ഫംഗ്‌ഷനുകൾ, അല്പം വ്യത്യസ്തമായ ഒപ്പ്, എന്നാൽ അതേ ആശയങ്ങൾ എന്നിവയുണ്ട്. ചിലയിടങ്ങളിൽ കുറച്ചുകൂടി നന്നായി അവ നടപ്പാക്കി. അവർ അത് മുമ്പ് ഓപ്പൺ സോഴ്സിൽ പോസ്റ്റ് ചെയ്തു.

ഇപ്പോൾ ഞങ്ങൾ അവരുടെ വികാസം വികസിപ്പിക്കുകയാണ്, കാരണം അത് അവരുടെ വികാസമല്ല, സമൂഹത്തിന്റെ വികാസമാണ്. ഭാവിയിൽ, ഇത് കേർണലിന്റെ ഭാഗമാണ്, അത് എല്ലാവർക്കും വിതരണം ചെയ്യുന്നതിനാൽ ഭാവിയിലെ പ്രശ്‌നങ്ങളെക്കുറിച്ച് അവർക്ക് മുൻകൂട്ടി അറിയാനാകും.

https://www.postgresql.org/message-id/flat/fe9b3722df94f7bdb08768f50ee8fe59%40postgrespro.ru

ചില സ്ഥലങ്ങളിൽ, ഞങ്ങളുടെ നിരീക്ഷണ സംവിധാനങ്ങളിൽ തെറ്റായ പോസിറ്റീവുകൾ ഉണ്ടെന്ന നിഗമനത്തിൽ പോലും ഞങ്ങൾ എത്തി. ഉദാഹരണത്തിന്, 1C സിസ്റ്റം. ഒരു ഡാറ്റാബേസ് ഉപയോഗിക്കുമ്പോൾ, പോസ്റ്റ്‌ഗ്രെസ് ചിലപ്പോൾ അതിൽ വായിക്കാൻ കഴിയുന്ന ഡാറ്റ എഴുതുന്നു, പക്ഷേ pg_dump വായിക്കാൻ കഴിയില്ല.

ഈ സാഹചര്യം ഞങ്ങളുടെ പ്രശ്‌നങ്ങൾ കണ്ടെത്തുന്നതിനുള്ള സംവിധാനത്തിന് അഴിമതിയായി കാണപ്പെട്ടു. ഡ്യൂട്ടി ഓഫീസർ ഉണർന്നു. ഡ്യൂട്ടി ഓഫീസർ എന്താണ് സംഭവിക്കുന്നതെന്ന് നോക്കി. കുറച്ചു കഴിഞ്ഞപ്പോൾ ഒരു ക്ലയന്റ് വന്നു എനിക്ക് പ്രശ്നമുണ്ടെന്ന് പറഞ്ഞു. എന്താണ് പ്രശ്നം എന്ന് അറ്റൻഡർ വിശദീകരിച്ചു. എന്നാൽ പ്രശ്നം പോസ്റ്റ്ഗ്രെസ് കോറിലാണ്.

ഈ സവിശേഷതയെക്കുറിച്ച് ഞാൻ ഒരു ചർച്ച കണ്ടെത്തി. ഞങ്ങൾ ഈ സവിശേഷത നേരിട്ടെന്നും അത് അസുഖകരമായിരുന്നുവെന്നും അദ്ദേഹം എഴുതി, അത് എന്താണെന്ന് മനസിലാക്കാൻ ഒരു വ്യക്തി രാത്രിയിൽ ഉണർന്നു.

https://www.postgresql.org/message-id/flat/fe9b3722df94f7bdb08768f50ee8fe59%40postgrespro.ru

കമ്മ്യൂണിറ്റി പ്രതികരിച്ചു, "ഓ, ഞങ്ങൾ അത് ശരിയാക്കേണ്ടതുണ്ട്."

എനിക്ക് ഒരു ലളിതമായ സാമ്യമുണ്ട്. നിങ്ങൾ മണൽ തരികൾ ഉള്ള ഒരു ഷൂവിൽ നടക്കുകയാണെങ്കിൽ, തത്വത്തിൽ, നിങ്ങൾക്ക് മുന്നോട്ട് പോകാം - കുഴപ്പമില്ല. നിങ്ങൾ ആയിരക്കണക്കിന് ആളുകൾക്ക് ബൂട്ട് വിൽക്കുകയാണെങ്കിൽ, നമുക്ക് മണലില്ലാതെ ബൂട്ട് ഉണ്ടാക്കാം. നിങ്ങളുടെ ഷൂസ് ഉപയോഗിക്കുന്നവരിൽ ഒരാൾ മാരത്തൺ ഓടാൻ പോകുകയാണെങ്കിൽ, നിങ്ങൾ വളരെ നല്ല ഷൂസ് നിർമ്മിക്കാൻ ആഗ്രഹിക്കുന്നു, തുടർന്ന് നിങ്ങളുടെ എല്ലാ ഉപയോക്താക്കൾക്കും അവ സ്കെയിൽ ചെയ്യുക. അത്തരം അപ്രതീക്ഷിത ഉപയോക്താക്കൾ എപ്പോഴും ക്ലൗഡ് പരിതസ്ഥിതിയിലായിരിക്കും. ചില യഥാർത്ഥ രീതിയിൽ ക്ലസ്റ്ററിനെ ചൂഷണം ചെയ്യുന്ന ഉപയോക്താക്കൾ എപ്പോഴും ഉണ്ട്. ഇതിനായി നിങ്ങൾ എപ്പോഴും തയ്യാറാകണം.

ഞങ്ങൾ ഇവിടെ എന്താണ് പഠിച്ചത്? ഞങ്ങൾ ഒരു ലളിതമായ കാര്യം പഠിച്ചു: ഒരു പ്രശ്നമുണ്ടെന്ന് സമൂഹത്തോട് വിശദീകരിക്കുക എന്നതാണ് ഏറ്റവും പ്രധാനപ്പെട്ട കാര്യം. സമൂഹം പ്രശ്നം തിരിച്ചറിഞ്ഞിട്ടുണ്ടെങ്കിൽ, പ്രശ്നം പരിഹരിക്കാൻ സ്വാഭാവിക മത്സരം ഉയർന്നുവരുന്നു. കാരണം എല്ലാവരും ഒരു പ്രധാന പ്രശ്നം പരിഹരിക്കാൻ ആഗ്രഹിക്കുന്നു. എല്ലാ വെണ്ടർമാരും, എല്ലാ ഹാക്കർമാരും തങ്ങൾക്ക് ഈ റേക്കിൽ കാലുകുത്താൻ കഴിയുമെന്ന് മനസ്സിലാക്കുന്നു, അതിനാൽ അവ ഇല്ലാതാക്കാൻ അവർ ആഗ്രഹിക്കുന്നു.

നിങ്ങൾ ഒരു പ്രശ്‌നത്തിൽ പ്രവർത്തിക്കുന്നുണ്ടെങ്കിലും അത് നിങ്ങളെയല്ലാതെ മറ്റാരെയും ബുദ്ധിമുട്ടിക്കുന്നില്ല, എന്നാൽ നിങ്ങൾ അതിൽ വ്യവസ്ഥാപിതമായി പ്രവർത്തിക്കുകയും ആത്യന്തികമായി ഇത് ഒരു പ്രശ്‌നമായി കണക്കാക്കുകയും ചെയ്യുന്നുവെങ്കിൽ, നിങ്ങളുടെ പുൾ അഭ്യർത്ഥന തീർച്ചയായും അംഗീകരിക്കപ്പെടും. നിങ്ങളുടെ പാച്ച് അംഗീകരിക്കപ്പെടും, നിങ്ങളുടെ മെച്ചപ്പെടുത്തലുകൾ അല്ലെങ്കിൽ മെച്ചപ്പെടുത്തലുകൾക്കുള്ള അഭ്യർത്ഥനകൾ പോലും കമ്മ്യൂണിറ്റി അവലോകനം ചെയ്യും. ദിവസാവസാനം, ഞങ്ങൾ ഡാറ്റാബേസ് പരസ്പരം മികച്ചതാക്കുന്നു.

രസകരമായ ഒരു ഡാറ്റാബേസ് ഗ്രീൻപ്ലം ആണ്. എനിക്ക് വളരെ പരിചിതമായ Postgres കോഡ്ബേസ് അടിസ്ഥാനമാക്കിയുള്ള വളരെ സമാന്തര ഡാറ്റാബേസാണിത്.

https://greenplum.org/greenplum-database-tables-compression/

ഗ്രീൻപ്ലമിന് രസകരമായ പ്രവർത്തനക്ഷമതയുണ്ട് - ഒപ്റ്റിമൈസ് ചെയ്ത പട്ടികകൾ കൂട്ടിച്ചേർക്കുക. നിങ്ങൾക്ക് വേഗത്തിൽ ചേർക്കാൻ കഴിയുന്ന പട്ടികകളാണിത്. അവ നിരയോ നിരയോ ആകാം.

എന്നാൽ ഒരു ക്ലസ്റ്ററിംഗും ഉണ്ടായിരുന്നില്ല, അതായത് സൂചികകളിലൊന്നിലെ ക്രമത്തിന് അനുസൃതമായി നിങ്ങൾക്ക് പട്ടികയിൽ സ്ഥിതിചെയ്യുന്ന ഡാറ്റ ക്രമീകരിക്കാൻ കഴിയുന്ന പ്രവർത്തനങ്ങളൊന്നും ഉണ്ടായിരുന്നില്ല.

ടാക്സിയിൽ നിന്നുള്ള ആളുകൾ എന്റെ അടുത്ത് വന്ന് പറഞ്ഞു: “ആന്ദ്രേ, നിങ്ങൾക്ക് പോസ്റ്റ്ഗ്രെസിനെ അറിയാം. ഇവിടെയും ഏതാണ്ട് സമാനമാണ്. 20 മിനിറ്റിലേക്ക് മാറുക. നിങ്ങൾ അത് എടുത്ത് ചെയ്യൂ. ” അതെ, എനിക്ക് പോസ്റ്റ്‌ഗ്രെസിനെ അറിയാം, 20 മിനിറ്റ് സ്വിച്ച് ചെയ്യുന്നു - എനിക്ക് ഇത് ചെയ്യണം.

https://github.com/greenplum-db/gpdb/commit/179feb77a034c2547021d675082aae0911be40f7

പക്ഷേ ഇല്ല, ഇത് 20 മിനിറ്റായിരുന്നില്ല, മാസങ്ങൾ കൊണ്ട് ഞാനത് എഴുതി. PgConf.Russia കോൺഫറൻസിൽ, ഞാൻ പിവോട്ടലിൽ നിന്ന് Heikki Linakangas-നെ സമീപിച്ച് ചോദിച്ചു: “ഇതിൽ എന്തെങ്കിലും പ്രശ്നമുണ്ടോ? എന്തുകൊണ്ടാണ് അനുബന്ധം ഒപ്റ്റിമൈസ് ചെയ്ത ടേബിൾ ക്ലസ്റ്ററിംഗ് ഇല്ലാത്തത്?" അദ്ദേഹം പറയുന്നു: “നിങ്ങൾ ഡാറ്റ എടുക്കുക. നിങ്ങൾ അടുക്കുക, നിങ്ങൾ പുനഃക്രമീകരിക്കുക. ഇതൊരു ജോലി മാത്രമാണ്." ഞാൻ: "ഓ, അതെ, നിങ്ങൾ അത് എടുത്ത് ചെയ്താൽ മതി." അദ്ദേഹം പറയുന്നു: "അതെ, ഇത് ചെയ്യാൻ ഞങ്ങൾക്ക് സ്വതന്ത്രമായ കൈകൾ ആവശ്യമാണ്." തീർച്ചയായും ഇത് ചെയ്യണം എന്ന് ഞാൻ കരുതി.

കുറച്ച് മാസങ്ങൾക്ക് ശേഷം ഞാൻ ഈ പ്രവർത്തനം നടപ്പിലാക്കുന്ന ഒരു പുൾ അഭ്യർത്ഥന സമർപ്പിച്ചു. ഈ പിൻവലിക്കൽ അഭ്യർത്ഥന കമ്മ്യൂണിറ്റിയുമായി ചേർന്ന് Pivotal അവലോകനം ചെയ്തു. തീർച്ചയായും, ബഗുകൾ ഉണ്ടായിരുന്നു.

https://github.com/greenplum-db/gpdb/issues/10150

എന്നാൽ ഏറ്റവും രസകരമായ കാര്യം ഈ പുൾ റിക്വസ്റ്റ് ലയിപ്പിച്ചപ്പോൾ ഗ്രീൻപ്ലമിൽ തന്നെ ബഗുകൾ കണ്ടെത്തി എന്നതാണ്. ഹീപ്പ് ടേബിളുകൾ ക്ലസ്റ്ററായിരിക്കുമ്പോൾ ചിലപ്പോൾ ഇടപാടുകളെ തകർക്കുന്നതായി ഞങ്ങൾ കണ്ടെത്തി. കൂടാതെ ഇത് പരിഹരിക്കപ്പെടേണ്ട കാര്യമാണ്. ഞാൻ തൊട്ട സ്ഥലത്താണ് അവൾ. എന്റെ സ്വാഭാവിക പ്രതികരണം ഇതായിരുന്നു - ശരി, ഞാനും ഇത് ചെയ്യട്ടെ.

https://github.com/greenplum-db/gpdb/pull/10290

ഞാൻ ഈ ബഗ് പരിഹരിച്ചു. പരിഹരിക്കുന്നവർക്ക് ഒരു പുൾ അഭ്യർത്ഥന അയച്ചു. അവൻ കൊല്ലപ്പെട്ടു.

https://github.com/greenplum-db/gpdb-postgres-merge/pull/53

അതിനുശേഷം, ഈ പ്രവർത്തനം PostgreSQL 12-നുള്ള ഗ്രീൻപ്ലം പതിപ്പിൽ ലഭിക്കേണ്ടതുണ്ടെന്ന് മനസ്സിലായി. അതായത്, 20 മിനിറ്റ് സാഹസികത പുതിയ രസകരമായ സാഹസങ്ങളുമായി തുടരുന്നു. കമ്മ്യൂണിറ്റി പുതിയതും പ്രധാനപ്പെട്ടതുമായ സവിശേഷതകൾ വെട്ടിക്കുറയ്ക്കുന്ന നിലവിലെ വികസനം സ്പർശിക്കുന്നത് രസകരമായിരുന്നു. അത് മരവിച്ചിരിക്കുന്നു.

https://github.com/greenplum-db/gpdb/pull/10565

പക്ഷേ അത് അവിടെ അവസാനിച്ചില്ല. എല്ലാത്തിനുമുപരി, ഇതിനെല്ലാം ഡോക്യുമെന്റേഷൻ എഴുതേണ്ടതുണ്ടെന്ന് മനസ്സിലായി.

ഞാൻ ഡോക്യുമെന്റേഷൻ എഴുതാൻ തുടങ്ങി. ഭാഗ്യവശാൽ, പിവോട്ടലിൽ നിന്നുള്ള ഡോക്യുമെന്റേറിയന്മാർ ഒപ്പം വന്നു. ഇംഗ്ലീഷ് അവരുടെ മാതൃഭാഷയാണ്. ഡോക്യുമെന്റേഷനിൽ അവർ എന്നെ സഹായിച്ചു. സത്യത്തിൽ, അവർ തന്നെ ഞാൻ നിർദ്ദേശിച്ചത് യഥാർത്ഥ ഇംഗ്ലീഷിലേക്ക് മാറ്റിയെഴുതി.

ഇവിടെ, സാഹസികത അവസാനിച്ചുവെന്ന് തോന്നുന്നു. എന്നിട്ട് എന്താണ് സംഭവിച്ചതെന്ന് അറിയാമോ? ടാക്സിയിൽ നിന്നുള്ള ആളുകൾ എന്റെ അടുത്ത് വന്ന് പറഞ്ഞു: "ഇനിയും രണ്ട് സാഹസികതയുണ്ട്, ഓരോന്നിനും 10 മിനിറ്റ്." പിന്നെ ഞാൻ അവരോട് എന്താണ് പറയേണ്ടത്? ഇപ്പോൾ ഞാൻ സ്കെയിലിൽ ഒരു റിപ്പോർട്ട് നൽകുമെന്ന് ഞാൻ പറഞ്ഞു, തുടർന്ന് നിങ്ങളുടെ സാഹസികത ഞങ്ങൾ കാണും, കാരണം ഇത് രസകരമായ ഒരു ജോലിയാണ്.

ഈ കേസിൽ നിന്ന് നമ്മൾ എന്താണ് പഠിച്ചത്? ഓപ്പൺ സോഴ്‌സ് ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്നത് എല്ലായ്പ്പോഴും ഒരു നിർദ്ദിഷ്ട വ്യക്തിയുമായി പ്രവർത്തിക്കുന്നതിനാൽ, അത് എല്ലായ്പ്പോഴും കമ്മ്യൂണിറ്റിയുമായി പ്രവർത്തിക്കുന്നു. കാരണം ഓരോ ഘട്ടത്തിലും ഞാൻ ചില ഡെവലപ്പർമാർ, കുറച്ച് ടെസ്റ്റർ, കുറച്ച് ഹാക്കർ, കുറച്ച് ഡോക്യുമെന്റേറിയൻ, കുറച്ച് ആർക്കിടെക്റ്റ് എന്നിവരോടൊപ്പമാണ് പ്രവർത്തിച്ചത്. ഞാൻ ഗ്രീൻപ്ലമിനൊപ്പം പ്രവർത്തിച്ചില്ല, ഗ്രീൻപ്ലമിന് ചുറ്റുമുള്ള ആളുകളുമായി ഞാൻ പ്രവർത്തിച്ചു.

പക്ഷേ! മറ്റൊരു പ്രധാന കാര്യമുണ്ട് - ഇത് വെറും ജോലിയാണ്. അതായത്, നിങ്ങൾ വരൂ, കാപ്പി കുടിക്കൂ, കോഡ് എഴുതൂ. എല്ലാത്തരം ലളിതമായ മാറ്റങ്ങളും പ്രവർത്തിക്കുന്നു. ഇത് സാധാരണയായി ചെയ്യുക - അത് നന്നായിരിക്കും! മാത്രമല്ല ഇത് വളരെ രസകരമായ ഒരു ജോലിയാണ്. Yandex.Cloud ക്ലയന്റുകളിൽ നിന്നും Yandex-നുള്ളിലും പുറത്തുമുള്ള ഞങ്ങളുടെ ക്ലസ്റ്ററുകളുടെ ഉപയോക്താക്കളിൽ നിന്ന് ഈ വർക്കിനായി ഒരു അഭ്യർത്ഥനയുണ്ട്. ഞങ്ങൾ പങ്കെടുക്കുന്ന പ്രോജക്റ്റുകളുടെ എണ്ണം വർദ്ധിക്കുമെന്നും ഞങ്ങളുടെ പങ്കാളിത്തത്തിന്റെ ആഴം വർദ്ധിക്കുമെന്നും ഞാൻ കരുതുന്നു.

അത്രയേയുള്ളൂ. നമുക്ക് ചോദ്യങ്ങളിലേക്ക് കടക്കാം.

ചോദ്യ സെഷൻ

ഹലോ! ഞങ്ങൾക്ക് മറ്റൊരു ചോദ്യോത്തര സെഷനുണ്ട്. ആൻഡ്രി ബോറോഡിൻ സ്റ്റുഡിയോയിലും. ഓപ്പൺ സോഴ്‌സിലേക്കുള്ള Yandex.Cloud, Yandex എന്നിവയുടെ സംഭാവനയെക്കുറിച്ച് നിങ്ങളോട് ഇപ്പോൾ പറഞ്ഞത് ഈ വ്യക്തിയാണ്. ഞങ്ങളുടെ റിപ്പോർട്ട് ഇപ്പോൾ പൂർണ്ണമായും ക്ലൗഡിനെക്കുറിച്ചല്ല, എന്നാൽ അതേ സമയം ഞങ്ങൾ അത്തരം സാങ്കേതികവിദ്യകളെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്. Yandex-ൽ നിങ്ങൾ ചെയ്‌തത് കൂടാതെ, Yandex.Cloud-ൽ ഒരു സേവനവും ഉണ്ടാകില്ല, അതിനാൽ വ്യക്തിപരമായി എന്നിൽ നിന്ന് നന്ദി. പ്രക്ഷേപണത്തിൽ നിന്നുള്ള ആദ്യ ചോദ്യം: "നിങ്ങൾ പരാമർശിച്ച ഓരോ പ്രോജക്റ്റുകളും എന്താണ് എഴുതിയിരിക്കുന്നത്?"

WAL-G-ലെ ബാക്കപ്പ് സിസ്റ്റം Go-യിൽ എഴുതിയിരിക്കുന്നു. ഞങ്ങൾ പ്രവർത്തിച്ച ഏറ്റവും പുതിയ പ്രോജക്‌റ്റുകളിൽ ഒന്നാണിത്. അവന് അക്ഷരാർത്ഥത്തിൽ 3 വയസ്സ് മാത്രം. ഒരു ഡാറ്റാബേസ് പലപ്പോഴും വിശ്വാസ്യതയെക്കുറിച്ചാണ്. ഇതിനർത്ഥം ഡാറ്റാബേസുകൾ വളരെ പഴയതാണ്, അവ സാധാരണയായി സിയിൽ എഴുതിയിരിക്കുന്നു എന്നാണ്. പോസ്റ്റ്ഗ്രെസ് പ്രോജക്റ്റ് ഏകദേശം 30 വർഷം മുമ്പാണ് ആരംഭിച്ചത്. അപ്പോൾ C89 ആയിരുന്നു ശരിയായ തിരഞ്ഞെടുപ്പ്. അതിൽ പോസ്റ്റ്ഗ്രെസ് എഴുതിയിരിക്കുന്നു. ClickHouse പോലുള്ള കൂടുതൽ ആധുനിക ഡാറ്റാബേസുകൾ സാധാരണയായി C++ ലാണ് എഴുതുന്നത്. എല്ലാ സിസ്റ്റം വികസനവും C, C++ എന്നിവയെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്.

ക്ലൗഡിലെ ചെലവുകൾക്ക് ഉത്തരവാദിയായ ഞങ്ങളുടെ ഫിനാൻഷ്യൽ മാനേജരിൽ നിന്നുള്ള ഒരു ചോദ്യം: "ഓപ്പൺ സോഴ്‌സിനെ പിന്തുണയ്ക്കുന്നതിന് ക്ലൗഡ് എന്തിനാണ് പണം ചെലവഴിക്കുന്നത്?"

ഫിനാൻഷ്യൽ മാനേജർക്ക് ഇവിടെ ലളിതമായ ഒരു ഉത്തരം ഉണ്ട്. ഞങ്ങളുടെ സേവനങ്ങൾ മികച്ചതാക്കാനാണ് ഞങ്ങൾ ഇത് ചെയ്യുന്നത്. ഏതെല്ലാം വിധങ്ങളിൽ നമുക്ക് നന്നായി ചെയ്യാൻ കഴിയും? നമുക്ക് കാര്യങ്ങൾ കൂടുതൽ കാര്യക്ഷമമായും വേഗത്തിലും ചെയ്യാനും കാര്യങ്ങൾ കൂടുതൽ സ്കെയിലബിൾ ആക്കാനും കഴിയും. എന്നാൽ ഞങ്ങളെ സംബന്ധിച്ചിടത്തോളം, ഈ കഥ പ്രാഥമികമായി വിശ്വാസ്യതയെക്കുറിച്ചാണ്. ഉദാഹരണത്തിന്, ഒരു ബാക്കപ്പ് സിസ്റ്റത്തിൽ അതിന് ബാധകമായ പാച്ചുകളുടെ 100% ഞങ്ങൾ അവലോകനം ചെയ്യുന്നു. കോഡ് എന്താണെന്ന് നമുക്കറിയാം. നിർമ്മാണത്തിലേക്ക് പുതിയ പതിപ്പുകൾ പുറത്തിറക്കുന്നത് ഞങ്ങൾക്ക് കൂടുതൽ സൗകര്യപ്രദമാണ്. അതായത്, ഒന്നാമതായി, അത് ആത്മവിശ്വാസത്തെക്കുറിച്ചും വികസനത്തിനായുള്ള സന്നദ്ധതയെക്കുറിച്ചും വിശ്വാസ്യതയെക്കുറിച്ചും ആണ്

മറ്റൊരു ചോദ്യം: "Yandex.Cloud-ൽ താമസിക്കുന്ന ബാഹ്യ ഉപയോക്താക്കളുടെ ആവശ്യകതകൾ ആന്തരിക ക്ലൗഡിൽ താമസിക്കുന്ന ആന്തരിക ഉപയോക്താക്കളിൽ നിന്ന് വ്യത്യസ്തമാണോ?"

ലോഡ് പ്രൊഫൈൽ തീർച്ചയായും വ്യത്യസ്തമാണ്. എന്നാൽ എന്റെ വകുപ്പിന്റെ വീക്ഷണകോണിൽ നിന്ന്, എല്ലാ സവിശേഷവും രസകരവുമായ കേസുകളും നിലവാരമില്ലാത്ത ലോഡിൽ സൃഷ്ടിക്കപ്പെടുന്നു. ഭാവനയുള്ള ഡെവലപ്പർമാർ, അപ്രതീക്ഷിതമായി ചെയ്യുന്ന ഡെവലപ്പർമാർ, ആന്തരികമായും ബാഹ്യമായും കണ്ടെത്താൻ സാധ്യതയുണ്ട്. ഇക്കാര്യത്തിൽ, നാമെല്ലാവരും ഏകദേശം ഒരുപോലെയാണ്. കൂടാതെ, ഒരുപക്ഷേ, ഡാറ്റാബേസുകളുടെ Yandex പ്രവർത്തനത്തിനുള്ളിലെ ഒരേയൊരു പ്രധാന സവിശേഷത Yandex-നുള്ളിൽ ഞങ്ങൾക്ക് ഒരു അധ്യാപനമുണ്ട് എന്നതാണ്. ചില ഘട്ടങ്ങളിൽ, ചില ലഭ്യത മേഖല പൂർണ്ണമായും നിഴലിലേക്ക് പോകുന്നു, കൂടാതെ എല്ലാ Yandex സേവനങ്ങളും എങ്ങനെയെങ്കിലും പ്രവർത്തിക്കുന്നത് തുടരണം. ഇതൊരു ചെറിയ വ്യത്യാസമാണ്. എന്നാൽ ഇത് ഡാറ്റാബേസിന്റെയും നെറ്റ്‌വർക്ക് സ്റ്റാക്കിന്റെയും ഇന്റർഫേസിൽ ധാരാളം ഗവേഷണ വികസനം സൃഷ്ടിക്കുന്നു. അല്ലെങ്കിൽ, ബാഹ്യവും ആന്തരികവുമായ ഇൻസ്റ്റാളേഷനുകൾ സവിശേഷതകൾക്കായുള്ള സമാന അഭ്യർത്ഥനകളും വിശ്വാസ്യതയും പ്രകടനവും മെച്ചപ്പെടുത്തുന്നതിനുള്ള സമാന അഭ്യർത്ഥനകളും സൃഷ്ടിക്കുന്നു.

അടുത്ത ചോദ്യം: "നിങ്ങൾ ചെയ്യുന്ന കാര്യങ്ങളിൽ ഭൂരിഭാഗവും മറ്റ് മേഘങ്ങൾ ഉപയോഗിക്കുന്നു എന്ന വസ്തുതയെക്കുറിച്ച് നിങ്ങൾക്ക് വ്യക്തിപരമായി എന്ത് തോന്നുന്നു?" ഞങ്ങൾ നിർദ്ദിഷ്ട പേരുകൾ നൽകില്ല, എന്നാൽ Yandex.Cloud-ൽ ചെയ്ത നിരവധി പ്രോജക്റ്റുകൾ മറ്റുള്ളവരുടെ ക്ലൗഡുകളിൽ ഉപയോഗിക്കുന്നു.

ഇത് കൊള്ളം. ഒന്നാമതായി, നമ്മൾ എന്തെങ്കിലും ശരിയായി ചെയ്തു എന്നതിന്റെ സൂചനയാണിത്. അത് ഈഗോയെ പോറലേൽപ്പിക്കുകയും ചെയ്യുന്നു. ഞങ്ങൾ ശരിയായ തീരുമാനമാണ് എടുത്തതെന്ന് ഞങ്ങൾക്ക് കൂടുതൽ ആത്മവിശ്വാസമുണ്ട്. മറുവശത്ത്, ഭാവിയിൽ ഇത് ഞങ്ങൾക്ക് പുതിയ ആശയങ്ങളും മൂന്നാം കക്ഷി ഉപയോക്താക്കളിൽ നിന്നുള്ള പുതിയ അഭ്യർത്ഥനകളും കൊണ്ടുവരുമെന്ന പ്രതീക്ഷയാണിത്. GitHub-ലെ മിക്ക പ്രശ്‌നങ്ങളും വ്യക്തിഗത സിസ്റ്റം അഡ്മിനിസ്ട്രേറ്റർമാർ, വ്യക്തിഗത DBA-കൾ, വ്യക്തിഗത ആർക്കിടെക്റ്റുകൾ, വ്യക്തിഗത എഞ്ചിനീയർമാർ എന്നിവരാൽ സൃഷ്ടിക്കപ്പെട്ടതാണ്, എന്നാൽ ചിലപ്പോൾ വ്യവസ്ഥാപിതമായ അനുഭവപരിചയമുള്ള ആളുകൾ വന്ന് 30% ചില കേസുകളിൽ ഞങ്ങൾക്ക് ഈ പ്രശ്നം ഉണ്ടെന്നും അത് എങ്ങനെ പരിഹരിക്കാമെന്ന് ചിന്തിക്കാം. ഇതാണ് ഞങ്ങൾ ഏറ്റവും കൂടുതൽ പ്രതീക്ഷിക്കുന്നത്. മറ്റ് ക്ലൗഡ് പ്ലാറ്റ്‌ഫോമുകളുമായി അനുഭവങ്ങൾ പങ്കിടാൻ ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.

നിങ്ങൾ മാരത്തണിനെക്കുറിച്ച് ഒരുപാട് സംസാരിച്ചു. മോസ്കോയിൽ നിങ്ങൾ ഒരു മാരത്തൺ ഓടിയെന്ന് എനിക്കറിയാം. തൽഫലമായി? PostgreSQL-ൽ നിന്നുള്ള ആൺകുട്ടികളെ മറികടന്നോ?

ഇല്ല, ഒലെഗ് ബാർട്ടൂനോവ് വളരെ വേഗത്തിൽ ഓടുന്നു. അവൻ എന്നെക്കാൾ ഒരു മണിക്കൂർ മുമ്പേ പൂർത്തിയാക്കി. മൊത്തത്തിൽ, ഞാൻ എത്രത്തോളം എത്തിയെന്നതിൽ ഞാൻ സന്തുഷ്ടനാണ്. എന്നെ സംബന്ധിച്ചിടത്തോളം ഫിനിഷിംഗ് ഒരു നേട്ടമായിരുന്നു. മൊത്തത്തിൽ, പോസ്റ്റ്ഗ്രേസ് കമ്മ്യൂണിറ്റിയിൽ നിരവധി ഓട്ടക്കാർ ഉണ്ടെന്നത് ആശ്ചര്യകരമാണ്. എയ്‌റോബിക് സ്‌പോർട്‌സും സിസ്റ്റം പ്രോഗ്രാമിംഗിനായുള്ള ആഗ്രഹവും തമ്മിൽ എന്തെങ്കിലും തരത്തിലുള്ള ബന്ധമുണ്ടെന്ന് എനിക്ക് തോന്നുന്നു.

ClickHouse-ൽ റണ്ണേഴ്സ് ഇല്ലെന്ന് നിങ്ങൾ പറയുകയാണോ?

അവർ അവിടെ ഉണ്ടെന്ന് എനിക്കറിയാം. ClickHouse ഒരു ഡാറ്റാബേസ് കൂടിയാണ്. വഴിയിൽ, ഒലെഗ് ഇപ്പോൾ എനിക്ക് എഴുതുന്നു: "റിപ്പോർട്ടിന് ശേഷം നമുക്ക് ഓടാൻ പോകണോ?" ഇതൊരു മികച്ച ആശയമാണ്.

നികിതയിൽ നിന്നുള്ള പ്രക്ഷേപണത്തിൽ നിന്നുള്ള മറ്റൊരു ചോദ്യം: "എന്തുകൊണ്ടാണ് നിങ്ങൾ ഗ്രീൻപ്ലമിലെ ബഗ് സ്വയം പരിഹരിച്ച് ജൂനിയർമാർക്ക് നൽകാത്തത്?" ശരിയാണ്, ബഗ് എന്താണെന്നും ഏത് സേവനത്തിലാണെന്നും വളരെ വ്യക്തമല്ല, പക്ഷേ നിങ്ങൾ സംസാരിച്ചതിനെയാണ് ഇത് അർത്ഥമാക്കുന്നത്.

അതെ, തത്വത്തിൽ, അത് ആർക്കെങ്കിലും നൽകാമായിരുന്നു. ഞാൻ ഇപ്പോൾ മാറ്റിയത് കോഡ് മാത്രമാണ്. അപ്പോൾ തന്നെ അത് തുടരുക സ്വാഭാവികമായിരുന്നു. തത്വത്തിൽ, ടീമുമായി വൈദഗ്ദ്ധ്യം പങ്കിടുക എന്ന ആശയം നല്ല ആശയമാണ്. ഞങ്ങളുടെ ഡിവിഷനിലെ എല്ലാ അംഗങ്ങൾക്കുമിടയിൽ ഞങ്ങൾ തീർച്ചയായും ഗ്രീൻപ്ലം ടാസ്‌ക്കുകൾ പങ്കിടും.

നമ്മൾ ജൂനിയർമാരെക്കുറിച്ചാണ് സംസാരിക്കുന്നത് എന്നതിനാൽ, ഇവിടെ ഒരു ചോദ്യമുണ്ട്. പോസ്റ്റ്ഗ്രേസിൽ ആദ്യ പ്രതിബദ്ധത സൃഷ്ടിക്കാൻ ആ വ്യക്തി തീരുമാനിച്ചു. ആദ്യ പ്രതിജ്ഞയെടുക്കാൻ അവൻ എന്താണ് ചെയ്യേണ്ടത്?

ഇതൊരു രസകരമായ ചോദ്യമാണ്: "എവിടെ തുടങ്ങണം?" കേർണലിൽ എന്തെങ്കിലും ആരംഭിക്കുന്നത് സാധാരണയായി വളരെ ബുദ്ധിമുട്ടാണ്. ഉദാഹരണത്തിന്, Postgres-ൽ ചെയ്യേണ്ടവയുടെ ഒരു ലിസ്റ്റ് ഉണ്ട്. എന്നാൽ വാസ്തവത്തിൽ, ഇത് അവർ ചെയ്യാൻ ശ്രമിച്ചതിന്റെ ഒരു ഷീറ്റാണ്, പക്ഷേ വിജയിച്ചില്ല. ഇവ സങ്കീർണ്ണമായ കാര്യങ്ങളാണ്. സാധാരണഗതിയിൽ നിങ്ങൾക്ക് ആവാസവ്യവസ്ഥയിൽ ചില യൂട്ടിലിറ്റികൾ, മെച്ചപ്പെടുത്താൻ കഴിയുന്ന ചില വിപുലീകരണങ്ങൾ, കേർണൽ ഡെവലപ്പർമാരിൽ നിന്ന് കുറച്ച് ശ്രദ്ധ ആകർഷിക്കാൻ കഴിയും. അതനുസരിച്ച്, അവിടെ വളർച്ചയ്ക്ക് കൂടുതൽ പോയിന്റുകൾ ഉണ്ട്. ഗൂഗിൾ സമ്മർ ഓഫ് കോഡ് പ്രോഗ്രാമിൽ, ഓരോ വർഷവും പോസ്റ്റ്‌ഗ്രേസ് കമ്മ്യൂണിറ്റി അഭിസംബോധന ചെയ്യാൻ കഴിയുന്ന വ്യത്യസ്ത വിഷയങ്ങൾ മുന്നോട്ട് വയ്ക്കുന്നു. ഈ വർഷം ഞങ്ങൾക്ക് മൂന്ന് വിദ്യാർത്ഥികൾ ഉണ്ടായിരുന്നു. Yandex-ന് പ്രാധാന്യമുള്ള വിഷയങ്ങളിൽ ഒരാൾ WAL-G-ൽ പോലും എഴുതി. ഗ്രീൻപ്ലമിൽ, പോസ്റ്റ്‌ഗ്രെസ് കമ്മ്യൂണിറ്റിയേക്കാൾ എല്ലാം ലളിതമാണ്, കാരണം ഗ്രീൻപ്ലം ഹാക്കർമാർ പുൾ അഭ്യർത്ഥനകൾ നന്നായി കൈകാര്യം ചെയ്യുകയും ഉടൻ തന്നെ അവലോകനം ആരംഭിക്കുകയും ചെയ്യുന്നു. Postgres-ലേക്ക് ഒരു പാച്ച് അയയ്ക്കുന്നത് മാസങ്ങളുടെ കാര്യമാണ്, എന്നാൽ ഗ്രീൻപ്ലം ഒരു ദിവസത്തിനുള്ളിൽ വന്ന് നിങ്ങൾ എന്താണ് ചെയ്തതെന്ന് കാണും. മറ്റൊരു കാര്യം, ഗ്രീൻപ്ലം നിലവിലെ പ്രശ്നങ്ങൾ പരിഹരിക്കേണ്ടതുണ്ട്. ഗ്രീൻപ്ലം വ്യാപകമായി ഉപയോഗിക്കപ്പെടുന്നില്ല, അതിനാൽ നിങ്ങളുടെ പ്രശ്നം കണ്ടെത്തുന്നത് വളരെ ബുദ്ധിമുട്ടാണ്. ഒന്നാമതായി, ഞങ്ങൾ തീർച്ചയായും പ്രശ്നങ്ങൾ പരിഹരിക്കേണ്ടതുണ്ട്.

അവലംബം: www.habr.com