ઓપન સોર્સ ડેટાબેઝમાં આપણે શું અને શા માટે કરીએ છીએ. આન્દ્રે બોરોડિન (Yandex.Cloud)

નીચેના ડેટાબેસેસમાં યાન્ડેક્ષના યોગદાનની સમીક્ષા કરવામાં આવશે.

• ક્લીકહાઉસ
• ઓડીસી
• સમયના એક બિંદુ સુધી પુનઃપ્રાપ્તિ (WAL-G)
• PostgreSQL (લોગ એરર, Amcheck, heapcheck સહિત)
• ગ્રીનપ્લમ

વિડિઓ:

હેલો વર્લ્ડ! મારું નામ આન્દ્રે બોરોડિન છે. અને Yandex.Cloud પર હું જે કરું છું તે Yandex.Cloud અને Yandex.Cloud ક્લાયંટના હિતમાં ખુલ્લા રિલેશનલ ડેટાબેસેસ વિકસાવે છે.

આ વાર્તાલાપમાં, અમે ખુલ્લા ડેટાબેસેસનો સામનો કરી રહેલા પડકારો વિશે વાત કરીશું. શા માટે તે મહત્વનું છે? કારણ કે નાની નાની સમસ્યાઓ જે મચ્છરની જેમ પછી હાથી બની જાય છે. જ્યારે તમારી પાસે ઘણા ક્લસ્ટર હોય ત્યારે તેઓ મોટા થાય છે.

પરંતુ તે મુખ્ય વસ્તુ નથી. અકલ્પનીય વસ્તુઓ થાય છે. એવી વસ્તુઓ જે એક મિલિયન કેસમાં થાય છે. અને મેઘ વાતાવરણમાં, તમારે તેના માટે તૈયાર રહેવું પડશે, કારણ કે જ્યારે કોઈ વસ્તુ માપસર અસ્તિત્વમાં હોય ત્યારે અવિશ્વસનીય વસ્તુઓ અત્યંત સંભવિત બની જાય છે.

પણ! ઓપન ડેટાબેઝનો ફાયદો શું છે? હકીકત એ છે કે તમારી પાસે કોઈપણ સમસ્યાનો સામનો કરવાની સૈદ્ધાંતિક તક છે. તમારી પાસે સ્રોત કોડ છે, તમારી પાસે પ્રોગ્રામિંગ જ્ઞાન છે. અમે તેને જોડીએ છીએ અને તે કામ કરે છે.

ઓપન સોર્સ સોફ્ટવેર પર કામ કરવા માટે કયા અભિગમો છે?

• સોફ્ટવેરનો ઉપયોગ કરવાનો સૌથી સરળ અભિગમ છે. જો તમે પ્રોટોકોલનો ઉપયોગ કરો છો, જો તમે ધોરણોનો ઉપયોગ કરો છો, જો તમે ફોર્મેટનો ઉપયોગ કરો છો, જો તમે ઓપન સોર્સ સોફ્ટવેરમાં ક્વેરી લખો છો, તો તમે તેને પહેલેથી જ સમર્થન આપો છો.
• તમે તેની ઇકોસિસ્ટમને મોટી બનાવી રહ્યાં છો. તમે બગની વહેલી શોધની સંભાવનાને વધારે બનાવો છો. તમે આ સિસ્ટમની વિશ્વસનીયતામાં વધારો કરો છો. તમે બજારમાં વિકાસકર્તાઓની ઉપલબ્ધતામાં વધારો કરો છો. તમે આ સોફ્ટવેરમાં સુધારો કરો. જો તમે હમણાં જ સ્ટાઈલ મેળવવાનું શરૂ કર્યું હોય અને ત્યાં કંઈક સાથે ટિંકર કર્યું હોય તો તમે પહેલેથી જ યોગદાનકર્તા છો.
• અન્ય સમજી શકાય તેવો અભિગમ ઓપન સોર્સ સોફ્ટવેરને સ્પોન્સર કરવાનો છે. ઉદાહરણ તરીકે, જાણીતો Google સમર ઑફ કોડ પ્રોગ્રામ, જ્યારે Google સમગ્ર વિશ્વમાંથી મોટી સંખ્યામાં વિદ્યાર્થીઓને સમજી શકાય તેવા નાણાં ચૂકવે છે જેથી તેઓ ખુલ્લા સોફ્ટવેર પ્રોજેક્ટ્સ વિકસાવે જે ચોક્કસ લાઇસન્સની આવશ્યકતાઓને પૂર્ણ કરે.
• આ એક ખૂબ જ રસપ્રદ અભિગમ છે કારણ કે તે સૉફ્ટવેરને સમુદાયમાંથી ધ્યાન કેન્દ્રિત કર્યા વિના વિકસિત થવા દે છે. ગૂગલ, એક ટેક્નોલોજી જાયન્ટ તરીકે, એવું નથી કહેતું કે અમને આ સુવિધા જોઈએ છે, અમે આ બગને ઠીક કરવા માંગીએ છીએ અને અહીં જ આપણે ખોદવાની જરૂર છે. ગૂગલ કહે છે: “તમે જે કરો છો તે કરો. તમે જે રીતે કામ કરી રહ્યા છો તે રીતે કામ કરવાનું ચાલુ રાખો અને બધું સારું થઈ જશે.”
• ઓપન સોર્સમાં ભાગ લેવાનો આગળનો અભિગમ એ સહભાગિતા છે. જ્યારે તમને ઓપન સોર્સ સોફ્ટવેરમાં કોઈ સમસ્યા હોય અને ડેવલપર્સ હોય, ત્યારે તમારા ડેવલપર્સ સમસ્યાઓનું નિરાકરણ કરવાનું શરૂ કરે છે. તેઓ તમારા ઈન્ફ્રાસ્ટ્રક્ચરને વધુ કાર્યક્ષમ બનાવવાનું શરૂ કરે છે, તમારા પ્રોગ્રામ્સને ઝડપી અને વધુ વિશ્વસનીય બનાવે છે.

ઓપન સોર્સ સોફ્ટવેરના ક્ષેત્રમાં સૌથી પ્રખ્યાત યાન્ડેક્ષ પ્રોજેક્ટ્સમાંનું એક ક્લિકહાઉસ છે. આ એક ડેટાબેઝ છે જેનો જન્મ Yandex.Metrica સામેના પડકારોના પ્રતિભાવ તરીકે થયો હતો.

અને ડેટાબેઝ તરીકે, તે ઇકોસિસ્ટમ બનાવવા અને તેને અન્ય વિકાસકર્તાઓ (માત્ર યાન્ડેક્ષમાં જ નહીં) સાથે મળીને વિકસાવવા માટે ઓપન સોર્સમાં બનાવવામાં આવ્યું હતું. અને હવે આ એક મોટો પ્રોજેક્ટ છે જેમાં ઘણી અલગ-અલગ કંપનીઓ સામેલ છે.

Yandex.Cloud માં, અમે યાન્ડેક્સ ઑબ્જેક્ટ સ્ટોરેજની ટોચ પર ક્લિકહાઉસ બનાવ્યું છે, એટલે કે ક્લાઉડ સ્ટોરેજની ટોચ પર.

વાદળમાં આ શા માટે મહત્વપૂર્ણ છે? કારણ કે કોઈપણ ડેટાબેઝ આ ત્રિકોણમાં, આ પિરામિડમાં, મેમરી પ્રકારોના આ પદાનુક્રમમાં કામ કરે છે. તમારી પાસે ઝડપી પરંતુ નાના રજીસ્ટર અને સસ્તા મોટા પરંતુ ધીમા SSDs, હાર્ડ ડ્રાઈવો અને કેટલાક અન્ય બ્લોક ઉપકરણો છે. અને જો તમે પિરામિડની ટોચ પર કાર્યક્ષમ છો, તો તમારી પાસે ઝડપી ડેટાબેઝ છે. જો તમે આ પિરામિડના તળિયે કાર્યક્ષમ છો, તો તમારી પાસે સ્કેલ કરેલ ડેટાબેઝ છે. અને આ સંદર્ભમાં, નીચેથી અન્ય સ્તર ઉમેરવું એ ડેટાબેઝની માપનીયતા વધારવા માટે એક તાર્કિક અભિગમ છે.

તે કેવી રીતે કરી શકાય? આ અહેવાલમાં આ એક મહત્વપૂર્ણ મુદ્દો છે.

• અમે MDS પર ક્લિકહાઉસનો અમલ કરી શકીએ છીએ. MDS એ આંતરિક યાન્ડેક્સ ક્લાઉડ સ્ટોરેજ ઇન્ટરફેસ છે. તે સામાન્ય S3 પ્રોટોકોલ કરતાં વધુ જટિલ છે, પરંતુ તે બ્લોક ઉપકરણ માટે વધુ યોગ્ય છે. ડેટા રેકોર્ડ કરવા માટે તે વધુ સારું છે. તેને વધુ પ્રોગ્રામિંગની જરૂર છે. પ્રોગ્રામર્સ પ્રોગ્રામ કરશે, તે પણ સારું છે, તે રસપ્રદ છે.
• S3 એ વધુ સામાન્ય અભિગમ છે જે ચોક્કસ પ્રકારના વર્કલોડ માટે ઓછા અનુકૂલનના ખર્ચે ઈન્ટરફેસને સરળ બનાવે છે.

સ્વાભાવિક રીતે, સમગ્ર ClickHouse ઇકોસિસ્ટમને કાર્યક્ષમતા પ્રદાન કરવા અને Yandex.Cloud ની અંદર જરૂરી કાર્ય કરવા ઇચ્છતા, અમે ખાતરી કરવાનું નક્કી કર્યું છે કે સમગ્ર ClickHouse સમુદાયને તેનો લાભ મળશે. અમે S3 પર ClickHouseનો અમલ કર્યો, MDS પર ClickHouse નહીં. અને આ ઘણું કામ છે.

સંદર્ભો:

https://github.com/ClickHouse/ClickHouse/pull/7946 "ફાઇલસિસ્ટમ એબ્સ્ટ્રેક્શન લેયર"
https://github.com/ClickHouse/ClickHouse/pull/8011 "AWS SDK S3 એકીકરણ"
https://github.com/ClickHouse/ClickHouse/pull/8649 "S3 માટે IDisk ઇન્ટરફેસનું મૂળભૂત અમલીકરણ"
https://github.com/ClickHouse/ClickHouse/pull/8356 "આઇડીસ્ક ઇન્ટરફેસ સાથે લોગ સ્ટોરેજ એન્જિનોનું એકીકરણ"
https://github.com/ClickHouse/ClickHouse/pull/8862 "S3 અને SeekableReadBuffer માટે લોગ એન્જિન સપોર્ટ"
https://github.com/ClickHouse/ClickHouse/pull/9128 "સ્ટોરેજ સ્ટ્રાઇપ લોગ S3 સપોર્ટ"
https://github.com/ClickHouse/ClickHouse/pull/9415 "S3 માટે સ્ટોરેજ મર્જટ્રી પ્રારંભિક સપોર્ટ"
https://github.com/ClickHouse/ClickHouse/pull/9646 "S3 માટે મર્જટ્રી સંપૂર્ણ સપોર્ટ"
https://github.com/ClickHouse/ClickHouse/pull/10126 "S3 પર ReplicatedMergeTree ને સપોર્ટ કરો"
https://github.com/ClickHouse/ClickHouse/pull/11134 "s3 સ્ટોરેજ માટે ડિફૉલ્ટ ઓળખપત્રો અને કસ્ટમ હેડરો ઉમેરો"
https://github.com/ClickHouse/ClickHouse/pull/10576 "ડાયનેમિક પ્રોક્સી રૂપરેખાંકન સાથે S3"
https://github.com/ClickHouse/ClickHouse/pull/10744 "પ્રોક્સી રિઝોલ્વર સાથે S3"

ક્લિકહાઉસમાં વર્ચ્યુઅલ ફાઇલ સિસ્ટમને અમલમાં મૂકવા માટે આ પુલ વિનંતી સૂચિ છે. આ પુલ વિનંતીઓની મોટી સંખ્યા છે.

સંદર્ભો:

https://github.com/ClickHouse/ClickHouse/pull/9760 "DiskS3 હાર્ડલિંક શ્રેષ્ઠ અમલીકરણ"
https://github.com/ClickHouse/ClickHouse/pull/11522 "S3 HTTP ક્લાયંટ - મેમરીમાં પ્રતિસાદ પ્રવાહની નકલ કરવાનું ટાળો"
https://github.com/ClickHouse/ClickHouse/pull/11561 “S3 HTTP માં મેમરીમાં સંપૂર્ણ પ્રતિભાવ સ્ટ્રીમની નકલ કરવાનું ટાળો
ગ્રાહક"
https://github.com/ClickHouse/ClickHouse/pull/13076 "S3 ડિસ્ક માટે કેશ માર્ક અને ઇન્ડેક્સ ફાઇલો કરવાની ક્ષમતા"
https://github.com/ClickHouse/ClickHouse/pull/13459 "ભાગોને ડિસ્કલોકલથી ડિસ્કએસ3 પર સમાંતરમાં ખસેડો"

પરંતુ કામ ત્યાં સમાપ્ત થયું નહીં. સુવિધા બન્યા પછી, આ કાર્યક્ષમતાને ઑપ્ટિમાઇઝ કરવા માટે કેટલાક વધુ કાર્યની જરૂર હતી.

સંદર્ભો:

https://github.com/ClickHouse/ClickHouse/pull/12638 "SelectedRows અને SelectedBytes ઇવેન્ટ્સ ઉમેરો"
https://github.com/ClickHouse/ClickHouse/pull/12464 "S3 વિનંતીથી system.events પર પ્રોફાઇલિંગ ઇવેન્ટ્સ ઉમેરો"
https://github.com/ClickHouse/ClickHouse/pull/13028 "QueryTimeMicroseconds, SelectQueryTimeMicroseconds અને InsertQueryTimeMicroseconds ઉમેરો"

અને પછી તેને નિદાન કરી શકાય તેવું બનાવવું, મોનિટરિંગ સેટ કરવું અને તેને મેનેજેબલ બનાવવું જરૂરી હતું.

અને આ બધું એટલા માટે કરવામાં આવ્યું કે સમગ્ર સમુદાયને, સમગ્ર ક્લિકહાઉસ ઇકોસિસ્ટમને આ કાર્યનું પરિણામ પ્રાપ્ત થયું.

ચાલો ટ્રાન્ઝેક્શનલ ડેટાબેસેસ તરફ, OLTP ડેટાબેસેસ તરફ આગળ વધીએ, જે વ્યક્તિગત રીતે મારી વધુ નજીક છે.

આ ઓપન સોર્સ DBMS વિકાસ વિભાગ છે. આ લોકો ટ્રાન્ઝેક્શનલ ઓપન ડેટાબેઝને સુધારવા માટે શેરી જાદુ કરી રહ્યા છે.

એક પ્રોજેક્ટ, જેના ઉદાહરણનો ઉપયોગ કરીને આપણે કેવી રીતે અને શું કરીએ છીએ તે વિશે વાત કરી શકીએ છીએ, પોસ્ટગ્રેસમાં કનેક્શન પૂલર છે.

પોસ્ટગ્રેસ એ પ્રોસેસ ડેટાબેઝ છે. આનો અર્થ એ છે કે ડેટાબેઝમાં શક્ય તેટલા ઓછા નેટવર્ક કનેક્શન્સ હોવા જોઈએ જે વ્યવહારોનું સંચાલન કરે છે.

બીજી બાજુ, ક્લાઉડ એન્વાયર્નમેન્ટમાં, એક લાક્ષણિક પરિસ્થિતિ એ છે કે જ્યારે એક સાથે હજાર કનેક્શન એક ક્લસ્ટરમાં આવે છે. અને કનેક્શન પૂલરનું કાર્ય હજાર કનેક્શન્સને થોડી સંખ્યામાં સર્વર કનેક્શન્સમાં પેક કરવાનું છે.

અમે કહી શકીએ કે કનેક્શન પૂલર એ ટેલિફોન ઓપરેટર છે જે બાઇટ્સને ફરીથી ગોઠવે છે જેથી કરીને તેઓ ડેટાબેઝ સુધી અસરકારક રીતે પહોંચી શકે.

કમનસીબે, કનેક્શન પૂલર માટે કોઈ સારો રશિયન શબ્દ નથી. કેટલીકવાર તેને મલ્ટિપ્લેક્સર કનેક્શન્સ કહેવામાં આવે છે. જો તમે જાણો છો કે કનેક્શન પૂલરને શું કહે છે, તો મને ચોક્કસ જણાવો, મને સાચી રશિયન તકનીકી ભાષા બોલવામાં ખૂબ આનંદ થશે.

https://pgconf.ru/2017/92899

અમે કનેક્શન પૂલરની તપાસ કરી જે મેનેજ્ડ પોસ્ટગ્રેસ ક્લસ્ટર માટે યોગ્ય હતા. અને PgBouncer અમારા માટે શ્રેષ્ઠ પસંદગી હતી. પરંતુ અમે PgBouncer સાથે સંખ્યાબંધ સમસ્યાઓનો સામનો કર્યો. ઘણા વર્ષો પહેલા, વોલોડ્યા બોરોડિને અહેવાલો આપ્યા હતા કે અમે પીજીબાઉન્સરનો ઉપયોગ કરીએ છીએ, અમને બધું ગમે છે, પરંતુ તેમાં ઘોંઘાટ છે, ત્યાં કામ કરવા માટે કંઈક છે.

https://pgconf.ru/media/2017/04/03/20170316H1_V.Borodin.pdf

અને અમે કામ કર્યું. અમે જે સમસ્યાઓનો સામનો કરવો પડ્યો તે અમે ઠીક કર્યો, અમે બાઉન્સરને પેચ કર્યો, અને પુલ વિનંતીઓને અપસ્ટ્રીમ પર દબાણ કરવાનો પ્રયાસ કર્યો. પરંતુ મૂળભૂત સિંગલ-થ્રેડીંગ સાથે કામ કરવું મુશ્કેલ હતું.

અમારે પેચ કરેલા બાઉન્સરો પાસેથી કાસ્કેડ એકત્રિત કરવાની હતી. જ્યારે અમારી પાસે ઘણા સિંગલ-થ્રેડેડ બાઉન્સર્સ હોય છે, ત્યારે ટોચના સ્તર પરના જોડાણો બાઉન્સરના આંતરિક સ્તરમાં સ્થાનાંતરિત થાય છે. આ એક નબળી વ્યવસ્થાપિત સિસ્ટમ છે જેનું નિર્માણ કરવું અને આગળ અને પાછળનું માપન કરવું મુશ્કેલ છે.

અમે નિષ્કર્ષ પર આવ્યા કે અમે અમારું પોતાનું કનેક્શન પૂલર બનાવ્યું છે, જેને ઓડિસી કહેવામાં આવે છે. અમે તેને શરૂઆતથી લખ્યું છે.

https://www.pgcon.org/2019/schedule/events/1312.en.html

2019 માં, PgCon કોન્ફરન્સમાં, મેં આ પૂલરને વિકાસકર્તા સમુદાય સમક્ષ રજૂ કર્યું. હવે GitHub પર અમારી પાસે 2 કરતાં થોડા ઓછા સ્ટાર્સ છે, એટલે કે પ્રોજેક્ટ જીવંત છે, પ્રોજેક્ટ લોકપ્રિય છે.

અને જો તમે Yandex.Cloud માં પોસ્ટગ્રેસ ક્લસ્ટર બનાવો છો, તો તે બિલ્ટ-ઇન ઓડિસી સાથેનું ક્લસ્ટર હશે, જે ક્લસ્ટરને પાછળ અથવા આગળ સ્કેલ કરતી વખતે ફરીથી ગોઠવવામાં આવે છે.

આ પ્રોજેક્ટમાંથી આપણે શું શીખ્યા? પ્રતિસ્પર્ધી પ્રોજેક્ટ શરૂ કરવો એ હંમેશા આક્રમક પગલું હોય છે, જ્યારે આપણે કહીએ છીએ કે એવી સમસ્યાઓ છે કે જે પૂરતા પ્રમાણમાં ઝડપથી ઉકેલાતી નથી, તે સમયના અંતરાલમાં હલ કરવામાં આવી રહી નથી જે આપણને અનુકૂળ આવે. પરંતુ આ એક અસરકારક માપ છે.

PgBouncer ઝડપથી વિકાસ કરવાનું શરૂ કર્યું.

અને હવે અન્ય પ્રોજેક્ટ્સ દેખાયા છે. ઉદાહરણ તરીકે, pgagroal, જે Red Hat વિકાસકર્તાઓ દ્વારા વિકસાવવામાં આવે છે. તેઓ સમાન લક્ષ્યોને અનુસરે છે અને સમાન વિચારોને અમલમાં મૂકે છે, પરંતુ, અલબત્ત, તેમની પોતાની વિશિષ્ટતાઓ સાથે, જે pgagroal વિકાસકર્તાઓની નજીક છે.

પોસ્ટગ્રેસ સમુદાય સાથે કામ કરવાનો બીજો કિસ્સો સમયના એક તબક્કે પુનઃસ્થાપિત થઈ રહ્યો છે. આ નિષ્ફળતા પછી પુનઃપ્રાપ્તિ છે, આ બેકઅપમાંથી પુનઃપ્રાપ્તિ છે.

ત્યાં ઘણા બેકઅપ છે અને તે બધા અલગ છે. લગભગ દરેક પોસ્ટગ્રેસ વિક્રેતા પાસે તેનું પોતાનું બેકઅપ સોલ્યુશન છે.

જો તમે બધી બેકઅપ સિસ્ટમ્સ લો, એક લક્ષણ મેટ્રિક્સ બનાવો અને મજાકમાં આ મેટ્રિક્સમાં નિર્ણાયકની ગણતરી કરો, તો તે શૂન્ય હશે. આનો મતલબ શું થયો? જો તમે ચોક્કસ બેકઅપ ફાઇલ લો છો, તો પછી તે અન્ય તમામ ટુકડાઓમાંથી એસેમ્બલ કરી શકાતી નથી. તે તેના અમલીકરણમાં અનન્ય છે, તે તેના હેતુમાં અનન્ય છે, તે તેનામાં જડિત વિચારોમાં અનન્ય છે. અને તે બધા ચોક્કસ છે.

https://www.citusdata.com/blog/2017/08/18/introducing-wal-g-faster-restores-for-postgres/

જ્યારે અમે આ મુદ્દા પર કામ કરી રહ્યા હતા, ત્યારે CitusData એ WAL-G પ્રોજેક્ટ શરૂ કર્યો. આ એક બેકઅપ સિસ્ટમ છે જે મેઘ વાતાવરણને ધ્યાનમાં રાખીને બનાવવામાં આવી હતી. હવે સિટસડેટા પહેલેથી જ માઇક્રોસોફ્ટનો ભાગ છે. અને તે ક્ષણે, WAL-G ના પ્રારંભિક પ્રકાશનોમાં મૂકવામાં આવેલા વિચારો અમને ખરેખર ગમ્યા. અને અમે આ પ્રોજેક્ટમાં યોગદાન આપવાનું શરૂ કર્યું.

https://github.com/wal-g/wal-g/graphs/contributors

હવે આ પ્રોજેક્ટમાં ઘણા ડઝનેક ડેવલપર્સ છે, પરંતુ WAL-Gમાં ટોચના 10 ફાળો આપનારાઓમાં 6 Yandexoidsનો સમાવેશ થાય છે. અમે ત્યાં અમારા ઘણા વિચારો લાવ્યા. અને, અલબત્ત, અમે તેને જાતે જ અમલમાં મૂક્યો, જાતે જ તેનું પરીક્ષણ કર્યું, તેને જાતે જ ઉત્પાદનમાં ફેરવ્યું, અમે તેનો જાતે ઉપયોગ કરીએ છીએ, મોટા WAL-G સમુદાય સાથે ક્રિયાપ્રતિક્રિયા કરતી વખતે અમે પોતે જ આગળ ક્યાં જવું તે શોધી કાઢીએ છીએ.

અને અમારા દૃષ્ટિકોણથી, હવે આ બેકઅપ સિસ્ટમ, અમારા પ્રયત્નોને ધ્યાનમાં લેવા સહિત, ક્લાઉડ પર્યાવરણ માટે શ્રેષ્ઠ બની ગઈ છે. આ ક્લાઉડમાં પોસ્ટગ્રેસનો બેકઅપ લેવાની શ્રેષ્ઠ કિંમત છે.

તેનો અર્થ શું છે? અમે એકદમ મોટા વિચારનો પ્રચાર કરી રહ્યા હતા: બેકઅપ સુરક્ષિત, ચલાવવા માટે સસ્તું અને પુનઃસ્થાપિત કરવા માટે શક્ય તેટલું ઝડપી હોવું જોઈએ.

શા માટે તે ચલાવવા માટે સસ્તું હોવું જોઈએ? જ્યારે કંઈ તૂટ્યું ન હોય, ત્યારે તમારે જાણવું ન જોઈએ કે તમારી પાસે બેકઅપ છે. બધું બરાબર કામ કરે છે, તમે શક્ય તેટલું ઓછું CPU બગાડો છો, તમે શક્ય તેટલું ઓછું તમારા ડિસ્ક સંસાધનોનો ઉપયોગ કરો છો, અને તમે શક્ય તેટલા થોડા બાઇટ્સ નેટવર્ક પર મોકલો છો જેથી કરીને તમારી મૂલ્યવાન સેવાઓના પેલોડમાં દખલ ન થાય.

અને જ્યારે બધું તૂટી જાય છે, ઉદાહરણ તરીકે, એડમિને ડેટા છોડી દીધો, કંઈક ખોટું થયું, અને તમારે તાત્કાલિક ભૂતકાળમાં પાછા જવાની જરૂર છે, તમે બધા પૈસા સાથે પુનઃપ્રાપ્ત કરો છો, કારણ કે તમે તમારો ડેટા ઝડપથી અને અકબંધ ઇચ્છો છો.

અને અમે આ સરળ વિચારને પ્રોત્સાહન આપ્યું. અને, તે અમને લાગે છે, અમે તેનો અમલ કરવામાં વ્યવસ્થાપિત છીએ.

પરંતુ તે બધુ જ નથી. અમે એક વધુ નાની વસ્તુ ઇચ્છતા હતા. અમને ઘણા અલગ અલગ ડેટાબેઝ જોઈતા હતા. અમારા બધા ગ્રાહકો પોસ્ટગ્રેસનો ઉપયોગ કરતા નથી. કેટલાક લોકો MySQL, MongoDB નો ઉપયોગ કરે છે. સમુદાયમાં, અન્ય વિકાસકર્તાઓએ FoundationDB ને સમર્થન આપ્યું છે. અને આ યાદી સતત વિસ્તરી રહી છે.

સમુદાયને ક્લાઉડમાં સંચાલિત વાતાવરણમાં ડેટાબેઝ ચલાવવાનો વિચાર ગમે છે. અને વિકાસકર્તાઓ તેમના ડેટાબેસેસને જાળવી રાખે છે, જેનો અમારી બેકઅપ સિસ્ટમ સાથે Postgres સાથે સમાન રીતે બેકઅપ લઈ શકાય છે.

આ વાર્તામાંથી આપણે શું શીખ્યા? આપણું ઉત્પાદન, વિકાસ વિભાગ તરીકે, કોડની રેખાઓ નથી, તે નિવેદનો નથી, તે ફાઇલો નથી. અમારું ઉત્પાદન પુલ વિનંતીઓ નથી. આ એવા વિચારો છે જે આપણે સમુદાય સુધી પહોંચાડીએ છીએ. આ તકનીકી કુશળતા અને ક્લાઉડ પર્યાવરણ તરફ ટેક્નોલોજીની હિલચાલ છે.

Postgres જેવા ડેટાબેઝ છે. મને પોસ્ટગ્રેસ કોર સૌથી વધુ ગમે છે. હું સમુદાય સાથે પોસ્ટગ્રેસ કોર વિકસાવવામાં ઘણો સમય પસાર કરું છું.

પરંતુ અહીં તે કહેવું આવશ્યક છે કે Yandex.Cloud માં સંચાલિત ડેટાબેસેસનું આંતરિક ઇન્સ્ટોલેશન છે. અને તે Yandex.Mail માં લાંબા સમય પહેલા શરૂ થયું હતું. નિપુણતા કે જે હવે મેનેજ પોસ્ટગ્રેસ તરફ દોરી ગઈ છે જ્યારે મેઇલ પોસ્ટગ્રેસમાં જવા માંગતી હતી ત્યારે સંચિત કરવામાં આવી હતી.

મેઇલની ક્લાઉડની સમાન આવશ્યકતાઓ છે. તે જરૂરી છે કે તમે તમારા ડેટામાં કોઈપણ સમયે અણધારી ઘાતાંકીય વૃદ્ધિને માપવામાં સક્ષમ હોવ. અને મેઇલમાં પહેલેથી જ મોટી સંખ્યામાં વપરાશકર્તાઓના કેટલાક લાખો મેઇલબોક્સનો ભાર હતો જેઓ સતત ઘણી વિનંતીઓ કરે છે.

અને પોસ્ટગ્રેસનો વિકાસ કરતી ટીમ માટે આ એક ગંભીર પડકાર હતો. તે સમયે, અમને આવી કોઈપણ સમસ્યાઓની જાણ સમુદાયને કરવામાં આવી હતી. અને આ સમસ્યાઓ સુધારવામાં આવી હતી, અને અમુક સ્થળોએ સમુદાય દ્વારા અમુક અન્ય ડેટાબેઝ માટે ચૂકવેલ સમર્થનના સ્તરે પણ સુધારેલ હતી અને તે પણ વધુ સારી. એટલે કે, તમે PgSQL હેકરને પત્ર મોકલી શકો છો અને 40 મિનિટની અંદર જવાબ પ્રાપ્ત કરી શકો છો. કેટલાક ડેટાબેસેસમાં પેઇડ સપોર્ટ એવું વિચારી શકે છે કે તમારી બગ કરતાં વધુ અગ્રતાવાળી વસ્તુઓ છે.

હવે પોસ્ટગ્રેસનું આંતરિક ઇન્સ્ટોલેશન ડેટાના કેટલાક પેટાબાઇટ્સ છે. આ પ્રતિ સેકન્ડમાં લાખો વિનંતીઓ છે. આ હજારો ક્લસ્ટરો છે. તે ખૂબ મોટા પાયે છે.

પરંતુ એક સૂક્ષ્મતા છે. તે ફેન્સી નેટવર્ક ડ્રાઇવ્સ પર નહીં, પરંતુ એકદમ સરળ હાર્ડવેર પર રહે છે. અને ખાસ કરીને રસપ્રદ નવી વસ્તુઓ માટે પરીક્ષણ વાતાવરણ છે.

અને પરીક્ષણ વાતાવરણમાં ચોક્કસ ક્ષણે અમને ડેટાબેઝ અનુક્રમણિકાઓના આંતરિક અવ્યવસ્થાનું ઉલ્લંઘન થયું હોવાનું દર્શાવતો સંદેશ પ્રાપ્ત થયો.

અપરિવર્તન એ અમુક પ્રકારનો સંબંધ છે જેને આપણે હંમેશા રાખવાની અપેક્ષા રાખીએ છીએ.

અમારા માટે ખૂબ જ જટિલ પરિસ્થિતિ. તે સૂચવે છે કે કેટલાક ડેટા ખોવાઈ ગયા હોઈ શકે છે. અને ડેટા ગુમાવવો એ એકદમ આપત્તિજનક છે.

મેનેજ્ડ ડેટાબેસેસમાં આપણે જે સામાન્ય વિચારને અનુસરીએ છીએ તે એ છે કે પ્રયત્નો છતાં, ડેટા ગુમાવવો મુશ્કેલ બનશે. જો તમે ઇરાદાપૂર્વક તેમને દૂર કરો છો, તો પણ તમારે લાંબા સમય સુધી તેમની ગેરહાજરીને અવગણવાની જરૂર પડશે. ડેટા સિક્યોરિટી એ એક ધર્મ છે જેને આપણે ખૂબ જ ખંતપૂર્વક અનુસરીએ છીએ.

અને અહીં એવી પરિસ્થિતિ ઊભી થાય છે જે સૂચવે છે કે એવી પરિસ્થિતિ હોઈ શકે છે જેના માટે આપણે તૈયાર ન હોઈએ. અને અમે આ પરિસ્થિતિ માટે તૈયારી કરવાનું શરૂ કર્યું.

https://commitfest.postgresql.org/23/2171/

અમે પ્રથમ વસ્તુ આ હજારો ક્લસ્ટરોમાંથી લોગને દફનાવી હતી. અમે શોધી કાઢ્યું કે કયા ક્લસ્ટરો ડિસ્ક પર સ્થિત હતા સમસ્યારૂપ ફર્મવેર કે જે ડેટા પૃષ્ઠ અપડેટ્સ ગુમાવી રહ્યા હતા. બધા પોસ્ટગ્રેસ ડેટા કોડને માર્ક અપ કર્યો. અને અમે તે સંદેશાઓને ચિહ્નિત કર્યા છે જે ડેટા ભ્રષ્ટાચારને શોધવા માટે રચાયેલ કોડ સાથે આંતરિક અવ્યવસ્થાના ઉલ્લંઘનને સૂચવે છે.

આ પેચને સમુદાય દ્વારા વધુ ચર્ચા કર્યા વિના વ્યવહારીક રીતે સ્વીકારવામાં આવ્યો હતો, કારણ કે દરેક ચોક્કસ કિસ્સામાં તે સ્પષ્ટ હતું કે કંઈક ખરાબ થયું હતું અને લોગને જાણ કરવાની જરૂર હતી.

આ પછી, અમે એવા મુદ્દા પર આવ્યા કે અમારી પાસે મોનિટરિંગ છે જે લોગને સ્કેન કરે છે. અને શંકાસ્પદ સંદેશાઓના કિસ્સામાં, તે ફરજ અધિકારીને જગાડે છે, અને ફરજ અધિકારી તેનું સમારકામ કરે છે.

પણ! લોગ સ્કેન કરવું એ એક ક્લસ્ટર પર સસ્તું ઓપરેશન છે અને હજાર ક્લસ્ટર માટે આપત્તિજનક રીતે ખર્ચાળ છે.

અમે નામનું એક્સ્ટેંશન લખ્યું લોગરો. તે ડેટાબેઝનું દૃશ્ય બનાવે છે જેમાં તમે ભૂતકાળની ભૂલો પરના આંકડા સસ્તા અને ઝડપથી પસંદ કરી શકો છો. અને જો આપણે ફરજ અધિકારીને જગાડવાની જરૂર હોય, તો અમે ગીગાબાઈટ ફાઇલોને સ્કેન કર્યા વિના, પરંતુ હેશ ટેબલમાંથી થોડા બાઈટ કાઢીને આ વિશે શોધીશું.

આ એક્સ્ટેંશન અપનાવવામાં આવ્યું છે, ઉદાહરણ તરીકે, માટે રીપોઝીટરીમાં CentOS. જો તમે તેનો ઉપયોગ કરવા માંગતા હો, તો તમે તેને જાતે ઇન્સ્ટોલ કરી શકો છો. અલબત્ત તે ઓપન સોર્સ છે.

https://www.postgresql.org/message-id/flat/[ઇમેઇલ સુરક્ષિત]

પરંતુ તે બધુ જ નથી. અમે અનુક્રમણિકાઓમાં અપરિવર્તનશીલ ઉલ્લંઘનો શોધવા માટે, સમુદાય-નિર્મિત એક્સ્ટેંશન, Amcheck નો ઉપયોગ કરવાનું શરૂ કર્યું.

અને અમને જાણવા મળ્યું કે જો તમે તેને સ્કેલ પર ચલાવો છો, તો તેમાં બગ્સ છે. અમે તેમને ઠીક કરવાનું શરૂ કર્યું. અમારા સુધારા સ્વીકારવામાં આવ્યા છે.

https://www.postgresql.org/message-id/flat/[ઇમેઇલ સુરક્ષિત]

અમે શોધ્યું કે આ એક્સ્ટેંશન GiST અને GIT ઇન્ડેક્સનું વિશ્લેષણ કરી શકતું નથી. અમે તેમને આધાર બનાવ્યો. પરંતુ સમુદાય દ્વારા હજી પણ આ સમર્થનની ચર્ચા કરવામાં આવી રહી છે, કારણ કે આ પ્રમાણમાં નવી કાર્યક્ષમતા છે અને ત્યાં ઘણી બધી વિગતો છે.

https://commitfest.postgresql.org/29/2667/

અને અમે એ પણ શોધી કાઢ્યું છે કે જ્યારે પ્રતિકૃતિ નેતા, માસ્ટર પર ઉલ્લંઘન માટે અનુક્રમણિકાઓ તપાસે છે, ત્યારે બધું બરાબર કામ કરે છે, પરંતુ પ્રતિકૃતિઓ પર, અનુયાયી પર, ભ્રષ્ટાચારની શોધ એટલી અસરકારક નથી. બધા અપરિવર્તન ચકાસાયેલ નથી. અને એક અનિવાર્ય અમને ખૂબ જ હેરાન કરે છે. અને પ્રતિકૃતિઓ પર આ ચેકને સક્ષમ કરવા માટે અમે સમુદાય સાથે વાતચીત કરવામાં દોઢ વર્ષ પસાર કર્યા.

અમે કોડ લખ્યો છે જે તમામ કરી શકે છે... પ્રોટોકોલ્સને અનુસરવા જોઈએ. અમે ક્રન્ચી ડેટામાંથી પીટર ગગન સાથે આ પેચ પર થોડા સમય માટે ચર્ચા કરી. આ પેચ સ્વીકારવા માટે તેણે પોસ્ટગ્રેસમાં હાલના બી-ટ્રીમાં થોડો ફેરફાર કરવો પડ્યો. તેનો સ્વીકાર કરવામાં આવ્યો. અને હવે પ્રતિકૃતિઓ પર અનુક્રમણિકાઓ તપાસવી એ પણ પૂરતું અસરકારક બન્યું છે કે અમે જે ઉલ્લંઘનો અનુભવ્યા તે શોધી શકાય. એટલે કે, આ ઉલ્લંઘનો છે જે ડિસ્ક ફર્મવેરમાં ભૂલો, પોસ્ટગ્રેસમાં ભૂલો, Linux કર્નલમાં ભૂલો અને હાર્ડવેર સમસ્યાઓને કારણે થઈ શકે છે. સમસ્યાઓના સ્ત્રોતોની તદ્દન વિસ્તૃત સૂચિ જેના માટે અમે તૈયારી કરી રહ્યા હતા.

https://www.postgresql.org/message-id/flat/38AF687F-8F6B-48B4-AB9E-A60CFD6CC261%40enterprisedb.com#0e86a12c01d967bac04a9bf83cd337cb

પરંતુ અનુક્રમણિકાઓ ઉપરાંત, ઢગલા જેવો એક ભાગ છે, એટલે કે તે સ્થાન જ્યાં ડેટા સંગ્રહિત થાય છે. અને એવા ઘણા અપ્રિય નથી કે જેને તપાસી શકાય.

અમારી પાસે Heapcheck નામનું એક્સ્ટેંશન છે. અમે તેને વિકસાવવાનું શરૂ કર્યું. અને સમાંતર, અમારી સાથે, એન્ટરપ્રાઇઝડીબી કંપનીએ પણ એક મોડ્યુલ લખવાનું શરૂ કર્યું, જેને તેઓ તે જ રીતે Heapcheck કહે છે. માત્ર અમે તેને PgHeapcheck કહીએ છીએ, અને તેઓ તેને માત્ર Heapcheck કહે છે. તેમની પાસે તે સમાન કાર્યો સાથે છે, થોડી અલગ સહી છે, પરંતુ સમાન વિચારો સાથે. તેઓએ તેમને કેટલીક જગ્યાએ થોડો વધુ સારી રીતે અમલમાં મૂક્યો. અને તેઓએ તેને પહેલા ઓપન સોર્સમાં પોસ્ટ કર્યું હતું.

અને હવે અમે તેમના વિસ્તરણનો વિકાસ કરી રહ્યા છીએ, કારણ કે તે હવે તેમનું વિસ્તરણ નથી, પરંતુ સમુદાયનું વિસ્તરણ છે. અને ભવિષ્યમાં, આ કર્નલનો એક ભાગ છે જે દરેકને પૂરો પાડવામાં આવશે જેથી તેઓ ભવિષ્યની સમસ્યાઓ વિશે અગાઉથી જાણી શકે.

https://www.postgresql.org/message-id/flat/fe9b3722df94f7bdb08768f50ee8fe59%40postgrespro.ru

કેટલાક સ્થળોએ, અમે એવા નિષ્કર્ષ પર પણ આવ્યા છીએ કે અમારી મોનિટરિંગ સિસ્ટમ્સમાં અમારી પાસે ખોટા હકારાત્મક છે. ઉદાહરણ તરીકે, 1C સિસ્ટમ. ડેટાબેઝનો ઉપયોગ કરતી વખતે, Postgres કેટલીકવાર તેમાં ડેટા લખે છે જે તે વાંચી શકે છે, પરંતુ pg_dump વાંચી શકતું નથી.

આ પરિસ્થિતિ અમારી સમસ્યા શોધ પ્રણાલીમાં ભ્રષ્ટાચાર જેવી લાગતી હતી. ફરજ પરના અધિકારી જાગી ગયા હતા. ફરજ પરના અધિકારીએ શું થઈ રહ્યું છે તે જોયું. થોડા સમય પછી, એક ગ્રાહક આવ્યો અને કહ્યું કે મને સમસ્યા છે. એટેન્ડન્ટે સમજાવ્યું કે સમસ્યા શું છે. પરંતુ સમસ્યા પોસ્ટગ્રેસ કોરમાં છે.

મને આ સુવિધા વિશે ચર્ચા મળી. અને તેણે લખ્યું કે અમે આ સુવિધાનો સામનો કર્યો અને તે અપ્રિય હતું, તે શું છે તે શોધવા માટે એક વ્યક્તિ રાત્રે જાગી ગયો.

https://www.postgresql.org/message-id/flat/fe9b3722df94f7bdb08768f50ee8fe59%40postgrespro.ru

સમુદાયે જવાબ આપ્યો, "ઓહ, આપણે ખરેખર તેને ઠીક કરવાની જરૂર છે."

મારી પાસે એક સરળ સામ્ય છે. જો તમે એવા જૂતામાં ચાલતા હોવ કે જેમાં રેતીનો દાણો હોય, તો પછી, સૈદ્ધાંતિક રીતે, તમે આગળ વધી શકો છો - કોઈ સમસ્યા નથી. જો તમે હજારો લોકોને બૂટ વેચો છો, તો ચાલો રેતી વિના જ બૂટ બનાવીએ. અને જો તમારા જૂતાના વપરાશકર્તાઓમાંથી એક મેરેથોન દોડવા જઈ રહ્યો છે, તો તમે ખૂબ જ સારા જૂતા બનાવવા માંગો છો, અને પછી તેને તમારા બધા વપરાશકર્તાઓ સુધી માપવા માંગો છો. અને આવા અનપેક્ષિત વપરાશકર્તાઓ હંમેશા ક્લાઉડ વાતાવરણમાં હોય છે. એવા વપરાશકર્તાઓ હંમેશા હોય છે કે જેઓ ક્લસ્ટરનું અમુક મૂળ રીતે શોષણ કરે છે. તમારે આ માટે હંમેશા તૈયાર રહેવું જોઈએ.

આપણે અહીં શું શીખ્યા? અમે એક સરળ વસ્તુ શીખ્યા: સૌથી મહત્વની બાબત એ છે કે સમુદાયને સમજાવવું કે કોઈ સમસ્યા છે. જો સમુદાયે સમસ્યાને ઓળખી લીધી હોય, તો સમસ્યાના ઉકેલ માટે કુદરતી સ્પર્ધા ઊભી થાય છે. કારણ કે દરેક વ્યક્તિ મહત્વની સમસ્યાનો ઉકેલ લાવવા માંગે છે. બધા વિક્રેતાઓ, બધા હેકર્સ સમજે છે કે તેઓ પોતે આ રેક પર પગ મૂકી શકે છે, તેથી તેઓ તેમને ખતમ કરવા માંગે છે.

જો તમે કોઈ સમસ્યા પર કામ કરી રહ્યા છો, પરંતુ તે તમારા સિવાય કોઈને પરેશાન કરતું નથી, પરંતુ તમે તેના પર વ્યવસ્થિત રીતે કામ કરો છો અને આખરે તેને સમસ્યા માનવામાં આવે છે, તો તમારી પુલ વિનંતી ચોક્કસપણે સ્વીકારવામાં આવશે. તમારો પેચ સ્વીકારવામાં આવશે, તમારા સુધારાઓ અથવા સુધારણા માટેની વિનંતીઓની સમુદાય દ્વારા સમીક્ષા કરવામાં આવશે. દિવસના અંતે, અમે ડેટાબેઝને એકબીજા માટે બહેતર બનાવીએ છીએ.

એક રસપ્રદ ડેટાબેઝ ગ્રીનપ્લમ છે. તે પોસ્ટગ્રેસ કોડબેઝ પર આધારિત અત્યંત સમાંતર ડેટાબેઝ છે, જેની સાથે હું ખૂબ જ પરિચિત છું.

https://greenplum.org/greenplum-database-tables-compression/

અને ગ્રીનપ્લમમાં રસપ્રદ કાર્યક્ષમતા છે - ઑપ્ટિમાઇઝ કોષ્ટકો જોડો. આ કોષ્ટકો છે જે તમે ઝડપથી ઉમેરી શકો છો. તેઓ કાં તો સ્તંભાકાર અથવા પંક્તિ હોઈ શકે છે.

પરંતુ ત્યાં કોઈ ક્લસ્ટરિંગ નહોતું, એટલે કે ત્યાં કોઈ કાર્યક્ષમતા ન હતી જ્યાં તમે કોષ્ટકમાં સ્થિત ડેટાને અનુક્રમણિકાઓમાંના એકમાંના ક્રમ અનુસાર ગોઠવી શકો.

ટેક્સીમાંથી છોકરાઓ મારી પાસે આવ્યા અને કહ્યું: “એન્ડ્રે, તમે પોસ્ટગ્રેસને જાણો છો. અને અહીં તે લગભગ સમાન છે. 20 મિનિટ પર સ્વિચ કરો. તમે તે લો અને તે કરો." મેં વિચાર્યું કે હા, હું પોસ્ટગ્રેસને જાણું છું, 20 મિનિટ માટે સ્વિચ કરી રહ્યો છું - મારે આ કરવાની જરૂર છે.

https://github.com/greenplum-db/gpdb/commit/179feb77a034c2547021d675082aae0911be40f7

પરંતુ ના, તે 20 મિનિટનો ન હતો, મેં તેને મહિનાઓમાં લખ્યો હતો. PgConf.Russia કોન્ફરન્સમાં, મેં Pivotal ના Heikki Linkangas નો સંપર્ક કર્યો અને પૂછ્યું: “શું આમાં કોઈ સમસ્યા છે? શા માટે કોઈ ઑપ્ટિમાઇઝ ટેબલ ક્લસ્ટરિંગ જોડવામાં આવતું નથી?" તે કહે છે: “તમે ડેટા લો. તમે સૉર્ટ કરો, તમે ફરીથી ગોઠવો. તે માત્ર એક કામ છે." હું: "ઓહ, હા, તમારે ફક્ત તેને લેવાની અને તે કરવાની જરૂર છે." તે કહે છે: "હા, અમને આ કરવા માટે મુક્ત હાથની જરૂર છે." મેં વિચાર્યું કે મારે ચોક્કસપણે આ કરવાની જરૂર છે.

અને થોડા મહિના પછી મેં એક પુલ વિનંતી સબમિટ કરી જેણે આ કાર્યક્ષમતાને અમલમાં મૂકી. આ પુલ વિનંતીની સમીક્ષા પીવોટલ દ્વારા સમુદાય સાથે મળીને કરવામાં આવી હતી. અલબત્ત, ત્યાં ભૂલો હતી.

https://github.com/greenplum-db/gpdb/issues/10150

પરંતુ સૌથી રસપ્રદ વાત એ છે કે જ્યારે આ પુલ રિક્વેસ્ટ મર્જ કરવામાં આવી ત્યારે ગ્રીનપ્લમમાં જ બગ્સ જોવા મળ્યા હતા. અમને જાણવા મળ્યું છે કે ઢગલા કોષ્ટકો જ્યારે ક્લસ્ટર હોય ત્યારે કેટલીકવાર વ્યવહારિકતાને તોડે છે. અને આ એક એવી વસ્તુ છે જેને ઠીક કરવાની જરૂર છે. અને તે તે જગ્યાએ છે જ્યાં મેં હમણાં જ સ્પર્શ કર્યો છે. અને મારી કુદરતી પ્રતિક્રિયા હતી - ઠીક છે, મને પણ આ કરવા દો.

https://github.com/greenplum-db/gpdb/pull/10290

મેં આ ભૂલ સુધારી છે. ફિક્સર્સને પુલ વિનંતી મોકલી. તેની હત્યા કરવામાં આવી હતી.

https://github.com/greenplum-db/gpdb-postgres-merge/pull/53

જે પછી તે બહાર આવ્યું કે આ કાર્યક્ષમતા PostgreSQL 12 માટે ગ્રીનપ્લમ સંસ્કરણમાં મેળવવાની જરૂર છે. એટલે કે, 20-મિનિટનું સાહસ નવા રસપ્રદ સાહસો સાથે ચાલુ રહે છે. વર્તમાન વિકાસને સ્પર્શવું રસપ્રદ હતું, જ્યાં સમુદાય નવી અને સૌથી મહત્વપૂર્ણ સુવિધાઓને કાપી રહ્યો છે. તે સ્થિર છે.

https://github.com/greenplum-db/gpdb/pull/10565

પરંતુ તે ત્યાં સમાપ્ત થયું નહીં. બધું પછી, તે બહાર આવ્યું કે અમારે આ બધા માટે દસ્તાવેજો લખવાની જરૂર છે.

મેં દસ્તાવેજો લખવાનું શરૂ કર્યું. સદભાગ્યે, પિવોટલના દસ્તાવેજી લેખકો સાથે આવ્યા. અંગ્રેજી તેમની મૂળ ભાષા છે. તેઓએ મને દસ્તાવેજીકરણમાં મદદ કરી. વાસ્તવમાં, તેઓએ પોતે જ મેં જે પ્રસ્તાવ મૂક્યો હતો તે વાસ્તવિક અંગ્રેજીમાં ફરીથી લખ્યો.

અને અહીં, એવું લાગે છે, સાહસ સમાપ્ત થયું. અને પછી શું થયું તે તમે જાણો છો? ટેક્સીમાંથી છોકરાઓ મારી પાસે આવ્યા અને કહ્યું: "હજી બે સાહસ બાકી છે, દરેક 10 મિનિટ માટે." અને મારે તેમને શું કહેવું જોઈએ? મેં કહ્યું કે હવે હું સ્કેલ પર રિપોર્ટ આપીશ, પછી અમે તમારા સાહસો જોઈશું, કારણ કે આ એક રસપ્રદ કામ છે.

આ કેસમાંથી આપણે શું શીખ્યા? કારણ કે ઓપન સોર્સ સાથે કામ કરવું એ હંમેશા ચોક્કસ વ્યક્તિ સાથે કામ કરે છે, તે હંમેશા સમુદાય સાથે કામ કરે છે. કારણ કે દરેક તબક્કે મેં કોઈક ડેવલપર, કોઈ ટેસ્ટર, કોઈ હેકર, કોઈ ડોક્યુમેન્ટરી, કોઈ આર્કિટેક્ટ સાથે કામ કર્યું છે. મેં ગ્રીનપ્લમ સાથે કામ કર્યું નથી, મેં ગ્રીનપ્લમની આસપાસના લોકો સાથે કામ કર્યું છે.

પણ! બીજો મહત્વનો મુદ્દો છે - તે માત્ર કામ છે. એટલે કે, તમે આવો, કોફી પીઓ, કોડ લખો. તમામ પ્રકારના સરળ ઇન્વેરિઅન્ટ્સ કામ કરે છે. તે સામાન્ય રીતે કરો - તે સારું રહેશે! અને તે એકદમ રસપ્રદ કામ છે. Yandex.Cloud ક્લાયંટ, Yandex ની અંદર અને બહાર બંને અમારા ક્લસ્ટરના વપરાશકર્તાઓ તરફથી આ કાર્ય માટે વિનંતી છે. અને મને લાગે છે કે અમે જે પ્રોજેક્ટ્સમાં ભાગ લઈશું તેની સંખ્યા વધશે અને અમારી સંડોવણીની ઊંડાઈ પણ વધશે.

બસ એટલું જ. ચાલો પ્રશ્નો તરફ આગળ વધીએ.

પ્રશ્નો સત્ર

નમસ્તે! અમારી પાસે બીજું પ્રશ્ન અને જવાબ સત્ર છે. અને સ્ટુડિયો આન્દ્રે બોરોદિનમાં. આ તે વ્યક્તિ છે જેણે હમણાં જ તમને Yandex.Cloud અને Yandex ના ઓપન સોર્સમાં યોગદાન વિશે જણાવ્યું છે. અમારો અહેવાલ હવે સંપૂર્ણપણે ક્લાઉડ વિશે નથી, પરંતુ તે જ સમયે અમે આવી તકનીકો પર આધારિત છીએ. તમે યાન્ડેક્સની અંદર જે કર્યું તે વિના, Yandex.Cloud માં કોઈ સેવા હશે નહીં, તેથી મારા તરફથી વ્યક્તિગત રૂપે આભાર. અને પ્રસારણમાંથી પ્રથમ પ્રશ્ન: "તમે ઉલ્લેખ કરેલા દરેક પ્રોજેક્ટ પર શું લખાયેલું છે?"

WAL-G માં બેકઅપ સિસ્ટમ Go માં લખેલી છે. અમે જે નવા પ્રોજેક્ટ પર કામ કર્યું છે તેમાંથી આ એક છે. તે શાબ્દિક રીતે માત્ર 3 વર્ષનો છે. અને ડેટાબેઝ ઘણીવાર વિશ્વસનીયતા વિશે હોય છે. અને આનો અર્થ એ થયો કે ડેટાબેઝ ખૂબ જૂના છે અને તે સામાન્ય રીતે C માં લખવામાં આવે છે. પોસ્ટગ્રેસ પ્રોજેક્ટ લગભગ 30 વર્ષ પહેલાં શરૂ થયો હતો. પછી C89 એ યોગ્ય પસંદગી હતી. અને તેના પર Postgres લખેલું છે. વધુ આધુનિક ડેટાબેઝ જેમ કે ક્લિકહાઉસ સામાન્ય રીતે C++ માં લખવામાં આવે છે. તમામ સિસ્ટમ વિકાસ C અને C++ ની આસપાસ આધારિત છે.

અમારા ફાઇનાન્શિયલ મેનેજર તરફથી એક પ્રશ્ન, જે ક્લાઉડ પર ખર્ચ માટે જવાબદાર છે: "શા માટે ક્લાઉડ ઓપન સોર્સને સપોર્ટ કરવા માટે નાણાં ખર્ચે છે?"

નાણાકીય વ્યવસ્થાપક માટે અહીં એક સરળ જવાબ છે. અમે અમારી સેવાઓને બહેતર બનાવવા માટે આવું કરીએ છીએ. કઈ રીતે આપણે વધુ સારું કરી શકીએ? અમે વસ્તુઓને વધુ કાર્યક્ષમ રીતે, ઝડપી બનાવી શકીએ છીએ અને વસ્તુઓને વધુ સ્કેલેબલ બનાવી શકીએ છીએ. પરંતુ અમારા માટે, આ વાર્તા મુખ્યત્વે વિશ્વસનીયતા વિશે છે. ઉદાહરણ તરીકે, બેકઅપ સિસ્ટમમાં અમે 100% પેચોની સમીક્ષા કરીએ છીએ જે તેને લાગુ પડે છે. અમે જાણીએ છીએ કે કોડ શું છે. અને અમે ઉત્પાદન માટે નવા સંસ્કરણો રજૂ કરવામાં વધુ આરામદાયક છીએ. એટલે કે, સૌ પ્રથમ, તે આત્મવિશ્વાસ વિશે, વિકાસ માટેની તૈયારી વિશે અને વિશ્વસનીયતા વિશે છે

બીજો પ્રશ્ન: "શું Yandex.Cloud માં રહેતા બાહ્ય વપરાશકર્તાઓની જરૂરિયાતો આંતરિક ક્લાઉડમાં રહેતા આંતરિક વપરાશકર્તાઓ કરતાં અલગ છે?"

લોડ પ્રોફાઇલ, અલબત્ત, અલગ છે. પરંતુ મારા વિભાગના દૃષ્ટિકોણથી, બધા વિશિષ્ટ અને રસપ્રદ કેસો બિન-માનક લોડ પર બનાવવામાં આવ્યા છે. કલ્પના સાથે વિકાસકર્તાઓ, વિકાસકર્તાઓ જેઓ અણધારી રીતે કરે છે, તેઓ આંતરિક અને બાહ્ય બંને રીતે જોવા મળે તેવી શક્યતા છે. આ સંદર્ભમાં, આપણે બધા લગભગ સમાન છીએ. અને, સંભવતઃ, ડેટાબેઝના યાન્ડેક્ષ ઓપરેશનની અંદર એકમાત્ર મહત્વની વિશેષતા એ હશે કે યાન્ડેક્સની અંદર આપણી પાસે એક શિક્ષણ છે. અમુક સમયે, અમુક પ્રાપ્યતા ઝોન સંપૂર્ણપણે પડછાયામાં જાય છે, અને બધી યાન્ડેક્સ સેવાઓએ આ હોવા છતાં કોઈક રીતે કાર્ય કરવાનું ચાલુ રાખવું જોઈએ. આ એક નાનો તફાવત છે. પરંતુ તે ડેટાબેઝ અને નેટવર્ક સ્ટેકના ઇન્ટરફેસ પર ઘણો સંશોધન વિકાસ બનાવે છે. નહિંતર, બાહ્ય અને આંતરિક સ્થાપનો લક્ષણો માટે સમાન વિનંતીઓ અને વિશ્વસનીયતા અને કામગીરી સુધારવા માટે સમાન વિનંતીઓ જનરેટ કરે છે.

આગળનો પ્રશ્ન: "તમે જે કરો છો તેનો મોટાભાગનો ઉપયોગ અન્ય ક્લાઉડ્સ દ્વારા કરવામાં આવે છે તે હકીકત વિશે તમને વ્યક્તિગત રીતે કેવું લાગે છે?" અમે ચોક્કસ નામ આપીશું નહીં, પરંતુ ઘણા પ્રોજેક્ટ્સ કે જે Yandex.Cloud માં કરવામાં આવ્યા હતા તેનો ઉપયોગ અન્ય લોકોના વાદળોમાં થાય છે.

આ ઠંડી છે. પ્રથમ, તે એક સંકેત છે કે અમે કંઈક યોગ્ય કર્યું છે. અને તે અહંકારને ઉઝરડા કરે છે. અને અમને વધુ વિશ્વાસ છે કે અમે સાચો નિર્ણય લીધો છે. બીજી બાજુ, આ આશા છે કે ભવિષ્યમાં આ અમને નવા વિચારો, તૃતીય-પક્ષ વપરાશકર્તાઓ તરફથી નવી વિનંતીઓ લાવશે. GitHub પરની મોટાભાગની સમસ્યાઓ વ્યક્તિગત સિસ્ટમ એડમિનિસ્ટ્રેટર્સ, વ્યક્તિગત DBA, વ્યક્તિગત આર્કિટેક્ટ, વ્યક્તિગત એન્જિનિયરો દ્વારા બનાવવામાં આવે છે, પરંતુ કેટલીકવાર વ્યવસ્થિત અનુભવ ધરાવતા લોકો આવે છે અને કહે છે કે 30% ચોક્કસ કિસ્સાઓમાં અમને આ સમસ્યા છે અને ચાલો તેને કેવી રીતે ઉકેલવું તે વિશે વિચારીએ. આ તે છે જેની આપણે સૌથી વધુ રાહ જોઈ રહ્યા છીએ. અમે અન્ય ક્લાઉડ પ્લેટફોર્મ સાથે અનુભવો શેર કરવા આતુર છીએ.

તમે મેરેથોન વિશે ઘણી વાત કરી. હું જાણું છું કે તમે મોસ્કોમાં મેરેથોન દોડી હતી. પરિણામ સ્વરૂપ? PostgreSQL ના છોકરાઓને આગળ નીકળી ગયા?

ના, ઓલેગ બાર્ટુનોવ ખૂબ જ ઝડપથી દોડે છે. તેણે મારાથી એક કલાક આગળ કામ પૂરું કર્યું. એકંદરે, હું કેટલો આગળ આવ્યો તેનાથી હું ખુશ છું. મારા માટે, ફક્ત સમાપ્ત કરવું એ એક સિદ્ધિ હતી. એકંદરે, તે આશ્ચર્યજનક છે કે પોસ્ટગ્રેસ સમુદાયમાં ઘણા દોડવીરો છે. મને લાગે છે કે એરોબિક સ્પોર્ટ્સ અને સિસ્ટમ્સ પ્રોગ્રામિંગની ઇચ્છા વચ્ચે અમુક પ્રકારનો સંબંધ છે.

શું તમે કહો છો કે ક્લિકહાઉસ પર કોઈ રનર્સ નથી?

હું ખાતરીપૂર્વક જાણું છું કે તેઓ ત્યાં છે. ક્લિકહાઉસ પણ એક ડેટાબેઝ છે. માર્ગ દ્વારા, ઓલેગ હવે મને લખી રહ્યો છે: "શું આપણે અહેવાલ પછી દોડવા જઈશું?" આ એક મહાન વિચાર છે.

નિકિતાના પ્રસારણમાંથી બીજો પ્રશ્ન: "તમે જાતે જ ગ્રીનપ્લમમાં બગ કેમ ઠીક કર્યો અને જુનિયર્સને કેમ ન આપ્યો?" સાચું, બગ શું છે અને કઈ સેવામાં છે તે બહુ સ્પષ્ટ નથી, પરંતુ તેનો અર્થ કદાચ તમે જેના વિશે વાત કરી છે.

હા, સૈદ્ધાંતિક રીતે, તે કોઈને આપી શકાયું હોત. તે માત્ર કોડ હતો જે મેં હમણાં જ બદલ્યો હતો. અને તે તરત જ કરવાનું ચાલુ રાખવું સ્વાભાવિક હતું. સૈદ્ધાંતિક રીતે, ટીમ સાથે કુશળતા વહેંચવાનો વિચાર સારો છે. અમે અમારા વિભાગના તમામ સભ્યો વચ્ચે ચોક્કસપણે ગ્રીનપ્લમ કાર્યો શેર કરીશું.

અમે જુનિયર વિશે વાત કરી રહ્યા હોવાથી, અહીં એક પ્રશ્ન છે. વ્યક્તિએ પોસ્ટગ્રેસમાં પ્રથમ કમિટ બનાવવાનું નક્કી કર્યું. પ્રથમ કમિટ કરવા માટે તેણે શું કરવાની જરૂર છે?

આ એક રસપ્રદ પ્રશ્ન છે: "ક્યાંથી શરૂ કરવું?" સામાન્ય રીતે કર્નલમાં કંઈક સાથે પ્રારંભ કરવું ખૂબ મુશ્કેલ છે. પોસ્ટગ્રેસમાં, ઉદાહરણ તરીકે, કરવા માટેની સૂચિ છે. પરંતુ હકીકતમાં, આ એક શીટ છે જે તેઓએ કરવાનો પ્રયાસ કર્યો, પરંતુ સફળ થયા નહીં. આ જટિલ બાબતો છે. અને સામાન્ય રીતે તમે ઇકોસિસ્ટમમાં કેટલીક ઉપયોગિતાઓ શોધી શકો છો, કેટલાક એક્સ્ટેન્શન્સ કે જે સુધારી શકાય છે, જે કર્નલ વિકાસકર્તાઓનું ઓછું ધ્યાન આકર્ષિત કરે છે. અને, તે મુજબ, ત્યાં વૃદ્ધિ માટે વધુ બિંદુઓ છે. Google સમર ઑફ કોડ પ્રોગ્રામમાં, દર વર્ષે પોસ્ટગ્રેસ સમુદાય ઘણા જુદા જુદા વિષયો આગળ મૂકે છે જેને સંબોધિત કરી શકાય છે. મને લાગે છે કે આ વર્ષે અમારી પાસે ત્રણ વિદ્યાર્થીઓ હતા. એકે તો WAL-G માં એવા વિષયો પર લખ્યું જે યાન્ડેક્સ માટે મહત્વપૂર્ણ છે. ગ્રીનપ્લમમાં, પોસ્ટગ્રેસ સમુદાય કરતાં બધું સરળ છે, કારણ કે ગ્રીનપ્લમ હેકર્સ પુલ વિનંતીઓને ખૂબ સારી રીતે સારવાર કરે છે અને તરત જ સમીક્ષા કરવાનું શરૂ કરે છે. પોસ્ટગ્રેસને પેચ મોકલવો એ મહિનાઓની બાબત છે, પરંતુ ગ્રીનપ્લમ એક દિવસમાં આવશે અને તમે શું કર્યું છે તે જોશે. બીજી બાબત એ છે કે ગ્રીનપ્લમને વર્તમાન સમસ્યાઓ હલ કરવાની જરૂર છે. ગ્રીનપ્લમનો વ્યાપકપણે ઉપયોગ થતો નથી, તેથી તમારી સમસ્યા શોધવાનું ખૂબ મુશ્કેલ છે. અને સૌ પ્રથમ, આપણે સમસ્યાઓ હલ કરવાની જરૂર છે, અલબત્ત.

સોર્સ: www.habr.com