WAL-G: sababbin fasali da faɗaɗa al'umma. Georgy Rylov

Ina ba da shawarar ku karanta kwafin rahoton farkon 2020 na Georgy Rylov "WAL-G: sabbin dama da fadada al'umma"

Masu kula da bude tushen suna fuskantar kalubale da yawa yayin da suke girma. Yadda ake rubuta ƙarin abubuwan da ake buƙata, gyara ƙarin batutuwa da sarrafa don duba buƙatun ja? Yin amfani da WAL-G (kayan aiki don PostgreSQL) a matsayin misali, zan gaya muku yadda muka magance waɗannan matsalolin ta hanyar ƙaddamar da kwas kan bunƙasa Bude-bude a jami'a, abin da muka cimma da kuma inda za mu matsa gaba.

Sannu kuma kowa! Ni mai haɓaka Yandex ne daga Yekaterinburg. Kuma a yau zan yi magana game da WAL-G.

Taken rahoton bai ce wani abu ne game da madadin ba. Shin akwai wanda ya san menene WAL-G? Ko kowa ya sani? Ka ɗaga hannunka idan baka sani ba. Mai tsarki, kun zo ga rahoton kuma ba ku san abin da ke tattare da shi ba.

Bari in gaya muku abin da zai faru a yau. Hakan ya faru ne cewa ƙungiyarmu tana yin ajiyar kuɗi na ɗan lokaci kaɗan. Kuma wannan wani rahoto ne a cikin jerin abubuwan da muke magana game da yadda muke adana bayanai cikin aminci, amintattu, dacewa da inganci.

A cikin jerin da suka gabata akwai rahotanni da yawa daga Andrei Borodin da Vladimir Leskov. Akwai da yawa daga cikin mu. Kuma mun yi magana game da WAL-G shekaru da yawa.

click.ru/F8ioz - https://www.highload.ru/moscow/2018/abstracts/3964

klck.ru/Ln8Qw - https://www.highload.ru/moscow/2019/abstracts/5981

Wannan rahoto zai dan bambanta da sauran ta yadda ya shafi bangaren fasaha, amma a nan zan yi magana ne kan yadda muka fuskanci matsalolin da suka shafi ci gaban al’umma. Da kuma yadda muka fito da wata ‘yar ra’ayi da ke taimaka mana mu jimre wa wannan.

Shekaru kadan da suka gabata, WAL-G karamin aiki ne wanda muka samu daga Citus Data. Kuma mun dauka kawai. Kuma mutum daya ne ya inganta shi.

Kuma kawai WAL-G ba shi da:

• Ajiyayyen daga kwafi.
• Babu ƙarin madogarawa.
• Babu WAL-Delta madadin.
• Kuma har yanzu akwai sauran abubuwa da yawa da suka ɓace.

A cikin 'yan shekarun nan, WAL-G ya girma sosai.

Kuma zuwa 2020, duk abubuwan da ke sama sun riga sun bayyana. Kuma ga wannan an ƙara abin da muke da shi yanzu:

• Fiye da taurari 1 akan GitHub.
• cokali 150.
• Kimanin 15 bude PRs.
• Da sauran masu bayar da gudunmawa.
• Kuma bude al'amura koyaushe. Kuma wannan duk da cewa a zahiri muna zuwa wurin kowace rana don yin wani abu game da shi.

Kuma mun kai ga ƙarshe cewa wannan aikin yana buƙatar ƙarin kulawar mu, ko da mu kanmu ba ma buƙatar aiwatar da wani abu don sabis ɗin Databases ɗin da aka sarrafa a Yandex.

Kuma wani wuri a cikin kaka na 2018, wani ra'ayi ya zo cikin zukatanmu. Yawancin lokaci ƙungiyar tana da hanyoyi da yawa don haɓaka wasu fasaloli ko gyara kwari idan ba ku da isassun hannaye. Misali, zaku iya hayar wani mai haɓakawa ku biya shi kuɗi. Ko kuma za ku iya ɗaukar horo na ɗan lokaci kuma ku biya shi ɗan albashi. Amma har yanzu akwai ɗimbin gungun mutane, waɗanda wasunsu sun riga sun san yadda ake rubuta lamba. Ba koyaushe kuke sanin ingancin lambar ba.

Mun yi tunani game da shi kuma muka yanke shawarar ƙoƙarin jawo hankalin ɗalibai. Amma ɗalibai ba za su shiga cikin komai tare da mu ba. Za su yi wani ɓangare na aikin kawai. Kuma za su, alal misali, rubuta gwaje-gwaje, gyara kwari, aiwatar da fasalulluka waɗanda ba su shafi babban aikin ba. Babban aikin shine ƙirƙirar madogarawa da maido da madadin. Idan muka yi kuskure wajen ƙirƙirar madadin, za mu fuskanci asarar bayanai. Kuma ba wanda yake son wannan, ba shakka. Kowa yana son komai ya kasance cikin aminci sosai. Saboda haka, ba shakka, ba ma so mu ƙyale lambar da muka amince da ƙasa da namu. Wato, duk wani lambar da ba ta da mahimmanci shine abin da muke so a karɓa daga ƙarin ma'aikatanmu.

A karkashin waɗanne sharuɗɗa ake karɓar PR ɗalibi?

• Ana buƙatar su rufe lambar su da gwaje-gwaje. Duk abin ya kamata ya faru a cikin CI.
• Kuma muna tafe ta hanyar 2 reviews. Daya daga Andrey Borodin kuma daya na.
• Bugu da ƙari, don tabbatar da cewa wannan ba zai karya wani abu a cikin sabis ɗinmu ba, na loda taron daban tare da wannan ƙaddamarwa. Kuma muna bincika gwaje-gwaje na ƙarshe zuwa ƙarshen cewa babu abin da ya gaza.

Kwas na musamman akan Buɗaɗɗen Madogararsa

Kadan game da dalilin da yasa ake buƙatar wannan kuma me yasa wannan, ga alama a gare ni, kyakkyawan ra'ayi ne.

A gare mu, ribar a bayyane take:

• Muna samun ƙarin hannaye.
• Kuma muna neman 'yan takara don ƙungiyar a cikin ɗalibai masu basira waɗanda suka rubuta lambar wayo.

Menene fa'idar dalibai?

Suna iya zama ƙasa da ƙasa, saboda ɗalibai, aƙalla, ba sa karɓar kuɗi don lambar da suka rubuta, amma kawai suna karɓar maki don bayanan ɗaliban su.

Na tambaye su game da wannan. Kuma a cikin maganganunsu:

• Kwarewar mai ba da gudummawa a Buɗe tushen.
• Samun layi a cikin CV ɗin ku.
• Tabbatar da kanku kuma ku yi hira a cikin Yandex.
• Kasance memba na GSoC.
• +1 kwas na musamman ga waɗanda ke son rubuta lamba.

Ba zan yi magana game da yadda aka tsara kwas ɗin ba. Zan ce kawai WAL-G shine babban aikin. Mun kuma haɗa irin waɗannan ayyuka kamar Odyssey, PostgreSQL da ClickHouse a cikin wannan kwas.

Kuma sun ba da matsaloli ba kawai a cikin wannan kwas ɗin ba, har ma sun ba da difloma da aikin kwas.

Me game da fa'ida ga masu amfani?

Yanzu bari mu matsa zuwa sashin da ya fi sha'awar ku. Menene amfanin wannan? Ma'anar ita ce, ɗalibai sun gyara kurakurai da yawa. Kuma mun yi fasalin buƙatar da kuka ce mu yi.

Kuma bari in ba ku labarin abubuwan da kuka daɗe kuna so kuma waɗanda suka tabbata.

Goyan bayan wuraren tebur. Ana sa ran wuraren tebur a cikin WAL-G mai yiwuwa tun lokacin da aka saki WAL-G, saboda WAL-G shine magaji ga wani kayan aikin madadin WAL-E, inda aka tallafa wa bayanan adana bayanai tare da wuraren tebur.

Bari in taƙaita muku abin da yake da kuma dalilin da ya sa ake bukata. Yawanci, duk bayanan Postgres ɗinku sun mamaye jagora ɗaya akan tsarin fayil, wanda ake kira tushe. Kuma wannan kundin adireshi ya riga ya ƙunshi duk fayiloli da kundin adireshi da Postgres ke buƙata.

Wuraren tebur kundayen adireshi ne waɗanda ke ɗauke da bayanan Postgres, amma ba a wurinsu a waje da kundin adireshi. Zane-zanen ya nuna cewa faifan tebur ɗin suna waje da kundin adireshi.

Menene wannan yayi kama da Postgres kanta? Akwai daban-daban subdirectory pg_tblspc a cikin tushe directory. Kuma yana ƙunshe da alamomin alamomin kundayen adireshi waɗanda a zahiri sun ƙunshi bayanan Postgres a wajen kundin adireshi.

Lokacin da kuke amfani da duk waɗannan, to a gare ku waɗannan umarni na iya kama da wani abu kamar wannan. Wato, ka ƙirƙiri tebur a wasu takamaiman sarari tebur kuma duba inda yake yanzu. Waɗannan su ne layi biyu na ƙarshe, umarni biyu na ƙarshe da ake kira. Kuma a can ya bayyana cewa akwai wata hanya. Amma a gaskiya, wannan ba shine ainihin hanyar ba. Wannan ita ce hanyar da aka riga aka kayyade daga kundin adireshi zuwa sararin tebur. Kuma daga can an daidaita shi da alamar alamar da ke kaiwa ga ainihin bayanan ku.

Ba ma amfani da wannan duka a cikin ƙungiyarmu, amma yawancin masu amfani da WAL-E sun yi amfani da su waɗanda suka rubuta mana cewa suna son ƙaura zuwa WAL-G, amma hakan ya hana su. Wannan yanzu ana tallafawa.

Wani fasalin da kwas ɗinmu na musamman ya kawo mana shine kamawa. Mutanen da wataƙila sun yi aiki tare da Oracle fiye da Postgres sun san game da kamawa.

A taƙaice game da abin da yake. Tarin topology a cikin sabis ɗinmu na iya kama da wani abu kamar wannan. Muna da ubangida. Akwai kwafi wanda ƙorama ke ta rubuta-gaba daga ciki. Kuma kwafin ya gaya wa maigidan wace LSN take a halin yanzu. Kuma wani wuri a cikin layi daya da wannan, za a iya adana log ɗin. Kuma baya ga yin ajiyar log ɗin, ana kuma aika majigi zuwa gajimare. Kuma delta backups ana aika.

Menene zai iya zama matsalar? Lokacin da kake da babban ma'ajin bayanai, yana iya zama cewa kwafin naka ya fara yin nisa a bayan maigidan. Kuma ta yi nisa a baya wanda ba za ta iya riskarsa ba. Wannan matsalar yawanci tana buƙatar a warware ta ko ta yaya.

Kuma hanya mafi sauki ita ce a cire kwafi a sake dora shi, domin ba zai taba kamawa ba, kuma akwai bukatar a magance matsalar. Amma wannan lokaci ne mai tsawo, saboda maido da duk bayanan tarin tarin tarin fuka 10 lokaci ne mai tsayi sosai. Kuma muna so mu yi duk wannan da sauri idan irin waɗannan matsalolin sun taso. Kuma wannan shine ainihin abin kamawa.

Catchup yana ba ku damar amfani da madadin delta, waɗanda aka adana a cikin gajimare ta wannan hanyar. Kuna faɗi wane LSN kwafin kwafin da ke kunne a halin yanzu kuma saka shi a cikin umarnin kamawa don ƙirƙirar madadin delta tsakanin wannan LSN da LSN wanda gunkin ku yake a halin yanzu. Kuma bayan haka za ku mayar da wannan madadin zuwa kwafin da ke baya.

Sauran tushe

Daliban kuma sun kawo mana abubuwa da yawa lokaci guda. Tunda a Yandex muna dafa ba kawai Postgres ba, muna kuma da MySQL, MongoDB, Redis, ClickHouse, a wani lokaci muna buƙatar samun damar yin ajiya tare da dawo da lokaci-lokaci don MySQL, kuma ta yadda za a sami damar lodawa. su zuwa ga girgije.

Kuma mun so mu yi shi ta wata hanya kama da abin da WAL-G yake yi. Kuma mun yanke shawarar gwadawa mu ga yadda duk zai kasance.

Kuma da farko, ba tare da raba wannan dabaru ta kowace hanya ba, sun rubuta lambar a cikin cokali mai yatsa. Sun ga cewa muna da wani nau'in samfurin aiki kuma yana iya tashi. Daga nan sai muka yi tunanin cewa babbar al'ummarmu 'yan postgres ne, suna amfani da WAL-G. Sabili da haka muna buƙatar ko ta yaya mu raba waɗannan sassa. Wato idan muka gyara code na Postgres, ba ma karya MySQL; idan muka gyara MySQL, ba ma karya Postgres.

Tunanin farko game da yadda za a raba wannan shine ra'ayin yin amfani da irin wannan tsarin da ake amfani da shi a cikin PostgreSQL kari. Kuma, a zahiri, don yin madadin MySQL dole ne ku shigar da wani nau'in ɗakin karatu mai ƙarfi.

Amma a nan ana iya ganin asymmetry na wannan tsarin nan da nan. Lokacin da kuka ajiye Postgres, kun sanya madadin na yau da kullun don Postgres akan shi kuma komai yana da kyau. Kuma don MySQL ya bayyana cewa kun shigar da madadin don Postgres kuma ku shigar da ɗakin karatu mai ƙarfi don MySQL don shi. Yana sauti irin m. Mu ma muka yi tunani kuma muka yanke shawarar cewa wannan ba shine mafita da muke bukata ba.

Gina iri-iri don Postgres, MySQL, MongoDB, Redis

Amma wannan ya ba mu damar, kamar a gare mu, don yanke shawara mai kyau - don ware majalisu daban-daban don tushe daban-daban. Wannan ya ba da damar keɓance dabarar da ke da alaƙa da adana bayanai na bayanai daban-daban waɗanda za su shiga API ɗin gama gari wanda WAL-G ke aiwatarwa.

Wannan shi ne bangaren da muka rubuta da kanmu - kafin mu ba wa dalibai matsalolin. Wato, wannan shine ainihin ɓangaren da za su iya yin wani abu ba daidai ba, don haka muka yanke shawarar cewa zai fi kyau mu yi wani abu makamancin haka kuma komai zai yi kyau.

Bayan haka, mun warware matsalar. Nan take aka tarwatsa su. An bukaci ɗalibai su goyi bayan tushe guda uku.

Wannan shine MySQL, wanda muke tallafawa ta amfani da WAL-G ta wannan hanyar sama da shekara guda.

Kuma yanzu MongoDB yana gabatowa samarwa, inda suke gamawa da fayil. A gaskiya ma, mun rubuta tsarin don duk waɗannan. Sai ɗalibai suka rubuta wasu abubuwa masu iya aiki. Sannan mu kawo su yanayin da za mu iya karba a samarwa.

Waɗannan matsalolin ba su yi kama da ɗalibai da ake buƙatar rubuta cikakkun kayan aikin ajiya ga kowane ɗayan waɗannan bayanan ba. Ba mu sami irin wannan matsalar ba. Matsalarmu ita ce muna son murmurewa lokaci-lokaci kuma muna son yin ajiya ga gajimare. Kuma sun bukaci daliban da su rubuta wani code wanda zai magance wannan. Daliban sun yi amfani da kayan aikin da aka riga aka yi amfani da su, waɗanda ko ta yaya suke ɗaukar wariyar ajiya, sannan su manne su tare da WAL-G, wanda ya tura shi duka zuwa gajimare. Kuma sun kuma kara murmurewa lokaci-lokaci ga wannan.

Menene kuma daliban suka kawo? Sun kawo goyon bayan boye-boye na Libsodium zuwa WAL-G.

Muna kuma da manufofin ajiyar ajiya. Yanzu madadin za a iya yiwa alama a matsayin dindindin. Kuma ko ta yaya ya fi dacewa don sabis ɗin ku sarrafa tsarin adana su ta atomatik.

Menene sakamakon wannan gwaji?

Fiye da mutane 100 da farko sun yi rajista don kwas. Da farko ban ce jami’ar da ke Yekaterinburg ita ce Jami’ar Tarayya ta Ural ba. Mun sanar da komai a wurin. Mutane 100 sun yi rajista. A zahiri, mutane kaɗan ne suka fara yin wani abu, kusan mutane 30.

Ko da ƙananan mutane sun kammala karatun, saboda ya zama dole a rubuta gwaje-gwaje don lambobin da suka rigaya. Sannan kuma gyara wasu kwaro ko yin wani fasali. Kuma har yanzu wasu dalibai sun rufe kwas din.

A halin yanzu, yayin wannan kwas, ɗalibai sun daidaita batutuwa kusan 14 kuma sun yi fasali 10 masu girma dabam. Kuma, ga alama a gare ni, wannan shine cikakken maye gurbin ɗaya ko biyu masu haɓakawa.

Daga cikin wasu abubuwa, mun ba da takardar shaidar difloma da kwas. Kuma 12 sun sami diploma. 6 daga cikinsu sun riga sun kare kansu a "5". Waɗanda suka rage ba su sami kariya ba tukuna, amma ina ganin cewa komai zai yi musu kyau.

Shirye-shirye na nan gaba

Wane shiri muke da shi a nan gaba?

Aƙalla waɗannan buƙatun fasalin da muka riga muka ji daga masu amfani kuma muna son yi. Wannan:

• Kula da daidaiton bin diddigin lokaci a cikin rumbun adana bayanan tarin HA. Kuna iya yin wannan tare da WAL-G. Kuma ina tsammanin za mu sami daliban da za su dauki wannan lamarin.
• Mun riga muna da mutumin da ke da alhakin canja wurin madadin da WAL tsakanin gajimare.
• Kuma kwanan nan mun buga wani ra'ayi cewa za mu iya hanzarta WAL-G har ma da gaba ta hanyar zazzage abubuwan da ake ƙarawa ba tare da sake rubuta shafuka da inganta wuraren adana kayan tarihin da muka aika a can ba.

Kuna iya raba su anan

Menene wannan rahoton? Bugu da ƙari, yanzu, ban da mutane 4 da ke tallafawa wannan aikin, muna da ƙarin hannayen hannu, wanda akwai abubuwa da yawa. Musamman idan ka rubuta musu a saƙon sirri. Kuma idan kun yi ajiyar bayanan ku kuma kuyi ta amfani da WAL-G ko kuna son ƙaura zuwa WAL-G, to za mu iya sauƙaƙe abubuwan da kuke so.

Wannan lambar QR ce da hanyar haɗi. Kuna iya shiga cikin su kuma ku rubuta duk abin da kuke so. Misali, ba mu gyara wasu kwaro ba. Ko da gaske kuna son wani fasali, amma saboda wasu dalilai har yanzu bai kasance cikin kowane madadin ba, gami da namu. Tabbatar rubuta game da wannan.

Tambayoyi

Sannu! Na gode da rahoton! Tambaya game da WAL-G, amma ba game da Postgres ba. WAL-G yana tallafawa MySQL kuma yana kiran ƙarin madadin. Idan muka ɗauki kayan aiki na zamani akan CentOS kuma idan kun shigar da MySQL, za a shigar da MariDB. Daga sigar 10.3 ƙarin madadin ba a tallafawa, ana tallafawa madadin MariDB. Yaya kuke da wannan?

A halin yanzu ba mu yi ƙoƙarin yin ajiyar MariDB ba. Mun sami buƙatun tallafin FoundationDB, amma gabaɗaya, idan akwai irin wannan buƙatar, to zamu iya samun mutanen da za su yi. Ba shi da tsawo ko wuya kamar yadda nake tunani.

Barka da rana Na gode da rahoton! Tambaya game da yuwuwar sabbin abubuwa. Shin kuna shirye don yin aikin WAL-G tare da kaset don ku iya ajiyewa zuwa kaset?

Ajiye akan ma'ajiyar tef a fili yana nufin?

Ee.

Akwai Andrei Borodin, wanda zai iya amsa wannan tambaya fiye da ni.

(Andrey) Ee, na gode don tambayar! Muna da buƙatar canja wurin wariyar ajiya zuwa tef daga ma'ajin gajimare. Kuma ga wannan sawing canja wurin tsakanin gajimare. Domin canja wurin gajimare zuwa gajimare babban sigar canja wurin kaset ne. Bugu da kari, muna da wani extensible gine dangane da Storages. Af, da yawa Storoges aka rubuta ta dalibai. Kuma idan ka rubuta Storage don tef, to, ba shakka, za a tallafa masa. Mun shirya don yin la'akari da buƙatun ja. A can kuna buƙatar rubuta fayil, karanta fayil. Idan kun yi waɗannan abubuwan a cikin Go, yawanci kuna ƙare da layukan lamba 50. Sannan za a tallafa wa kaset a WAL-G.

Na gode da rahoton! Tsarin ci gaba mai ban sha'awa. Ajiyayyen babban yanki ne na ayyuka wanda yakamata a rufe shi da kyau ta hanyar gwaje-gwaje. Lokacin da kuka aiwatar da ayyuka don sabbin bayanan bayanai, ɗalibai suma sun rubuta jarrabawar, ko kun rubuta jarrabawar da kanku sannan ku ba ɗalibai aiwatarwa?

Dalibai kuma sun rubuta jarabawa. Amma ɗalibai sun rubuta ƙarin don fasali kamar sabbin bayanai. Sun rubuta gwajin haɗin kai. Kuma sun rubuta gwajin naúrar. Idan haɗin kai ya wuce, wato, a halin yanzu, wannan rubutun ne wanda kuke aiwatarwa da hannu ko kuma kuna da cron yin shi, misali. Wato rubutun da ke can a bayyane yake.

Daliban ba su da kwarewa sosai. Shin bita yana ɗaukar lokaci mai yawa?

Ee, sake dubawa suna ɗaukar lokaci mai yawa. Wato yawanci idan masu aikatawa da yawa suka zo lokaci guda suka ce na yi haka, na yi haka, to kana bukatar ka yi tunani ka ware kusan rabin yini don gano abin da suka rubuta a can. Domin dole ne a karanta lambar a hankali. Ba su yi hira ba. Ba mu san su sosai ba, don haka yana ɗaukar lokaci mai mahimmanci.

Na gode da rahoton! A baya can, Andrey Borodin ya bayyana cewa ya kamata a kira archive_command a WAL-G kai tsaye. Amma game da wani nau'i na harsashi na gungu, muna buƙatar ƙarin dabaru don ƙayyade kumburi daga abin da za mu aika da shafts. Yaya zaku magance wannan matsalar da kanku?

Menene matsalarku anan? Bari mu ce kuna da kwafi na aiki tare wanda kuke yin wariyar ajiya da shi? Ko me?

(Andrey) Gaskiyar ita ce, lalle WAL-G ana nufin amfani da shi ba tare da rubutun harsashi ba. Idan wani abu ya ɓace, to, bari mu ƙara ma'anar da ya kamata a cikin WAL-G. Dangane da inda ya kamata a fito da adana kayan tarihi, mun yi imanin cewa ya kamata a ce adana kayan tarihi ya kasance daga maigidan na yanzu a cikin gungu. Yin ajiya daga kwafi mummunan ra'ayi ne. Akwai yanayi daban-daban mai yiwuwa tare da matsaloli. Musamman, matsaloli tare da adana lokutan lokaci da kowane ƙarin bayani. Na gode da tambayar!

(Bayyana: Mun kawar da rubutun harsashi a cikin wannan fitowar)

Barka da yamma! Na gode da rahoton! Ina sha'awar fasalin kamawa da kuka yi magana akai. Mun fuskanci yanayin da wani kwafi ya kasance a baya kuma ya kasa kamawa. Kuma ban sami bayanin wannan fasalin a cikin takaddun WAL-G ba.

Catchup ya bayyana a zahiri a ranar 20 ga Janairu, 2020. Takardun na iya buƙatar ƙarin aiki. Mun rubuta shi da kanmu kuma ba mu rubuta shi sosai ba. Kuma watakila ya kamata mu fara buƙatar ɗalibai su rubuta shi.

An riga an sake shi?

Buƙatun ja ya riga ya mutu, watau na duba. Na gwada wannan akan gunkin gwaji. Ya zuwa yanzu ba mu sami yanayin da za mu iya gwada wannan a cikin misalin yaƙi ba.

Yaushe za a jira?

Ban sani ba. Jira wata daya, zamu duba tabbas.

source: www.habr.com