Gisugyot ko nga basahon nimo ang transcript sa sayo nga 2020 nga taho ni Georgy Rylov "WAL-G: bag-ong mga oportunidad ug pagpalapad sa komunidad"
Ang mga tigmintinar sa open-source nag-atubang ug daghang mga hagit samtang sila nagtubo. Giunsa pagsulat ang labi pa nga gikinahanglan nga mga bahin, ayohon ang labi pa ug daghang mga isyu ug pagdumala aron makita ang labi pa ug daghang mga hangyo sa pagbitad? Gamit ang WAL-G (backup-tool para sa PostgreSQL) isip usa ka pananglitan, isulti ko kanimo kung giunsa namo pagsulbad kini nga mga problema pinaagi sa paglunsad og kurso sa Open-source development sa unibersidad, unsay among nakab-ot ug asa kami mobalhin sunod.
Hello pag-usab sa tanan! Usa ako ka developer sa Yandex gikan sa Yekaterinburg. Ug karon maghisgot ko bahin sa WAL-G.
Ang titulo sa taho wala mag-ingon nga kini usa ka butang bahin sa pag-backup. Kinsay nakahibalo unsa ang WAL-G? O nahibal-an ba sa tanan? Ipataas ang imong kamot kung wala ka kahibalo. Balaan nga tae, mianhi ka sa taho ug wala ka mahibal-an kung unsa kini.
Tugoti ako nga isulti kanimo kung unsa ang mahitabo karon. Nahitabo nga ang among team dugay nang nag-backup. Ug kini usa pa ka taho sa usa ka serye diin naghisgot kami kung giunsa namon pagtipig ang datos nga luwas, luwas, dali ug episyente.
Sa miaging serye adunay daghang mga taho ni Andrei Borodin ug Vladimir Leskov. Daghan mi. Ug nag-istoryahanay kami bahin sa WAL-G sa daghang mga tuig.
clck.ru/F8ioz β
clck.ru/Ln8Qw β
Kini nga taho mahimong usa ka gamay nga kalainan gikan sa uban tungod kay kini labi pa bahin sa teknikal nga bahin, apan dinhi akong hisgutan kung giunsa namon nasugatan ang mga problema nga may kalabotan sa pagtubo sa komunidad. Ug giunsa namo paghimo ang usa ka gamay nga ideya nga makatabang kanamo sa pagsagubang niini.
Pipila ka tuig ang milabay, ang WAL-G usa ka gamay nga proyekto nga among nakuha gikan sa Citus Data. Ug gikuha ra namo. Ug kini naugmad sa usa ka tawo.
Ug ang WAL-G lang ang wala:
- Pag-backup gikan sa usa ka replika.
- Walay incremental backups.
- Walay WAL-Delta backups.
- Ug daghan gihapon ang kulang.
Sulod niining pipila ka tuig, ang WAL-G miuswag pag-ayo.
Ug sa 2020, ang tanan sa ibabaw nagpakita na. Ug niini gidugang kung unsa ang naa na kanato:
- Labaw sa 1 ka bituon sa GitHub.
- 150 ka tinidor.
- Mga 15 ka bukas nga PR.
- Ug daghan pang mga kontribyutor.
- Ug bukas nga mga isyu sa tanang panahon. Ug kini bisan pa sa kamatuoran nga kami literal nga moadto didto matag adlaw ug adunay buhaton bahin niini.
Ug nakahinapos kami nga kini nga proyekto nanginahanglan labi pa sa among atensyon, bisan kung kami mismo dili kinahanglan nga ipatuman ang bisan unsa alang sa among serbisyo sa Managed Databases sa Yandex.
Ug sa usa ka dapit sa tingdagdag sa 2018, usa ka ideya ang miabut sa among mga hunahuna. Kasagaran ang team adunay daghang mga paagi sa paghimo sa pipila ka mga bahin o pag-ayo sa mga bug kung wala ka igo nga mga kamot. Pananglitan, maka-hire ka og laing developer ug mobayad kaniya og kwarta. O mahimo ka nga mag-intern sa makadiyot ug magbayad usab kaniya og sweldo. Apan aduna gihapoy usa ka dako nga grupo sa mga tawo, ang uban kanila nahibal-an na kung unsaon pagsulat ang code. Dili nimo kanunay mahibal-an kung unsa ang kalidad sa code.
Gihunahuna namo kini ug nakahukom sa pagsulay sa pagdani sa mga estudyante. Apan ang mga estudyante dili moapil sa tanan uban kanamo. Buhaton lang nila ang pipila ka bahin sa trabaho. Ug sila, pananglitan, magsulat sa mga pagsulay, ayohon ang mga bug, ipatuman ang mga bahin nga dili makaapekto sa panguna nga pagpaandar. Ang nag-unang gamit mao ang paghimo og mga backup ug pagpasig-uli sa mga backup. Kung masayop kita sa paghimo og backup, makasinati kita og pagkawala sa datos. Ug walay usa nga gusto niini, siyempre. Gusto sa tanan nga segurado kaayo ang tanan. Busa, siyempre, dili namo gusto nga tugotan ang code nga among gisaligan nga mas ubos kaysa among kaugalingon. Sa ato pa, bisan unsa nga dili kritikal nga code mao ang gusto namon nga madawat gikan sa among dugang nga mga trabahante.
Ubos sa unsang mga kondisyon gidawat ang PR sa estudyante?
- Kinahanglan nila nga tabunan ang ilang code sa mga pagsulay. Ang tanan kinahanglan mahitabo sa CI.
- Ug miagi usab kami sa 2 nga mga pagsusi. Usa ni Andrey Borodin ug usa nako.
- Ug dugang pa, aron masusi nga dili kini makaguba sa bisan unsa sa among serbisyo, gilain nako nga gi-upload ang asembliya nga adunay kini nga pasalig. Ug gisusi namo ang mga end-to-end nga mga pagsulay nga walay mapakyas.
Espesyal nga kurso sa Open Source
Usa ka gamay kung nganong gikinahanglan kini ug ngano nga kini, alang kanako, usa ka cool nga ideya.
Alang kanamo, ang ganansya klaro:
- Kita makakuha og dugang nga mga kamot.
- Ug nangita kami mga kandidato alang sa team taliwala sa mga maalam nga estudyante nga nagsulat sa smart code.
Unsa ang kaayohan sa mga estudyante?
Mahimong dili kaayo sila klaro, tungod kay ang mga estudyante, sa labing gamay, wala makadawat salapi alang sa code nga ilang gisulat, apan makadawat ra mga grado alang sa ilang mga rekord sa estudyante.
Gipangutana ko sila bahin niini. Ug sa ilang mga pulong:
- Kasinatian sa kontribyutor sa Open Source.
- Pagkuha usa ka linya sa imong CV.
- Pamatud-i ang imong kaugalingon ug ipasa ang usa ka interbyu sa Yandex.
- Mahimong miyembro sa GSoC.
- +1 espesyal nga kurso alang niadtong gustong magsulat og code.
Dili ko maghisgot kung giunsa ang pagkahan-ay sa kurso. Moingon lang ko nga ang WAL-G ang nag-unang proyekto. Giapil usab namo ang mga proyekto sama sa Odyssey, PostgreSQL ug ClickHouse niini nga kurso.
Ug naghatag sila og mga problema dili lamang niini nga kurso, apan naghatag usab og mga diploma ug kurso.
Unsa ang bahin sa kaayohan alang sa mga tiggamit?
Karon magpadayon kita sa bahin nga labing nakapainteres kanimo. Unsay kaayohan niini kanimo? Ang punto mao nga ang mga estudyante nag-ayo sa daghang mga bug. Ug among gihimo ang mga bahin sa hangyo nga imong gihangyo kanamo nga buhaton.
Ug tuguti ko nga isulti kanimo ang bahin sa mga butang nga dugay na nimong gusto ug natuman.
Suporta sa mga tablespace. Ang mga tablespace sa WAL-G gilauman tingali sukad sa pagpagawas sa WAL-G, tungod kay ang WAL-G mao ang manununod sa laing backup nga himan nga WAL-E, diin ang database backups nga adunay mga tablespace gisuportahan.
Tugoti ako sa mubo nga pahinumdom kanimo kung unsa kini ug ngano nga kini tanan gikinahanglan. Kasagaran, ang tanan nimong datos sa Postgres nag-okupar sa usa ka direktoryo sa file system, nga gitawag nga base. Ug kini nga direktoryo naglangkob na sa tanan nga mga file ug mga subdirectory nga gikinahanglan sa Postgres.
Ang mga tablespace mao ang mga direktoryo nga adunay mga datos sa Postgres, apan wala kini nahimutang sa gawas sa base nga direktoryo. Ang slide nagpakita nga ang mga tablespac nahimutang sa gawas sa base nga direktoryo.
Unsa ang hitsura niini alang sa mga Postgres mismo? Adunay lahi nga subdirectory pg_tblspc sa base nga direktoryo. Ug kini adunay mga symlink sa mga direktoryo nga adunay tinuod nga datos sa Postgres sa gawas sa base nga direktoryo.
Kung imong gamiton kining tanan, nan alang kanimo kini nga mga sugo mahimong ingon niini. Kana mao, naghimo ka usa ka lamesa sa pipila nga gitakda nga tablespace ug tan-awa kung asa kini karon. Kini ang kataposang duha ka linya, ang kataposang duha ka sugo nga gitawag. Ug didto klaro nga adunay usa ka paagi. Apan sa pagkatinuod, dili kini ang tinuod nga paagi. Kini ang prefixed nga agianan gikan sa base nga direktoryo ngadto sa tablespace. Ug gikan didto kini gipares sa usa ka symlink nga nagpadulong sa imong tinuod nga datos.
Wala namo gamita kining tanan sa among team, apan gigamit kini sa daghang uban pang tiggamit sa WAL-E nga misulat kanamo nga gusto nilang mobalhin sa WAL-G, apan kini nagpahunong kanila. Kini karon gisuportahan.
Ang laing bahin nga gihatag sa among espesyal nga kurso mao ang catchup. Ang mga tawo nga tingali nagtrabaho labi pa sa Oracle kaysa sa Postgres nahibal-an bahin sa catchup.
Sa mubo bahin sa unsa kini. Ang cluster topology sa among serbisyo kasagarang sama niini. Naa miy master. Adunay usa ka replika nga nag-agay sa pagsulat sa unahan nga log gikan niini. Ug ang replika nagsulti sa agalon kung unsang LSN kini karon. Ug sa usa ka dapit nga susama niini, ang log mahimong ma-archive. Ug dugang sa pag-archive sa log, ang mga backup gipadala usab sa panganod. Ug ang mga backup sa delta gipadala.
Unsa kaha ang problema? Kung ikaw adunay usa ka medyo dako nga database, mahimoβg mogawas nga ang imong replika nagsugod sa pagkalayo sa luyo sa agalon. Ug naulahi siya nga dili na siya makaapas kaniya. Kini nga problema kasagaran kinahanglan nga masulbad sa usa ka paagi.
Ug ang pinakasayon ββnga paagi mao ang pagtangtang sa replika ug pag-upload pag-usab, tungod kay dili na kini makaapas, ug ang problema kinahanglan nga atubangon. Apan kini usa ka taas nga panahon, tungod kay ang pagpahiuli sa usa ka tibuuk nga 10 TB database backup usa ka taas kaayo nga panahon. Ug gusto namong buhaton kining tanan sa labing madali nga panahon kung mutungha ang maong mga problema. Ug mao gyud kana ang para sa catchup.
Gitugotan ka sa Catchup nga magamit ang mga backup sa delta, nga gitipigan sa panganod niining paagiha. Imong isulti kung asa nga LSN ang lagging replica sa pagkakaron ug ipiho kini sa catchup command aron makahimo og delta backup tali sa LSN ug sa LSN diin nahimutang ang imong cluster. Ug pagkahuman ibalik nimo kini nga backup sa replika nga naatras.
Ubang mga base
Ang mga estudyante nagdala usab kanamo daghang mga bahin sa usa ka higayon. Tungod kay sa Yandex nagluto kami dili lamang sa mga Postgres, kami usab adunay MySQL, MongoDB, Redis, ClickHouse, sa usa ka punto kinahanglan namon nga makahimo og mga backup nga adunay point-in-time nga pagbawi alang sa MySQL, ug aron adunay higayon nga mag-upload sila ngadto sa panganod.
Ug gusto namong buhaton kini sa susamang paagi sa gibuhat sa WAL-G. Ug nakahukom kami nga mag-eksperimento ug tan-awon kung unsa ang hitsura niini.
Ug sa una, nga wala ipaambit kini nga lohika sa bisan unsang paagi, gisulat nila ang code sa tinidor. Nakita nila nga kami adunay usa ka matang sa nagtrabaho nga modelo ug kini makalupad. Unya naghunahuna kami nga ang among panguna nga komunidad mga postgresista, gigamit nila ang WAL-G. Ug busa kinahanglan natong ibulag kini nga mga bahin. Sa ato pa, kung mag-edit kami og code para sa Postgres, dili namo mabuak ang MySQL; kung among i-edit ang MySQL, dili namo mabuak ang Postgres.
Ang una nga ideya kung giunsa ang pagbulag niini mao ang ideya sa paggamit sa parehas nga pamaagi nga gigamit sa mga extension sa PostgreSQL. Ug, sa tinuud, aron makahimo usa ka backup sa MySQL kinahanglan nimo nga i-install ang usa ka matang sa dinamikong librarya.
Apan dinhi ang asymmetry niini nga pamaagi makita dayon. Kung nag-backup ka sa mga Postgres, nagbutang ka usa ka normal nga backup alang sa mga Postgres niini ug maayo ang tanan. Ug alang sa MySQL kini nahimo nga nag-install ka usa ka backup alang sa Postgres ug nag-install usab usa ka dinamikong librarya alang sa MySQL alang niini. Morag katingad-an. Naghunahuna usab kami ug nakahukom nga dili kini ang solusyon nga among gikinahanglan.
Nagkalainlain nga mga pagtukod alang sa Postgres, MySQL, MongoDB, Redis
Apan kini nagtugot kanamo, alang kanamo, nga moabut sa husto nga desisyon - sa paggahin sa lainlaing mga asembliya alang sa lainlaing mga base. Naghimo kini nga posible nga ihimulag ang lohika nga nahigot sa mga backup sa lainlaing mga database nga maka-access sa sagad nga API nga gipatuman sa WAL-G.
Kini ang bahin nga among gisulat sa among kaugalingon - sa wala pa ihatag sa mga estudyante ang mga problema. Sa ato pa, mao gyud kini ang bahin kung diin sila makahimo og usa ka butang nga sayup, mao nga nakahukom kami nga mas maayo nga buhaton namo ang usa ka butang nga sama niini ug ang tanan mamaayo ra.
Human niadto nanghatag mig mga problema. Gibungkag dayon sila. Ang mga estudyante gikinahanglan sa pagsuporta sa tulo ka mga base.
Kini ang MySQL, nga among gi-back up gamit ang WAL-G niining paagiha sulod sa kapin sa usa ka tuig.
Ug karon ang MongoDB nagkaduol na sa produksiyon, diin ilang gitapos kini sa usa ka file. Sa tinuud, gisulat namon ang balangkas alang niining tanan. Dayon ang mga estudyante nagsulat og pipila ka magamit nga mga butang. Ug dayon among dad-on sila sa usa ka estado nga among madawat sa produksiyon.
Kini nga mga problema dili ingon nga ang mga estudyante kinahanglan nga magsulat sa kompleto nga backup nga mga himan alang sa matag usa niini nga mga database. Wala mi problema. Ang among problema mao nga gusto namon nga mabawi ang point-in-time ug gusto namon nga i-backup sa panganod. Ug gihangyo nila ang mga estudyante sa pagsulat sa pipila ka code nga makasulbad niini. Gigamit sa mga estudyante ang naglungtad na nga mga gamit sa pag-backup, nga sa usa ka paagi nagkuha mga backup, ug dayon gipapilit kini tanan kauban ang WAL-G, nga gipasa kini tanan sa panganod. Ug gidugang usab nila ang point-in-time nga pagbawi niini.
Unsa pa ang gidala sa mga estudyante? Gidala nila ang suporta sa pag-encrypt sa Libsodium sa WAL-G.
Adunay usab kami mga palisiya sa pag-backup sa pagtipig. Karon ang mga backup mahimong markahan nga permanente. Ug sa usa ka paagi mas sayon ββββalang sa imong serbisyo nga awtomatiko ang proseso sa pagtipig niini.
Unsa ang resulta niini nga eksperimento?
Labaw sa 100 ka mga tawo ang una nga nagparehistro alang sa kurso. Sa sinugdan wala ko mag-ingon nga ang unibersidad sa Yekaterinburg mao ang Ural Federal University. Gipahibalo namo ang tanan didto. 100 ka tawo ang nagparehistro. Sa tinuud, mas gamay nga mga tawo ang nagsugod sa pagbuhat sa usa ka butang, mga 30 ka tawo.
Bisan gamay nga mga tawo ang nakatapos sa kurso, tungod kay gikinahanglan ang pagsulat sa mga pagsulay alang sa mga code nga naglungtad na. Ug usab ayuhon ang pipila ka bug o paghimo og pipila ka bahin. Ug ang ubang mga estudyante nagsira pa sa kurso.
Sa pagkakaron, sa kini nga kurso, ang mga estudyante nag-ayo sa mga 14 nga mga isyu ug naghimo sa 10 nga mga bahin sa lainlaing mga gidak-on. Ug, alang kanako, kini usa ka hingpit nga kapuli sa usa o duha nga mga developer.
Lakip sa ubang mga butang, nag-isyu kami og mga diploma ug mga buluhaton sa kurso. Ug 12 ang nakadawat ug diploma. 6 niini nakadepensa na sa ilang kaugalingon sa "5". Kadtong nahibilin wala pa'y proteksyon, apan sa akong hunahuna ang tanan mamaayo usab alang kanila.
Mga plano alang sa umaabot
Unsa may atong mga plano sa umaabot?
Labing menos kadtong mga hangyo sa feature nga nadungog na namo gikan sa mga tiggamit ug gusto nga buhaton. Kini:
- Pag-monitor sa katukma sa pagsubay sa timeline sa HA cluster backup archive. Mahimo nimo kini sa WAL-G. Ug sa akong hunahuna aduna kitay mga estudyante nga mukuha niini nga butang.
- Naa na miy tawo nga responsable sa pagbalhin sa mga backup ug WAL tali sa mga panganod.
- Ug bag-o lang mi nagpatik ug ideya nga mas mapadali pa namo ang WAL-G pinaagi sa pag-unpack sa mga incremental backup nga walay pagsulat pag-usab sa mga panid ug pag-optimize sa mga archive nga among ipadala didto.
Mahimo nimong ipaambit kini dinhi
Para sa unsa kini nga report? Dugang pa, karon, dugang sa 4 ka mga tawo nga nagsuporta niini nga proyekto, kami adunay dugang nga mga kamot, diin adunay daghan. Ilabi na kung imong sulatan sila sa usa ka personal nga mensahe. Ug kung imong i-back up ang imong data ug buhaton kini gamit ang WAL-G o gusto nga mobalhin sa WAL-G, nan dali ra namo nga ma-accommodate ang imong mga gusto.
Kini usa ka QR code ug usa ka link. Mahimo nimong tun-an sila ug isulat ang tanan nimong gusto. Pananglitan, wala kami nag-ayo sa pipila ka mga bug. O gusto gyud nimo ang pipila ka bahin, apan sa pipila ka hinungdan wala pa kini sa bisan unsang backup, lakip ang amon. Siguradoha ang pagsulat bahin niini.
Ang imong mga pangutana
Hello! Salamat sa report! Pangutana bahin sa WAL-G, apan dili bahin sa Postgres. Ang WAL-G nagpaluyo sa MySQL ug nagtawag og dugang nga backup. Kung magkuha kami mga moderno nga pag-install sa CentOS ug kung buhaton nimo ang pag-install sa MySQL, ma-install ang MariDB. Gikan sa bersyon 10.3 nga dugang nga backup wala gisuportahan, ang MariDB backup gisuportahan. Kumusta ka niini?
Sa pagkakaron wala pa namo gisulayan ang pag-backup sa MariDB. Kami adunay mga hangyo alang sa suporta sa FoundationDB, apan sa kinatibuk-an, kung adunay ingon nga hangyo, nan makit-an namon ang mga tawo nga mobuhat niini. Dili kini kadugay o lisud sama sa akong gihunahuna.
Maayong hapon Salamat sa report! Pangutana bahin sa potensyal nga bag-ong mga bahin. Andam ka ba sa paghimo sa WAL-G nga magtrabaho gamit ang mga teyp aron ikaw maka-backup sa mga teyp?
Ang pag-backup sa pagtipig sa tape dayag nga nagpasabut?
Oo.
Anaa si Andrei Borodin, nga mas makatubag ani nga pangutana kaysa nako.
(Andrey) Oo, salamat sa pangutana! Naa mi hangyo nga ibalhin ang backup sa tape gikan sa cloud storage. Ug alang niini pagbalhin sa taliwala sa mga panganod. Tungod kay ang pagbalhin sa cloud-to-cloud usa ka kinatibuk-ang bersyon sa pagbalhin sa tape. Dugang pa, kami adunay usa ka extensible nga arkitektura sa mga termino sa Mga Pagtipig. Pinaagi sa dalan, daghang mga Storoges ang gisulat sa mga estudyante. Ug kung imong isulat ang Pagtipig alang sa teyp, nan kini, siyempre, suportahan. Andam kami nga ikonsiderar ang mga hangyo sa pagbitad. Didto kinahanglan ka magsulat usa ka file, magbasa usa ka file. Kung buhaton nimo kini nga mga butang sa Go, kasagaran adunay 50 ka linya sa code. Ug unya ang tape suportahan sa WAL-G.
Salamat sa report! Makapaikag nga proseso sa pag-uswag. Ang pag-backup usa ka seryoso nga bahin sa pagpaandar nga kinahanglan nga masakop sa mga pagsulay. Kung gipatuman nimo ang mga gamit para sa bag-ong mga database, gisulat ba usab sa mga estudyante ang mga pagsulay, o gisulat nimo ang mga pagsulay sa imong kaugalingon ug dayon gihatag ang pagpatuman sa mga estudyante?
Gisulat usab sa mga estudyante ang mga pagsulay. Apan ang mga estudyante nagsulat og dugang alang sa mga bahin sama sa bag-ong mga database. Gisulat nila ang mga pagsulay sa panagsama. Ug gisulat nila ang mga pagsulay sa yunit. Kung ang panagsama moagi, kana, sa pagkakaron, kini usa ka script nga imong gipatuman nga mano-mano o ikaw adunay cron nga nagbuhat niini, pananglitan. Sa ato pa, klaro kaayo ang script didto.
Ang mga estudyante walay daghang kasinatian. Nagkinahanglan ba og daghang panahon ang pagrepaso?
Oo, ang mga pagsusi nagkinahanglan og daghang panahon. Sa ato pa, kasagaran, kung daghang mga committers moabut sa usa ka higayon ug moingon nga gibuhat ko kini, gibuhat ko kana, nan kinahanglan nimo nga hunahunaon ug igahin ang mga tunga sa adlaw aron mahibal-an kung unsa ang ilang gisulat didto. Tungod kay ang code kinahanglan nga basahon pag-ayo. Wala silay interbyu. Dili kaayo namo sila kaila, busa nagkinahanglan kini og dakong panahon.
Salamat sa report! Kaniadto, gipahayag ni Andrey Borodin nga ang archive_command sa WAL-G kinahanglan nga direktang tawagan. Apan sa kaso sa usa ka matang sa cluster cartridge, nagkinahanglan kita og dugang nga lohika aron mahibal-an ang node diin ipadala ang mga shaft. Giunsa nimo pagsulbad kini nga problema sa imong kaugalingon?
Unsa imong problema dinhi? Ingnon ta nga ikaw adunay usa ka dungan nga replika nga imong gihimo nga backup? O unsa?
(Andrey) Ang tinuod mao nga ang WAL-G gituyo nga gamiton nga walay mga script sa shell. Kung adunay kulang, unya idugang ang lohika nga kinahanglan naa sa sulod sa WAL-G. Sama sa kung diin gikan ang pag-archive, kami nagtuo nga ang pag-archive kinahanglan gikan sa kasamtangan nga agalon sa cluster. Ang pag-archive gikan sa usa ka replika usa ka dili maayo nga ideya. Adunay lain-laing posible nga mga senaryo nga adunay mga problema. Sa partikular, ang mga problema sa pag-archive sa mga timeline ug bisan unsang dugang nga kasayuran. Salamat sa pangutana!
(Pagklaro: Gitangtang namo ang mga script sa shell )
Maayong gabii! Salamat sa report! Interesado ko sa feature sa catchup nga imong gihisgutan. Kami nag-atubang sa usa ka sitwasyon diin ang usa ka replika sa luyo ug dili makaapas. Ug wala koy nakit-an nga paghulagway niini nga bahin sa mga dokumento sa WAL-G.
Ang Catchup literal nga nagpakita sa ika-20 sa Enero 2020. Ang dokumentasyon tingali nanginahanglan dugang nga trabaho. Gisulat namo kini sa among kaugalingon ug wala namo kini isulat nga maayo kaayo. Ug tingali kinahanglan natong sugdan ang paghangyo sa mga estudyante sa pagsulat niini.
Gipagawas na ba kini?
Ang hangyo sa pagbitad patay na, ie gisusi nako kini. Gisulayan nako kini sa usa ka cluster sa pagsulay. Sa pagkakaron wala pa kami'y sitwasyon diin masulayan namo kini sa usa ka pananglitan sa panagsangka.
Kanus-a magdahom?
wala ko kabalo. Paghulat usa ka bulan, susihon naton kung sigurado.
Source: www.habr.com