Manoro hevitra anao aho hamaky ny dika mitovy amin'ny tatitra voalohan'ny taona 2020 nataon'i Georgy Rylov "WAL-G: fahafahana vaovao sy fanitarana ny vondrom-piarahamonina"
Miatrika fanamby maro ny mpikarakara loharano misokatra rehefa mitombo izy ireo. Ahoana ny fomba hanoratana endri-javatra ilaina bebe kokoa, hamaha olana bebe kokoa ary hijerena ireo fangatahana misintona bebe kokoa? Amin'ny fampiasana WAL-G (fitaovana backup ho an'ny PostgreSQL) ho ohatra, dia holazaiko aminao ny fomba namaha ireo olana ireo tamin'ny fanombohana fampianarana momba ny fampandrosoana Open-source ao amin'ny anjerimanontolo, ny zavatra vitantsika ary ny toerana hifindrantsika manaraka.
Salama daholo indray e! Mpamorona Yandex avy any Yekaterinburg aho. Ary androany aho dia hiresaka momba ny WAL-G.
Ny lohatenin'ny tatitra dia tsy nilaza fa zavatra momba ny backup. Misy mahalala ny atao hoe WAL-G ve? Sa fantatry ny rehetra? Atsangano ny tananao raha tsy fantatrao. Tompo ô, tonga tao amin'ny tatitra ianao ary tsy fantatrao hoe inona izany.
Mamelà ahy hilaza aminao izay hitranga anio. Sendra efa ela no nanao backup ny ekipanay. Ary ity dia tatitra iray hafa amin'ny andiany iray izay miresaka momba ny fomba fitehirizana angon-drakitra azo antoka, azo antoka, mora ary mahomby.
Tamin'ny andiany teo aloha dia nisy tatitra maro nataon'i Andrei Borodin sy Vladimir Leskov. Maro be izahay. Ary niresaka momba ny WAL-G nandritra ny taona maro izahay.
clck.ru/F8ioz —
clck.ru/Ln8Qw —
Ity tatitra ity dia ho hafa kely amin'ny hafa amin'ny lafiny ara-teknika kokoa, fa eto aho dia hiresaka momba ny fomba niatrehanay olana mifandray amin'ny fitomboan'ny fiarahamonina. Ary ny fomba nahatongavanay hevitra kely manampy anay hiatrika izany.
Taona vitsy lasa izay, WAL-G dia tetikasa kely azonay avy amin'ny Citus Data. Ary noraisinay fotsiny. Ary olona iray no namolavola azy.
Ary ny WAL-G ihany no tsy nanana:
- Backup avy amin'ny kopia.
- Tsy nisy backup incremental.
- Tsy nisy backup WAL-Delta.
- Ary mbola betsaka ny tsy hita.
Tao anatin'izay taona vitsy izay dia nitombo be ny WAL-G.
Ary amin'ny taona 2020 dia efa niseho avokoa ireo voalaza etsy ambony ireo. Ary nampiana izay ananantsika izao:
- Kintana maherin'ny 1 ao amin'ny GitHub.
- 150 forks.
- PR misokatra 15 eo ho eo.
- Ary mpandray anjara maro hafa.
- Ary misokatra ny olana amin'ny fotoana rehetra. Ary izany na dia eo aza ny hoe mandeha ara-bakiteny isan'andro izahay ary manao zavatra momba izany.
Ary tonga tamin'ny fanatsoahan-kevitra izahay fa ity tetikasa ity dia mitaky fiheverana bebe kokoa, na dia ny tenanay aza dia tsy mila mampihatra na inona na inona amin'ny serivisy Managed Databases ao amin'ny Yandex.
Ary tany ho any amin'ny fararano 2018, nisy hevitra tonga tao an-tsaintsika. Matetika ny ekipa dia manana fomba maro hamolavola endri-javatra sasany na hanamboatra bibikely raha tsy ampy tanana ianao. Ohatra, azonao atao ny manakarama developer hafa ary mandoa vola aminy. Na azonao atao ny manao intern kely ary manome karama azy koa. Saingy mbola misy vondron'olona marobe, ny sasany amin'izy ireo dia efa tena mahay manoratra kaody. Tsy fantatrao foana hoe inona ny kalitaon'ny kaody.
Nieritreritra izany izahay ary nanapa-kevitra ny hisarika ny mpianatra. Saingy tsy handray anjara amin'ny zava-drehetra miaraka amintsika ny mpianatra. Ampahany amin’ny asa ihany no hataon’izy ireo. Ary izy ireo, ohatra, hanoratra fitsapana, hanamboatra bibikely, hampihatra ireo endri-javatra izay tsy misy fiantraikany amin'ny fiasa fototra. Ny fiasa lehibe dia ny famoronana backups sy famerenana ny backups. Raha manao hadisoana amin'ny famoronana backup isika dia hiaina fahaverezan'ny angona. Ary tsy misy olona maniry izany, mazava ho azy. Tian'ny rehetra ho azo antoka tsara ny zava-drehetra. Noho izany, mazava ho azy, tsy tiantsika ny hamela ny kaody izay atokisan'ny tenantsika. Izany hoe, izay fehezan-dalàna tsy mitsikera no tiana horaisina amin'ny mpiasa fanampiny.
Amin'ny fepetra inona no ekena ny PR mpianatra?
- Takian'izy ireo ny manarona ny kaody amin'ny fitsapana. Tokony hatao ao amin'ny CI ny zava-drehetra.
- Ary mandalo hevitra 2 ihany koa izahay. Ny iray avy amin'i Andrey Borodin ary ny iray avy amiko.
- Ary ho fanampin'izany, mba hanamarinana fa tsy handrava na inona na inona amin'ny serivisy ataontsika izany, dia alefako misaraka miaraka amin'ity commit ity ny fivoriambe. Ary manara-maso ny fitsapana faran'ny farany izahay fa tsy misy tsy mahomby.
Fianarana manokana momba ny Open Source
Sombiny momba ny antony ilana an'ity sy ny antony, raha ny fahitako azy, dia hevitra mahafinaritra.
Ho antsika dia mazava ny tombony:
- Mahazo tanana fanampiny izahay.
- Ary mitady kandidà ho an'ny ekipa eo amin'ireo mpianatra hendry izay manoratra kaody hendry izahay.
Inona no tombony ho an'ny mpianatra?
Mety ho tsy dia mibaribary loatra izy ireo, satria ny mpianatra, fara fahakeliny, dia tsy mahazo vola amin'ny fehezan-dalàna soratany, fa mahazo naoty fotsiny ho an'ny firaketany mpianatra.
Nanontany azy ireo momba izany aho. Ary amin'ny teniny:
- Ny traikefan'ny mpandray anjara amin'ny Open Source.
- Makà tsipika ao amin'ny CV anao.
- Manaporofo ny tenanao ary mandalo tafatafa ao amin'ny Yandex.
- Lasa mpikambana GSoC.
- +1 fampianarana manokana ho an'ireo te hanoratra kaody.
Tsy hiresaka momba ny fomba nandrafetana ny taranja aho. Lazaiko fotsiny fa ny WAL-G no tena tetikasa. Nampidirinay ihany koa ny tetikasa toy ny Odyssey, PostgreSQL ary ClickHouse amin'ity taranja ity.
Ary tsy tamin'ity taranja ity ihany no nomen'izy ireo olana, fa nanome diplaoma sy fianarana ihany koa.
Ahoana ny amin'ny tombontsoa ho an'ny mpampiasa?
Andeha isika hiroso amin'ny ampahany mahaliana anao indrindra. Inona no mahasoa anao? Ny zava-misy dia ny mpianatra dia nanamboatra bibikely maro. Ary nanao ireo endri-javatra fangatahana izay nasainao hataonay izahay.
Ary mamelà ahy hilaza aminao ny zavatra efa nirinao hatry ny ela ary efa tanteraka.
Fanohanana tablespaces. Ny habaka latabatra ao amin'ny WAL-G dia efa nampoizina angamba hatramin'ny nivoahan'ny WAL-G, satria ny WAL-G no mpandimby ny fitaovana backup WAL-E hafa, izay nanohanana ny backup database miaraka amin'ny tablespaces.
Mamelà ahy hampahatsiahy anao vetivety hoe inona izany ary nahoana no ilaina izany rehetra izany. Amin'ny ankapobeny, ny angon-drakitra Postgres rehetra dia manana lahatahiry iray amin'ny rafi-drakitra, antsoina hoe base. Ary ity lahatahiry ity dia efa misy ny rakitra sy ny subdirectories rehetra takian'ny Postgres.
Tablespaces dia lahatahiry misy angona Postgres, saingy tsy hita ivelan'ny lahatahiry fototra. Ny slide dia mampiseho fa ny tablespacs dia hita ivelan'ny lahatahiry fototra.
Manao ahoana izany ho an'ny Postgres mihitsy? Misy subdirectory manokana pg_tblspc ao amin'ny lahatahiry fototra. Ary misy symlinks mankany amin'ny lahatahiry izay tena misy angona Postgres ivelan'ny lahatahiry fototra.
Rehefa mampiasa izany rehetra izany ianao, dia ho anao ireo baiko ireo dia mety ho toy izao. Izany hoe, mamorona latabatra ao amin'ny tablespace voafaritra ianao ary jereo ny misy azy ankehitriny. Ireo no andalana roa farany, antsoina hoe baiko roa farany. Ary mazava ho azy fa misy fomba. Saingy raha ny marina, tsy izany no tena fomba. Ity no lalana voatondro manomboka amin'ny lahatahiry fototra mankany amin'ny tablespace. Ary avy eo dia ampifandraisina amin'ny symlink izay mitondra any amin'ny angona tena izy.
Tsy mampiasa izany rehetra izany ao amin'ny ekipanay izahay, fa nampiasain'ny mpampiasa WAL-E maro hafa izay nanoratra taminay fa te hifindra any amin'ny WAL-G izy ireo, saingy nanakana azy ireo izany. Tohanana izao.
Endri-javatra iray hafa nentin'ny taranja manokana nataonay dia ny catchup. Ny olona izay mety niasa bebe kokoa tamin'ny Oracle noho ny tamin'ny Postgres dia mahafantatra momba ny catchup.
Fohy momba ny inona izany. Ny topologie cluster ao amin'ny serivisinay dia mety ho toy izao. Manana tompo izahay. Misy dika mitovy amin'izany izay mikoriana avy amin'ny diary manoratra mialoha. Ary ny kopia dia milaza amin'ny tompony hoe LSN misy azy amin'izao fotoana izao. Ary any amin'ny toerana mifanitsy amin'izany, ny log dia azo apetraka. Ary ho fanampin'ny fitahirizana ny log dia alefa any amin'ny rahona ihany koa ny backup. Ary alefa ny backups delta.
Inona no mety ho olana? Rehefa manana angon-drakitra somary lehibe ianao dia mety ho hita fa manomboka miala lavitra ny tompony ny dika mitovy aminao. Ary lasa lavitra be izy ka tsy afaka maharaka azy mihitsy. Matetika io olana io dia mila voavaha amin'ny fomba ahoana.
Ary ny fomba tsotra indrindra dia ny manala ny dika mitovy ary mamerina azy indray, satria tsy ho tratra izany, ary mila vahana ny olana. Saingy fotoana lava be izany, satria ny famerenana ny backup database 10 TB manontolo dia fotoana lava be. Ary tianay ny hanao izany rehetra izany haingana araka izay azo atao raha misy olana toy izany. Ary izany indrindra no atao hoe catchup.
Ny Catchup dia ahafahanao mampiasa backup delta, izay voatahiry ao amin'ny rahona toy izany. Lazainao hoe LSN inona ilay dika mitovy amin'izao fotoana izao ary ambarao ao amin'ny baiko catchup izany mba hamoronana backup delta eo anelanelan'io LSN io sy ny LSN misy ny cluster anao amin'izao fotoana izao. Ary aorian'izay dia avereno amin'ny kopia izay nihemotra io backup io.
Toby hafa
Nitondra endri-javatra maro ho anay koa ny mpianatra. Satria ao amin'ny Yandex dia tsy ny Postgres ihany no mahandro, fa manana MySQL, MongoDB, Redis, ClickHouse ihany koa izahay, indraindray dia nila nahay nanao backups miaraka amin'ny famerenana amin'ny fotoana fohy ho an'ny MySQL, ary noho izany dia nisy fotoana ahafahana mampakatra. ho any amin'ny rahona izy ireo.
Ary tianay ny hanao izany amin'ny fomba mitovy amin'ny ataon'ny WAL-G. Ary nanapa-kevitra ny hanandrana izahay ary hijery hoe ahoana no hisehoan'izany rehetra izany.
Ary tamin'ny voalohany, tsy nizara izany lojika izany tamin'ny fomba rehetra, dia nanoratra ny kaody tao amin'ny garderie izy ireo. Hitan'izy ireo fa manana karazana modely miasa izahay ary afaka manidina. Avy eo dia nihevitra izahay fa postgresista ny vondrom-piarahamoninay lehibe indrindra, mampiasa WAL-G izy ireo. Ary noho izany dia mila manasaraka ireo ampahany ireo isika. Izany hoe, rehefa manitsy ny kaody ho an'ny Postgres isika, dia tsy manapaka MySQL; rehefa manova MySQL, dia tsy manapaka ny Postgres.
Ny hevitra voalohany momba ny fomba hanasarahana izany dia ny hevitra hampiasa fomba mitovy amin'ny ampiasaina amin'ny fanitarana PostgreSQL. Ary raha ny marina, mba hanaovana backup MySQL dia tsy maintsy nametraka karazana tranomboky mavitrika ianao.
Fa eto dia hita avy hatrany ny asymmetry amin'ity fomba fiasa ity. Rehefa manao backup Postgres ianao dia mametraka backup mahazatra ho an'ny Postgres eo aminy ary tsara ny zava-drehetra. Ary ho an'ny MySQL dia hita fa mametraka backup ho an'ny Postgres ianao ary mametraka tranomboky mavitrika ho an'ny MySQL ho azy. Toa hafahafa izany. Nieritreritra izany koa izahay ary nanapa-kevitra fa tsy io no vahaolana ilainay.
Fanorenana isan-karazany ho an'ny Postgres, MySQL, MongoDB, Redis
Saingy izany dia namela anay, toa anay, ho tonga amin'ny fanapahan-kevitra tsara - hanokana fivoriambe samihafa ho an'ny fototra samihafa. Izany dia nahafahana nanasaraka ny lojika mifamatotra amin'ny backups amin'ny angon-drakitra isan-karazany izay hiditra amin'ny API mahazatra izay ampiharin'ny WAL-G.
Ity no ampahany nosoratanay ny tenanay - alohan'ny hanomezana ny mpianatra ny olana. Izany hoe, io indrindra no ampahany ahafahan'izy ireo manao zavatra tsy mety, ka nanapa-kevitra izahay fa aleo manao zavatra toy izao dia hilamina ny zava-drehetra.
Taorian'izay dia namoaka olana izahay. Noravana avy hatrany izy ireo. Nasaina nanohana toby telo ny mpianatra.
Ity ny MySQL, izay notohananay tamin'ny fampiasana WAL-G tamin'izany fomba izany nandritra ny herintaona mahery.
Ary ankehitriny ny MongoDB dia manakaiky ny famokarana, izay mamarana azy amin'ny rakitra. Raha ny marina dia nanoratra ny rafitra ho an'izany rehetra izany izahay. Avy eo dia nanoratra zavatra azo ampiharina ny mpianatra. Ary avy eo dia mitondra azy ireo any amin'ny fanjakana izay azontsika ekena amin'ny famokarana.
Ireo olana ireo dia toa tsy nilain'ny mpianatra hanoratra fitaovana backup feno ho an'ny tsirairay amin'ireo tahiry ireo. Tsy nanana olana toy izany izahay. Ny olanay dia naniry ny hamerenana amin'ny laoniny izahay ary te-hiverina amin'ny rahona. Ary nasainy nanoratra fehezan-dalàna hamahana izany ireo mpianatra. Nampiasa fitaovana efa misy ny mpianatra, izay maka backup, ary avy eo dia napetaka tamin'ny WAL-G, izay nampita izany rehetra izany tamin'ny rahona. Ary nampian'izy ireo ihany koa ny fanarenana ara-potoana amin'izany.
Inona koa no nentin’ny mpianatra? Nitondra fanohanana fanafenana Libsodium ho an'ny WAL-G izy ireo.
Manana politika fitahirizana backup ihany koa izahay. Ankehitriny dia azo marihina ho maharitra ny backups. Ary na izany na tsy izany dia mety kokoa ho an'ny serivisinao ny manao ho azy ny fizotran'ny fitehirizana azy ireo.
Inona no vokatr'io fanandramana io?
Olona maherin'ny 100 no nisoratra anarana tamin'ny taranja voalohany. Tamin'ny voalohany dia tsy nilaza aho fa ny oniversite ao Yekaterinburg dia ny Ural Federal University. Nambaranay tao daholo ny zava-drehetra. Olona 100 no nisoratra anarana. Raha ny marina, vitsy kokoa ny olona nanomboka nanao zavatra, tokony ho 30 ny olona.
Na dia vitsy kokoa aza ny olona nahavita ny fianarana, satria ilaina ny manoratra fitsapana ho an'ny kaody efa misy. Ary amboary koa ny bug na manaova endri-javatra. Ary mbola nanakatona ny fampianarana ny mpianatra sasany.
Amin'izao fotoana izao, mandritra ity taranja ity, ireo mpianatra dia nanamboatra olana 14 teo ho eo ary nanao endri-javatra 10 amin'ny habe samihafa. Ary, toa ahy, fanoloana tanteraka ny developer iray na roa izany.
Anisan'ny nanome diplaoma sy fampianarana izahay. Ary 12 no nahazo diplaoma. 6 amin’izy ireo no efa niaro tena teo amin’ny “5”. Tsy mbola nahazo fiarovana ireo sisa tavela, saingy heveriko fa hilamina ihany koa ny zava-drehetra ho azy ireo.
Drafitra ho an'ny ho avy
Inona no drafitry ny ho avy?
Farafaharatsiny ireo fangatahana endri-javatra izay efa renay avy amin'ny mpampiasa ary tiantsika hatao. ity:
- Fanaraha-maso ny fahamarinan'ny fanaraha-maso ara-potoana ao amin'ny arisiva backup cluster HA. Azonao atao izany amin'ny WAL-G. Ary heveriko fa hanana mpianatra handray an'io raharaha io isika.
- Efa manana olona tompon'andraikitra amin'ny famindrana backups sy WAL eo anelanelan'ny rahona.
- Ary vao haingana izahay no namoaka hevitra iray fa afaka manafaingana kokoa ny WAL-G amin'ny alàlan'ny famongorana ireo backups fanampiny nefa tsy mamerina manoratra pejy sy manatsara ny arisiva alefanay any.
Azonao zaraina eto
Natao inona io tatitra io? Ankoatra izay, ankehitriny, ankoatra ireo olona 4 manohana ity tetikasa ity, dia manana tanana fanampiny izahay, izay tena betsaka. Indrindra raha manoratra amin'izy ireo amin'ny hafatra manokana ianao. Ary raha mamerina ny angonao ianao ary manao izany amin'ny alàlan'ny WAL-G na te-hifindra any amin'ny WAL-G, dia azonay atao mora foana ny manatanteraka ny fanirianao.
Ity dia kaody QR sy rohy. Azonao atao ny mamakivaky azy ireo ary manoratra ny fanirianao rehetra. Ohatra, tsy manamboatra bug izahay. Na tena mila endri-javatra sasany ianao, saingy noho ny antony tsy mbola ao anaty backup, anisan'izany ny anay. Aza hadino ny manoratra momba izany.
Ny fanontanianao
Salama! Misaotra tamin'ny tatitra! Fanontaniana momba ny WAL-G, fa tsy momba ny Postgres. WAL-G dia manohana ny MySQL ary miantso backup fanampiny. Raha maka fametrahana maoderina amin'ny CentOS isika ary raha manao yum mametraka MySQL ianao dia hapetraka ny MariDB. Avy amin'ny version 10.3 fanampiny backup dia tsy tohanana, MariDB backup no tohana. Ahoana no ataonao amin'ity?
Amin'izao fotoana izao dia tsy nanandrana nanamboatra ny MariDB izahay. Nanana fangatahana fanohanana ny FoundationDB izahay, saingy amin'ny ankapobeny, raha misy ny fangatahana toy izany, dia afaka mahita olona hanao izany izahay. Tsy lava na sarotra araka ny fieritreretako azy.
Salama Misaotra tamin'ny tatitra! Fanontaniana momba ny endri-javatra vaovao mety. Vonona ve ianao hanamboatra ny WAL-G amin'ny kasety mba hahafahanao mamerina amin'ny kasety?
Ny backup amin'ny fitahirizana kasety toa midika hoe?
Eny.
Misy Andrei Borodin, izay afaka mamaly io fanontaniana io tsara kokoa noho izaho.
(Andrey) Eny, misaotra amin'ny fanontaniana! Nanana fangatahana izahay hamindra backup amin'ny kasety avy amin'ny fitahirizana rahona. Ary noho izany famindrana eo anelanelan'ny rahona. Satria ny famindrana rahona mankany amin'ny rahona dia dikan-teny ankapoben'ny famindrana kasety. Ho fanampin'izay, manana maritrano azo itarina izahay amin'ny resaka Storages. Teny an-dalana, Storoges maro no nosoratan'ny mpianatra. Ary raha manoratra fitahirizana ho an'ny kasety ianao, dia mazava ho azy fa ho tohanana. Vonona izahay handinika ny fangatahana fisintonana. Ao no mila manoratra rakitra, mamaky rakitra. Raha manao ireo zavatra ireo ianao ao amin'ny Go, dia matetika ianao no miafara amin'ny andalana 50 kaody. Ary avy eo dia ho tohanana amin'ny WAL-G ny kasety.
Misaotra tamin'ny tatitra! Dingana fampandrosoana mahaliana. Backup dia ampahany lehibe amin'ny fiasa izay tokony ho voarakotry ny fitsapana. Rehefa nampihatra fampiasa ho an'ny angon-drakitra vaovao ianao, nanoratra ny fitsapana ihany koa ve ny mpianatra, sa ianao nanoratra ny fitsapana ary avy eo nanome ny fampiharana ny mpianatra?
Nanoratra fitsapana koa ny mpianatra. Saingy nanoratra bebe kokoa ny mpianatra ho an'ny endri-javatra toy ny angona vaovao. Nanoratra fitsapana fampidirana izy ireo. Ary nanoratra andrana unit izy ireo. Raha mandalo ny fampidirana, izany hoe amin'izao fotoana izao, ity dia script izay tanterahanao amin'ny tananao na manana cron ianao, ohatra. Izany hoe mazava be ny soratra ao.
Tsy dia manana traikefa loatra ny mpianatra. Mitaky fotoana be ve ny famerenana?
Eny, mila fotoana be ny famerenana. Izany hoe, matetika, rehefa tonga ny committers maromaro indray mandeha milaza fa nanao an'ity aho dia nanao an'izany, dia mila mieritreritra sy manokan-tena eo amin'ny antsasaky ny andro ianao hamantatra ny zavatra nosoratany tao. Satria tsy maintsy vakiana tsara ny code. Tsy nanana dinidinika izy ireo. Tsy dia fantatsika loatra izy ireo, ka mila fotoana be izany.
Misaotra tamin'ny tatitra! Teo aloha dia nilaza i Andrey Borodin fa tokony hiantso mivantana ny archive_command amin'ny WAL-G. Fa amin'ny tranganà karazana cartridge cluster, mila lojika fanampiny isika mba hamaritana ny node handefasana ny shafts. Ahoana no fomba hamahanao io olana io?
Inona ny olanao eto? Andeha hatao hoe manana kopia synchronous izay anaovanao backup ianao? Sa ahoana?
(Andrey) Ny zava-misy dia ny WAL-G dia natao hampiasaina tsy misy sora-baventy. Raha misy tsy ampy dia ndao ampiana ny lojika tokony ho ao anatin'ny WAL-G. Raha ny momba ny toerana tokony hiavian'ny archiving dia mino izahay fa ny archiving dia tokony avy amin'ny tompony ankehitriny ao amin'ny cluster. Hevitra ratsy ny fitahirizana rakitra avy amin'ny kopia. Misy scenario isan-karazany mety hisy olana. Indrindra indrindra, olana amin'ny fandaharam-potoana fitahirizana sy ny fampahalalana fanampiny rehetra. Misaotra amin'ny fanontaniana!
(Fanazavana: Nesorintsika ny script shell )
Salama! Misaotra tamin'ny tatitra! Liana amin'ilay endri-javatra catchup noresahinao aho. Niatrika toe-javatra nisy kopia iray tao aoriana izahay ary tsy naharaka. Ary tsy nahita famaritana an'io endri-javatra io aho tao amin'ny antontan-taratasy WAL-G.
Nipoitra ara-bakiteny ny Catchup tamin'ny 20 Janoary 2020. Mety mila asa fanampiny ny antontan-taratasy. Ny tenanay no manoratra azy ary tsy manoratra azy tsara. Ary angamba tokony hanomboka hitaky ny mpianatra hanoratra izany isika.
Efa nivoaka ve izany?
Efa maty ny fangatahana fisintonana, izany hoe nojereko. Nanandrana izany tamin'ny cluster fitsapana aho. Hatreto dia tsy mbola nanana toe-javatra ahafahantsika mitsapa izany amin'ny ohatra ady.
Rahoviana no andrasana?
Tsy fantatro. Andraso iray volana fa hojerentsika tsara.
Source: www.habr.com