Hojerena ny fandraisan'anjaran'i Yandex amin'ireto angona manaraka ireto.
- clickhouse
- Odyssey
- Famerenana amin'ny fotoana iray (WAL-G)
- PostgreSQL (anisan'izany ny logerrors, Amcheck, heapcheck)
- Greenplum
horonan-tsary:
Hello World! Andrey Borodin no anarako. Ary ny zavatra ataoko ao amin'ny Yandex.Cloud dia mamolavola tahiry fifandraisana misokatra ho an'ny tombontsoan'ny mpanjifa Yandex.Cloud sy Yandex.Cloud.
Amin'ity lahateny ity dia hiresaka momba ny fanamby atrehin'ny angon-drakitra misokatra malalaka isika. Nahoana no zava-dehibe izany? Satria olana kely, kely izay, toy ny moka, dia lasa elefanta avy eo. Mitombo izy ireo rehefa manana cluster maro ianao.
Tsy izany anefa no zava-dehibe. Zavatra tsy mampino mitranga. Zavatra mitranga amin'ny tranga iray amin'ny iray tapitrisa. Ary amin'ny tontolon'ny rahona dia tsy maintsy miomana amin'izany ianao, satria ny zavatra tsy mampino dia lasa tena azo inoana rehefa misy zavatra misy amin'ny ambaratonga.
Fa! Inona no tombony amin'ny angon-drakitra misokatra? Ny zava-misy dia manana fahafahana teorika hiatrehana olana rehetra ianao. Manana ny kaody loharano ianao, manana fahalalana momba ny programa ianao. Atambatra ary miasa.
Inona no fomba fiasa amin'ny fiasana amin'ny rindrambaiko open source?
- Ny fomba tsotra indrindra dia ny fampiasana rindrambaiko. Raha mampiasa protocols ianao, raha mampiasa fenitra, raha mampiasa format ianao, raha manoratra fanontaniana amin'ny rindrambaiko open source, dia efa manohana azy ianao.
- Mampitombo ny tontolo iainany ianao. Ampitomboinao ny mety hisian'ny fitiliana mialoha ny bibikely. Ampitomboinao ny fahatokisan'ity rafitra ity. Ampitomboinao ny fisian'ny mpamorona eny an-tsena. Manatsara ity rindrambaiko ity ianao. Efa mpandray anjara ianao raha vao nanao fomba sy nieritreritra zavatra tao.
- Fomba iray hafa azo takarina ny fanohanana rindrambaiko open source. Ohatra, ny programa Google Summer of Code fanta-daza, rehefa mandoa vola be ny mpianatra avy amin'ny lafivalon'izao tontolo izao i Google mba hamolavola tetikasa rindrambaiko misokatra izay mahafeno ny fepetra takiana sasany.
- Ity dia fomba fiasa tena mahaliana satria mamela ny rindrambaiko hivoatra tsy hampiala ny fifantohana amin'ny fiarahamonina. Google, amin'ny maha-goavan'ny teknolojia azy, dia tsy milaza fa mila an'io endri-javatra io izahay, te-hanamboatra an'io bug io izahay ary eto no mila mihady. Hoy i Google: “Ataovy izay ataonao. Tohizo fotsiny ny fomba fiasanao dia ho tsara ny zava-drehetra. ”
- Ny fomba fiasa manaraka amin'ny fandraisana anjara amin'ny loharano misokatra dia ny fandraisana anjara. Rehefa manana olana amin'ny rindrambaiko open source ianao ary misy developer dia manomboka mamaha ny olana ny developer anao. Izy ireo dia manomboka manao ny fotodrafitrasa ho mahomby kokoa, ny programanao haingana kokoa ary azo antoka kokoa.
Iray amin'ireo tetikasa Yandex malaza indrindra eo amin'ny sehatry ny rindrambaiko open source ny ClickHouse. Ity dia angon-drakitra teraka ho valin'ny fanamby atrehin'ny Yandex.Metrica.
Ary amin'ny maha-database azy dia natao tamin'ny loharano misokatra izy io mba hamoronana tontolo iainana sy hampivelatra azy miaraka amin'ireo mpamorona hafa (tsy ao anatin'ny Yandex ihany). Ary ankehitriny dia tetikasa goavana izay misy orinasa maro samihafa mandray anjara.
Ao amin'ny Yandex.Cloud, namorona ClickHouse eo an-tampon'ny Yandex Object Storage izahay, izany hoe eo an-tampon'ny fitahirizana rahona.
Nahoana izany no zava-dehibe amin'ny rahona? Satria ny angon-drakitra rehetra dia miasa amin'ity telozoro ity, amin'ity piramida ity, amin'ity ambaratongan'ny karazana fitadidiana ity. Manana rejisitra haingana nefa kely ianao ary SSD lehibe nefa miadana, kapila mafy ary fitaovana fanakanana hafa. Ary raha mahomby ianao eo an-tampon'ny piramida, dia manana tahiry haingana ianao. raha mahomby ianao eo amin'ny farany ambany amin'ity piramida ity, dia manana angon-drakitra mivelatra ianao. Ary amin'io lafiny io, ny fampidirana sosona hafa avy any ambany dia fomba lojika hampitomboana ny scalability ny angon-drakitra.
Ahoana no nanaovana izany? Hevi-dehibe amin'ity tatitra ity izany.
- Azontsika atao ny mampihatra ClickHouse amin'ny MDS. MDS dia interface tsara fitahirizana rahona Yandex anatiny. Sarotra kokoa noho ny protocol S3 mahazatra izy io, saingy mety kokoa amin'ny fitaovana fanakanana. Tsara kokoa ny mirakitra angona. Mitaky fandaharana bebe kokoa izany. Ny mpandrindra dia hanao fandaharana, na dia tsara aza, mahaliana.
- S3 dia fomba fanao mahazatra kokoa izay mahatonga ny interface ho tsotra kokoa amin'ny vidin'ny fampifanarahana kely amin'ny karazana enta-mavesatra sasany.
Mazava ho azy, te-hanome fonctionnaire ho an'ny tontolo iainana ClickHouse manontolo ary hanao ny asa ilaina ao anatin'ny Yandex.Cloud, dia nanapa-kevitra izahay fa hahazo tombony amin'izany ny vondrom-piarahamonina ClickHouse manontolo. Nametraka ClickHouse amin'ny S3 izahay, fa tsy ClickHouse amin'ny MDS. Ary asa be io.
andinin-tsoratra masina:
"Soratra abstraction filesystem"
"AWS SDK S3 fampidirana"
"Fampiharana fototra ny fifandraisana IDisk ho an'ny S3"
"Fampidirana ny milina fitahirizana log miaraka amin'ny interface IDisk"
"Fanohanana motera Log ho an'ny S3 sy SeekableReadBuffer"
"Storage Stripe Log S3 fanohanana"
"Storage MergeTree fanohanana voalohany ho an'ny S3"
"MergeTree fanohanana feno ho an'ny S3"
"Tohanana ny ReplicatedMergeTree amin'ny S3"
"Ampio ny mari-pamantarana mahazatra sy lohapejy mahazatra ho an'ny fitahirizana s3"
"S3 miaraka amin'ny fanamafisana proxy mavitrika"
"S3 miaraka amin'ny vahaolana proxy"
Ity dia lisitry ny fangatahana fisintonana amin'ny fampiharana rafitra rakitra virtoaly ao amin'ny ClickHouse. Betsaka ny fangatahana fisintonana.
andinin-tsoratra masina:
"DiskS3 hardlinks fampiharana tsara indrindra"
"S3 HTTP client - Aza maka kopia ny valin-kafatra ho fahatsiarovana"
"Aza maka tahaka ny valin-kafatra manontolo ho fahatsiarovana ao amin'ny S3 HTTP
mpanjifa"
"Fahafahana mametaka marika sy manindrona rakitra ho an'ny kapila S3"
"Afindrano ny ampahany avy amin'ny DiskLocal mankany amin'ny DiskS3 mifanitsy"
Tsy nifarana teo anefa ny asa. Taorian'ny nanaovana ilay endri-javatra dia nisy asa fanampiny ilaina mba hanamafisana io fampiasa io.
andinin-tsoratra masina:
"Ampio hetsika SelectedRows sy SelectedBytes"
"Manampia hetsika profiling avy amin'ny fangatahana S3 amin'ny system.events"
"Ampio QueryTimeMicroseconds, SelectQueryTimeMicroseconds ary InsertQueryTimeMicroseconds"
Ary avy eo dia ilaina ny manao izany ho diagnostika, mametraka ny fanaraha-maso ary manao izany ho azo fehezina.
Ary izany rehetra izany dia natao mba hahazoan'ny vondrom-piarahamonina manontolo, ny tontolo iainana ClickHouse manontolo, ny vokatry ny asa.
Andeha isika hifindra any amin'ny transactional databases, amin'ny OLTP databases, izay akaiky ahy manokana.
Ity no fizarana fampandrosoana DBMS open source. Manao ody eny an-dalambe ry zalahy ireto mba hanatsarana ny angon-drakitra misokatra malalaka.
Ny iray amin'ireo tetikasa, mampiasa ohatra iray ahafahantsika miresaka momba ny fomba sy ny ataontsika, dia ny Connection Pooler ao amin'ny Postgres.
Postgres dia angon-drakitra momba ny dingana. Midika izany fa ny angon-drakitra dia tokony hanana fifandraisana amin'ny tamba-jotra faran'izay vitsy izay mitantana ny fifampiraharahana.
Amin'ny lafiny iray, amin'ny tontolo rahona, toe-javatra mahazatra dia rehefa misy fifandraisana an'arivony tonga amin'ny cluster iray indray mandeha. Ary ny andraikitry ny mpanamory fifandraisana dia ny mametaka fifandraisana an'arivony amin'ny fifandraisana mpizara vitsivitsy.
Afaka milaza isika fa ny fifandraisana pooler dia ny telefaonina operateur izay rearranges ny bytes mba mahomby tonga any amin'ny tahiry.
Indrisy anefa, tsy misy teny Rosiana tsara ho an'ny fifandraisana pooler. Indraindray dia antsoina hoe fifandraisana multiplexer. Raha fantatrao ny tokony hiantsoana ny fifandraisana pooler, dia aoka ho azo antoka ny hilaza amiko, dia ho faly be aho miteny ny teny ara-teknika Rosiana marina.
Nanadihady ireo poolers fifandraisana izay mety amin'ny cluster postgres mitantana. Ary PgBouncer no safidy tsara indrindra ho anay. Saingy nisedra olana maromaro tamin'ny PgBouncer izahay. Taona maro lasa izay, Volodya Borodin dia nanome tatitra fa mampiasa PgBouncer izahay, tianay ny zava-drehetra, saingy misy ny nuances, misy zavatra tokony hiasa.
Ary niasa izahay. Namboarinay ny olana sendra anay, nanamboatra ny Bouncer izahay, ary nanandrana nanosika ny fangatahana misintona. Saingy sarotra ny niasa tamin'ny kofehy tokana fototra.
Tsy maintsy nanangona cascade avy amin'ny Bouncers voapetaka izahay. Rehefa manana Bouncers tokana manana kofehy tokana isika, dia afindra any amin'ny sosona anatiny amin'ny Bouncers ny fifandraisana eo amin'ny sosona ambony. Ity dia rafitra tsy voatanisa ary sarotra ny manangana sy mandroso sy mandroso.
Tonga tamin'ny fanatsoahan-kevitra izahay fa namorona ny fifandraisanay manokana izahay, izay antsoina hoe Odyssey. Nosoratanay hatrany am-boalohany.
Tamin'ny taona 2019, tao amin'ny fihaonambe PgCon, dia nanolotra ity pooler ity ho an'ny vondrom-piarahamonina mpamorona aho. Ankehitriny dia manana kintana latsaky ny 2 izahay ao amin'ny GitHub, izany hoe velona ilay tetikasa, malaza ilay tetikasa.
Ary raha mamorona kluster Postgres ao amin'ny Yandex.Cloud ianao, dia ho cluster miaraka amin'ny Odyssey naorina izy io, izay amboarina rehefa manitsy ny cluster na miverina.
Inona no nianarantsika avy tamin’ity tetikasa ity? Ny fandefasana tetikasa mifaninana dia dingana masiaka hatrany, fepetra faran'izay mafy izany rehefa milaza isika fa misy olana tsy voavaha haingana, tsy voavaha amin'ny elanelana mety ho antsika. Fepetra mahomby anefa izany.
Nanomboka nivoatra haingana kokoa ny PgBouncer.
Ary ankehitriny dia nisy tetikasa hafa niseho. Ohatra, pgagroal, izay novolavolain'ny mpamorona Red Hat. Mitady tanjona mitovy izy ireo ary mampihatra hevitra mitovy, saingy mazava ho azy, miaraka amin'ny antsipiriany manokana, izay manakaiky kokoa ny mpamorona pgagroal.
Tranga iray hafa amin'ny fiaraha-miasa amin'ny vondrom-piarahamonina postgres dia miverina amin'ny fotoana iray. Ity dia fanarenana aorian'ny tsy fahombiazana, ity dia fanarenana avy amin'ny backup.
Betsaka ny backup ary samy hafa izy rehetra. Saika ny mpivarotra Postgres rehetra dia manana vahaolana backup manokana.
Raha alainao ny rafitra backup rehetra, mamorona matrix endri-javatra ary kajy am-bazivazy ny determinant amin'ity matrix ity dia ho aotra izany. Inona no dikan'ity? Ahoana raha maka rakitra backup manokana ianao, dia tsy azo angonina avy amin'ny ampahany hafa rehetra. Miavaka amin’ny fampiharana azy, miavaka amin’ny tanjony, miavaka amin’ny hevitra voarakitra ao anatiny. Ary izy rehetra dia voafaritra.
Raha mbola niasa tamin'ity olana ity izahay dia nanangana ny tetikasa WAL-G ny CitusData. Ity dia rafitra backup izay natao tamin'ny maso ny tontolo iainana rahona. Ankehitriny CitusData dia efa anisan'ny Microsoft. Ary tamin'io fotoana io dia tena tianay ny hevitra napetraka tamin'ny famoahana voalohany ny WAL-G. Ary nanomboka nandray anjara tamin'ity tetikasa ity izahay.
Ankehitriny dia misy mpamorona am-polony maro amin'ity tetikasa ity, fa ny mpandray anjara 10 ambony indrindra amin'ny WAL-G dia misy Yandexoids 6. Betsaka ny hevitray nentinay tany. Ary mazava ho azy, ny tenanay no nampihatra azy ireo, nizaha toetra azy ireo ny tenanay, namoaka azy ireo ho amin'ny famokarana, ny tenanay no mampiasa azy ireo, ny tenanay no mamaritra ny toerana tokony hizorana manaraka, rehefa mifandray amin'ny vondrom-piarahamonina lehibe WAL-G.
Ary avy amin'ny fomba fijerinay, ankehitriny ity rafitra backup ity, anisan'izany ny fiheverana ny ezaka ataontsika, dia nanjary tsara indrindra ho an'ny tontolo rahona. Ity no vidiny tsara indrindra amin'ny fanohanana ny Postgres amin'ny rahona.
Inona no dikan'izany? Nampiroborobo hevitra somary lehibe izahay: ny backup dia tokony ho azo antoka, mora ampiasaina ary haingana araka izay azo atao ny mamerina.
Nahoana no mora ny miasa? Rehefa tsy misy simba dia tsy tokony ho fantatrao fa manana backup ianao. Miasa tsara ny zava-drehetra, mandany CPU faran'izay kely araka izay tratra ianao, mampiasa faran'izay kely amin'ny loharanon-kapilanao ianao, ary mandefa bytes vitsivitsy amin'ny tambajotra araka izay azo atao mba tsy hanelingelina ny enta-mavesatry ny serivisy sarobidy.
Ary rehefa tapaka ny zava-drehetra, ohatra, nandatsaka ny angon-drakitra ny admin, nisy tsy nety, ary mila miverina haingana amin'ny lasa ianao, sitrana miaraka amin'ny vola rehetra, satria tianao hiverina haingana sy tsy misy dikany ny data.
Ary nampiroborobo ity hevitra tsotra ity izahay. Ary, toa anay, nahavita nampihatra izany izahay.
Tsy izay ihany anefa. Naniry zavatra kely iray hafa izahay. Naniry angona maro samihafa izahay. Tsy ny mpanjifanay rehetra no mampiasa Postgres. Misy olona mampiasa MySQL, MongoDB. Ao amin'ny vondrom-piarahamonina, ny mpamorona hafa dia nanohana ny FoundationDB. Ary tsy mitsaha-mitombo io lisitra io.
Tian'ny vondrom-piarahamonina ny hevitra momba ny angon-drakitra mandeha amin'ny tontolo mitantana ao anaty rahona. Ary ny mpamorona dia mitazona ny angonany, izay azo averina miaraka amin'ny Postgres miaraka amin'ny rafitra backup.
Inona no ianarantsika avy amin’io tantara io? Ny vokatray, amin'ny maha-fizarana fampandrosoana azy, dia tsy andalana code, tsy fanambarana, tsy rakitra. Ny vokatray dia tsy fangatahana fisintonana. Ireo no hevitra ampitainay amin’ny fiarahamonina. Izany dia ny fahaiza-manao ara-teknolojia sy ny fihetsiky ny teknolojia mankany amin'ny tontolo rahona.
Misy tahiry toy ny Postgres. Tiako indrindra ny core Postgres. Mandany fotoana betsaka amin'ny famolavolana ny fototry ny Postgres miaraka amin'ny vondrom-piarahamonina aho.
Saingy eto dia tsy maintsy lazaina fa Yandex.Cloud dia manana fametrahana anatiny amin'ny angon-drakitra voatanisa. Ary nanomboka hatry ny ela tao amin'ny Yandex.Mail izany. Ny fahaiza-manao izay nitarika amin'ny fitantanana Postgres dia nangonina rehefa te-hifindra ao amin'ny Postgres ny mailaka.
Ny mailaka dia manana fepetra mitovy amin'ny rahona. Mila azonao atao ny manefa ny fitomboana tsy ampoizina amin'ny fotoana rehetra amin'ny angonao. Ary ny mailaka dia efa nisy enta-mavesatra misy boaty mailaka an-jatony tapitrisa eo ho eo amin'ireo mpampiasa marobe izay manao fangatahana maro.
Ary fanamby goavana ho an'ny ekipa izay namolavola Postgres izany. Tamin'izany fotoana izany, izay olana sendra anay dia notaterina tamin'ny fokonolona. Ary ireo olana ireo dia nahitsy, ary nahitsin'ny vondrom-piarahamonina any amin'ny toerana sasany na dia eo amin'ny haavon'ny fanohanan'ny karama ho an'ny angon-drakitra hafa ary tsara kokoa aza. Izany hoe, afaka mandefa taratasy amin'ny mpijirika PgSQL ianao ary mahazo valiny ao anatin'ny 40 minitra. Ny fanohanana karama amin'ny angon-drakitra sasany dia mety hihevitra fa misy zavatra laharam-pahamehana kokoa noho ny bugo.
Ankehitriny ny fametrahana anatiny ny Postgres dia petabytes data. Ireo dia fangatahana an-tapitrisany isan-tsegondra. Sampana an'arivony ireo. Tena midadasika izy io.
Saingy misy ny nuance. Tsy miaina amin'ny fiaran-tambajotra malaza izy io, fa amin'ny fitaovana tsotra. Ary misy tontolo fitsapana manokana ho an'ny zava-baovao mahaliana.
Ary tamin'ny fotoana iray tao amin'ny tontolon'ny fitsapana dia naharay hafatra izahay milaza fa voahitsakitsaka ny invariants anatiny amin'ny fanondroana angon-drakitra.
Ny invariant dia karazana fifandraisana izay antenainay haharitra foana.
Toe-javatra tena sarotra ho antsika. Midika izany fa mety ho very ny angon-drakitra sasany. Ary ny fahaverezan'ny angon-drakitra dia zavatra tena mampidi-doza.
Ny hevitra ankapobeny arahintsika amin'ny angon-drakitra voatantana dia ny hoe na dia misy ezaka aza dia ho sarotra ny hamoy data. Na dia esorinao iniana aza izy ireo, dia mbola mila tsy miraharaha azy ireo mandritra ny fotoana maharitra ianao. Ny fiarovana ny angona dia fivavahana arahintsika fatratra.
Ary eto dia misy toe-javatra mipoitra izay milaza fa mety hisy toe-javatra izay mety tsy hiomanantsika. Ary nanomboka niomana ho amin'izany toe-javatra izany izahay.
Ny zavatra voalohany nataonay dia ny nandevina ny hazo avy amin'ireo cluster an'arivony ireo. Hitanay hoe iza amin'ireo cluster no hita ao amin'ny kapila misy firmware misy olana izay very ny fanavaozana pejy data. Nanamarika ny kaody data Postgres rehetra. Ary nasianay marika ireo hafatra izay manondro fanitsakitsahana ny invariant anatiny miaraka amin'ny kaody natao hamantarana ny kolikoly angona.
Saika neken'ny vondrom-piarahamonina io patch io nefa tsy nisy adihevitra be, satria isaky ny tranga manokana dia hita fa nisy zavatra ratsy nitranga ary mila taterina amin'ny log.
Taorian'izany dia tonga teo amin'ny toerana misy ny fanaraha-maso izay mijery ny logs izahay. Ary raha misy hafatra mampiahiahy dia fohaziny ilay tompon'andraikitra, ary amboariny ny tompon'andraikitra.
Fa! Ny fanaovana scan logs dia asa mora amin'ny cluster iray ary lafo be ho an'ny cluster arivo.
Nanoratra fanitarana antsoina hoe . Mamorona fomba fijery momba ny angon-drakitra izay ahafahanao misafidy mora sy haingana ny antontan'isa momba ny fahadisoana taloha. Ary raha mila mamoha ny tompon'andraikitra isika, dia ho hitantsika izany raha tsy mijery ny fisie gigabyte, fa amin'ny alàlan'ny fakana bytes vitsivitsy amin'ny latabatra hash.
Ity fanitarana ity dia noraisina, ohatra, tao amin'ny tahiry for . Raha te hampiasa azy ianao dia azonao atao ny mametraka azy io. Mazava ho azy fa loharano misokatra.
Tsy izay ihany anefa. Nanomboka nampiasa Amcheck izahay, fanitarana naorin'ny vondrom-piarahamonina, mba hahitana fanitsakitsahana tsy miovaova amin'ny fanondroana.
Ary hitanay fa raha miasa amin'ny ambaratonga ianao dia misy bibikely. Nanomboka nanamboatra azy ireo izahay. Nekena ny fanitsianay.
Hitanay fa ity fanitarana ity dia tsy afaka mamakafaka ny tondro GiST & GIT. Natao hanohana azy ireo izahay. Fa io fanohanana io dia mbola resahin'ny vondrom-piarahamonina, satria io dia fiasa vaovao ary misy antsipiriany be dia be ao.
Ary hitanay koa fa rehefa manamarina ny fanondroana ny fanitsakitsahana amin'ny mpitarika ny replication, amin'ny tompony, dia mandeha tsara ny zava-drehetra, fa amin'ny replica, amin'ny mpanaraka, ny fikarohana momba ny kolikoly dia tsy mahomby. Tsy ny invariants rehetra no voamarina. Ary ny invariant iray dia nanelingelina anay. Ary nandany herintaona sy tapany nifandray tamin'ny vondrom-piarahamonina izahay mba hahafahan'ity fanamarinana ity amin'ny kopia.
Nanoratra kaody tokony hanaraka ny rehetra afaka... protocole izahay. Niresaka momba ity patch ity nandritra ny fotoana ela izahay niaraka tamin'i Peter Gaghan avy amin'ny Crunchy Data. Tsy maintsy nanova kely ny hazo B efa misy ao amin'ny Postgres izy mba hanaiky ity patch ity. Nekena izy. Ary ankehitriny ny fanaraha-maso ny tondro amin'ny dika mitovy dia lasa mahomby ihany koa hamantarana ireo fandikan-dalàna sendra anay. Izany hoe, ireo no fanitsakitsahana mety ateraky ny fahadisoana amin'ny firmware kapila, ny bug ao amin'ny Postgres, ny bug ao amin'ny kernel Linux, ary ny olana amin'ny hardware. Lisitry ny loharanon'ny olana efa nomaninay.
Fa ankoatry ny indexes dia misy ampahany toy ny heap, izany hoe ny toerana misy ny angona voatahiry. Ary tsy misy invariants maro azo jerena.
Manana fanitarana antsoina hoe Heapcheck izahay. Nanomboka namolavola azy io izahay. Ary mitovitovy aminay, ny orinasa EnterpriseDB dia nanomboka nanoratra module, izay nantsoiny hoe Heapcheck amin'ny fomba mitovy. Izahay ihany no niantso azy io hoe PgHeapcheck, ary antsoina hoe Heapcheck fotsiny. Manana izany miaraka amin'ny fiasa mitovy izy ireo, sonia hafa kely, saingy mitovy hevitra. Nampiasa azy ireo tsara kokoa izy ireo tany amin'ny toerana sasany. Ary navoakan'izy ireo tamin'ny loharano misokatra izany taloha.
Ary ankehitriny dia mampandroso ny fanitarana azy ireo izahay, satria tsy ny fanitarana azy intsony izany, fa ny fanitarana ny fiarahamonina. Ary amin'ny hoavy dia anisan'ny kernel izay homena ny rehetra mba hahalalany mialoha ny olana ho avy.
Tany amin'ny toerana sasany, dia tonga tamin'ny fanatsoahan-kevitra mihitsy aza izahay fa manana tombony diso amin'ny rafitra fanaraha-maso. Ohatra, ny rafitra 1C. Rehefa mampiasa angon-drakitra, Postgres indraindray dia manoratra angona ao anatiny izay azony vakiana, fa tsy afaka mamaky ny pg_dump.
Ity toe-javatra ity dia toa kolikoly ho an'ny rafi-pitadiavana olana. Taitra ny tompon’andraikitra. Nijery ny zava-nitranga ny tompon’andraikitra. Rehefa afaka kelikely, dia nisy mpanjifa tonga nilaza fa manana olana aho. Nohazavain’ilay mpanampy hoe inona no olana. Fa ny olana dia ao amin'ny fototry ny Postgres.
Nahita adihevitra momba an'io endri-javatra io aho. Ary nanoratra izy fa nifanena tamin'io endri-javatra io izahay ary tsy nahafinaritra, nisy olona nifoha tamin'ny alina mba hamantarana hoe inona izany.
Namaly ny vondrom-piarahamonina hoe: "Oh, tena mila amboary izany izahay."
Manana analogy tsotra aho. Raha mandeha amin'ny kiraro misy fasika ao anatiny ianao, dia, amin'ny ankapobeny, dia afaka mandroso ianao - tsy misy olana. Raha mivarotra baoty amin'ny olona an'arivony ianao dia andao hanao kiraro tsy misy fasika mihitsy. Ary raha handeha hazakazaka hazakazaka marathon ny iray amin'ireo mpampiasa ny kiraronao, dia te hanao kiraro tena tsara ianao, ary ampitomboina amin'ny mpampiasa anao rehetra izany. Ary ireo mpampiasa tsy ampoizina toy izany dia ao amin'ny tontolo rahona foana. Misy foana ny mpampiasa manararaotra ny cluster amin'ny fomba tany am-boalohany. Tsy maintsy miomana amin'izany foana ianao.
Inona no nianarantsika teto? Zavatra tsotra no nianarantsika: ny tena zava-dehibe dia ny manazava amin'ny fiarahamonina fa misy ny olana. Raha fantatry ny fiaraha-monina ny olana, dia misy ny fifaninanana voajanahary hamahana ny olana. Satria te hamaha olana lehibe ny tsirairay. Ny mpivarotra rehetra, ny hackers rehetra dia mahatakatra fa ny tenany dia afaka manitsaka an'io rake io, ka te-hanafoana azy ireo.
Raha mamaha olana ianao, nefa tsy misy manahirana azy afa-tsy ianao, fa miasa amin'ny rafitra ianao ary heverina ho olana amin'ny farany, dia ho ekena tokoa ny fangatahanao. Ho ekena ny patcho, hojeren'ny vondrom-piarahamonina ny fanatsaranao na ny fangatahanao fanatsarana. Amin'ny faran'ny andro dia ataontsika tsara kokoa ny angon-drakitra ho an'ny tsirairay.
Ny tahiry mahaliana dia Greenplum. Izy io dia angon-drakitra mifanitsy indrindra mifototra amin'ny codebase Postgres, izay fantatro tsara.
Ary Greenplum dia manana fiasa mahaliana - ampidiro ny latabatra namboarina. Ireo dia latabatra azonao ampiana haingana. Mety ho columnar na row izy ireo.
Saingy tsy nisy clustering, izany hoe tsy nisy fiasa izay ahafahanao mandamina ny angon-drakitra hita ao amin'ny latabatra mifanaraka amin'ny filaharana ao amin'ny iray amin'ireo index.
Nanatona ahy ry zalahy tao amin’ilay taxi-be sady niteny hoe: “Andrey, fantatrao ny Postgres. Ary eto dia saika mitovy. Avereno ho 20 minitra. Raiso ary ataovy izany. Nieritreritra aho fa eny, fantatro ny Postgres, mifamadika mandritra ny 20 minitra - mila manao izany aho.
Saingy tsia, tsy 20 minitra izany, nosoratako nandritra ny volana maromaro. Tamin'ny fihaonambe PgConf.Russia dia nanatona an'i Heikki Linakangagas avy ao amin'ny Pivotal aho ary nanontany hoe: “Misy olana ve amin'ity? Nahoana no tsy misy clustering table optimized? Hoy izy: “Raiso ny angon-drakitra. Mandamina ianao, mandamina indray. Asa fotsiny io." Izaho: "Oh, eny, mila maka izany ianao ary manao izany." Hoy izy: “Eny, mila tanana malalaka izahay mba hanaovana izany.” Nihevitra aho fa tena mila manao izany aho.
Ary volana vitsivitsy taty aoriana dia nandefa fangatahana misintona aho izay nampihatra io fampiasa io. Nodinihin'i Pivotal niaraka tamin'ny vondrom-piarahamonina ity fangatahana fisarihana ity. Mazava ho azy fa nisy bibikely.
Fa ny tena mahaliana dia rehefa natambatra io fangatahana fisarihana io dia nisy bibikely hita tao amin'ny Greenplum mihitsy. Hitanay fa ny latabatra heap indraindray dia manapaka ny fifampiraharahana rehefa mivondrona. Ary zavatra tsy maintsy amboarina izany. Ary eo amin'ny toerana izay vao nokasihiko izy. Ary ny fihetsiko voajanahary dia - okay, avelao aho hanao izany koa.
Namboariko ity bug ity. Nandefa fangatahana fisintonana ho an'ny fixers. Novonoina izy.
Taorian'izay dia hita fa mila azo amin'ny dikan-teny Greenplum ho an'ny PostgreSQL 12 io fampiasa io. Nahaliana ny mikasika ny fivoarana ankehitriny, izay manapaka ireo endri-javatra vaovao sy manan-danja indrindra ny vondrom-piarahamonina. Mangatsiaka.
Tsy nifarana teo anefa izany. Taorian'ny zava-drehetra dia hita fa mila manoratra antontan-taratasy momba izany rehetra izany.
Nanomboka nanoratra antontan-taratasy aho. Soa ihany fa tonga ireo mpanao fanadihadiana avy ao amin'ny Pivotal. Anglisy no fitenin-drazany. Nanampy ahy tamin'ny antontan-taratasy izy ireo. Raha ny marina, izy ireo mihitsy no namerina nanoratra izay narosoko tamin'ny teny anglisy tena izy.
Ary eto, toa nifarana ny aventure. Ary fantatrao ve izay nitranga tamin’izay? Nanatona ahy ry zalahy avy tao amin’ilay taxi-be ary niteny hoe: “Mbola misy aventure roa, isaky ny 10 minitra.” Ary inona no tokony holazaiko amin'izy ireo? Nilaza aho fa izao dia hanome tatitra amin'ny ambaratonga, dia ho hitantsika ny zava-niainanao, satria asa mahaliana ity.
Inona no nianarantsika tamin’ity raharaha ity? Satria miasa miaraka amin'ny loharano misokatra dia miara-miasa amin'ny olona iray manokana, miara-miasa amin'ny fiaraha-monina foana. Satria isaky ny dingana iray aho dia niara-niasa tamin'ny developer sasany, tester sasany, hacker sasany, mpanao fanadihadiana sasany, architect sasany. Tsy niara-niasa tamin'ny Greenplum aho fa niara-niasa tamin'ny olona manodidina ny Greenplum.
Fa! Misy teboka manan-danja iray hafa - asa fotsiny izany. Izany hoe tonga ianao, misotro kafe, manoratra code. Ny karazana invariants tsotra rehetra dia miasa. Ataovy toy ny mahazatra - dia ho tsara! Ary asa tena mahaliana. Misy fangatahana an'ity asa ity avy amin'ny mpanjifa Yandex.Cloud, mpampiasa ny clusters na ao anatin'ny Yandex na ivelany. Ary heveriko fa hitombo ny isan'ny tetikasa izay andraisantsika anjara ary hitombo ihany koa ny halalin'ny fandraisantsika anjara.
Izay ihany. Andao hiroso amin’ny fanontaniana.
Fanontaniana session
Salama! Manana fanontaniana sy valiny hafa indray izahay. Ary ao amin'ny Studio Andrei Borodin. Ity ilay olona vao avy nilaza taminao momba ny fandraisan'anjaran'i Yandex.Cloud sy Yandex amin'ny loharano misokatra. Ny tatitray izao dia tsy momba ny rahona tanteraka, fa miaraka amin'izay koa dia mifototra amin'ny teknolojia toy izany izahay. Raha tsy misy ny zavatra nataonao tao amin'ny Yandex, dia tsy hisy serivisy ao amin'ny Yandex.Cloud, koa misaotra anao manokana. Ary ny fanontaniana voalohany avy amin'ny fampielezam-peo: "Inona ny tsirairay amin'ireo tetikasa voalazanao?"
Ny rafitra backup ao amin'ny WAL-G dia voasoratra ao amin'ny Go. Ity no iray amin'ireo tetikasa vaovao efa niasanay. Vao 3 taona monja izy. Ary ny angon-drakitra dia matetika momba ny fahatokisana. Ary midika izany fa efa antitra ny angon-drakitra ary matetika voasoratra ao amin'ny C. Nanomboka 30 taona teo ho eo izay ny tetikasa Postgres. Dia ny C89 no safidy tsara. Ary ny Postgres no voasoratra eo. Ny angon-drakitra maoderina kokoa toa ny ClickHouse dia matetika voasoratra ao amin'ny C++. Ny fampandrosoana ny rafitra rehetra dia mifototra amin'ny C sy C ++.
Fanontaniana avy amin'ny mpitantana ara-bola anay, izay tompon'andraikitra amin'ny fandaniana ao amin'ny Cloud: "Nahoana i Cloud no mandany vola amin'ny fanohanana loharano misokatra?"
Misy valiny tsotra ho an'ny mpitantana vola eto. Manao izany izahay mba hanatsara ny serivisinay. Amin’ny fomba ahoana no ahafahantsika manao tsaratsara kokoa? Afaka manao zavatra amin'ny fomba mahomby kokoa, haingana kokoa, ary manao zavatra miendrika kokoa isika. Fa ho antsika, ity tantara ity dia momba ny fahamendrehana voalohany indrindra. Ohatra, ao amin'ny rafitra backup dia mandinika ny 100% amin'ireo patch izay mihatra aminy. Fantatsika hoe inona ilay kaody. Ary mahazo aina kokoa izahay mamoaka dikan-teny vaovao amin'ny famokarana. Izany hoe, voalohany indrindra, momba ny fahatokisana, ny fahavononana amin'ny fampandrosoana ary ny fahatokisana
Fanontaniana iray hafa: "Tsy mitovy amin'ireo mpampiasa anatiny mipetraka ao amin'ny Cloud anatiny ve ny fepetra takian'ny mpampiasa ivelany monina ao amin'ny Yandex.Cloud?"
Ny mombamomba ny entana dia mazava ho azy fa hafa. Saingy avy amin'ny fomba fijerin'ny departemantako, ny tranga manokana sy mahaliana rehetra dia noforonina amin'ny entana tsy manara-penitra. Ireo mpamorona manana sary an-tsaina, ireo mpamorona izay manao ny tsy ampoizina, dia mety ho hita ao anatiny sy ivelany. Amin'io lafiny io dia mitovy avokoa isika rehetra. Ary, angamba, ny hany singa manan-danja ao anatin'ny fiasan'ny Yandex database dia ny hoe ao anatin'ny Yandex dia manana fampianarana isika. Amin'ny fotoana iray dia lasa aloka tanteraka ny faritra misy azy, ary ny serivisy Yandex rehetra dia tsy maintsy manohy miasa na dia eo aza izany. Fahasamihafana kely izany. Saingy miteraka fivoarana fikarohana be dia be amin'ny seha-pifaneraseran'ny angon-drakitra sy ny tamba-jotra. Raha tsy izany, ny fametrahana ivelany sy anatiny dia miteraka fangatahana mitovy amin'ny endri-javatra sy fangatahana mitovitovy amin'ny fanatsarana ny fahamendrehana sy ny fahombiazany.
Fanontaniana manaraka: "Ahoana ny fiheveranao manokana ny hoe ny ankamaroan'ny zavatra ataonao dia ampiasain'ny Clouds hafa?" Tsy hanonona anarana manokana izahay, fa tetikasa maro natao tao amin'ny Yandex.Cloud no ampiasaina amin'ny rahon'ny olon-kafa.
Mahafinaritra ity. Voalohany, famantarana izany fa nanao zavatra tsara isika. Ary mandrakotra ny ego. Ary matoky kokoa izahay fa nandray fanapahan-kevitra tsara. Amin'ny lafiny iray, izany no fanantenana fa amin'ny hoavy dia hitondra antsika hevitra vaovao, fangatahana vaovao avy amin'ny mpampiasa antoko fahatelo. Ny ankamaroan'ny olana ao amin'ny GitHub dia noforonin'ny mpitantana ny rafitra tsirairay, ny DBA tsirairay, ny architect tsirairay, ny injeniera tsirairay, fa indraindray ny olona manana traikefa rafitra dia tonga ary milaza fa amin'ny 30% amin'ny tranga sasany dia manana io olana io isika ary andao hieritreritra ny fomba hamahana azy. Izany no andrasantsika indrindra. Manantena ny hizara traikefa amin'ireo sehatra rahona hafa izahay.
Niresaka betsaka momba ny marathon ianao. Fantatro fa nanao marathon tany Moskoa ianao. Vokatr'izany? Nisongona ireo lehilahy avy amin'ny PostgreSQL?
Tsia, mihazakazaka haingana i Oleg Bartunov. Namita adiny iray mialoha ahy izy. Amin'ny ankapobeny, faly aho tamin'ny halavirana nataoko. Amiko dia zava-bita fotsiny ny nahavita. Amin'ny ankapobeny, mahagaga fa be dia be ny mpihazakazaka ao amin'ny vondrom-piarahamonina postgres. Amiko dia misy karazana fifandraisana misy eo amin'ny fanatanjahan-tena aerôbika sy ny faniriana ny fandaharana rafitra.
Milaza ve ianao fa tsy misy mpihazakazaka ao amin'ny ClickHouse?
Fantatro tsara fa any izy ireo. ClickHouse dia angon-drakitra ihany koa. Teny an-dalana, manoratra amiko izao i Oleg: "Handeha hihazakazaka ve isika aorian'ny tatitra?" Hevitra tsara izany.
Fanontaniana iray hafa avy amin'ny fampielezam-peo avy amin'i Nikita: "Nahoana ianao no nanamboatra ny bug ao amin'ny Greenplum ny tenanao fa tsy nomenao ny zandriny?" Marina fa tsy dia mazava loatra hoe inona ilay bug ary inona ny serivisy, fa angamba ilay noresahinao.
Eny, raha ny fitsipika, dia mety ho nomena olona. Ny code ihany no novanako. Ary ara-dalàna ny nanohy nanao izany avy hatrany. Amin'ny ankapobeny, hevitra tsara ny fizarana ny fahaiza-manao amin'ny ekipa. Azo antoka fa hizara ny andraikitry ny Greenplum amin'ny mpikambana rehetra ao amin'ny sampanay izahay.
Satria ny zandriny no resahina, dia misy fanontaniana. Nanapa-kevitra ny hamorona ny commit voalohany ao amin'ny Postgres ilay olona. Inona no tokony hataony mba hahazoana ny voalohany?
Ity dia fanontaniana mahaliana: "Aiza no hanombohana?" Matetika dia sarotra ny manomboka amin'ny zavatra ao anaty kernel. Ao amin'ny Postgres, ohatra, misy lisitra tokony hatao. Saingy raha ny marina dia ravin-taratasy izay noezahan'izy ireo natao, saingy tsy nahomby. Zavatra sarotra ireo. Ary matetika ianao dia afaka mahita fitaovana sasany ao amin'ny tontolo iainana, fanitarana sasany azo hatsaraina, izay tsy dia misarika ny sain'ny mpamorona kernel. Ary, araka izany, dia misy teboka bebe kokoa ho an'ny fitomboana any. Ao amin'ny Google Summer of code program, isan-taona ny vondrom-piarahamonina postgres dia mametraka lohahevitra maro samihafa azo resahina. Tamin'ity taona ity dia nanana mpianatra telo izahay. Ny iray aza dia nanoratra tao amin'ny WAL-G momba ny lohahevitra manan-danja amin'ny Yandex. Ao amin'ny Greenplum, tsotra kokoa ny zava-drehetra noho ny ao amin'ny vondrom-piarahamonina Postgres, satria ny mpijirika Greenplum dia mikarakara tsara ny fangatahana fisintonana ary manomboka mijery avy hatrany. Ny fandefasana patch amin'ny Postgres dia volana maromaro, fa ho avy indray andro ny Greenplum ary hahita izay nataonao. Ny zavatra iray hafa dia ny Greenplum dia mila mamaha ny olana ankehitriny. Greenplum dia tsy ampiasaina betsaka, noho izany dia sarotra ny mahita ny olanao. Ary voalohany indrindra, mila mamaha olana isika, mazava ho azy.
Source: www.habr.com