Déanfar athbhreithniú ar ranníocaíocht Yandex leis na bunachair shonraí seo a leanas.
- Cliceáil Teach
- Odyssey
- Aisghabháil go pointe ama (WAL-G)
- PostgreSQL (lena n-áirítear logearráidí, Amcheck, heapcheck)
- Glasphlum
Físeán:
Dia duit ar domhan! Andrey Borodin is ainm dom. Agus is é an rud a dhéanfaidh mé ag Yandex.Cloud ná bunachair shonraí choibhneasta oscailte a fhorbairt ar mhaithe le cliaint Yandex.Cloud agus Yandex.Cloud.
Sa chaint seo, labhróimid faoi na dúshláin atá roimh bhunachair shonraí oscailte ar scála. Cén fáth a bhfuil sé tábhachtach? Mar gheall ar beag, fadhbanna beag a, cosúil le mosquitoes, a bheith ansin elephants. Faigheann siad mór nuair a bhíonn go leor braislí agat.
Ach ní hé sin an rud is mó. Tarlaíonn rudaí dochreidte. Rudaí a tharlaíonn i gceann amháin as gach milliún cás. Agus i dtimpeallacht scamall, caithfidh tú a bheith ullamh chuige sin, mar éiríonn rudaí dochreidte an-dóchúil nuair a bhíonn rud éigin ar scála ann.
Ach! Cad é an buntáiste a bhaineann le bunachair shonraí oscailte? Is é fírinne an scéil go bhfuil deis teoiriciúil agat déileáil le fadhb ar bith. Tá an cód foinse agat, tá eolas ríomhchláraithe agat. Cuirimid le chéile é agus oibríonn sé.
Cad iad na cineálacha cur chuige atá ann maidir le hoibriú ar bhogearraí foinse oscailte?
- Is é an cur chuige is simplí ná bogearraí a úsáid. Má úsáideann tú prótacail, má úsáideann tú caighdeáin, má úsáideann tú formáidí, má scríobhann tú ceisteanna i mbogearraí foinse oscailte, tacaíonn tú leis cheana féin.
- Tá tú ag déanamh a éiceachóras níos mó. Is mó an dóchúlacht go bhfaighidh tú fabht go luath. Méadaíonn tú iontaofacht an chórais seo. Méadaíonn tú infhaighteacht na forbróirí sa mhargadh. Feabhsaíonn tú na bogearraí seo. Is rannpháirtí thú cheana féin má tá tú díreach tar éis dul i mbun stíle agus tinkered le rud éigin ann.
- Cur chuige intuigthe eile is ea urraíocht a dhéanamh ar bhogearraí foinse oscailte. Mar shampla, an clár maith ar a dtugtar Google Summer of Code, nuair a íocann Google líon mór mac léinn ó gach cearn den domhan airgead intuigthe ionas go bhforbróidh siad tionscadail bogearraí oscailte a chomhlíonann ceanglais cheadúnaithe áirithe.
- Is cur chuige an-suimiúil é seo toisc go ligeann sé do na bogearraí éabhlóid a dhéanamh gan an fócas a aistriú ón bpobal. Ní deir Google, mar fathach teicneolaíochta, go dteastaíonn an ghné seo uainn, ba mhaith linn an fabht seo a shocrú agus is é seo an áit a gcaithfimid tochailt. Deir Google: “Déan cad a dhéanann tú. Lean ort ag obair mar a bhí tú ag obair agus beidh gach rud go breá.”
- Is é an chéad chur chuige eile maidir le bheith rannpháirteach i bhfoinse oscailte ná rannpháirtíocht. Nuair a bhíonn fadhb agat i mbogearraí foinse oscailte agus go bhfuil forbróirí ann, tosaíonn d’fhorbróirí ag réiteach na bhfadhbanna. Tosaíonn siad ar do bhonneagar a dhéanamh níos éifeachtaí, do chláir a dhéanamh níos tapúla agus níos iontaofa.
Ceann de na tionscadail Yandex is cáiliúla i réimse na bogearraí foinse oscailte ná ClickHouse. Seo bunachar sonraí a rugadh mar fhreagra ar na dúshláin atá roimh Yandex.Metrica.
Agus mar bhunachar sonraí, rinneadh é i bhfoinse oscailte chun éiceachóras a chruthú agus é a fhorbairt in éineacht le forbróirí eile (ní hamháin laistigh de Yandex). Agus anois is tionscadal mór é seo ina bhfuil go leor cuideachtaí éagsúla páirteach.
In Yandex.Cloud, chruthaíomar ClickHouse ar bharr Yandex Object Storage, ie ar bharr stórála scamall.
Cén fáth a bhfuil sé seo tábhachtach sa scamall? Toisc go n-oibríonn aon bhunachar sonraí sa triantán seo, sa phirimid seo, san ordlathas seo de chineálacha cuimhne. Tá cláir thapa ach beag agat agus SSDanna móra ach mall, tiomántáin chrua agus roinnt gléasanna bloc eile. Agus má tá tú éifeachtach ag barr na pirimide, ansin tá bunachar sonraí tapa agat. má tá tú éifeachtach ag bun na pirimide seo, tá bunachar sonraí scálaithe agat. Agus maidir leis seo, is cur chuige loighciúil é ciseal eile a chur leis ó thíos chun scalability an bhunachair shonraí a mhéadú.
Conas a d’fhéadfaí é a dhéanamh? Is pointe tábhachtach é seo sa tuarascáil seo.
- D’fhéadfaimis ClickHouse a chur i bhfeidhm thar MDS. Is comhéadan stórála scamall inmheánach Yandex é MDS. Tá sé níos casta ná an prótacal S3 coitianta, ach tá sé níos oiriúnaí do ghléas bloc. Tá sé níos fearr chun sonraí a thaifeadadh. Éilíonn sé níos mó cláir. Déanfaidh ríomhchláraitheoirí clár, tá sé go maith fiú, tá sé suimiúil.
- Is cur chuige níos coitianta é S3 a dhéanann an comhéadan níos simplí ar chostas níos lú oiriúnú do chineálacha áirithe ualaí oibre.
Ar ndóigh, ag iarraidh feidhmiúlacht a sholáthar d'éiceachóras ClickHouse ar fad agus an tasc atá ag teastáil a dhéanamh taobh istigh de Yandex.Cloud, shocraigh muid a chinntiú go mbainfeadh pobal iomlán ClickHouse leas as. Chuireamar ClickHouse i bhfeidhm thar S3, ní ClickHouse thar MDS. Agus tá sé seo go leor oibre.
Naisc:
"Ciseal astarraingthe córas comhaid"
"Comhtháthú AWS SDK S3"
“Bunchur i bhfeidhm an chomhéadain IDisk do S3”
msgstr "Innill stórais loga a chomhtháthú le comhéadan IDisk"
"Tacaíocht inneall logála do S3 agus SeekableReadBuffer"
"Tacaíocht Stripe Stripe Log S3"
"Tacaíocht tosaigh Stóráil MergeTree do S3"
"MergeTree tacaíocht iomlán do S3"
"Tacaíocht leMergeTree Replicated thar S3"
“Cuir dintiúir réamhshocraithe agus ceanntásca saincheaptha le haghaidh stórála s3 leis”
"S3 le cumraíocht dhinimiciúil seachfhreastalaí"
"S3 le réiteach seachfhreastalaí"
Is liosta iarratais tarraingthe é seo chun córas comhaid fíorúil a chur i bhfeidhm i ClickHouse. Is líon mór iarratas tarraingt é seo.
Naisc:
"Ceanglaíonn hardlinks diskS3 an cur i bhfeidhm optamach"
“Cliant S3 HTTP - Seachain an sruth freagartha a chóipeáil isteach sa chuimhne”
“Seachain an sruth freagartha iomlán a chóipeáil isteach sa chuimhne in S3 HTTP
cliant"
“Cumas taisce a mharcáil agus comhaid a innéacsú do dhiosca S3”
"Bog páirteanna ó DiskLocal go DiskS3 go comhthreomhar"
Ach níor tháinig deireadh leis an obair ansin. Tar éis an ghné a dhéanamh, bhí gá le tuilleadh oibre chun an fheidhmiúlacht seo a bharrfheabhsú.
Naisc:
"Cuir imeachtaí SelectedRows agus SelectedBytes leis"
msgstr "Cuir imeachtaí próifílithe ó iarratas S3 le system.events"
"Cuir QueryTimeMicroseconds, SelectQueryTimeMicroseconds agus InsertQueryTimeMicroseconds leis"
Agus ansin bhí sé riachtanach é a dhiagnóisiú, monatóireacht a chur ar bun agus é a dhéanamh inbhainistithe.
Agus rinneadh é seo go léir ionas go bhfuair an pobal ar fad, éiceachóras ClickHouse ar fad, toradh na hoibre seo.
Bogfaimid ar aghaidh chuig bunachair shonraí idirbheartaíochta, chuig bunachair shonraí OLTP, atá níos gaire domsa go pearsanta.
Is é seo an rannán forbartha foinse oscailte DBMS. Tá draíocht sráide á déanamh ag na guys seo chun bunachair shonraí idirbheartaíochta oscailte a fheabhsú.
Ar cheann de na tionscadail, ag baint úsáide as sampla de ar féidir linn labhairt faoi conas agus cad a dhéanaimid, tá an Pooler Ceangal i Postgres.
Is bunachar sonraí próisis é Postgres. Ciallaíonn sé seo gur cheart go mbeadh a laghad naisc líonra agus is féidir ag an mbunachar sonraí a láimhseálann idirbhearta.
Ar an láimh eile, i dtimpeallacht scamall, is gnáth-staid é nuair a thagann míle nasc chuig braisle amháin ag an am céanna. Agus is é tasc an chomhthiomsaithe naisc ná míle nasc a phacáil isteach i líon beag naisc fhreastalaí.
Is féidir linn a rá gurb é an comhthiomsóir naisc an t-oibreoir teileafóin a athshocraíonn na bearta ionas go sroicheann siad an bunachar sonraí go héifeachtach.
Ar an drochuair, níl aon fhocal Rúisis maith le haghaidh comhthiomsaithe nasc. Uaireanta tugtar naisc ilphléacsóra air. Má tá a fhios agat cad a ghlaoch ar an comhthiomsóir nasc, ansin a bheith cinnte a insint dom, beidh mé an-sásta a labhairt teanga theicniúil ceart Rúisis.
Rinneamar imscrúdú ar chomhthiomsaithe naisc a bhí oiriúnach do bhraisle postgres bainistithe. Agus ba é PgBouncer an rogha ab fhearr dúinn. Ach thángamar ar roinnt fadhbanna le PgBouncer. Blianta fada ó shin, thug Volodya Borodin tuairiscí go n-úsáideann muid PgBouncer, is maith linn gach rud, ach tá nuances ann, tá rud éigin le hobair.
Agus d'oibrigh muid. Réitíomar na fadhbanna a tháinig orainn, rinneamar Bouncer a bhreacadh síos, agus rinneamar iarracht iarratais tarraingte a bhrú in aghaidh an tsrutha. Ach bhí sé deacair oibriú leis an snáitheáil bhunúsach aonair.
Bhí orainn cascades a bhailiú ó Bouncers paiste. Nuair a bhíonn go leor Bouncers aon-snáithithe againn, aistrítear na naisc ar an gciseal barr go dtí an ciseal istigh de Bouncers. Is córas drochbhainistithe é seo atá deacair a thógáil agus a scála anonn is anall.
Thángamar ar an tátal gur chruthaigh muid ár gcomhthiomsóir nasc féin, ar a dtugtar Odyssey. Scríobh muid ón tús é.
In 2019, ag an gcomhdháil PgCon, chuir mé an comhthiomsóir seo i láthair an phobail fhorbróra. Anois tá beagán níos lú ná 2 réalta againn ar GitHub, i.e. tá an tionscadal beo, tá an-tóir ar an tionscadal.
Agus má chruthaíonn tú braisle Postgres i Yandex.Cloud, ansin beidh sé ina bhraisle le Odyssey ionsuite, a athchumraítear nuair a bhíonn an braisle á scála anonn nó anall.
Cad a d'fhoghlaim muid ón tionscadal seo? Is céim ionsaitheach é tionscadal iomaíoch a sheoladh i gcónaí, is beart an-mhór é nuair a deirimid go bhfuil fadhbanna ann nach bhfuil á réiteach go tapa go leor, nach bhfuil á réiteach sna tréimhsí ama a oireann dúinn. Ach is beart éifeachtach é seo.
Thosaigh PgBouncer ag forbairt níos tapúla.
Agus anois tá tionscadail eile le feiceáil. Mar shampla, pgagroal, atá forbartha ag forbróirí Red Hat. Saothraíonn siad spriocanna comhchosúla agus cuireann siad smaointe comhchosúla i bhfeidhm, ach, ar ndóigh, lena gcuid sonraí féin, atá níos gaire d'fhorbróirí pgagroal.
Cás eile a bhaineann le bheith ag obair leis an bpobal postgres is ea an t-athrú go pointe ama. Seo aisghabháil tar éis teip, is é seo aisghabháil ó chúltaca.
Tá go leor cúltacaí ann agus tá siad go léir difriúil. Tá a réiteach cúltaca féin ag beagnach gach díoltóir Postgres.
Má ghlacann tú na córais chúltaca go léir, cruthaigh gné-mhitrís agus ríomh go magadh an chinntitheach sa mhaitrís seo, beidh sé nialas. Cad a chiallaíonn sé seo? Cad a tharlaíonn má ghlacann tú comhad cúltaca ar leith, ansin ní féidir é a chur le chéile as píosaí de na cinn eile. Tá sé uathúil ina chur i bhfeidhm, tá sé uathúil ina chuspóir, tá sé uathúil sna smaointe atá fite fuaite ann. Agus tá siad go léir sonrach.
Agus muid ag obair ar an gceist seo, sheol CitusData an tionscadal WAL-G. Is córas cúltaca é seo a rinneadh le súil ar an timpeallacht scamall. Anois tá CitusData mar chuid de Microsoft cheana féin. Agus ag an nóiméad sin, thaitin go mór linn na smaointe a leagadh síos sna heisiúintí tosaigh de WAL-G. Agus thosaigh muid ag cur leis an tionscadal seo.
Anois tá go leor mórán forbróirí sa tionscadal seo, ach cuimsíonn na 10 ranníocóir is fearr le WAL-G 6 Yandexoids. Thugamar go leor dár smaointe ansin. Agus, ar ndóigh, chuireamar i bhfeidhm iad féin, rinneamar iad féin a thástáil, rinneamar iad féin a rolladh amach i dtáirgeadh, bainimid úsáid astu féin, tuigimid féin cá háit le bogadh eile, agus muid ag idirghníomhú leis an bpobal mór WAL-G.
Agus ónár dtuairim, anois tá an córas cúltaca seo, lena n-áirítear ár n-iarrachtaí a chur san áireamh, tar éis éirí barrmhaith le haghaidh timpeallacht scamall. Is é seo an costas is fearr chun tacaíocht a thabhairt do Postgres sa scamall.
Céard is brí leis? Bhí smaoineamh sách mór á chur chun cinn againn: ba cheart go mbeadh an cúltaca slán, saor le feidhmiú agus chomh tapa agus is féidir é a athchóiriú.
Cén fáth ar chóir go mbeadh sé saor oibriú? Nuair nach bhfuil aon rud briste, níor cheart go mbeadh a fhios agat go bhfuil cúltacaí agat. Oibríonn gach rud go breá, caitheann tú chomh beag LAP agus is féidir, úsáideann tú a laghad acmhainní diosca agus is féidir, agus seolann tú a laghad beart agus is féidir chuig an líonra ionas nach gcuirfí isteach ar phálasta do sheirbhísí luachmhara.
Agus nuair a bhriseann gach rud, mar shampla, thit an riarthóir na sonraí, chuaigh rud éigin mícheart, agus ní mór duit go práinneach dul ar ais go dtí an am atá caite, a ghnóthú tú leis an airgead go léir, mar ba mhaith leat do shonraí ar ais go tapa agus slán.
Agus chuireamar an smaoineamh simplí seo chun cinn. Agus, feictear dúinn, d’éirigh linn é a chur i bhfeidhm.
Ach ní hé sin go léir. Theastaigh uainn rud beag amháin eile. Theastaigh uainn go leor bunachair shonraí éagsúla. Ní úsáideann gach ceann dár gcliaint Postgres. Úsáideann roinnt daoine MySQL, MongoDB. Sa phobal, thacaigh forbróirí eile le FoundationDB. Agus tá an liosta seo ag leathnú i gcónaí.
Is maith leis an bpobal an smaoineamh go bhfuil an bunachar sonraí á reáchtáil i dtimpeallacht bhainistithe sa scamall. Agus coinníonn forbróirí a mbunachair shonraí, ar féidir iad a thacú go haonfhoirmeach in éineacht le Postgres lenár gcóras cúltaca.
Cad atá foghlamtha againn ón scéal seo? Ní línte cód é ár dtáirge, mar rannán forbartha, ní ráitis é, ní comhaid é. Níl ár dtáirge iarratais tarraingt. Seo iad na smaointe a chuirimid in iúl don phobal. Is é seo an saineolas teicneolaíochta agus gluaiseacht na teicneolaíochta i dtreo timpeallacht scamall.
Tá bunachar sonraí mar Postgres ann. Is maith liom croí Postgres is mó. Caithim go leor ama ag forbairt croí Postgres leis an bpobal.
Ach anseo ní mór a rá go bhfuil suiteáil inmheánach de bhunachair shonraí bhainistithe ag Yandex.Cloud. Agus thosaigh sé i bhfad ó shin i Yandex.Mail. Carnadh an saineolas atá anois mar thoradh ar Postgres bainistithe nuair a bhí an post ag iarraidh bogadh go Postgres.
Tá ceanglais an-chosúil ag post leis an scamall. Ní mór duit a bheith in ann fás easpónantúil gan choinne a scála ag pointe ar bith i do shonraí. Agus bhí ualach ar an bpost cheana féin le roinnt na céadta milliún boscaí poist de líon mór úsáideoirí a dhéanann go leor iarratas i gcónaí.
Agus ba dhúshlán tromchúiseach é seo don fhoireann a bhí ag forbairt Postgres. Ar ais ansin, tuairiscíodh aon fhadhbanna a bhí againn don phobal. Agus ceartaíodh na fadhbanna seo, agus ceartaíodh iad ag an bpobal i roinnt áiteanna fiú ag leibhéal na tacaíochta íoctha do roinnt bunachair shonraí eile agus níos fearr fós. Is é sin, is féidir leat litir a sheoladh chuig hacker PgSQL agus freagra a fháil laistigh de 40 nóiméad. Seans go gceapfaidh tacaíocht íoctha i roinnt bunachair shonraí go bhfuil níos mó rudaí tosaíochta ná do fhabht.
Anois tá roinnt petabytes sonraí ag suiteáil inmheánach Postgres. Seo roinnt na milliúin iarratas in aghaidh an tsoicind. Is iad seo na mílte braislí. Tá sé ar scála an-mhór.
Ach tá nuance ann. Maireann sé ní ar thiomáineann líonra bhréige, ach ar chrua-earraí simplí go leor. Agus tá timpeallacht tástála ann go sonrach le haghaidh rudaí nua suimiúla.
Agus ag tráth áirithe sa timpeallacht tástála fuaireamar teachtaireacht a thug le fios gur sáraíodh malairtí inmheánacha na n-innéacsanna bunachar sonraí.
Is ionann malairtí agus caidreamh de chineál éigin a mbeimid ag súil leis i gcónaí.
Staid an-chriticiúil dúinn. Tugann sé le fios go mb’fhéidir gur cailleadh roinnt sonraí. Agus tá caillteanas sonraí rud éigin tubaisteach.
Is é an smaoineamh ginearálta a leanaimid i mbunachair shonraí bainistithe ná go mbeidh sé deacair sonraí a chailleadh fiú má dhéantar iarracht. Fiú má dhéanann tú iad a bhaint d’aon ghnó, beidh ort neamhaird a dhéanamh dá n-éagmais ar feadh tréimhse fada ama. Is creideamh é slándáil sonraí a leanaimid go díograiseach.
Agus tagann cás chun cinn anseo a thugann le tuiscint go bhféadfadh cás a bheith ann nach mbeimid ullamh dó. Agus thosaigh muid ag ullmhú don chás seo.
Ba é an chéad rud a rinne muid ná na lomáin ó na mílte braislí seo a adhlacadh. Fuaireamar amach cé acu de na braislí a bhí suite ar dhioscaí le firmware fadhbach a bhí ag cailleadh nuashonruithe leathanaigh sonraí. Marcáilte suas gach cód sonraí Postgres. Agus mharcáil muid na teachtaireachtaí sin a léiríonn sáruithe ar athróga inmheánacha le cód atá deartha chun éilliú sonraí a bhrath.
Ghlac an pobal leis an paiste seo go praiticiúil gan mórán plé, mar ba léir i ngach cás ar leith gur tharla rud éigin dona agus gur ghá é a thuairisciú don loga.
Tar éis seo, tháinig muid go dtí an pointe go bhfuil monatóireacht a dhéanamh againn a scanadh logs. Agus i gcás teachtaireachtaí amhrasacha, dúisíonn sé an t-oifigeach dualgais, agus deisíonn an t-oifigeach dualgais é.
Ach! Is oibríocht saor é scanadh logs ar bhraisle amháin agus go tubaisteach costasach ar mhíle braisle.
Scríobh muid síneadh ar a dtugtar . Cruthaíonn sé radharc ar an mbunachar sonraí inar féidir leat staitisticí ar earráidí san am a chuaigh thart a roghnú go saor agus go tapa. Agus más gá dúinn an t-oifigeach dualgais a mhúscailt, ansin gheobhaidh muid amach faoi seo gan comhaid gigabyte a scanadh, ach trí chúpla beart a bhaint as an tábla hash.
Glacadh leis an síneadh seo, mar shampla, sa stór le haghaidh . Más mian leat é a úsáid, is féidir leat é a shuiteáil tú féin. Ar ndóigh is foinse oscailte é.
Ach ní hé sin go léir. Thosaigh muid ag úsáid Amcheck, síneadh pobail-thógtha, chun sáruithe athraitheacha in innéacsanna a aimsiú.
Agus fuaireamar amach má oibríonn tú é ar scála, go bhfuil fabhtanna ann. Thosaigh muid iad a shocrú. Glacadh lenár gceartúcháin.
Fuaireamar amach nach féidir leis an síneadh seo anailís a dhéanamh ar innéacsanna GiST & GIT. Thugamar tacaíocht dóibh. Ach tá an tacaíocht seo fós á plé ag an bpobal, toisc gur feidhmiúlacht réasúnta nua é seo agus tá go leor sonraí ann.
Agus fuaireamar amach freisin nuair a dhéantar seiceáil ar innéacsanna sáruithe ar an gceannaire macasamhlú, ar an máistir, go n-oibríonn gach rud go maith, ach ar na macasamhla, ar an leantóir, níl an cuardach le haghaidh éillithe chomh héifeachtach. Ní sheiceáiltear gach leagan. Agus chuir malairt amháin isteach go mór orainn. Agus chaitheamar bliain go leith ag déanamh cumarsáide leis an bpobal chun an tseiceáil seo ar macasamhla a chumasú.
Scríobh muid cód ba chóir a leanúint go léir is féidir ... prótacail. Phléamar an paiste seo le tamall maith le Peter Gaghan ó Crunchy Data. Bhí air an B-crann a bhí ann cheana féin i Postgres a mhionathrú chun glacadh leis an bpaiste seo. Glacadh leis. Agus anois tá seiceáil innéacsanna ar mhacasamhla tar éis éirí éifeachtach go leor chun na sáruithe a tháinig orainn a bhrath. Is é sin, is iad seo na sáruithe is féidir a bheith mar thoradh ar earráidí i bhfirmware diosca, bugs i Postgres, fabhtanna san eithne Linux, agus fadhbanna crua-earraí. Liosta fairsing d'fhoinsí fadhbanna a raibh muid ag ullmhú dóibh.
Ach seachas innéacsanna, tá cuid den sórt sin mar charn, i.e. an áit ina stóráiltear na sonraí. Agus níl mórán malairtí ann a d'fhéadfaí a sheiceáil.
Tá síneadh againn ar a dtugtar Heapcheck. Thosaigh muid ag forbairt é. Agus ag an am céanna, in éineacht linne, thosaigh an chuideachta EnterpriseDB freisin ag scríobh modúl, ar a dtugtar siad Heapcheck ar an mbealach céanna. Níor thugamar ach PgHeapcheck air, agus níor thug siad ach Heapcheck air. Tá feidhmeanna comhchosúla acu, síniú beagán difriúil, ach leis na smaointe céanna. Chuir siad i bhfeidhm beagán níos fearr iad in áiteanna áirithe. Agus phost siad é i bhfoinse oscailte roimhe seo.
Agus anois táimid ag forbairt a leathnú, toisc nach bhfuil sé a leathnú a thuilleadh, ach leathnú an phobail. Agus sa todhchaí, is cuid den eithne é seo a sholáthrófar do gach duine ionas go mbeidh a fhios acu roimh ré faoi fhadhbanna sa todhchaí.
In áiteanna áirithe, tháinig muid ar an tátal fiú go bhfuil rudaí bréagacha dearfacha inár gcórais mhonatóireachta. Mar shampla, an córas 1C. Agus bunachar sonraí á úsáid, scríobhann Postgres sonraí isteach ann uaireanta gur féidir leis a léamh, ach ní féidir pg_dump a léamh.
Bhí cuma éillithe ar an gcás seo inár gcóras braite fadhbanna. Dúisíodh an t-oifigeach dualgais. Bhreathnaigh an t-oifigeach dualgais ar a raibh ag tarlú. Tar éis roinnt ama, tháinig cliant agus dúirt sé go raibh fadhbanna agam. Mhínigh an freastalaí cad é an fhadhb. Ach tá an fhadhb i gcroílár Postgres.
Fuair mé plé faoin ngné seo. Agus scríobh sé gur tháinig muid trasna ar an ngné seo agus go raibh sé míthaitneamhach, dúisigh duine san oíche chun a dhéanamh amach cad a bhí ann.
D'fhreagair an pobal, "Ó, ní mór dúinn a shocrú i ndáiríre."
Tá analaí simplí agam. Má tá tú ag siúl i bróg a bhfuil gráin gainimh ann, ansin, i bprionsabal, is féidir leat dul ar aghaidh - gan aon fhadhb. Má dhíolann tú buataisí leis na mílte duine, déanaimis buataisí gan gaineamh ar chor ar bith. Agus má tá duine de na húsáideoirí do bhróga ag dul a reáchtáil maratón, ansin ba mhaith leat a dhéanamh bróga an-mhaith, agus ansin iad a scála do gach úsáideoirí. Agus tá úsáideoirí den sórt sin gan choinne i gcónaí sa timpeallacht scamall. Bíonn úsáideoirí ann i gcónaí a bhaineann leas as an mbraisle ar bhealach éigin bunaidh. Ní mór duit a ullmhú i gcónaí le haghaidh seo.
Cad atá foghlamtha againn anseo? D’fhoghlaimíomar rud simplí: is é an rud is tábhachtaí ná a mhíniú don phobal go bhfuil fadhb ann. Má tá an fhadhb aitheanta ag an bpobal, tagann iomaíocht nádúrtha chun cinn chun an fhadhb a réiteach. Toisc go bhfuil gach duine ag iarraidh fadhb thábhachtach a réiteach. Gach díoltóirí, tuigeann gach hackers gur féidir leo féin céim a chur ar an raca seo, agus mar sin ba mhaith leo iad a dhíchur.
Má tá tú ag obair ar fhadhb, ach nach gcuireann sé isteach ar aon duine ach tú féin, ach go n-oibríonn tú uirthi go córasach agus meastar gur fadhb í ar deireadh thiar, is cinnte go nglacfar le d’iarratas ar tharraingt. Glacfar le do paiste, déanfaidh an pobal athbhreithniú ar do chuid feabhsuithe nó fiú iarratais ar fheabhsúcháin. Ag deireadh an lae, déanaimid an bunachar sonraí níos fearr dá chéile.
Bunachar sonraí suimiúil is ea Greenplum. Is bunachar sonraí comhthreomhar é atá bunaithe ar bhunachar cód Postgres, a bhfuil an-eolach agam air.
Agus tá feidhmiúlacht suimiúil ag Greenplum - táblaí optamaithe a chur i gceangal leis. Is táblaí iad seo ar féidir leat cur leo go tapa. Is féidir leo a bheith ina gcolún nó as a chéile.
Ach ní raibh aon bhraisliú ann, i.e. ní raibh aon fheidhmiúlacht ann inar féidir leat na sonraí atá sa tábla a shocrú de réir an oird atá i gceann de na hinnéacsanna.
Tháinig na buachaillí ón tacsaí chugam agus dúirt siad: “Andrey, tá aithne agat ar Postgres. Agus anseo tá sé beagnach mar an gcéanna. Athraigh go 20 nóiméad. Tógann tú é agus déanann tú é.” Shíl mé go bhfuil, tá a fhios agam Postgres, ag aistriú ar feadh 20 nóiméad - ní mór dom é seo a dhéanamh.
Ach ní hea, ní raibh sé 20 nóiméad, scríobh mé é thar míonna. Ag comhdháil PgConf.Russia, chuaigh mé i dteagmháil le Heikki Linakangas ó Pivotal agus d'fhiafraigh mé: “An bhfuil aon fhadhbanna leis seo? Cén fáth nach bhfuil aon aguisín cnuasach tábla optamaithe?" Deir sé: “Glacann tú na sonraí. Sórtáil tú, athshocraíonn tú. Níl ann ach post." Mise: “Ó, sea, ní gá duit ach é a ghlacadh agus é a dhéanamh.” Deir sé: “Sea, teastaíonn lámha saora uainn chun é seo a dhéanamh.” Shíl mé gur cinnte go gcaithfidh mé é seo a dhéanamh.
Agus cúpla mí ina dhiaidh sin chuir mé isteach iarratas tarraingt a chuir an fheidhmiúlacht seo i bhfeidhm. Rinne Pivotal in éineacht leis an bpobal athbhreithniú ar an iarratas tarraingte seo. Ar ndóigh, bhí fabhtanna ann.
Ach is é an rud is suimiúla ná nuair a rinneadh an t-iarratas tarraingt seo a chumasc, go bhfuarthas fabhtanna i Greenplum féin. Fuaireamar amach go mbriseann táblaí carnáin idirbheartaíocht uaireanta nuair a bhíonn siad cnuasaithe. Agus is rud é seo nach mór a shocrú. Agus tá sí san áit a ndeachaigh mé díreach i dteagmháil léi. Agus bhí mo imoibriú nádúrtha - ceart go leor, lig dom é seo a dhéanamh freisin.
Shocraigh mé an fabht seo. Cuireadh iarratas tarraingt chuig na socraitheoirí. Maraíodh é.
Ina dhiaidh sin d'éirigh sé amach gur gá an fheidhmiúlacht seo a fháil sa leagan Greenplum do PostgreSQL 12. Is é sin, leanann an eachtra 20 nóiméad le heachtraí suimiúla nua. Bhí sé suimiúil teagmháil a dhéanamh leis an bhforbairt reatha, áit a bhfuil an pobal ag gearradh gnéithe nua agus is tábhachtaí. Tá sé reoite.
Ach níor chríochnaigh sé ansin. Tar éis gach rud, d'éirigh sé amach go gcaithfimid doiciméadú a scríobh le haghaidh seo go léir.
Thosaigh mé ag scríobh doiciméadú. Ar ámharaí an tsaoil, tháinig lucht faisnéise ó Pivotal chomh maith. Is é an Béarla a dteanga dhúchais. Chabhraigh siad liom leis an gcáipéisíocht. Déanta na fírinne, d’athscríobh siad féin an méid a mhol mé go fíor-Bhéarla.
Agus anseo, is cosúil, tháinig deireadh leis an eachtra. Agus an bhfuil a fhios agat cad a tharla ansin? Tháinig na guys ón tacsaí chugam agus dúirt siad: “Tá dhá eachtra fós ann, gach ceann acu ar feadh 10 nóiméad.” Agus cad ba cheart dom a rá leo? Dúirt mé anois go dtabharfaidh mé tuairisc ar scála, ansin feicfimid do chuid eachtraí, mar is post suimiúil é seo.
Cad a d'fhoghlaim muid ón gcás seo? Toisc go mbíonn oibriú le foinse oscailte i gcónaí ag obair le duine ar leith, bíonn sé ag obair i gcónaí leis an bpobal. Toisc ag gach céim d'oibrigh mé le roinnt forbróir, roinnt tástálaí, roinnt hacker, roinnt faisnéiseoir, roinnt ailtire. Ní raibh mé ag obair le Greenplum, d'oibrigh mé le daoine ar fud Greenplum.
Ach! Tá pointe tábhachtach eile ann - níl ann ach obair. Is é sin, a thagann tú, ól caife, scríobh cód. Oibríonn gach cineál malairtí simplí. Déan de ghnáth é - beidh sé ceart go leor! Agus is post suimiúil go leor é. Tá iarratas ar an obair seo ó chliaint Yandex.Cloud, úsáideoirí ár mbraislí laistigh de Yandex agus lasmuigh. Agus sílim go dtiocfaidh méadú ar líon na dtionscadal a mbeimid rannpháirteach iontu agus go dtiocfaidh méadú freisin ar dhoimhneacht ár rannpháirtíochta.
Sin é an méid. Bogaimis ar aghaidh go dtí na ceisteanna.
Seisiún ceisteanna
Dia dhuit! Tá seisiún ceisteanna agus freagraí eile againn. Agus sa stiúideo Andrei Borodin. Is é seo an duine a dúirt díreach leat faoi ranníocaíocht Yandex.Cloud agus Yandex foinse oscailte. Níl ár dtuarascáil anois go hiomlán faoin Néal, ach ag an am céanna táimid bunaithe ar theicneolaíochtaí den sórt sin. Gan an méid a rinne tú taobh istigh de Yandex, ní bheadh aon seirbhís i Yandex.Cloud, mar sin buíochas a ghabháil leat uaimse go pearsanta. Agus an chéad cheist ón gcraoladh: “Cad ar a bhfuil gach ceann de na tionscadail ar luaigh tú scríofa orthu?”
Tá an córas cúltaca in WAL-G scríofa in Go. Tá sé seo ar cheann de na tionscadail is nuaí ar oibrigh muid. Go litriúil níl sé ach 3 bliana d'aois. Agus is minic a bhaineann bunachar sonraí le hiontaofacht. Agus ciallaíonn sé seo go bhfuil na bunachair shonraí sean go leor agus go bhfuil siad scríofa de ghnáth i C. Cuireadh tús le tionscadal Postgres thart ar 30 bliain ó shin. Ba é an C89 an rogha ceart ansin. Agus tá Postgres scríofa air. De ghnáth scríobhtar bunachair shonraí níos nua-aimseartha ar nós ClickHouse i C++. Tá gach forbairt córais bunaithe ar C agus C++.
Ceist ónár mbainisteoir airgeadais, atá freagrach as costais ag Cloud: “Cén fáth a gcaitheann Cloud airgead ar thacú le foinse oscailte?”
Tá freagra simplí don bhainisteoir airgeadais anseo. Déanaimid é seo chun ár seirbhísí a fheabhsú. Cad iad na bealaí inar féidir linn déanamh níos fearr? Is féidir linn rudaí a dhéanamh níos éifeachtaí, níos tapúla, agus rudaí a dhéanamh níos inscálaithe. Ach dúinne, baineann an scéal seo go príomha le hiontaofacht. Mar shampla, i gcóras cúltaca déanaimid athbhreithniú ar 100% de na paistí a bhaineann leis. Tá a fhios againn cad é an cód. Agus táimid níos compordaí ag rolladh amach leaganacha nua chuig táirgeadh. Is é sin, ar an gcéad dul síos, baineann sé le muinín, ullmhacht le haghaidh forbartha agus iontaofacht
Ceist eile: "An bhfuil riachtanais úsáideoirí seachtracha a bhfuil cónaí orthu i Yandex.Cloud difriúil ó na húsáideoirí inmheánacha a bhfuil cónaí orthu sa Néal inmheánach?"
Tá próifíl an ualaigh difriúil, ar ndóigh. Ach ó thaobh mo roinne, cruthaítear na cásanna speisialta agus suimiúla go léir ar ualach neamhchaighdeánach. Is dócha go bhfaighidh forbróirí a bhfuil samhlaíocht acu, forbróirí a dhéanann an rud gan choinne, go hinmheánach agus go seachtrach. Maidir leis seo, táimid go léir a bheag nó a mhór mar an gcéanna. Agus, is dócha, is é an t-aon ghné thábhachtach taobh istigh d'oibriú Yandex bunachair shonraí ná go bhfuil teagasc againn taobh istigh de Yandex. Ag pointe éigin, téann roinnt crios infhaighteachta go hiomlán faoi scáth, agus ní mór do gach seirbhís Yandex leanúint ar aghaidh ag feidhmiú in ainneoin seo. Is difríocht bheag é seo. Ach cruthaíonn sé go leor forbartha taighde ag comhéadan an bhunachair shonraí agus an chruach líonra. Seachas sin, gineann suiteálacha seachtracha agus inmheánacha na hiarratais chéanna ar ghnéithe agus iarratais chomhchosúla chun iontaofacht agus feidhmíocht a fheabhsú.
An chéad cheist eile: “Conas a mhothaíonn tú go pearsanta go n-úsáideann Scamaill eile cuid mhór dá ndéanann tú?” Ní ainmneoimid cinn shonracha, ach úsáidtear go leor tionscadal a rinneadh in Yandex.Cloud i scamaill daoine eile.
Tá sé seo fionnuar. Ar dtús, is comhartha é go bhfuil rud éigin ceart déanta againn. Agus scratches sé an ego. Agus táimid níos muiníní go ndearnamar an cinneadh ceart. Ar an láimh eile, is é seo an dóchas go mbeidh sé seo sa todhchaí a thabhairt dúinn smaointe nua, iarratais nua ó úsáideoirí tríú páirtí. Cruthaíonn riarthóirí córais aonair, DBAanna aonair, ailtirí aonair, innealtóirí aonair an chuid is mó de na saincheisteanna ar GitHub, ach uaireanta tagann daoine le taithí córasach agus deir siad go bhfuil an fhadhb seo againn i 30% de chásanna áirithe agus déanaimis smaoineamh ar conas é a réiteach. Is é seo an rud is mó a bhfuilimid ag tnúth leis. Táimid ag tnúth le heispéiris a roinnt le hardáin scamall eile.
Labhair tú go leor faoin maratón. Tá a fhios agam gur rith tú maratón i Moscó. Mar thoradh? Rug na buachaillí ó PostgreSQL?
Níl, ritheann Oleg Bartunov go han-tapa. Chríochnaigh sé uair an chloig chun tosaigh orm. Ar an iomlán, táim sásta le cé chomh fada agus a fuair mé. Maidir liom féin, ba ghnóthachtáil é an críochnú. Ar an iomlán, is ábhar iontais é go bhfuil an oiread sin reathaithe sa phobal postgres. Feictear dom go bhfuil gaol de chineál éigin idir spóirt aeróbach agus an dúil i ríomhchlárú córais.
An bhfuil tú ag rá nach bhfuil aon reathaithe ag ClickHouse?
Tá a fhios agam go cinnte go bhfuil siad ann. Is bunachar sonraí é ClickHouse freisin. Dála an scéil, tá Oleg ag scríobh chugam anois: “An rachaimid ag rith i ndiaidh na tuairisce?” Is smaoineamh iontach é seo.
Ceist eile ón gcraoladh ó Nikita: “Cén fáth ar cheartaigh tú féin an fabht in Greenplum agus nár thug tú do na sóisearaigh é?” Fíor, níl sé an-soiléir cad é an fabht agus cén tseirbhís, ach is dócha go gciallaíonn sé an ceann ar labhair tú faoi.
Sea, i bprionsabal, d'fhéadfadh sé a bheith tugtha do dhuine. Ní raibh ann ach an cód a d'athraigh mé. Agus bhí sé nádúrtha leanúint ar aghaidh ag déanamh ar an bpointe boise. I bprionsabal, is smaoineamh maith é an smaoineamh saineolas a roinnt leis an bhfoireann. Is cinnte go roinnfimid tascanna Greenplum i measc gach ball dár rannán.
Ós rud é go bhfuil muid ag caint faoi juniors, seo ceist. Chinn an duine an chéad ghealltanas a chruthú i Postgres. Cad is gá dó a dhéanamh chun an chéad gheallúint a dhéanamh?
Is ceist spéisiúil í seo: “Cá háit le tosú?” De ghnáth bíonn sé deacair go leor tosú le rud éigin san eithne. I Postgres, mar shampla, tá liosta le déanamh. Ach i ndáiríre, is bileog é seo de na rudaí a rinne siad iarracht a dhéanamh, ach níor éirigh leo. Is rudaí casta iad seo. Agus de ghnáth is féidir leat roinnt fóntais a fháil san éiceachóras, roinnt síntí is féidir a fheabhsú, a tharraingíonn aird níos lú ó fhorbróirí eithne. Agus, dá réir sin, tá níos mó pointí le haghaidh fáis ann. Ag clár Google Summer of code, gach bliain cuireann an pobal postgres go leor ábhair éagsúla ar aghaidh a bhféadfaí aghaidh a thabhairt orthu. I mbliana, sílim, bhí triúr mac léinn againn. Scríobh ceann amháin fiú i WAL-G ar ábhair atá tábhachtach do Yandex. I Greenplum, tá gach rud níos simplí ná mar atá i bpobal Postgres, toisc go gcaitheann hackers Greenplum go han-mhaith le hiarratais tarraingte agus tosaíonn siad ag athbhreithniú láithreach. Is ceist míonna é paiste a sheoladh chuig Postgres, ach tiocfaidh Greenplum in aon lá agus feicfidh tú cad atá déanta agat. Rud eile is ea go gcaithfidh Greenplum fadhbanna reatha a réiteach. Ní úsáidtear Greenplum go forleathan, mar sin tá sé deacair go leor d’fhadhb a aimsiú. Agus ar an gcéad dul síos, ní mór dúinn fadhbanna a réiteach, ar ndóigh.
Foinse: will.com