DBA bot Joe. Anatoly Stansler (Postgres.ai)

Conas a thuigeann forbróir inneall go n-oibreoidh ceist SQL go maith ar “táirge”? I gcuideachtaí móra nó cuideachtaí atá ag fás go tapa, níl rochtain ag gach duine ar an "táirge". Agus le rochtain, ní féidir gach iarratas a sheiceáil gan phian, agus is minic a thógann sé uaireanta an chloig chun cóip den bhunachar sonraí a chruthú. Chun na fadhbanna seo a réiteach, chruthaigh muid DBA saorga - Joe. Tá sé curtha i bhfeidhm go rathúil cheana féin i roinnt cuideachtaí agus cabhraíonn sé le níos mó ná dosaen forbróirí.

Físeán:

Dia duit gach duine! Anatoly Stansler is ainm dom. Oibrím do chuideachta postgres.ai. Táimid tiomanta an próiseas forbartha a bhrostú trí na moilleanna a bhaineann le hobair Postgres a bhaint ó fhorbróirí, DBAnna agus QAanna.

Tá cliaint iontacha againn agus inniu beidh cuid den tuarascáil dírithe ar chásanna ar bhuaileamar leo agus muid ag obair leo. Labhróidh mé faoi conas a chabhraigh muid leo fadhbanna sách tromchúiseach a réiteach.

Agus ascnaimh chasta ard-ualaigh á bhforbairt agus á ndéanamh againn, cuirimid an cheist orainn féin: “An éireoidh leis an imirce seo?”. Bainimid úsáid as athbhreithniú, úsáidimid eolas comhghleacaithe níos mó taithí, saineolaithe DBA. Agus is féidir leo a rá cé acu an ndéanfaidh sé eitilt nó nach mbeidh.

Ach b'fhéidir go mbeadh sé níos fearr dá bhféadfaimis é a thástáil sinn féin ar chóipeanna lánmhéide. Agus inniu beimid díreach ag caint faoi na cineálacha cur chuige tástála atá ann anois agus conas is féidir é a dhéanamh níos fearr agus cad iad na huirlisí. Labhróimid freisin faoi na buntáistí agus na míbhuntáistí a bhaineann le cur chuige den sórt sin, agus cad is féidir linn a shocrú anseo.

Cé a rinne innéacsanna go díreach ar tháirgí riamh nó a rinne aon athruithe? Go leor de. Agus cé dó as ar tháinig sé seo ar an bhfíric gur cailleadh sonraí nó go raibh aga neamhfhónaimh ann? Ansin tá a fhios agat an pian seo. Buíochas le Dia tá cúltacaí ann.

Is é an chéad chur chuige tástáil i dtáirgí. Nó, nuair a shuíonn forbróir ar mheaisín áitiúil, tá sonraí tástála aige, tá rogha teoranta de chineál éigin ann. Agus rollaimid amach go dtáirgí, agus faigheann muid an staid seo.

Gortaíonn sé, tá sé costasach. Is dócha gur fearr gan.

Agus cad é an bealach is fearr chun é a dhéanamh?

Déanaimis stáitsiú agus roghnaigh cuid de tháirgí ann. Nó sa chás is fearr, déanaimis fíor-tháirgí a ghlacadh, na sonraí go léir. Agus tar éis dúinn é a fhorbairt go háitiúil, déanfaimid seiceáil freisin le haghaidh stáitse.

Ligfidh sé seo dúinn roinnt de na hearráidí a bhaint, i.e. cosc ​​a chur orthu a bheith ar tháirgí.

Cad iad na fadhbanna?

• Is í an fhadhb atá ann go roinnimid an stáitse seo le comhghleacaithe. Agus is minic a tharlaíonn sé go ndéanann tú athrú de chineál éigin, bam - agus níl aon sonraí ann, tá an obair síos an draein. Bhí an stáitsiú il-terabyte. Agus caithfidh tú fanacht i bhfad go n-ardóidh sé arís. Agus socraímid é a thabhairt chun críche amárach. Sin é, tá forbairt againn.
• Agus, ar ndóigh, tá go leor comhghleacaithe againn ag obair ann, go leor foirne. Agus ní mór é a dhéanamh de láimh. Agus tá sé seo deacair.

Agus is fiú a rá nach bhfuil ach iarracht amháin againn, lámhaigh amháin, más mian linn roinnt athruithe a dhéanamh ar an mbunachar sonraí, teagmháil a dhéanamh leis na sonraí, déan an struchtúr a athrú. Agus má chuaigh rud éigin mícheart, má bhí earráid san imirce, ansin ní bheidh muid ag rolladh ar ais go tapa.

Tá sé seo níos fearr ná an cur chuige roimhe seo, ach tá dóchúlacht ard ann fós go rachaidh earráid de chineál éigin chuig táirgeadh.

Cad a chuireann cosc ​​orainn binse tástála, cóip lánmhéide a thabhairt do gach forbróir? Sílim go bhfuil sé soiléir cad atá sa bhealach.

Cé aige a bhfuil bunachar sonraí níos mó ná terabyte? Níos mó ná leath an tseomra.

Agus is léir go bhfuil meaisíní a choinneáil do gach forbróir, nuair a bhíonn táirgeadh mór den sórt sin, an-daor, agus sa bhreis air sin, tógann sé i bhfad.

Tá cliaint againn a thuig go bhfuil sé an-tábhachtach gach athrú a thástáil ar chóipeanna lánmhéide, ach tá a mbunachar sonraí níos lú ná terabyte, agus níl aon acmhainní ann chun binse tástála a choinneáil do gach forbróir. Mar sin, caithfidh siad na dumpaí a íoslódáil go háitiúil chuig a n-inneall agus iad a thástáil ar an mbealach seo. Tógann sé go leor ama.

Fiú má dhéanann tú é taobh istigh den bhonneagar, ansin tá sé an-mhaith cheana féin terabyte amháin de shonraí a íoslódáil in aghaidh na huaire. Ach úsáideann siad dumpaí loighciúla, íoslódálann siad go háitiúil ón scamall. Chun iad, tá an luas thart ar 200 ghigibheart in aghaidh na huaire. Agus tógann sé am fós casadh timpeall ón dumpáil loighciúil, rolladh suas na hinnéacsanna, etc.

Ach úsáideann siad an cur chuige seo toisc go gceadaíonn sé dóibh an táirge a choinneáil iontaofa.

Cad is féidir linn a dhéanamh anseo? Déanaimis binsí tástála saor agus a bhinse tástála féin a thabhairt do gach forbróir.

Agus is féidir é seo.

Agus sa chur chuige seo, nuair a dhéanaimid clóin tanaí do gach forbróir, is féidir linn é a roinnt ar mheaisín amháin. Mar shampla, má tá bunachar sonraí 10TB agat agus gur mhaith leat é a thabhairt do 10 bhforbróir, ní gá bunachair shonraí XNUMX x XNUMXTB a bheith agat. Níl uait ach meaisín amháin chun cóipeanna tanaí scoite a dhéanamh do gach forbróir ag baint úsáide as meaisín amháin. Inseoidh mé duit conas a oibríonn sé beagán níos déanaí.

Sampla fíor:

• DB - 4,5 terabytes.

• Is féidir linn cóipeanna neamhspleácha a fháil i 30 soicind.

Ní gá duit fanacht le seastán tástála agus braitheann sé ar cé chomh mór agus atá sé. Is féidir leat é a fháil i soicindí. Timpeallachtaí go hiomlán scoite a bheidh ann, ach a roinneann sonraí eatarthu féin.

Tá sé seo iontach. Anseo táimid ag caint faoi draíocht agus cruinne comhthreomhar.

Is é ár gcás, oibríonn sé seo ag baint úsáide as an gcóras OpenZFS.

Is córas comhaid cóip-ar-scríobh é OpenZFS a thacaíonn le grianghraif agus clóin as an mbosca. Tá sé iontaofa agus Inscálaithe. Tá sí an-éasca a bhainistiú. Is féidir é a imscaradh go litriúil in dhá fhoireann.

Tá roghanna eile ann:

• lvm,

• Stóráil (mar shampla, Stóráil Pure).

Tá an tSaotharlann Bunachar Sonraí ar a bhfuilim ag caint modúlach. Is féidir é a chur i bhfeidhm ag baint úsáide as na roghanna seo. Ach faoi láthair, dhírigh muid ar OpenZFS, toisc go raibh fadhbanna le LVM go sonrach.

Conas a oibríonn sé? In ionad na sonraí a fhorscríobh gach uair a dhéanaimid iad a athrú, ní dhéanaimid iad a shábháil ach a mharcáil go bhfuil na sonraí nua seo ó phointe nua ama, ina léargas nua.

Agus sa todhchaí, nuair is mian linn a rolladh ar ais nó ba mhaith linn a dhéanamh Clón nua ó roinnt leagan níos sine, ní dhéanaimid ach a rá: "Ceart go leor, tabhair dúinn na bloic sonraí seo atá marcáilte mar seo."

Agus oibreoidh an t-úsáideoir seo le sraith sonraí den sórt sin. Athróidh sé de réir a chéile iad, déanfaidh sé a chuid pictiúr féin.

Agus beidh muid brainse. Beidh deis ag gach forbróir inár gcás a chlón féin a bheith aige a chuireann sé in eagar, agus déanfar na sonraí a roinntear idir gach duine.

Chun córas den sórt sin a imscaradh sa bhaile, ní mór duit dhá fhadhb a réiteach:

• Is é an chéad cheann foinse na sonraí, áit a mbainfidh tú iad. Is féidir leat macasamhlú a bhunú le táirgeadh. Is féidir leat na cúltacaí atá cumraithe agat a úsáid cheana féin, tá súil agam. WAL-E, WAL-G nó Barman. Agus fiú má tá réiteach Cloud de chineál éigin á úsáid agat mar RDS nó Cloud SQL, is féidir leat dumpaí loighciúla a úsáid. Ach moltar duit fós cúltacaí a úsáid, mar leis an gcur chuige seo coimeádfaidh tú struchtúr fisiciúil na gcomhad freisin, rud a ligfidh duit a bheith níos gaire do na méadrachtaí a d'fheicfeá i dtáirgeadh chun na fadhbanna sin atá ann a ghabháil.

• Is é an dara ceann áit ar mhaith leat an Saotharlann Bunachar Sonraí a óstáil. D'fhéadfadh sé a bheith Cloud, d'fhéadfadh sé a bheith On-premise. Tá sé tábhachtach a rá anseo go dtacaíonn ZFS le comhbhrú sonraí. Agus déanann sé go maith é.

Samhlaigh gur le haghaidh gach clón den sórt sin, ag brath ar na hoibríochtaí a dhéanaimid leis an mbonn, fásfaidh dev de chineál éigin. Chun seo, beidh gá le spás dev freisin. Ach mar gheall ar an bhfíric gur ghlacamar bonn de 4,5 terabytes, déanfaidh ZFS é a chomhbhrú go 3,5 terabytes. Féadfaidh sé seo athrú ag brath ar na socruithe. Agus tá spás fós againn do dev.

Is féidir córas den sórt sin a úsáid le haghaidh cásanna éagsúla.

• Is forbróirí iad seo, DBAanna le haghaidh bailíochtú fiosrúcháin, le haghaidh barrfheabhsú.

• Is féidir é seo a úsáid i dtástáil QA chun ascnamh ar leith a thástáil sula ndéanaimid é a rolladh amach chun táirgeadh a dhéanamh. Agus is féidir linn timpeallachtaí speisialta a ardú freisin do QA le sonraí fíor, áit ar féidir leo feidhmiúlacht nua a thástáil. Agus tógfaidh sé soicind in ionad uaireanta feithimh, agus b'fhéidir laethanta i gcásanna áirithe eile nuair nach n-úsáidtear cóipeanna tanaí.

• Agus cás eile. Mura bhfuil córas anailíse ar bun ag an gcuideachta, is féidir linn clón tanaí de bhunús an táirge a leithlisiú agus é a thabhairt do cheisteanna fada nó innéacsanna speisialta ar féidir a úsáid san anailísíocht.

Leis an gcur chuige seo:

1. Dóchúlacht íseal earráidí ar an "táirgí", toisc go ndearnamar tástáil ar na hathruithe go léir ar shonraí lánmhéide.

2. Tá cultúr tástála againn, mar anois ní gá duit fanacht uaireanta le haghaidh do sheasamh féin.

3. Agus níl aon bhac, aon fanacht idir tástálacha. Is féidir leat dul i ndáiríre agus seiceáil. Agus beidh sé níos fearr ar an mbealach seo agus muid ag cur dlús leis an bhforbairt.

• Beidh níos lú athfhachtóirithe ann. Beidh níos lú bugs deireadh suas i dtáirgí. Déanfaimid iad a athfhachtóir níos lú níos déanaí.

• Is féidir linn athruithe dochúlaithe a aisiompú. Ní hé seo an cur chuige caighdeánach.

1. Tá sé seo tairbheach toisc go roinnimid acmhainní na mbinsí tástála.

Cheana féin go maith, ach cad eile a d'fhéadfaí a luathú?

A bhuí le córas den sórt sin, is féidir linn an tairseach chun dul isteach ar thástáil den sórt sin a laghdú go mór.

Anois tá ciorcal fí ann, nuair a chaithfidh forbróir, chun rochtain a fháil ar fhíor-shonraí lánmhéide, a bheith ina shaineolaí. Ní mór muinín a bheith aige le rochtain den sórt sin.

Ach conas a fhás mura bhfuil sé ann. Ach cad a tharlóidh mura bhfuil ach tacar an-bheag de shonraí tástála ar fáil duit? Ansin ní bhfaighidh tú aon taithí fíor.

Conas éirí as an gciorcal seo? Mar an chéad chomhéadan, áisiúil d'fhorbróirí ar aon leibhéal, roghnaigh muid an bot Slack. Ach is féidir é a bheith ar aon chomhéadan eile.

Cad a cheadaíonn sé duit a dhéanamh? Is féidir leat ceist shonrach a ghlacadh agus é a sheoladh chuig cainéal speisialta don bhunachar sonraí. Déanfaimid imscaradh go huathoibríoch clón tanaí i soicindí. Rithfimid an t-iarratas seo. Bailímid méadracht agus moltaí. A ligean ar thaispeáint léirshamhlú. Agus ansin fanfaidh an clón seo ionas gur féidir an cheist seo a uasmhéadú ar bhealach éigin, cuir innéacsanna, etc.

Agus tugann Slack deiseanna dúinn le haghaidh comhoibrithe as an bhosca. Ós rud é nach bhfuil anseo ach cainéal, is féidir leat tosú ag plé an iarratais seo díreach ansin sa snáithe le haghaidh iarratas den sórt sin, ping do chomhghleacaithe, DBAanna atá taobh istigh den chuideachta.

Ach tá fadhbanna ann, ar ndóigh. Toisc gurb é seo an saol fíor, agus táimid ag baint úsáide as freastalaí a óstáil go leor clón ag an am céanna, ní mór dúinn a chomhbhrú an méid cuimhne agus cumhacht LAP ar fáil do na Chluain Eois.

Ach le go mbeidh na tástálacha seo sochreidte, ní mór duit an fhadhb seo a réiteach ar bhealach éigin.

Is léir gurb é an pointe tábhachtach na sonraí céanna. Ach tá sé againn cheana féin. Agus ba mhaith linn an chumraíocht chéanna a bhaint amach. Agus is féidir linn a leithéid de chumraíocht beagnach comhionann a thabhairt.

Bheadh ​​sé fionnuar na crua-earraí céanna a bheith agat agus atá i dtáirgeadh, ach d'fhéadfadh sé a bheith difriúil.

A ligean ar cuimhneamh conas a oibríonn Postgres le cuimhne. Tá dhá caches againn. Ceann amháin ón gcóras comhad agus ceann amháin ó dhúchas Postgres, i.e. Taisce Maolán Comhroinnte.

Tá sé tábhachtach a thabhairt faoi deara go leithdháiltear an Taisce Maolán Comhroinnte nuair a thosaíonn Postgres, ag brath ar an méid a shonróidh tú sa chumraíocht.

Agus úsáideann an dara taisce gach spás atá ar fáil.

Agus nuair a dhéanaimid roinnt clón ar mheaisín amháin, tharlaíonn sé go líonaimid an chuimhne de réir a chéile. Agus ar bhealach maith, is ionann Taisce Maolán Comhroinnte agus 25% den mhéid iomlán cuimhne atá ar fáil ar an meaisín.

Agus tharla sé, mura n-athraímid an paraiméadar seo, ansin ní bheidh muid in ann ach 4 chás a reáchtáil ar mheaisín amháin, ie 4 cinn de na clóin tanaí sin go léir. Agus tá sé seo, ar ndóigh, olc, mar ba mhaith linn go mbeadh i bhfad níos mó acu.

Ach ar an láimh eile, úsáidtear Buffer Cache chun fiosrúcháin a fhorghníomhú le haghaidh innéacsanna, is é sin, braitheann an plean ar cé chomh mór agus atá ár dtaisce. Agus más rud é go dtógfaimid an paraiméadar seo agus go laghdaítear é, is féidir lenár bpleananna a athrú go mór.

Mar shampla, má tá taisce mór againn ar tháirgí, ansin is fearr le Postgres innéacs a úsáid. Agus mura bhfuil, ansin beidh SeqScan ann. Agus cad é an pointe mura mbeadh ár bpleananna ag an am céanna?

Ach anseo táimid ag teacht ar an tátal nach bhfuil an plean i Postgres ag brath ar an méid sonrach a shonraítear sa Mhaoláin Roinnte sa phlean, braitheann sé ar an effective_cache_size.

Is éard atá i effective_cache_size ná an méid taisce measta atá ar fáil dúinn, i.e. suim Taisce Maoláin agus taisce an chórais comhad. Tá sé seo socraithe ag an config. Agus ní dhéantar an chuimhne seo a leithdháileadh.

Agus mar gheall ar an bparaiméadar seo, is féidir linn cleas a dhéanamh ar Postgres, ag rá go bhfuil go leor sonraí ar fáil againn i ndáiríre, fiú mura bhfuil na sonraí seo againn. Agus mar sin, beidh na pleananna go hiomlán ag an am céanna le táirgeadh.

Ach is féidir leis seo cur isteach ar an am. Agus déanaimid barrfheabhsú ar fhiosruithe de réir uainiúcháin, ach tá sé tábhachtach go mbraitheann an t-am ar go leor fachtóirí:

• Braitheann sé ar an ualach atá ar tháirgí faoi láthair.

• Braitheann sé ar shaintréithe an mheaisín féin.

Agus is paraiméadar indíreach é seo, ach i ndáiríre is féidir linn a bharrfheabhsú go díreach leis an méid sonraí a léifidh an cheist seo chun an toradh a fháil.

Agus más mian leat an t-am a bheith gar don mhéid a fheicfimid i dtáirgí, ansin ní mór dúinn na crua-earraí is cosúla a ghlacadh agus, b'fhéidir, fiú níos mó ionas go n-oireann na clóin go léir. Ach is comhréiteach é seo, i.e. gheobhaidh tú na pleananna céanna, feicfidh tú cé mhéad sonraí a léifidh ceist ar leith agus beidh tú in ann a chinneadh an bhfuil an cheist seo go maith (nó ar imirce) nó olc, ní mór é a bharrfheabhsú fós .

Breathnaímid ar an gcaoi a bhfuil Joe optamaithe go sonrach.

Glacaimis iarratas ó chóras fíor. Sa chás seo, is é 1 terabyte an bunachar sonraí. Agus ba mhaith linn líon na bpost úr a raibh níos mó ná 10 dtaitníonn leo a chomhaireamh.

Táimid ag scríobh teachtaireacht chuig an cainéal, tá clón imscaradh dúinn. Agus feicfimid go gcríochnófar iarratas den sórt sin i 2,5 nóiméad. Is é seo an chéad rud a thugaimid faoi deara.

B Taispeánfaidh Joe moltaí uathoibríocha duit bunaithe ar an bplean agus ar an méadracht.

Feicfimid go bpróiseálann an cheist an iomarca sonraí chun líon réasúnta beag sraitheanna a fháil. Agus tá gá le hinnéacs speisialaithe de chineál éigin, ó thugamar faoi deara go bhfuil an iomarca sraitheanna scagtha sa cheist.

Breathnaímis ar an méid a tharla. Go deimhin, feicimid go bhfuil beagnach go leith ghigibheart de shonraí léite againn ón taisce comhad nó fiú ón diosca. Agus níl sé seo go maith, toisc nach bhfuair muid ach 142 líne.

Agus, is cosúil, tá scanadh innéacs againn anseo agus ba cheart go n-oibreodh sé amach go tapa, ach ós rud é go ndearna muid an iomarca línte a scagadh (bhí orainn iad a chomhaireamh), d'oibrigh an t-iarratas amach go mall.

Agus tharla sé seo sa phlean mar gheall ar an bhfíric nach bhfuil na coinníollacha sa cheist agus na coinníollacha san innéacs ag teacht go páirteach.

Déanaimis iarracht an t-innéacs a dhéanamh níos beaichte agus féachaint conas a athraíonn forghníomhú an fhiosrúcháin ina dhiaidh sin.

Thóg cruthú an innéacs go leor ama, ach anois déanaimid seiceáil ar an gceist agus feicimid nach bhfuil ach 2,5 milleasoicind in ionad 156 nóiméad, rud atá maith go leor. Agus ní léim ach 6 meigibheart de shonraí.

Agus anois ní úsáidimid ach scanadh innéacs.

Scéal tábhachtach eile ná go dteastaíonn uainn an plean a chur i láthair ar bhealach éigin níos sothuigthe. Chuireamar Amharcléiriú i bhfeidhm ag baint úsáide as Graif Lasair.

Is iarratas difriúil é seo, níos déine. Agus tógaimid Graif Lasair de réir dhá pharaiméadar: is é seo an méid sonraí a chomhaireamh nód ar leith sa phlean agus san am, ie am forghníomhaithe an nód.

Anseo is féidir linn nóid ar leith a chur i gcomparáid lena chéile. Agus beidh sé soiléir cé acu díobh a thógann níos mó nó níos lú, rud is gnách deacair a dhéanamh ar mhodhanna rindreála eile.

Ar ndóigh, tá a fhios ag gach duine explain.depesz.com. Gné mhaith den léirshamhlú seo ná go sábhálann muid an plean téacs agus freisin go gcuirfimid roinnt bunpharaiméadair isteach i dtábla ionas gur féidir linn a shórtáil.

Agus úsáideann forbróirí nach bhfuil iniúchadh déanta acu ar an ábhar seo fós explain.depesz.com, toisc go bhfuil sé níos éasca dóibh a dhéanamh amach cé na méadrachtaí atá tábhachtach agus cé na cinn nach bhfuil.

Tá cur chuige nua ann maidir le léirshamhlú - seo é explain.dalibo.com. Déanann siad léirshamhlú crann, ach tá sé an-deacair nóid a chur i gcomparáid lena chéile. Anseo is féidir leat an struchtúr a thuiscint go maith, áfach, má tá iarratas mór ann, ansin beidh ort scrollaigh ar ais agus amach, ach freisin rogha.

comhoibriú

Agus, mar a dúirt mé, tugann Slack an deis dúinn comhoibriú le chéile. Mar shampla, má thagann muid trasna ar cheist chasta nach bhfuil soiléir conas leas iomlán a bhaint as, is féidir linn an cheist seo a shoiléiriú lenár gcomhghleacaithe i snáithe i Slack.

Feictear dúinn go bhfuil sé tábhachtach tástáil a dhéanamh ar shonraí lánmhéide. Chun seo a dhéanamh, rinneamar an uirlis Update Database Lab, atá ar fáil i bhfoinse oscailte. Is féidir leat an bot Joe a úsáid freisin. Is féidir leat é a ghlacadh anois agus é a chur i bhfeidhm i d'áit. Tá gach treoirleabhar ar fáil ann.

Tá sé tábhachtach a thabhairt faoi deara freisin nach bhfuil an réiteach féin réabhlóideach, toisc go bhfuil Delphix ann, ach is réiteach fiontair é. Tá sé dúnta go hiomlán, tá sé an-daor. Speisialtóireacht againn go sonrach i Postgres. Is táirgí foinse oscailte iad seo go léir. Bígí linn!

Seo an áit a gcríochnaím. Go raibh maith agat!

ceisteanna

Dia dhuit! Go raibh maith agat as an tuairisc! An-suimiúil, go háirithe domsa, mar réitigh mé faoin bhfadhb chéanna tamall ó shin. Agus mar sin tá roinnt ceisteanna agam. Tá súil agam go bhfaighidh mé ar a laghad cuid de.

N'fheadar conas a ríomhann tú an áit don timpeallacht seo? Ciallaíonn an teicneolaíocht gur féidir le do chlóin fás go dtí an t-uasmhéid i gcúinsí áirithe. Go garbh, má tá bunachar sonraí deich terabyte agus 10 gclón agat, tá sé éasca insamhail a dhéanamh ar chás ina bhfuil 10 sonraí uathúla ag gach clón. Conas a ríomhann tú an áit seo, is é sin, an deilt sin ar labhair tú faoi, ina mbeidh na clón seo ina gcónaí?

Ceist mhaith. Tá sé tábhachtach súil a choinneáil ar chlóin ar leith anseo. Agus má tá athrú ró-mhór ag clón, tosaíonn sé ag fás, ansin is féidir linn rabhadh a thabhairt don úsáideoir ar dtús faoi seo, nó an clón seo a stopadh láithreach ionas nach mbeidh staid teipe againn.

Sea, tá ceist neadaithe agam. Is é sin, conas a chinntíonn tú saolré na modúl seo? Tá an fhadhb seo againn agus scéal iomlán ar leith. Conas a tharlaíonn sé seo?

Tá roinnt ttl ann do gach clón. Go bunúsach, tá ttl seasta againn.

Cad é, más rud é nach rún?

1 uair an chloig, i.e. díomhaoin - 1 uair an chloig. Mura n-úsáidtear é, ansin déanaimid bang air. Ach níl aon iontas anseo, mar is féidir linn an clón a ardú i soicindí. Agus más gá duit é arís, ansin le do thoil.

Tá suim agam freisin i rogha na dteicneolaíochtaí, mar, mar shampla, úsáidimid roinnt modhanna ag an am céanna ar chúis amháin nó eile. Cén fáth ZFS? Cén fáth nár úsáid tú LVM? Luaigh tú go raibh fadhbanna le LVM. Cad iad na fadhbanna a bhí ann? Is é mo thuairim gurb é an rogha is fearr le stóráil, i dtéarmaí feidhmíochta.

Cad é an fhadhb is mó le ZFS? Ós rud é go gcaithfidh tú a bheith ag rith ar an óstach céanna, ie beidh gach cás beo laistigh den OS céanna. Agus i gcás stórála, is féidir leat trealamh éagsúla a nascadh. Agus is é an tranglam ach na bloic sin atá ar an gcóras stórála. Agus tá an cheist maidir le rogha na dteicneolaíochtaí suimiúil. Cén fáth nach bhfuil LVM?

Go sonrach, is féidir linn LVM a phlé ag cruinniú. Maidir le stóráil - níl sé ach costasach. Is féidir linn an córas ZFS a chur i bhfeidhm in áit ar bith. Is féidir leat é a imscaradh ar do mheaisín. Is féidir leat an stór a íoslódáil agus é a imscaradh. Tá ZFS suiteáilte beagnach i ngach áit má tá muid ag caint faoi Linux. Is é sin, faighimid réiteach an-solúbtha. Agus tugann ZFS féin go leor as an mbosca. Is féidir leat an oiread sonraí agus is mian leat a uaslódáil, líon mór dioscaí a nascadh, tá snapshots. Agus, mar a dúirt mé, tá sé éasca a riaradh. Is é sin, is cosúil go bhfuil sé an-taitneamhach a úsáid. Déantar tástáil air, tá sé blianta fada d'aois. Tá pobal an-mhór aige atá ag fás. Is réiteach an-iontaofa é ZFS.

Nikolai Samokhvalov: An féidir liom trácht breise a dhéanamh? Nikolay is ainm dom, oibrímid le chéile le Anatoly. Aontaím go bhfuil an stóráil iontach. Agus tá Pure Storage srl ag cuid dár gcustaiméirí.

Thug Anatoly faoi deara i gceart go bhfuilimid dírithe ar mhodúlacht. Agus sa todhchaí, is féidir leat comhéadan amháin a chur i bhfeidhm - pictiúr a ghlacadh, clón a dhéanamh, scrios an clón. Tá sé éasca ar fad. Agus tá an stóráil fionnuar, má tá.

Ach tá ZFS ar fáil do gach duine. Tá DelPhix go leor cheana féin, tá 300 cliant acu. Díobh seo, tá 100 cliant ag fortune 50, i.e. tá siad dírithe ar NASA, etc. Tá sé in am ag gach duine an teicneolaíocht seo a fháil. Agus sin an fáth go bhfuil croí foinse oscailte againn. Tá cuid comhéadan againn nach bhfuil foinse oscailte. Seo é an t-ardán a thaispeánfaimid. Ach ba mhaith linn go mbeadh sé inrochtana do chách. Ba mhaith linn réabhlóid a dhéanamh ionas go stopfaidh gach tástálaí buille faoi thuairim ar ríomhairí glúine. Ní mór dúinn a scríobh SELECT agus láithreach a fheiceáil go bhfuil sé mall. Stop ag fanacht leis an DBA a insint duit faoi. Seo é an príomhsprioc. Agus is dóigh liom go dtiocfaimid go léir chuige seo. Agus déanaimid an rud seo do gach duine a bheith acu. Dá bhrí sin ZFS, toisc go mbeidh sé ar fáil i ngach áit. Buíochas leis an bpobal as fadhbanna a réiteach agus as ceadúnas foinse oscailte a bheith acu, etc.*

Beannachtaí! Go raibh maith agat as an tuairisc! Maxim is ainm dom. Táimid tar éis déileáil leis na saincheisteanna céanna. Shocraigh siad ar a gcuid féin. Conas a roinneann tú acmhainní idir na clóin seo? Is féidir le gach clón a rud féin a dhéanamh ag aon am ar leith: déanann duine tástáil ar rud amháin, ceann eile, tógann duine innéacs, bíonn post trom ag duine éigin. Agus más féidir leat a roinnt go fóill ag LAP, ansin ag IO, conas a roinneann tú? Is é seo an chéad cheist.

Agus baineann an dara ceist le héagsúlacht na seastán. Ligean le rá go bhfuil ZFS agam anseo agus tá gach rud fionnuar, ach níl ZFS ag an gcliant ar tháirgí, ach ext4, mar shampla. Conas sa chás seo?

Tá na ceisteanna an-mhaith. Luaigh mé an fhadhb seo beagán leis an bhfíric go roinnimid acmhainní. Agus is é an réiteach seo. Samhlaigh go bhfuil tú ag tástáil ar stáitse. Is féidir leat a leithéid de chás a bheith agat freisin ag an am céanna a thugann duine ualach amháin, duine eile. Agus mar thoradh air sin, feiceann tú méadracht dothuigthe. Is féidir fiú an fhadhb chéanna a bheith le táirgí. Nuair is mian leat roinnt iarratas a sheiceáil agus a fheiceáil go bhfuil fadhb éigin leis - oibríonn sé go mall, ansin i ndáiríre ní raibh an fhadhb san iarratas, ach ar an bhfíric go bhfuil cineál ualach comhthreomhar ann.

Agus mar sin, tá sé tábhachtach anseo díriú ar cad a bheidh sa phlean, cad iad na céimeanna a thógfaimid sa phlean agus cé mhéad sonraí a thiomsóidh muid chuige seo. Ós rud é go mbeidh ár dioscaí, mar shampla, luchtaithe le rud éigin, beidh tionchar aige go sonrach ar an am. Ach is féidir linn a mheas cé chomh luchtaithe atá an t-iarratas seo de réir mhéid na sonraí. Níl sé chomh tábhachtach go mbeidh forghníomhú de chineál éigin ag an am céanna.

Tá dhá cheist agam. Is é seo an stuif an-fionnuar. An raibh cásanna ina bhfuil sonraí táirgthe ríthábhachtach, amhail uimhreacha cártaí creidmheasa? An bhfuil rud éigin réidh cheana féin nó an tasc ar leith é? Agus an dara ceist - an bhfuil rud éigin mar seo ann do MySQL?

Maidir leis na sonraí. Déanfaimid obfuscation go dtí go ndéanaimid. Ach má imscarann ​​tú go díreach Joe, mura dtugann tú rochtain d'fhorbróirí, níl aon rochtain ar na sonraí. Cén fáth? Toisc nach dtaispeánann Joe sonraí. Ní thaispeánann sé ach méadracht, pleananna agus sin é. Rinneadh é seo ar na críche sin, toisc go bhfuil sé seo ar cheann de na riachtanais ár gcliant. Theastaigh uathu a bheith in ann leas iomlán a bhaint as gan rochtain a thabhairt do gach duine.

Maidir le MySQL. Is féidir an córas seo a úsáid le haghaidh aon rud a stórálann stáit ar diosca. Agus ós rud é go bhfuil Postgres á dhéanamh againn, táimid ag déanamh an uathoibrithe go léir do Postgres ar dtús. Ba mhaith linn uathoibriú sonraí a fháil ó chúltaca. Táimid ag cumrú Postgres i gceart. Tá a fhios againn conas pleananna a mheaitseáil, etc.

Ach ós rud é go bhfuil an córas síneadh, is féidir é a úsáid freisin le haghaidh MySQL. Agus tá samplaí den sórt sin. Tá an rud céanna ag Yandex, ach ní fhoilsíonn siad é in áit ar bith. Úsáideann siad é taobh istigh de Yandex.Metrica. Agus níl ann ach scéal faoi MySQL. Ach tá na teicneolaíochtaí mar an gcéanna, ZFS.

Go raibh maith agat as an tuairisc! Tá cúpla ceist agam freisin. Luaigh tú gur féidir clónáil a úsáid le haghaidh anailíse, mar shampla chun innéacsanna breise a thógáil ann. An féidir leat beagán níos mó a insint faoi conas a oibríonn sé?

Agus cuirfidh mé an dara ceist láithreach faoi chosúlacht na seastáin, cosúlacht na bpleananna. Braitheann an plean freisin ar na staitisticí a bhailigh Postgres. Conas a réitíonn tú an fhadhb seo?

De réir na hanailíse, níl aon chásanna sonracha ann, toisc nár úsáideamar é fós, ach tá deis den sórt sin ann. Má tá muid ag caint faoi innéacsanna, ansin a shamhlú go bhfuil ceist ar thóir tábla leis na céadta milliún taifead agus colún nach bhfuil innéacsaithe de ghnáth i dtáirgí. Agus ba mhaith linn roinnt sonraí a ríomh ann. Má chuirtear an t-iarratas seo chuig táirge, tá seans ann go mbeidh sé simplí ar tháirgí, toisc go bpróiseálfar an t-iarratas ansin ar feadh nóiméid.

OK, déanaimis clón tanaí nach bhfuil uafásach a stopadh ar feadh cúpla nóiméad. Agus chun é a dhéanamh níos compordaí an anailísíocht a léamh, cuirfimid innéacsanna leis na colúin sin a bhfuil suim againn i sonraí iontu.

Cruthófar an t-innéacs gach uair?

Is féidir leat é a dhéanamh ionas go ndéanfaimid teagmháil leis na sonraí, go ndéanfaimid grianghraif, ansin déanfaimid aisghabháil ón ngrianghraf seo agus déanfaimid iarratais nua a thiomáint. Is é sin, is féidir leat é a dhéanamh ionas gur féidir leat clóin nua a ardú le hinnéacsanna greamaithe cheana féin.

Maidir leis an gceist faoi staitisticí, má dhéanaimid aischur ó chúltaca, má dhéanaimid macasamhlú, beidh ár staitisticí díreach mar a chéile. Toisc go bhfuil an struchtúr sonraí fisiceach iomlán againn, is é sin, tabharfaimid na sonraí mar atá sé leis na méadrachtaí staitisticí go léir freisin.

Seo fadhb eile. Má úsáideann tú réiteach scamall, níl ach dumpaí loighciúla ar fáil ann, toisc nach gceadaíonn Google, Amazon duit cóip fhisiceach a ghlacadh. Beidh fadhb ann.

Go raibh maith agat as an tuarascáil. Bhí dhá cheist mhaith anseo faoi MySQL agus comhroinnt acmhainní. Ach, i ndáiríre, tagann sé síos ar an bhfíric nach ábhar DBMS ar leith é seo, ach an córas comhaid ina iomláine. Agus, dá réir sin, ba cheart na saincheisteanna a bhaineann le comhroinnt acmhainní a réiteach freisin as sin amach, ní ag an deireadh gur Postgres atá i gceist, ach sa chóras comhaid, sa fhreastalaí, cuir i gcás.

Tá mo cheist beagán difriúil. Tá sé níos gaire don bhunachar sonraí ilchiseal, áit a bhfuil roinnt sraitheanna ann. Mar shampla, chuireamar nuashonrú íomhá deich terabyte ar bun, agus táimid á mhacasamhlú. Agus úsáidimid an réiteach seo go sonrach le haghaidh bunachair shonraí. Tá macasamhlú ar siúl, tá sonraí á nuashonrú. Tá 100 fostaí ag obair go comhthreomhar anseo, a bhíonn i gcónaí ag seoladh na seatanna éagsúla seo. Cad atá le déanamh? Conas a chinntiú nach bhfuil aon choimhlint ann, gur sheol siad ceann, agus ansin d'athraigh an córas comhaid, agus chuaigh na pictiúir seo go léir?

Ní rachaidh siad mar sin mar a oibríonn ZFS. Is féidir linn na hathruithe córas comhaid a thagann mar gheall ar mhacasamhlú a choinneáil ar leithligh in aon snáithe amháin. Agus coinnigh na clóin a úsáideann forbróirí ar leaganacha níos sine de na sonraí. Agus oibríonn sé dúinn, tá gach rud in ord leis seo.

Tarlaíonn sé go dtarlóidh an nuashonrú mar chiseal breise, agus beidh gach pictiúr nua ag dul cheana féin, bunaithe ar an gciseal seo, ceart?

Ó sraitheanna roimhe seo a bhí ó macasamhla roimhe seo.

Beidh na sraitheanna roimhe seo ag titim amach, ach déanfaidh siad tagairt don seanchiseal, agus an nglacfaidh siad íomhánna nua ón gciseal deireanach a fuarthas sa nuashonrú?

Go ginearálta, tá.

Ansin mar thoradh air sin beidh suas le fige sraitheanna againn. Agus le himeacht ama beidh gá iad a chomhbhrú?

Sea, tá gach rud ceart. Tá fuinneog éigin ann. Coinnímid grianghraif sheachtainiúla. Braitheann sé ar an acmhainn atá agat. Má tá an cumas agat go leor sonraí a stóráil, is féidir leat grianghraif a stóráil ar feadh i bhfad. Ní imeoidh siad leo féin. Ní bheidh aon éilliú sonraí ann. Má tá na pictiúir as dáta, mar is léir dúinn, ie braitheann sé ar an mbeartas sa chuideachta, ansin is féidir linn iad a scriosadh go simplí agus spás a shaoradh.

Dia duit, go raibh maith agat as an tuairisc! Ceist faoi Joe. Dúirt tú nach raibh an custaiméir ag iarraidh rochtain a thabhairt do gach duine ar na sonraí. Go docht, má tá toradh Mínithe Analyze ag duine, ansin is féidir leis na sonraí a peep.

Tá sé mar sin. Mar shampla, is féidir linn scríobh: "SELECT FROM WHERE email = to that". Is é sin, ní fheicfimid na sonraí féin, ach is féidir linn roinnt comharthaí indíreacha a fheiceáil. Ní mór é seo a thuiscint. Ach ar an láimh eile, tá sé ar fad ann. Tá iniúchadh logála againn, tá smacht againn ar chomhghleacaithe eile a fheiceann freisin cad atá á dhéanamh ag na forbróirí. Agus má dhéanann duine iarracht é seo a dhéanamh, ansin beidh an tseirbhís slándála ag teacht chucu agus ag obair ar an gceist seo.

Tráthnóna maith Go raibh maith agat as an tuairisc! Tá ceist ghearr agam. Mura n-úsáideann an chuideachta Slack, an bhfuil aon cheangal air anois, nó an féidir le forbróirí cásanna a imscaradh chun feidhmchlár tástála a nascadh leis na bunachair shonraí?

Anois tá nasc le Slack, i.e. níl aon teachtaire eile ann, ach ba mhaith liom i ndáiríre tacaíocht a thabhairt do theachtairí eile freisin. Cad is féidir leat a dhéanamh? Is féidir leat DB Lab a imscaradh gan Joe, dul le cabhair ón REST API nó le cabhair ónár n-ardán agus clóin a chruthú agus nascadh le PSQL. Ach is féidir é seo a dhéanamh má tá tú réidh chun rochtain a thabhairt do d'fhorbróirí ar na sonraí, mar ní bheidh aon scáileán ann a thuilleadh.

Níl an ciseal seo ag teastáil uaim, ach tá deis den sórt sin ag teastáil uaim.

Ansin tá, is féidir é a dhéanamh.

Foinse: will.com