Dia duit gach duine! Golov Nikolay is ainm dom. Roimhe seo, d'oibrigh mé ag Avito agus bhainistigh mé an tArdán Sonraí ar feadh sé bliana, is é sin, d'oibrigh mé ar gach bunachar sonraí: anailíseach (Vertica, ClickHouse), sruthú agus OLTP (Redis, Tarantool, VoltDB, MongoDB, PostgreSQL). Le linn an ama seo, dhéileáil mé le líon mór bunachair shonraí - an-difriúil agus neamhghnách, agus le cásanna neamhchaighdeánacha dá n-úsáid.
Tá mé ag obair ag ManyChat faoi láthair. Go bunúsach, is tosaithe é seo - nua, uaillmhianach agus ag fás go tapa. Agus nuair a chuaigh mé isteach sa chuideachta den chéad uair, tháinig ceist clasaiceach chun cinn: “Cad ba cheart do ghnólacht nua-thionscanta óg a thógáil anois ón margadh DBMS agus bunachar sonraí?”
San alt seo, bunaithe ar mo thuarascáil ag , freagróidh mé an cheist seo. Tá leagan físe den tuarascáil ar fáil ag .
Bunachair sonraí coitianta 2020
2020 atá ann, d’fhéach mé thart agus chonaic mé trí chineál bunachair shonraí.
Céad cineál - Bunachar sonraí clasaiceach OLTP: PostgreSQL, SQL Server, Oracle, MySQL. Scríobhadh iad i bhfad ó shin, ach tá siad fós ábhartha toisc go bhfuil siad chomh eolach ar an bpobal forbróirí.
Is é an dara cineál boinn ó "zero". Rinne siad iarracht bogadh ar shiúl ó phatrúin clasaiceacha trí SQL, struchtúir thraidisiúnta agus ACID a thréigean, trí sharding ionsuite agus gnéithe tarraingteacha eile a chur leis. Mar shampla, is é seo Cassandra, MongoDB, Redis nó Tarantool. Theastaigh ó na réitigh seo go léir rud éigin bunúsach nua a thairiscint don mhargadh agus bhí a nideoige á áitiú acu toisc go raibh siad thar a bheith áisiúil le haghaidh tascanna áirithe. Cuirfidh mé na bunachair shonraí seo in iúl leis an scáththéarma NOSQL.
Tá na "nialais" thart, d'éirigh linn dul i dtaithí ar bhunachair shonraí NOSQL, agus ghlac an domhan, ó mo thaobhsa, an chéad chéim eile - chun bunachair shonraí bainistithe. Tá an croí céanna ag na bunachair shonraí seo agus atá ag bunachair shonraí OLTP clasaiceacha nó ag bunachair shonraí nua NoSQL. Ach níl aon ghá acu le DBA agus DevOps agus ritheann siad ar chrua-earraí bainistithe sna scamaill. Maidir le forbróir, is “bonn” é seo a oibríonn áit éigin, ach níl aon imní ar éinne conas a shuiteáiltear é ar an bhfreastalaí, cé a chumraigh an freastalaí agus cé a nuashonraíonn é.
Samplaí de bhunachair shonraí dá leithéid:
- Is fillteán bainistithe é AWS RDS do PostgreSQL/MySQL.
- Is analóg AWS é DynamoDB de bhunachar sonraí doiciméad-bhunaithe, cosúil le Redis agus MongoDB.
- Is bunachar sonraí anailíse bainistithe é Amazon Redshift.
Is bunachair shonraí d'aois iad seo go bunúsach, ach ardaíodh iad i dtimpeallacht bhainistithe, gan gá a bheith ag obair le crua-earraí.
Nóta. Tógtar na samplaí do thimpeallacht AWS, ach tá a n-analógacha ann freisin i Microsoft Azure, Google Cloud, nó Yandex.Cloud.
Cad atá nua faoi seo? In 2020, ní raibh aon cheann de seo.
Coincheap gan freastalaí
Rud atá fíor nua ar an margadh in 2020 ná réitigh gan fhreastalaí nó gan fhreastalaí.
Déanfaidh mé iarracht a mhíniú cad a chiallaíonn sé seo ag baint úsáide as an sampla de sheirbhís rialta nó feidhmchlár inneall.
Chun feidhmchlár backend rialta a imscaradh, ceannaímid nó ligimid ar cíos freastalaí, cóipeáilimid an cód air, foilsímid an críochphointe taobh amuigh agus íocaimid go rialta as seirbhísí cíosa, leictreachais agus ionaid sonraí. Seo an scéim chaighdeánach.
An bhfuil aon bhealach eile? Le seirbhísí gan freastalaí is féidir leat.
Cad é fócas an chur chuige seo: níl aon fhreastalaí ann, níl fiú sampla fíorúil ar cíos sa scamall. Chun an tseirbhís a imscaradh, cóipeáil an cód (feidhmeanna) chuig an stór agus foilsigh go dtí an críochphointe é. Ansin ní dhéanaimid ach íoc as gach glao ar an bhfeidhm seo, ag déanamh neamhairde go hiomlán de na crua-earraí ina ndéantar é.
Déanfaidh mé iarracht an cur chuige seo a léiriú le pictiúir.
Imscaradh clasaiceach. Tá seirbhís againn le ualach áirithe. Ardaímid dhá chás: freastalaithe fisiceacha nó cásanna in AWS. Seoltar iarratais sheachtracha chuig na cásanna seo agus próiseáiltear iad ansin.
Mar a fheiceann tú sa phictiúr, ní dhéantar na freastalaithe a dhiúscairt go cothrom. Úsáidtear ceann amháin 100%, tá dhá iarratas ann, agus níl ach 50% ar cheann amháin - go páirteach díomhaoin. Mura dtagann trí iarratas, ach 30, ansin ní bheidh an córas ar fad in ann déileáil leis an ualach agus tosóidh sé ag moilliú.
Imscaradh gan fhreastalaí. I dtimpeallacht gan fhreastalaí, níl cásanna nó freastalaithe ag a leithéid de sheirbhís. Tá linn áirithe acmhainní téite ann - coimeádáin Docker beaga ullmhaithe le cód feidhm imscartha. Faigheann an córas iarratais sheachtracha agus i gcás gach ceann díobh ardaíonn an creat gan fhreastalaí coimeádán beag le cód: próiseálann sé an t-iarratas áirithe seo agus maraíonn sé an coimeádán.
Iarratas amháin - ardaíodh coimeádán amháin, 1000 iarratas - 1000 coimeádán. Agus is obair an tsoláthraí scamall cheana féin imscaradh ar fhreastalaithe crua-earraí. Tá sé i bhfolach go hiomlán ag an creat serverless. Sa choincheap seo íocaimid as gach glao. Mar shampla, tháinig glao amháin in aghaidh an lae - d'íoc muid glaoch amháin, tháinig milliún in aghaidh an nóiméid - d'íoc muid milliún. Nó i soicind, tarlaíonn sé seo freisin.
Tá an coincheap feidhm gan freastalaí a fhoilsiú oiriúnach do sheirbhís gan stát. Agus má tá seirbhís stáit (luaigh) ag teastáil uait, cuirimid bunachar sonraí leis an tseirbhís. Sa chás seo, nuair a thagann sé chun oibriú leis an stát, scríobhann agus léann gach feidhm státmhar ón mbunachar sonraí. Thairis sin, ó bhunachar sonraí d'aon cheann de na trí chineál a thuairiscítear ag tús an ailt.
Cad é an teorannú coiteann do na bunachair shonraí seo go léir? Is iad seo na costais a bhaineann le freastalaí scamall nó crua-earraí a úsáidtear go seasta (nó roinnt freastalaithe). Is cuma an úsáidimid bunachar sonraí clasaiceach nó bainistithe, cibé an bhfuil Devops agus riarthóir againn nó nach bhfuil, íocaimid fós as crua-earraí, leictreachas agus cíos lárionad sonraí 24/7. Má tá bonn clasaiceach againn, íocaimid as máistir agus daor. Más bunachar sonraí ard-luchtaithe é, íocaimid as 10, 20 nó 30 freastalaí, agus íocaimid de shíor.
Measadh roimhe seo go raibh freastalaithe buanchoimeádta sa struchtúr costais ina olc riachtanach. Bíonn deacrachtaí eile ag bunachair shonraí thraidisiúnta freisin, amhail teorainneacha ar líon na nasc, srianta scálaithe, comhdhearcadh geo-dháilte - is féidir iad a réiteach ar bhealach éigin i mbunachair shonraí áirithe, ach ní léir ag an am céanna agus ní hidéalach.
Bunachar sonraí serverless - teoiric
Ceist 2020: an féidir bunachar sonraí a dhéanamh gan fhreastalaí freisin? Chuala gach duine faoin inneall gan fhreastalaí... déanaimis iarracht an bunachar sonraí a dhéanamh gan fhreastalaí?
Fuaimeann sé seo aisteach, toisc go bhfuil an bunachar sonraí seirbhís stát, nach bhfuil an-oiriúnach do bhonneagar serverless. Ag an am céanna, tá staid an bhunachair shonraí an-mhór: ghigibheart, terabytes, agus i mbunachair shonraí anailíse fiú petabytes. Níl sé chomh héasca é a ardú i gcoimeádáin éadroma Docker.
Ar an láimh eile, tá méid ollmhór loighic agus comhpháirteanna i mbeagnach gach bunachar sonraí nua-aimseartha: idirbhearta, comhordú sláine, nósanna imeachta, spleáchais choibhneasta agus go leor loighic. I gcás go leor loighic bunachar sonraí, is leor stát beag. Ní úsáideann ach cuid bheag de loighic an bhunachair shonraí go díreach Gigabytes agus Terabytes chun fiosrúcháin a dhéanamh go díreach.
Dá réir sin, is é an smaoineamh: má cheadaíonn cuid den loighic forghníomhú gan stát, cén fáth nach scoilttear an bonn ina chodanna Stáit agus Gan Stát.
Gan freastalaí do réitigh OLAP
Feicfimid cad é an chuma a d’fhéadfadh a bheith ar bhunachar sonraí a ghearradh ina chodanna Stát-Stáitiúla agus samplaí praiticiúla á n-úsáid agat.
Mar shampla, tá bunachar sonraí anailíse againn: sonraí seachtracha (sorcóir dearg ar chlé), próiseas ETL a luchtaíonn sonraí isteach sa bhunachar sonraí, agus anailísí a sheolann fiosrúcháin SQL chuig an mbunachar sonraí. Is scéim oibríochta stórais sonraí clasaiceach é seo.
Sa scéim seo, déantar ETL go coinníollach uair amháin. Ansin ní mór duit íoc i gcónaí as na freastalaithe ar a ritheann an bunachar sonraí le sonraí a líonadh le ETL, ionas go mbeidh rud éigin le fiosrúcháin a sheoladh chucu.
Breathnaímid ar chur chuige eile a cuireadh i bhfeidhm in AWS Athena Serverless. Níl aon chrua-earraí tiomnaithe go buan ar a stóráiltear sonraí íoslódáilte. Ina ionad seo:
- Cuireann an t-úsáideoir ceist SQL isteach chuig Athena. Déanann optamóir Athena anailís ar cheist SQL agus déanann sé cuardach ar an stór meiteashonraí (Meiteashonraí) le haghaidh na sonraí sonracha a theastaíonn chun an cheist a chur i gcrích.
- Íoslódálann an optimizer, bunaithe ar na sonraí a bhailítear, na sonraí riachtanacha ó fhoinsí seachtracha isteach i stóráil shealadach (bunachar sonraí sealadach).
- Cuirtear ceist SQL ón úsáideoir i gcrích i stóráil shealadach agus cuirtear an toradh ar ais chuig an úsáideoir.
- Glantar an stóráil shealadach agus scaoiltear acmhainní.
San ailtireacht seo, ní íocaimid ach as an bpróiseas chun an t-iarratas a fhorghníomhú. Gan aon iarratais - gan aon chostais.
Is cur chuige oibre é seo agus cuirtear i bhfeidhm é ní hamháin in Athena Serverless, ach freisin i Redshift Spectrum (in AWS).
Léiríonn sampla Athena go n-oibríonn bunachar sonraí Serverless ar fhíorfhiosrúcháin le na mílte agus na céadta Terabytes de shonraí. Beidh na céadta freastalaithe ag teastáil ó na céadta Terabytes, ach ní gá dúinn íoc astu - íocaimid as na hiarratais. Tá luas gach iarratais (an-) íseal i gcomparáid le bunachair shonraí anailíse speisialaithe cosúil le Vertica, ach ní íocaimid as tréimhsí downtime.
Tá a leithéid de bhunachar sonraí infheidhme maidir le fiosrúcháin annamha anailíseacha ad hoc. Mar shampla, nuair a shocraímid go spontáineach hipitéis a thástáil ar mhéid ollmhór sonraí. Tá Athena foirfe do na cásanna seo. Le haghaidh iarratais rialta, tá córas den sórt sin costasach. Sa chás seo, taisce na sonraí i roinnt réiteach speisialaithe.
Gan freastalaí do réitigh OLTP
D’fhéach an sampla roimhe seo ar thascanna OLAP (anailíseacha). Anois, déanaimis féachaint ar thascanna OLTP.
Samhlóimis PostgreSQL nó MySQL inscálaithe. Déanaimis sampla bainistithe rialta PostgreSQL nó MySQL a ardú le hacmhainní íosta. Nuair a gheobhaidh an cás níos mó ualach, nascfaimid macasamhla breise a ndéanfaimid cuid den ualach léitheoireachta a dháileadh orthu. Mura bhfuil aon iarratais agus gan ualach, casaimid na macasamhla. Is é an máistir an chéad ásc, agus macasamhla an chuid eile.
Cuirtear an smaoineamh seo i bhfeidhm i mbunachar sonraí ar a dtugtar Aurora Serverless AWS. Tá an prionsabal simplí: glacann an seachfhreastalaí le hiarratais ó iarratais sheachtracha. Le méadú ar an ualach a fheiceáil, leithdháileann sé acmhainní ríomhaireachta ó chásanna íosta réamhtheáite - déantar an nasc chomh tapa agus is féidir. Tarlaíonn cásanna díchumasaithe ar an mbealach céanna.
Laistigh de Aurora tá coincheap Aonad Acmhainn Aurora, ACU. Is sampla é seo (go coinníollach) (freastalaí). Is féidir le gach ACU ar leith a bheith ina mháistir nó ina sclábhaí. Tá a RAM, próiseálaí agus diosca íosta féin ag gach Aonad Acmhainne. Dá réir sin, tá duine amháin ina mháistir, níl ach macasamhla inléite ag an gcuid eile.
Is paraiméadar inchumraithe é líon na nAonad Acmhainne Aurora seo a rith. Is féidir leis an gcainníocht íosta a bheith ceann amháin nó nialas (sa chás seo, ní oibríonn an bunachar sonraí mura bhfuil aon iarrataí ann).
Nuair a fhaigheann an bonn iarratais, ardaíonn an cabhlach seachfhreastalaí Aurora CapacityUnits, ag méadú acmhainní feidhmíochta an chórais. Ligeann an cumas acmhainní a mhéadú agus a laghdú don chóras “juggle” a dhéanamh ar acmhainní: ACUanna aonair a thaispeáint go huathoibríoch (lena n-ionad le cinn nua) agus gach nuashonrú reatha ar na hacmhainní a tarraingíodh siar a rolladh amach.
Is féidir le bonn Aurora Serverless an t-ualach léitheoireachta a scála. Ach ní deir an doiciméadú seo go díreach. Seans go mbraitheann siad gur féidir leo ilmháistir a ardú. Níl aon draíocht ann.
Tá an bunachar sonraí seo feiliúnach chun suimeanna ollmhóra airgid a sheachaint ar chórais a bhfuil rochtain nach féidir a thuar. Mar shampla, nuair a chruthaíonn MVP nó láithreáin cárta gnó margaíochta, de ghnáth ní dhéanaimid ag súil le ualach cobhsaí. Dá réir sin, mura bhfuil rochtain ann, ní íocaimid as cásanna. Nuair a tharlaíonn ualach gan choinne, mar shampla tar éis comhdháil nó feachtas fógraíochta, tugann na sluaite daoine cuairt ar an suíomh agus méadaíonn an t-ualach go mór, tógann Aurora Serverless an t-ualach seo go huathoibríoch agus nascann sé na hacmhainní atá ar iarraidh (ACU) go tapa. Ansin Gabhann an chomhdháil, déanann gach duine dearmad ar an fhréamhshamhail, téann na freastalaithe (ACU) dorcha, agus titeann costais go nialas - áisiúil.
Níl an réiteach seo oiriúnach le haghaidh ard-ualach cobhsaí toisc nach scálaíonn sé an t-ualach scríbhneoireachta. Tarlaíonn na naisc agus na dícheangail acmhainní seo go léir ag an “pointe scála” mar a thugtar air - pointe ama nuair nach bhfuil idirbheart nó táblaí sealadacha ag tacú leis an mbunachar sonraí. Mar shampla, laistigh de sheachtain b’fhéidir nach dtarlóidh an scála pointe, agus go n-oibríonn an bonn ar na hacmhainní céanna agus go simplí ní féidir leis leathnú nó conradh a dhéanamh.
Níl aon draíocht ann - is PostgreSQL rialta é. Ach tá an próiseas maidir le meaisíní a chur leis agus iad a dhícheangal uathoibrithe go páirteach.
Gan freastalaí de réir dearadh
Is sean-bhunachar sonraí é Aurora Serverless athscríofa don scamall chun leas a bhaint as cuid de na buntáistí a bhaineann le Serverless. Agus anois inseoidh mé duit faoin mbonn, a scríobhadh ar dtús don scamall, don chur chuige gan freastalaí - Serverless-by-design. Forbraíodh láithreach é gan an toimhde go rithfeadh sé ar fhreastalaithe fisiceacha.
Tugtar gcáithnínísneachta ar an mbonn seo. Tá trí bhloc eochair aige.
Is bloc meiteashonraí é an chéad cheann. Is seirbhís mhear i gcuimhne í seo a réitíonn saincheisteanna maidir le slándáil, meiteashonraí, idirbhearta, agus leas iomlán a bhaint as ceisteanna (léirithe sa léaráid ar chlé).
Is é an dara bloc ná sraith de bhraislí ríomhaireachta fíorúla le haghaidh ríomhaireachtaí (tá sraith de chiorcail ghorma sa léaráid).
Is córas stórála sonraí é an tríú bloc atá bunaithe ar S3. Is éard atá i S3 ná stóráil réad gan toise in AWS, cineál Dropbox gan toise le haghaidh gnó.
A ligean ar a fheiceáil conas a oibríonn gcáithnínísneachta, ag glacadh leis go bhfuil tús fuar. Is é sin, tá bunachar sonraí ann, tá na sonraí luchtaithe isteach ann, níl aon cheisteanna reatha ann. Dá réir sin, mura bhfuil aon iarrataí ar an mbunachar sonraí, ansin tá an tseirbhís Meiteashonraí in-chuimhne ardaithe againn (an chéad bhloc). Agus tá stóráil S3 againn, áit a stóráiltear sonraí tábla, roinnte i micropartitions mar a thugtar orthu. Ar mhaithe le simplíocht: má tá idirbhearta sa tábla, is iad na micripartitions laethanta na n-idirbheart. Is micropartition ar leith é gach lá, comhad ar leith. Agus nuair a fheidhmíonn an bunachar sonraí sa mhodh seo, ní íocann tú ach as an spás atá sna sonraí. Thairis sin, tá an ráta in aghaidh an suíocháin an-íseal (go háirithe ag cur san áireamh an comhbhrú suntasach). Oibríonn an tseirbhís meiteashonraí i gcónaí freisin, ach ní gá go leor acmhainní a bheith agat chun fiosrúcháin a bharrfheabhsú, agus is féidir an tseirbhís a mheas mar earraí scaireanna.
Anois, déanaimis a shamhlú gur tháinig úsáideoir chuig ár mbunachar sonraí agus gur sheol sé fiosrú SQL. Seoltar an cheist SQL láithreach chuig an tseirbhís Meiteashonraí lena phróiseáil. Dá réir sin, ar iarratas a fháil, déanann an tseirbhís seo anailís ar an iarratas, ar na sonraí atá ar fáil, ar cheadanna na n-úsáideoirí agus, má tá gach rud go maith, dréachtaíonn sí plean chun an t-iarratas a phróiseáil.
Ansin, cuireann an tseirbhís tús le seoladh an bhraisle ríomhaireachta. Is éard is braisle ríomhaireachta ann braisle freastalaithe a dhéanann ríomhaireachtaí. Is é sin, is braisle é seo ar féidir 1 fhreastalaí, 2 fhreastalaí, 4, 8, 16, 32 a bheith ann - oiread agus is mian leat. Caitheann tú iarratas agus cuirtear tús láithreach le seoladh an bhraisle seo. Tógann sé soicind i ndáiríre.
Ansin, tar éis don bhraisle tosú, tosófar ar na micrea-rannáin a theastaíonn chun d'iarratas a phróiseáil a chóipeáil isteach sa bhraisle ó S3. Is é sin, déanaimis a shamhlú go dteastaíonn dhá dheighilt as tábla amháin agus ceann as an dara ceann chun ceist SQL a fheidhmiú. Sa chás seo, ní dhéanfar ach na trí dheighiltí riachtanacha a chóipeáil chuig an mbraisle, agus ní dhéanfar gach tábla go hiomlán. Sin é an fáth, agus go beacht toisc go bhfuil gach rud suite laistigh d'aon ionad sonraí agus ceangailte le bealaí an-tapa, tarlaíonn an próiseas aistrithe iomlán go han-tapa: sa soicind, an-annamh i nóiméid, ach amháin má tá muid ag caint faoi roinnt iarratais monstrous. Dá réir sin, déantar micrea-rannáin a chóipeáil chuig an mbraisle ríomhaireachta, agus, nuair a chríochnaítear é, déantar an cheist SQL a fhorghníomhú ar an mbraisle ríomhaireachta seo. Is féidir le toradh an iarratais seo a bheith ina líne amháin, roinnt línte nó tábla - seoltar iad go seachtrach chuig an úsáideoir ionas gur féidir leis é a íoslódáil, é a thaispeáint ina uirlis BI, nó é a úsáid ar bhealach éigin eile.
Ní hamháin gur féidir le gach ceist SQL comhiomláin ó shonraí a lódaíodh roimhe seo a léamh, ach freisin sonraí nua a luchtú/a ghiniúint sa bhunachar sonraí. Is é sin, is féidir a bheith ina cheist a chuireann, mar shampla, taifid nua isteach i dtábla eile, as a dtagann an chuma ar dheighilt nua ar an mbraisle ríomhaireachta, rud a shábháiltear go huathoibríoch i stóras S3 amháin.
Íoctar an cás a thuairiscítear thuas, ó theacht an úsáideora go dtí ardú an bhraisle, sonraí a luchtú, fiosrúcháin a fhorghníomhú, torthaí a fháil, ag an ráta le haghaidh miontuairiscí a bhaineann le húsáid an bhraisle ríomhaireachta fíorúil ardaithe, an stóras fíorúil. Athraíonn an ráta ag brath ar chrios AWS agus méid braisle, ach ar an meán tá sé cúpla dollar in aghaidh na huaire. Tá braisle de cheithre mheaisín dhá uair chomh costasach le braisle de dhá mheaisín, agus tá braisle ocht n-inneall fós dhá uair chomh costasach. Tá roghanna 16, 32 meaisín ar fáil, ag brath ar chastacht na n-iarratas. Ach ní íocann tú ach na miontuairiscí sin nuair a bhíonn an braisle ar siúl i ndáiríre, mar nuair nach bhfuil aon iarratais ann, bainfidh tú do lámha de chineál, agus tar éis 5-10 nóiméad feithimh (paraiméadar inchumraithe) scoirfidh sé leis féin, acmhainní a shaoradh agus a bheith saor.
Cás iomlán réalaíoch is ea nuair a sheolann tú iarratas, go dtagann an braisle suas, ag labhairt go réasúnta, i gceann nóiméid, áiríonn sé nóiméad eile, ansin cúig nóiméad chun stop a chur, agus beidh tú ag íoc as seacht nóiméad oibríochta an bhraisle seo, agus ní ar feadh míonna agus blianta.
Sa chéad chás cur síos ar úsáid a bhaint as Snowflake i suíomh aon-úsáideoir. Anois, déanaimis a shamhlú go bhfuil go leor úsáideoirí ann, atá níos gaire don scéal fíor.
Ligean le rá go bhfuil a lán anailísí agus tuairiscí Tableau againn a dhéanann bombard leanúnach ar ár mbunachar sonraí le líon mór ceisteanna anailíseacha SQL simplí.
Ina theannta sin, déanaimis a rá go bhfuil Eolaithe Sonraí airgtheacha againn atá ag iarraidh rudaí monstrous a dhéanamh le sonraí, oibriú le na mílte Terabytes, anailís a dhéanamh ar na billiúin agus na trilliún sraitheanna sonraí.
Maidir leis an dá chineál ualaigh oibre a bhfuil cur síos déanta orthu thuas, ceadaíonn Snowflake duit roinnt braislí ríomhaireachta neamhspleácha de chumas éagsúil a ardú. Ina theannta sin, oibríonn na braislí ríomhaireachta seo go neamhspleách, ach le sonraí comhsheasmhacha coitianta.
Le haghaidh líon mór ceisteanna éadroma, is féidir leat 2-3 braisle beag a ardú, thart ar 2 mheaisín an ceann. Is féidir an iompar seo a chur i bhfeidhm, i measc rudaí eile, ag baint úsáide as socruithe uathoibríocha. Mar sin deir tú, “Cáithnínísneachta, ardaigh braisle beag. Má mhéadaíonn an t-ualach air os cionn paraiméadar áirithe, ardaigh an dara agus an tríú cuid den chineál céanna. Nuair a thosaíonn an t-ualach ag dul i léig, múch an barrachas." Ionas gur cuma cé mhéad anailísí a thagann agus a thosaíonn ag féachaint ar thuarascálacha, tá go leor acmhainní ag gach duine.
Ag an am céanna, má tá anailísithe ina chodladh agus nach bhfuil aon duine ag féachaint ar na tuarascálacha, féadfaidh na braislí dul dorcha go hiomlán, agus stopann tú ag íoc astu.
Ag an am céanna, le haghaidh ceisteanna trom (ó Eolaithe Sonraí), is féidir leat braisle an-mhór amháin a ardú le haghaidh 32 meaisín. Ní íocfar an braisle seo freisin ach amháin do na miontuairiscí agus na huaireanta sin nuair a bheidh d’iarratas ollmhór ar siúl ann.
Ligeann an deis a thuairiscítear thuas duit ní hamháin 2, ach freisin cineálacha níos mó ualach oibre a roinnt i gcnuasaigh (ETL, monatóireacht, cur i bhfeidhm tuairiscí, ...).
Déanaimis achoimre ar Cháithnínísneachta. Comhcheanglaíonn an bonn smaoineamh álainn agus cur i bhfeidhm inoibrithe. Ag ManyChat, bainimid úsáid as Snowflake chun anailís a dhéanamh ar na sonraí go léir atá againn. Níl trí bhraisle againn, mar atá sa sampla, ach ó 5 go 9, de mhéideanna éagsúla. Tá traidisiúnta 16-meaisín, 2-meaisín, agus freisin cinn 1-meaisín thar a bheith beag againn le haghaidh roinnt tascanna. Dáileann siad an t-ualach go rathúil agus ligeann dúinn go leor a shábháil.
Déanann an bunachar sonraí an t-ualach léitheoireachta agus scríbhneoireachta a scála go rathúil. Is mór an difríocht agus an dul chun cinn mór é seo i gcomparáid leis an "Aurora" céanna, nach raibh ach an t-ualach léitheoireachta ag iompar. Ligeann gcáithnínísneachta duit d’ualach oibre scríbhneoireachta a scála leis na braislí ríomhaireachta seo. Is é sin, mar a luaigh mé, úsáidimid roinnt braislí i ManyChat, úsáidtear braislí beaga agus ró-bheag go príomha le haghaidh ETL, chun sonraí a luchtú. Agus tá anailísithe ina gcónaí cheana féin ar bhraislí meánacha, nach gcuireann an t-ualach ETL isteach orthu go hiomlán, agus mar sin oibríonn siad go han-tapa.
Dá réir sin, tá an bunachar sonraí feiliúnach do thascanna OLAP. Ach, ar an drochuair, níl sé infheidhme fós maidir le hualaí oibre OLTP. Ar an gcéad dul síos, tá an bunachar sonraí seo colúnach, agus na hiarmhairtí go léir ina dhiaidh sin. Ar an dara dul síos, níl an cur chuige féin, nuair a dhéanann tú, más gá, braisle ríomhaireachta a ardú agus a thuilte le sonraí le haghaidh gach iarratais, ar an drochuair, níl sé tapa go leor fós le haghaidh ualaí OLTP. Is gnách go mbíonn soicind feithimh le tascanna OLAP, ach i gcás tascanna OLTP níl sé inghlactha; bheadh 100 ms níos fearr, nó bheadh 10 ms níos fearr fós.
Iomlán na
Is féidir bunachar sonraí gan fhreastalaí tríd an mbunachar sonraí a roinnt ina chodanna gan stát agus ina gcodanna de chuid Stát. B'fhéidir gur thug tú faoi deara, sna samplaí go léir thuas, go bhfuil an chuid Stateful, réasúnta ag labhairt, ag stóráil micrea-deighiltí i S3, agus is é Stateless an optimizer, ag obair le meiteashonraí, ag láimhseáil saincheisteanna slándála is féidir a ardú mar sheirbhísí neamhspleácha éadroma gan stát.
Is féidir breathnú ar iarratais SQL mar sheirbhísí stáit éadroma ar féidir leo teacht aníos i mód gan freastalaí, cosúil le braislí ríomhaireachta na gcáithnínísneachta, gan ach na sonraí riachtanacha a íoslódáil, an cheist a chur i gcrích agus “téigh amach.”
Tá bunachair shonraí leibhéal táirgeachta gan fhreastalaí ar fáil cheana féin le húsáid, tá siad ag obair. Tá na bunachair shonraí seo gan fhreastalaí réidh cheana féin chun tascanna OLAP a láimhseáil. Ar an drochuair, le haghaidh tascanna OLTP úsáidtear iad ... le nuances, ós rud é go bhfuil teorainneacha. Ar thaobh amháin, is lúide é seo. Ach, ar an láimh eile, is deis é seo. B'fhéidir go bhfaighidh duine de na léitheoirí bealach chun bunachar sonraí OLTP a dhéanamh go hiomlán gan fhreastalaí, gan teorainneacha Aurora.
Tá súil agam go raibh sé suimiúil agat. Is é an todhchaí gan freastalaí 🙂
Foinse: will.com