Talofa uma! O loʻu igoa o Golov Nikolay. I le taimi muamua, sa ou galue i Avito ma pulea le Data Platform mo le ono tausaga, o lona uiga, sa ou galue i luga o faʻamaumauga uma: analytical (Vertica, ClickHouse), faʻafefe ma OLTP (Redis, Tarantool, VoltDB, MongoDB, PostgreSQL). I le taimi lea, sa ou feagai ma se numera tele o faʻamaumauga - e matua ese lava ma e le masani ai, ma faʻatasi ai ma mataupu e le masani ai o latou faʻaoga.
O lo'o ou faigaluega nei i le ManyChat. O lona uiga, o se amataga lea - fou, fa'anaunau ma fa'atupula'ia vave. Ma ina ua ou faatoa auai i le kamupani, na tulai mai se fesili masani: "O le a le mea e tatau ona ave e se talavou amata mai le DBMS ma le maketi o faʻamaumauga?"
I lenei tusiga, e faʻavae i luga o laʻu lipoti i , o le a ou taliina lenei fesili. O loo maua se ata vitio o le lipoti i .
Fa'amaumauga masani masani 2020
O le 2020, na ou tilotilo solo ma vaʻai i ituaiga e tolu o faʻamaumauga.
Ituaiga muamua - fa'amaumauga masani OLTP: PostgreSQL, SQL Server, Oracle, MySQL. Na tusia i se taimi ua leva, ae o loʻo talafeagai pea aua latou te masani lelei i le atinaʻe.
O le ituaiga lona lua o le faavae mai le "zero". Na latou taumafai e alu ese mai mamanu masani e ala i le lafoaia o le SQL, fausaga masani ma le ACID, e ala i le faʻaopoopoina o mea faʻapipiʻi ma isi foliga matagofie. Mo se faʻataʻitaʻiga, o Cassandra lea, MongoDB, Redis poʻo Tarantool. O nei fofo uma e manaʻo e ofoina atu i le maketi se mea fou fou ma nofoia a latou faʻailoga aua na foliga mai e matua faigofie mo nisi galuega. O le a ou faʻailoaina nei faʻamaumauga faʻatasi ma le faamalu upu NOSQL.
Ua uma le "zeros", ua matou masani i NOSQL database, ma o le lalolagi, mai loʻu manatu, na faia le isi laasaga - ia pulea fa'amaumauga. O nei fa'amaumauga e tutusa le autu ma fa'amaumauga masani a OLTP po'o mea fou NoSQL. Ae latou te le manaʻomia le DBA ma DevOps ma taʻavale i luga o masini faʻatautaia i ao. Mo se atinaʻe, o le "naʻo se faʻavae" e galue i se mea, ae leai se tasi e popole pe faʻafefea ona faʻapipiʻiina i luga o le 'auʻaunaga, o ai na faʻapipiʻiina le 'auʻaunaga ma faʻafouina.
Fa'ata'ita'iga o ia fa'amaumauga:
- AWS RDS ose afifi fa'atonutonu mo PostgreSQL/MySQL.
- DynamoDB o se fa'atusa AWS o se fa'amaumauga fa'avae fa'amaumauga, e tutusa ma Redis ma MongoDB.
- Amazon Redshift ose fa'amaumauga fa'amaumauga fa'atautaia.
O fa'amaumauga tuai ia, ae fa'atupuina i totonu o se siosiomaga fa'atonutonu, e aunoa ma le mana'omia e galue ma meafaigaluega.
Manatua. O faʻataʻitaʻiga o loʻo faia mo le siosiomaga AWS, ae o latou faʻatusa o loʻo iai foi i Microsoft Azure, Google Cloud, poʻo Yandex.Cloud.
O le a le mea fou e uiga i lenei mea? I le 2020, e leai se mea.
Manatu e leai se server
Ole mea fou ile maketi ile 2020 ole serverless po'o serverless fofo.
O le a ou taumafai e faʻamatala le uiga o le faʻaaogaina o le faʻataʻitaʻiga o se auaunaga masani poʻo le backend application.
Ina ia faʻapipiʻi se faʻaoga masani i tua, matou te faʻatau pe totogi se server, kopi le code i luga, faʻasalalau le pito i fafo ma totogi e le aunoa mo le lisi, eletise ma faʻamaumauga nofoaga autu. O le faiga masani lea.
E i ai se isi auala? Faatasi ai ma auaunaga leai se server e te mafaia.
O le a le mea e taulaʻi i ai lenei auala: e leai se 'auʻaunaga, e leai se totogi o se faʻataʻitaʻiga i le ao. Ina ia faʻaogaina le tautua, kopi le code (galuega) i le fale teu oloa ma faʻasalalau i le pito. Ona matou totogia lea mo valaau taʻitasi i lenei galuega, e le amanaʻia atoatoa meafaigaluega o loʻo faʻatino ai.
O le a ou taumafai e faʻaalia lenei auala i ata.
Fa'apipi'i masani. E i ai la matou tautua ma se uta patino. Matou te faʻatupuina ni faʻataʻitaʻiga se lua: faʻaumau faaletino poʻo faʻataʻitaʻiga i le AWS. O talosaga mai fafo e lafo i nei tulaga ma fa'agasolo ai iina.
E pei ona mafai ona e vaʻai i le ata, e le tutusa le lafoaia o sapalai. O le tasi e 100% fa'aoga, e lua talosaga, ma le tasi e na'o le 50% - o se vaega e le aoga. Afai e le tolu talosaga e taunuu, ae 30, o le a le mafai e le polokalama atoa ona taulimaina le avega ma o le a amata ona faʻagesegese.
Fa'apipi'iina e leai se server. I se si'osi'omaga e leai ni 'au'aunaga, o sea 'au'aunaga e leai ni fa'asologa po'o ni 'au'aunaga. O loʻo i ai se vaitaele o punaʻoa vevela - koneteina Docker saunia laiti faʻatasi ai ma le faʻaogaina o le code function. E maua e le faiga talosaga mai fafo ma mo i latou taʻitoʻatasi e faʻapipiʻi e le serverless framework se atigipusa laʻititi ma le code: e faʻagasolo ai lenei talosaga faapitoa ma faʻaumatia le koneteina.
Tasi le talosaga - tasi le container na siitia, 1000 talosaga - 1000 containers. Ma o le faʻapipiʻiina i luga o masini komepiuta ua uma ona avea ma galuega a le kamupani tuʻuina atu ao. O lo'o natia atoa e le auivi e leai se server. I lenei manatu tatou te totogia mo valaau uma. Mo se faʻataʻitaʻiga, e tasi le telefoni na oʻo mai i le aso - na matou totogiina mo le tasi le telefoni, miliona na oʻo mai i le minute - na matou totogiina le miliona. Pe i se sekone, e tupu foi lenei mea.
O le manatu o le lolomiina o se galuega e leai se server e talafeagai mo se auaunaga e leai ni setete. Ma afai e te manaʻomia se (setete) auaunaga faʻapitoa, ona matou faʻaopoopoina lea o se faʻamaumauga i le tautua. I lenei tulaga, pe a oʻo mai i le galue ma le setete, o galuega taʻitasi taʻitasi e naʻo le tusitusi ma faitau mai le database. E le gata i lea, mai se faʻamaumauga o soʻo se ituaiga e tolu o loʻo faʻamatalaina i le amataga o le tusiga.
O le a le tapulaa masani o nei faʻamaumauga uma? O tau ia o le fa'aogaina pea o le ao po'o le meafaigaluega (po'o le tele o sapalai). E le afaina pe matou te faʻaogaina se faʻamaumauga masani pe pulea, pe iai a matou Devops ma se admin pe leai, matou te totogiina pea mo meafaigaluega, eletise ma faʻamaumauga nofoaga autu 24/7. Afai ei ai se matou faavae masani, matou te totogia le matai ma le pologa. Afai o se faʻamaumauga tuʻufaʻatasia tele, matou te totogia le 10, 20 poʻo le 30 'auʻaunaga, ma matou totogi pea.
O le i ai o 'auʻaunaga faʻaagaga tumau i totonu o le tau faʻatulagaina na vaʻaia muamua o se mea leaga talafeagai. O faʻamaumauga masani e iai foʻi isi faʻafitauli, e pei o tapulaʻa i le numera o fesoʻotaʻiga, faʻatapulaʻaina faʻatapulaʻaina, faʻasalalauga faʻasalalau geo - e mafai ona foia i nisi faʻamaumauga, ae le o le taimi e tasi ma e le lelei.
Serverless database - a'oa'oga
Fesili ole 2020: e mafai ona faia se faʻamaumauga e leai se server? Ua fa'alogo tagata uma e uiga i le serverless backend... se'i o tatou taumafai e fai le database serverless?
E foliga ese lenei mea, aua o le database o se auaunaga atoatoa, e le fetaui lelei mo atinaʻe e leai se server. I le taimi lava e tasi, o le setete o faʻamaumauga e matua tele lava: gigabytes, terabytes, ma i faʻamaumauga faʻamaumauga e oʻo lava i petabytes. E le faigofie tele le siiina i totonu o koneteina Docker mama.
I le isi itu, toetoe lava o faʻamaumauga faʻaonapo nei o loʻo i ai le tele o faʻamatalaga ma vaega: fefaʻatauaiga, faʻamaopoopo faʻamaoni, faʻagasologa, faʻalagolago i sootaga ma le tele o manatu. Mo le tele o faʻamatalaga faʻamaumauga, o se setete laʻititi e lava. Gigabytes ma Terabytes o loʻo faʻaogaina saʻo e naʻo se vaega itiiti o faʻamaumauga faʻamaumauga e aofia ai i le faʻatinoina saʻo o fesili.
E tusa ai, o le manatu o le: afai o se vaega o le faʻatonuga e faʻatagaina ai le faʻatinoina o le leai o se setete, aisea e le vaeluaina ai le faʻavae i vaega Stateful ma Stateless.
Serverless mo fofo OLAP
Se'i o tatou va'ai pe fa'apefea le tipiina o fa'amaumauga i vaega Stateful ma Stateless e ono fa'atusa i le fa'aaogaina o fa'ata'ita'iga aoga.
Mo se faʻataʻitaʻiga, o loʻo i ai a matou faʻamaumauga faʻamaumauga: faʻamatalaga mai fafo (faʻailoga mumu i le agavale), o se faiga ETL e faʻapipiʻi ai faʻamaumauga i totonu o faʻamaumauga, ma se tagata suʻesuʻe e tuʻuina atu fesili SQL i le database. Ole faiga masani lea ole faleteuoloa fa'amaumauga.
I lenei polokalame, ETL o loʻo faʻatinoina faʻatasi. Ona e manaʻomia lea e te totogia pea mo 'auʻaunaga o loʻo faʻaogaina ai le database ma faʻamaumauga e tumu i le ETL, ina ia i ai se mea e lafo i ai fesili.
Sei o tatou vaʻavaʻai i se isi auala faʻatinoina ile AWS Athena Serverless. E leai se mea fa'apitoa tu'ufa'atasi tumau e teu ai fa'amaumauga. Nai lo o lenei:
- E tu'uina atu e le tagata fa'aoga se fesili SQL ia Athena. E su'esu'e e le Athena optimizer le fesili SQL ma su'e le metadata store (Metadata) mo fa'amatalaga patino e mana'omia e fa'atino ai le fesili.
- O le optimizer, faʻavae i luga o faʻamaumauga na aoina, faʻapipiʻi faʻamatalaga talafeagai mai punaoa i fafo i le teuina le tumau (faʻamaumauga le tumau).
- O se fesili SQL mai le tagata faʻaoga e faʻatinoina i le teuina le tumau ma o le taunuuga e toe faʻafoʻi atu i le tagata faʻaoga.
- O lo'o fa'amama le teuina ma tu'u atu alagaoa.
I lenei fausaga, matou te totogiina naʻo le faagasologa o le faʻatinoina o le talosaga. Leai ni talosaga - leai se tau.
Ole auala galue lea ma faʻatinoina e le gata ile Athena Serverless, ae faʻapea foi ile Redshift Spectrum (i le AWS).
O le faʻataʻitaʻiga a Athena o loʻo faʻaalia ai o le Serverless database e galue i luga o fesili moni ma le fiasefulu ma le selau o Terabytes o faʻamaumauga. E fiaselau Terabytes o le a manaʻomia le faitau selau o 'auʻaunaga, ae matou te le tau totogiina - matou te totogia talosaga. Ole saoasaoa ole talosaga ta'itasi e (matua) maualalo pe a fa'atusatusa i fa'amaumauga fa'apitoa au'ili'ili e pei o Vertica, ae matou te le totogia mo taimi fa'aletonu.
O sea fa'amaumauga e fa'atatau mo fa'amatalaga fa'apitoa fa'apitoa fa'apitoa. Mo se faʻataʻitaʻiga, pe a tatou filifili faʻafuaseʻi e faʻataʻitaʻi se manatu ile tele o faʻamaumauga. Athena e lelei atoatoa mo nei tulaga. Mo talosaga masani, o sea faiga e taugata. I lenei tulaga, faʻapipiʻi faʻamaumauga i se fofo faʻapitoa.
Serverless mo fofo OLTP
O le faʻataʻitaʻiga muamua na tilotilo i galuega OLAP (analytical). Se'i o tatou va'ai i galuega OLTP.
Sei o tatou mafaufau i le PostgreSQL poʻo le MySQL. Se'i o tatou fa'atulai se fa'ata'ita'iga fa'afoe masani PostgreSQL po'o MySQL ma le itiiti o punaoa. A maua e le faʻataʻitaʻiga le tele o uta, o le a matou faʻafesoʻotaʻi isi faʻataʻitaʻiga o le a matou tufatufaina atu i ai se vaega o le uta faitau. Afai e leai ni talosaga po'o ni uta, matou te tapeina le kopi. O le faʻataʻitaʻiga muamua o le matai, ae o isi o faʻataʻitaʻiga.
O lenei manatu o loʻo faʻatinoina i totonu o se faʻamaumauga e taʻua o Aurora Serverless AWS. O le mataupu faavae e faigofie: talosaga mai fafo talosaga e talia e le va'a sui. I le va'aia o le fa'atuputeleina o le uta, na te tu'uina atu punaoa fa'akomepiuta mai fa'ata'ita'iga laiti na fa'amafanafana muamua - o le feso'ota'iga e vave faia. Fa'agata fa'alavelave e tupu i le auala lava e tasi.
I totonu o Aurora o loʻo i ai le manatu o Aurora Capacity Unit, ACU. Ole (tulaga) lea o se fa'ata'ita'iga (server). O ACU fa'apitoa ta'itasi e mafai ona avea ma matai po'o se pologa. E tofu le Vaega o Gafatia ma lana lava RAM, fa'agaioiga ma la'ititi tisiki. E tusa ai, o le tasi o le matai, o le isi e faitau na o kopi.
Ole numera o nei Aurora Capacity Units o loʻo faʻaogaina o se faʻamaufaʻailoga faʻatulagaina. Ole la'ititi la'ititi e mafai ona tasi pe leai (i lenei tulaga, e le aoga le database pe a leai ni talosaga).
A maua e le fa'avae talosaga, o le va'a sui e fa'atupula'ia Aurora Capacity Units, fa'ateleina punaoa fa'atinoga a le faiga. O le mafai ona faʻateleina ma faʻaitiitia punaoa e mafai ai e le faiga ona "taufetuli" punaoa: faʻaalia otometi ACU taʻitasi (suia i latou i mea fou) ma taʻavale uma faʻafouga o loʻo iai nei i punaoa ua aveese.
O le Aurora Serverless base e mafai ona fuaina le uta faitau. Ae e le o taʻu saʻo mai e le faʻamaumauga lenei mea. Atonu e lagona e pei e mafai ona latou siiina se matai tele. E leai se togafiti.
O lenei faʻamaumauga e fetaui lelei e aloese ai mai le faʻaaluina o le tele o tupe i luga o faiga e le mafai ona iloa. Mo se faʻataʻitaʻiga, pe a fatuina MVP poʻo maketi pisinisi kata pisinisi, e masani ona matou le faʻamoemoeina se uta mautu. E tusa ai, afai e leai se avanoa, matou te le totogia mo taimi. Pe a tupu se uta e leʻi mafaufauina, mo se faʻataʻitaʻiga pe a maeʻa se konafesi poʻo se faʻasalalauga faʻasalalauga, o le motu o tagata e asiasi i le saite ma faʻateleina le uta, Aurora Serverless e otometi lava ona ave lenei avega ma faʻafesoʻotaʻi vave punaoa o loʻo misi (ACU). Ona pasia lea o le konafesi, galo ai i tagata uma le faʻataʻitaʻiga, o le 'auʻaunaga (ACU) e pogisa, ma tau pa'ū i le zero - faigofie.
E le fetaui lenei fofo mo uta mautu mautu aua e le fuaina le uta tusitusi. O nei fesoʻotaʻiga uma ma motusia o punaoa e tupu i le mea e taʻua o le "scale point" - o se taimi i le taimi e le lagolagoina ai le database e se fefaʻatauaiga poʻo ni laulau le tumau. Mo se faʻataʻitaʻiga, i totonu o le vaiaso e le mafai ona tupu le fua faʻatatau, ma o le faavae e galue i luga o punaoa tutusa ma e le mafai ona faʻalauteleina pe konekarate.
E leai se togafiti - o le PostgreSQL masani. Ae o le faʻagasologa o le faʻaopoopoina o masini ma motusia i latou o loʻo faʻaogaina se vaega.
Serverless e ala i le mamanu
Aurora Serverless o se faʻamaumauga tuai ua toe tusia mo le ao e faʻaogaina ai nisi o faʻamanuiaga ole Serverless. Ma o lenei o le a ou taʻu atu ia te oe le faavae, lea na muai tusia mo le ao, mo le faiga e leai se server - Serverless-by-design. Na vave ona atiaʻe e aunoa ma le manatu o le a tamoʻe i luga o 'auʻaunaga faaletino.
O lenei faavae e taʻua o Snowflake. E tolu poloka autu.
Muamua o se poloka metadata. Ole 'au'aunaga fa'anatinati lea e fo'ia fa'afitauli i le saogalemu, metadata, fefa'ataua'iga, ma le su'esu'eina ole fesili (fa'aali i le ata i le agavale).
O le poloka lona lua o se seti o fuifui komipiuta virtual mo faʻatusatusaga (i le faʻataʻitaʻiga o loʻo i ai se seti o liʻo lanumoana).
O le poloka lona tolu o se faiga e teu ai faʻamaumauga e faʻavae ile S3. O le S3 o le teuina o mea faitino i le AWS, e pei o le Dropbox mo pisinisi.
Sei o tatou vaʻai pe faʻafefea ona galue Snowflake, faʻapea o se amataga malulu. O lona uiga, o loʻo i ai se faʻamaumauga, o faʻamaumauga o loʻo utaina i totonu, e leai ni faʻataʻitaʻiga. E tusa ai, afai e leai ni talosaga i le faʻamaumauga, ona matou siitia lea o le auaunaga Metadata vave i totonu (poloka muamua). Ma o loʻo i ai a matou S3 teuina, lea e teuina ai faʻamaumauga o laulau, vaevaeina i mea e taʻua o micropartitions. Mo le faigofie: afai o le laulau o loʻo i ai fefaʻatauaiga, o micropartitions o aso ia o fefaʻatauaiga. O aso uma lava o se micropartition ese, o se faila ese. Ma pe a faʻaogaina le faʻamaumauga i lenei faiga, e te totogiina naʻo le avanoa o loʻo nofoia e faʻamaumauga. E le gata i lea, o le fua o le nofoa e matua maualalo (aemaise lava le amanaia o le faʻamalosi taua). O le metadata auaunaga e galue foi i taimi uma, ae e te le manaʻomia le tele o punaoa e faʻamalieina ai fesili, ma o le auaunaga e mafai ona faʻasoaina.
Sei o tatou mafaufau na sau se tagata faʻaoga i la matou faʻamaumauga ma auina atu se fesili SQL. O le fesili SQL e vave auina atu i le Metadata auaunaga mo le gaioiga. E tusa ai, i le mauaina o se talosaga, o lenei 'auʻaunaga e suʻesuʻeina le talosaga, faʻamatalaga avanoa, faʻatagaga a tagata faʻaoga ma, pe a lelei mea uma, faʻapipiʻi se fuafuaga mo le faʻatinoina o le talosaga.
O le isi, o le 'au'aunaga e amatalia le fa'alauiloaina o le fa'aputuga fa'akomepiuta. O se fuifui fa'akomepiuta o se fuifui o 'au'aunaga e faia fa'atatau. O lona uiga, o se fuifui lea e mafai ona aofia ai le 1 server, 2 servers, 4, 8, 16, 32 - le tele e te manaʻo ai. E te lafoina se talosaga ma amata loa le faʻalauiloaina o lenei fuifui. E alu lava ni sekone.
O le isi, a maeʻa ona amata le fuifui, o le micropartitions e manaʻomia e faʻagasolo ai lau talosaga e amata ona kopi i totonu o le fuifui mai le S3. O lona uiga, seʻi o tatou mafaufau e faʻatino se fesili SQL e te manaʻomia ni vaega se lua mai le tasi laulau ma le tasi mai le lona lua. I lenei tulaga, e na o le tolu vaega e tatau ona kopiina i le fuifui, ae le o laulau uma. O le mea lea, ma e saʻo lava ona o mea uma o loʻo i totonu o le tasi nofoaga autu o faʻamatalaga ma fesoʻotaʻi e ala vave tele, o le faagasologa atoa o le fesiitaiga e tupu vave lava: i sekone, e seasea i minute, sei vagana ua tatou talanoa e uiga i ni talosaga mataʻutia . O lea la, o micropartitions e kopiina i le komipiuta fuifui, ma, a maeʻa, o le SQL query o loʻo faʻatinoina i luga o lenei faʻapipiʻi komepiuta. O le taunuuga o lenei talosaga e mafai ona tasi le laina, tele laina poʻo se laulau - e auina atu i fafo i le tagata faʻaoga ina ia mafai ona ia sii maia, faʻaali i lana meafaigaluega BI, pe faʻaaoga i se isi auala.
Ole fesili ole SQL ta'itasi e le gata e mafai ona faitau fa'atasi mai fa'amaumauga na tu'uina muamua, ae fa'apea fo'i le utaina/fausia fa'amatalaga fou ile fa'amaumauga. O lona uiga, e mafai ona avea ma se faʻataʻitaʻiga, mo se faʻataʻitaʻiga, faʻapipiʻi faʻamaumauga fou i totonu o se isi laulau, lea e taʻitaʻia ai le faʻaalia o se vaeluaga fou i luga o le komipiuta komipiuta, lea, i le isi itu, e otometi lava ona faʻasaoina i totonu o se S3 teuina.
O le faʻataʻitaʻiga o loʻo faʻamatalaina i luga, mai le taunuu mai o le tagata faʻaoga i le siʻitia o le fuifui, utaina o faʻamaumauga, faʻatinoina o fesili, mauaina o faʻaiʻuga, e totogi i le fua faatatau mo minute o le faʻaogaina o le faʻapipiʻiina o le komipiuta komipiuta siʻi, fale teu oloa. O le fua faatatau e fesuisuiaʻi e faʻatatau i le AWS sone ma le tele o fuifui, ae o le averesi o ni nai tala i le itula. O le fuifui o masini e fa e faaluaina le taugata nai lo le fuifui o masini e lua, ma le fuifui o masini e valu e faaluaina le taugata. Filifiliga o 16, 32 masini e avanoa, faʻatatau i le lavelave o talosaga. Ae e te totogiina naʻo na minute pe a oʻo mai le fuifui, aua a leai ni talosaga, e te tuʻu ese ou lima, ma a maeʻa le 5-10 minute o faʻatali (se faʻasologa faʻatulagaina) o le a alu na o ia, fa'asa'oloto punaoa ma maua fua.
O se faʻataʻitaʻiga moni lava o le taimi e te lafoina ai se talosaga, e oso aʻe le fuifui, e tautala, i se minute, e faitau le isi minute, ona lima lea o minute e tapuni ai, ma e iu ai ina e totogiina mo le fitu minute o le faʻaogaina o lenei fuifui, ma e le mo masina ma tausaga.
O le faʻaaliga muamua na faʻamatalaina le faʻaaogaina o Snowflake i se faʻaoga e tasi. Ia tatou mafaufau nei o loʻo i ai le tele o tagata faʻaoga, lea e latalata i le faʻaaliga moni.
Fa'apea e tele a matou au su'esu'e ma lipoti a le Tableau o lo'o osofa'ia pea la matou fa'amaumauga i le tele o fa'amatalaga faigofie a le SQL.
E le gata i lea, seʻi tatou fai atu o loʻo i ai a matou Saienitisi Faʻamatalaga faʻapitoa o loʻo taumafai e faia mea mataʻutia ma faʻamaumauga, faʻatautaia ma le sefulu o Terabytes, suʻesuʻe piliona ma trillions o laina o faʻamaumauga.
Mo ituaiga e lua o galuega mamafa o loʻo faʻamatalaina i luga, Snowflake e faʻatagaina oe e faʻatupuina ni vaega faʻapipiʻi tutoʻatasi o tulaga eseese. E le gata i lea, o nei fuifui komepiuta e galulue tutoatasi, ae faʻatasi ai ma faʻamaumauga masani masani.
Mo se numera tele o fesili mama, e mafai ona e si'itia 2-3 fuifui laiti, pe a ma le 2 masini ta'itasi. O lenei amio e mafai ona faʻatinoina, faʻatasi ai ma isi mea, faʻaogaina otometi seti. O lea e te fai atu ai, "Snowflake, sii se tamai fuifui. Afai e faʻateleina le uta i luga aʻe o se faʻamaufaʻailoga, sii i luga le lua tutusa, lona tolu. A amata ona mou atu le avega, tineia le tele o mea.” E tusa lava po o le a le toʻatele o tagata suʻesuʻe e o mai ma amata ona vaʻavaʻai i lipoti, o loʻo lava alagatupe a tagata uma.
I le taimi lava e tasi, afai o loʻo momoe le au suʻesuʻe ma e leai se tasi e vaʻai i lipoti, e mafai ona pogisa atoa fuifui, ma e te le toe totogiina.
I le taimi lava e tasi, mo fesili mamafa (mai Data Scientists), e mafai ona e si'itia se tasi fuifui tele tele mo masini 32. O lenei fuifui o le a totogi foi mo na o minute ma itula o loʻo faʻagasolo ai lau talosaga tele.
O le avanoa o loʻo faʻamatalaina i luga e mafai ai e oe ona vaevaeina e le gata i le 2, ae faʻapea foʻi le tele o ituaiga o galuega i totonu o fuifui (ETL, mataʻituina, faʻapipiʻi lipoti, ...).
Sei o tatou otootoina Snowflake. O le faʻavae e tuʻufaʻatasia se manatu matagofie ma se faʻatinoga aoga. I le ManyChat, matou te faʻaogaina Snowflake e faʻavasega uma faʻamatalaga matou te maua. E leai ni a matou fuifui se tolu, pei o le faʻataʻitaʻiga, ae mai le 5 i le 9, o lapopoa eseese. E iai a matou masini masani 16, 2-masini, faʻapea foʻi ma sili-tamaʻi 1-masini mo nisi galuega. Latou te tufatufaina ma le manuia le uta ma faʻatagaina i matou e faʻapolopolo tele.
O lo'o fa'asolo lelei e le database le uta faitau ma le tusitusi. O se eseesega tele lea ma o se faʻalavelave tele pe a faʻatusatusa i le "Aurora" tutusa, lea na naʻo le uta faitau. Snowflake e mafai ai ona e fuaina au galuega tusitusi i nei fuifui komepiuta. O lona uiga, e pei ona ou taʻua, matou te faʻaogaina le tele o fuifui i ManyChat, laʻititi ma sili-laiti fuifui e masani ona faʻaaogaina mo le ETL, mo le utaina o faʻamatalaga. Ma o tagata suʻesuʻe ua leva ona ola i luga o fuifui feololo, lea e matua le afaina lava i le uta ETL, o lea latou te galulue vave ai.
E tusa ai, o le database e fetaui lelei mo galuega OLAP. Ae peitai, o le mea e leaga ai, e leʻi faʻaogaina mo galuega OLTP. Muamua, o lenei faʻamaumauga o loʻo tuʻufaʻatasia, faatasi ai ma taunuuga uma e mulimuli mai. Lona lua, o le auala lava ia, pe a mo talosaga taʻitasi, pe a manaʻomia, e te siiina se fuifui komepiuta ma lolovaia i faʻamaumauga, o le mea e leaga ai, e leʻi lava vave mo uta OLTP. Faatali sekone mo galuega OLAP e masani lava, ae mo galuega OLTP e le taliaina; 100 ms e sili atu, pe 10 ms e sili atu.
Le iʻuga
Ose serverless database e mafai e ala i le vaevaeina o le database i vaega Stateless ma Stateful. Atonu na e matauina i faʻataʻitaʻiga uma o loʻo i luga, o le vaega Stateful, e masani lava, o le teuina o micro-partitions i le S3, ma le Stateless o le faʻamalieina, galue ma metadata, faʻatautaia mataupu tau puipuiga e mafai ona faʻatupuina e tutoʻatasi mama auaunaga Stateless.
O le faʻatinoina o fesili SQL e mafai foi ona vaʻaia o ni 'auʻaunaga mama-setete e mafai ona oso aʻe i luga o le serverless mode, pei o Snowflake computing clusters, download na o faʻamatalaga talafeagai, faʻatino le fesili ma "alu i fafo."
O lo'o avanoa fa'amaumauga fa'amaumauga e leai ni fa'amaumauga mo le fa'aogaina, o lo'o galulue. O nei fa'amaumauga e leai ni 'au'aunaga ua uma ona sauni e fa'atautaia galuega a le OLAP. Ae paga lea, mo galuega OLTP latou te faʻaaogaina ... faʻatasi ai ma nuances, talu ai e iai tapulaʻa. I le tasi itu, o se toesea. Ae, i le isi itu, o se avanoa lenei. Masalo o le a maua e se tasi o le aufaitau se auala e faia ai se OLTP faʻamaumauga e leai se server, e aunoa ma ni tapulaa a Aurora.
Ou te faʻamoemoe na e mauaina le manaia. Serverless o le lumana'i :)
puna: www.habr.com