Bawo ni gbogbo eniyan! Orukọ mi ni Golov Nikolay. Ni iṣaaju, Mo ṣiṣẹ ni Avito ati ṣakoso Platform Data fun ọdun mẹfa, iyẹn ni, Mo ṣiṣẹ lori gbogbo awọn data data: analytical (Vertica, ClickHouse), ṣiṣanwọle ati OLTP (Redis, Tarantool, VoltDB, MongoDB, PostgreSQL). Lakoko yii, Mo ṣe pẹlu nọmba nla ti awọn apoti isura infomesonu - o yatọ pupọ ati dani, ati pẹlu awọn ọran ti kii ṣe deede ti lilo wọn.
Mo n ṣiṣẹ lọwọlọwọ ni ManyChat. Ni pataki, eyi jẹ ibẹrẹ - tuntun, ifẹ agbara ati idagbasoke ni iyara. Ati nigbati mo kọkọ darapọ mọ ile-iṣẹ naa, ibeere alailẹgbẹ kan dide: “Kini o yẹ ki ibẹrẹ ọdọ kan gba ni bayi lati DBMS ati ọja data?”
Ninu nkan yii, da lori ijabọ mi ni , Emi yoo dahun ibeere yii. Ẹya fidio ti ijabọ naa wa ni .
Awọn apoti isura data ti o wọpọ 2020
O jẹ ọdun 2020, Mo wo ni ayika ati rii awọn iru data mẹta.
Iru akọkọ - Ayebaye OLTP infomesonuPostgreSQL, SQL Server, Oracle, MySQL. A ti kọ wọn ni igba pipẹ sẹhin, ṣugbọn tun jẹ pataki nitori pe wọn mọmọ si agbegbe idagbasoke.
Iru keji ni awọn ipilẹ lati "odo". Wọn gbiyanju lati lọ kuro ni awọn ilana Ayebaye nipa fifisilẹ SQL, awọn ẹya ibile ati ACID, nipa fifi sharding ti a ṣe sinu ati awọn ẹya miiran ti o wuyi. Fun apẹẹrẹ, eyi ni Cassandra, MongoDB, Redis tabi Tarantool. Gbogbo awọn solusan wọnyi fẹ lati fun ọja ni nkan tuntun ni ipilẹ ati ti tẹdo onakan wọn nitori wọn wa ni irọrun pupọ fun awọn iṣẹ ṣiṣe kan. Emi yoo ṣe afihan awọn apoti isura data wọnyi pẹlu ọrọ agboorun NOSQL.
Awọn “odo” naa ti pari, a ti lo si awọn apoti isura data NOSQL, ati pe agbaye, lati oju-ọna mi, gbe igbesẹ ti n tẹle - lati isakoso infomesonu. Awọn apoti isura infomesonu wọnyi ni mojuto kanna bi awọn apoti isura data OLTP Ayebaye tabi awọn NoSQL tuntun. Ṣugbọn wọn ko ni iwulo fun DBA ati DevOps ati ṣiṣe lori ohun elo iṣakoso ni awọn awọsanma. Fun olupilẹṣẹ, eyi jẹ “ipilẹ kan nikan” ti o ṣiṣẹ ni ibikan, ṣugbọn ko si ẹnikan ti o bikita bi o ti fi sori ẹrọ lori olupin naa, ti o tunto olupin naa ati tani o ṣe imudojuiwọn.
Awọn apẹẹrẹ ti iru awọn ipamọ data:
- AWS RDS jẹ apẹrẹ ti iṣakoso fun PostgreSQL/MySQL.
- DynamoDB jẹ afọwọṣe AWS ti ibi ipamọ data ti o da lori iwe, ti o jọra si Redis ati MongoDB.
- Amazon Redshift jẹ aaye data itupalẹ ti iṣakoso.
Iwọnyi jẹ ipilẹ awọn apoti isura infomesonu atijọ, ṣugbọn dide ni agbegbe iṣakoso, laisi iwulo lati ṣiṣẹ pẹlu ohun elo.
Akiyesi. Awọn apẹẹrẹ ni a mu fun agbegbe AWS, ṣugbọn awọn afọwọṣe wọn tun wa ni Microsoft Azure, Google Cloud, tabi Yandex.Cloud.
Kini tuntun nipa eyi? Ni ọdun 2020, ko si eyi.
Serverless Erongba
Kini tuntun gaan lori ọja ni ọdun 2020 jẹ aisi olupin tabi awọn solusan olupin.
Emi yoo gbiyanju lati ṣalaye kini eyi tumọ si nipa lilo apẹẹrẹ ti iṣẹ deede tabi ohun elo ẹhin.
Lati ran ohun elo afẹyinti deede, a ra tabi yalo olupin kan, daakọ koodu naa sori rẹ, ṣe atẹjade aaye ipari ni ita ati sanwo nigbagbogbo fun iyalo, ina ati awọn iṣẹ ile-iṣẹ data. Eleyi jẹ awọn boṣewa eni.
Ṣe eyikeyi miiran ona? Pẹlu awọn iṣẹ alailowaya o le.
Kini idojukọ ọna yii: ko si olupin, ko si paapaa yiyalo apẹẹrẹ foju kan ninu awọsanma. Lati ran iṣẹ naa ṣiṣẹ, daakọ koodu naa (awọn iṣẹ) si ibi ipamọ ki o gbejade si aaye ipari. Lẹhinna a sanwo nirọrun fun ipe kọọkan si iṣẹ yii, foju foju foju kọju si ohun elo ibi ti o ti ṣiṣẹ.
Emi yoo gbiyanju lati ṣe apejuwe ọna yii pẹlu awọn aworan.
Classic imuṣiṣẹ. A ni iṣẹ kan pẹlu fifuye kan. A gbe awọn iṣẹlẹ meji soke: awọn olupin ti ara tabi awọn iṣẹlẹ ni AWS. Awọn ibeere ita ni a fi ranṣẹ si awọn iṣẹlẹ wọnyi ati ni ilọsiwaju nibẹ.
Bi o ti le ri ninu aworan, awọn olupin ko ni sọnu bakanna. Ọkan jẹ lilo 100%, awọn ibeere meji wa, ati ọkan jẹ 50% nikan - apakan laišišẹ. Ti awọn ibeere mẹta ko ba de, ṣugbọn 30, lẹhinna gbogbo eto kii yoo ni anfani lati koju ẹru naa yoo bẹrẹ si fa fifalẹ.
Serverless imuṣiṣẹ. Ni agbegbe ti ko ni olupin, iru iṣẹ bẹ ko ni awọn iṣẹlẹ tabi olupin. Adagun omi kan ti awọn orisun kikan wa - awọn apoti Docker kekere ti a pese silẹ pẹlu koodu iṣẹ ti a fi ranṣẹ. Eto naa gba awọn ibeere ita ati fun ọkọọkan wọn ni ilana aisi olupin gbe eiyan kekere kan pẹlu koodu: o ṣe ilana ibeere pataki yii ati pa eiyan naa.
Ibeere kan - apoti kan ti a gbe soke, awọn ibeere 1000 - awọn apoti 1000. Ati imuṣiṣẹ lori awọn olupin hardware jẹ tẹlẹ iṣẹ ti olupese awọsanma. O ti wa ni pamọ patapata nipasẹ awọn serverless ilana. Ninu ero yii a sanwo fun gbogbo ipe. Fun apẹẹrẹ, ipe kan wa ni ọjọ kan - a sanwo fun ipe kan, miliọnu kan wa fun iṣẹju kan - a sanwo fun miliọnu kan. Tabi ni iṣẹju-aaya, eyi tun ṣẹlẹ.
Ero ti titẹjade iṣẹ aisi olupin dara fun iṣẹ ti ko ni ipinlẹ. Ati pe ti o ba nilo iṣẹ ipinlẹ (ipinle) kikun, lẹhinna a ṣafikun data data si iṣẹ naa. Ni idi eyi, nigba ti o ba de si ṣiṣẹ pẹlu ipinle, kọọkan statefull iṣẹ nìkan kọ ati ki o ka lati awọn database. Pẹlupẹlu, lati ibi ipamọ data ti eyikeyi ninu awọn oriṣi mẹta ti a ṣalaye ni ibẹrẹ nkan naa.
Kini aropin ti o wọpọ ti gbogbo awọn apoti isura data wọnyi? Iwọnyi jẹ awọn idiyele ti awọsanma ti a lo nigbagbogbo tabi olupin hardware (tabi awọn olupin pupọ). Ko ṣe pataki boya a lo Ayebaye tabi data data iṣakoso, boya a ni Devops ati abojuto tabi rara, a tun sanwo fun ohun elo, ina ati iyalo ile-iṣẹ data 24/7. Ti a ba ni ipilẹ Ayebaye, a sanwo fun oluwa ati ẹrú. Ti o ba jẹ ibi ipamọ data ti o ti kojọpọ pupọ, a sanwo fun awọn olupin 10, 20 tabi 30, ati pe a sanwo nigbagbogbo.
Iwaju awọn olupin ti o wa ni ipamọ patapata ni eto idiyele ni a ti fiyesi tẹlẹ bi ibi pataki. Awọn apoti isura infomesonu ti aṣa tun ni awọn iṣoro miiran, gẹgẹbi awọn opin lori nọmba awọn asopọ, awọn ihamọ iwọn, ipohunpo-pinpin geo - wọn le bakan ni ipinnu ni awọn apoti isura infomesonu kan, ṣugbọn kii ṣe gbogbo ni ẹẹkan ati kii ṣe apere.
Serverless database - yii
Ibeere ti ọdun 2020: ṣe o ṣee ṣe lati jẹ ki olupin data kan jẹ aisi olupin paapaa? Gbogbo eniyan ti gbọ nipa ẹhin ti ko ni olupin… jẹ ki a gbiyanju lati jẹ ki ibi ipamọ data jẹ olupin?
Eyi dabi ajeji, nitori data jẹ iṣẹ ti ipinlẹ, ko dara pupọ fun awọn amayederun olupin. Ni akoko kanna, ipo data data tobi pupọ: gigabytes, terabytes, ati ninu awọn apoti isura infomesonu ani awọn petabytes. Ko rọrun pupọ lati gbe soke ni awọn apoti Docker iwuwo fẹẹrẹ.
Ni apa keji, o fẹrẹ to gbogbo awọn apoti isura infomesonu ode oni ni iye nla ti ọgbọn ati awọn paati: awọn iṣowo, isọdọkan iduroṣinṣin, awọn ilana, awọn igbẹkẹle ibatan ati oye pupọ. Fun oyimbo kan pupo ti database kannaa, a kekere ipinle to. Gigabytes ati Terabytes jẹ lilo taara nipasẹ apakan kekere ti ọgbọn data ti o kan ninu ṣiṣe awọn ibeere taara.
Gẹgẹ bẹ, ero naa jẹ: ti apakan ti ọgbọn ba gba laaye ipaniyan ti ko ni ipinlẹ, kilode ti o ko pin ipilẹ si awọn ẹya Ipinle ati ti ko ni ipinlẹ.
Aini olupin fun awọn ojutu OLAP
Jẹ ki a wo kini gige data sinu Stateful ati awọn ẹya ti ko ni ipinlẹ le dabi lilo awọn apẹẹrẹ to wulo.
Fun apẹẹrẹ, a ni data atupale: data ita (silinda pupa ni apa osi), ilana ETL ti o gbe data sinu ibi ipamọ data, ati oluyanju ti o firanṣẹ awọn ibeere SQL si ibi ipamọ data. Eyi jẹ ero iṣiṣẹ ile-ipamọ data Ayebaye kan.
Ninu ero yii, ETL ni a ṣe ni majemu ni ẹẹkan. Lẹhinna o nilo lati sanwo nigbagbogbo fun awọn olupin lori eyiti data data n ṣiṣẹ pẹlu data ti o kun pẹlu ETL, nitorinaa ohunkan wa lati firanṣẹ awọn ibeere si.
Jẹ ki a wo ọna yiyan ti a ṣe imuse ni AWS Athena Serverless. Ko si ohun elo igbẹhin patapata lori eyiti data ti a gbasile ti wa ni ipamọ. Dipo eyi:
- Olumulo fi ibeere SQL silẹ si Athena. Olupilẹṣẹ Athena ṣe itupalẹ ibeere SQL ati ṣewadii ibi-itaja metadata (Metadata) fun data kan pato ti o nilo lati ṣiṣẹ ibeere naa.
- Ti o dara ju, ti o da lori data ti a gba, ṣe igbasilẹ data pataki lati awọn orisun ita sinu ibi ipamọ igba diẹ (ipamọ data igba diẹ).
- Ibeere SQL kan lati ọdọ olumulo ti wa ni ṣiṣe ni ibi ipamọ igba diẹ ati pe abajade ti pada si olumulo.
- Ibi ipamọ igba diẹ jẹ imukuro ati awọn orisun ti wa ni idasilẹ.
Ninu faaji yii, a sanwo nikan fun ilana ti ṣiṣe ibeere naa. Ko si ibeere - ko si owo.
Eyi jẹ ọna ṣiṣe ati imuse kii ṣe ni Athena Serverless nikan, ṣugbọn tun ni Redshift Spectrum (ni AWS).
Apeere Athena fihan pe aaye data Serverless ṣiṣẹ lori awọn ibeere gidi pẹlu awọn mewa ati awọn ọgọọgọrun ti data Terabyte. Awọn ọgọọgọrun ti Terabytes yoo nilo awọn ọgọọgọrun awọn olupin, ṣugbọn a ko ni lati sanwo fun wọn - a sanwo fun awọn ibeere naa. Iyara ti ibeere kọọkan jẹ (pupọ) kekere ni akawe si awọn apoti isura infomesonu amọja bi Vertica, ṣugbọn a ko sanwo fun awọn akoko idinku.
Iru data data bẹẹ wulo fun awọn ibeere ad-hoc itupale toje. Fun apẹẹrẹ, nigba ti a ba pinnu lẹẹkọkan lati ṣe idanwo idawọle kan lori iye gigantic ti data. Athena jẹ pipe fun awọn ọran wọnyi. Fun awọn ibeere deede, iru eto jẹ gbowolori. Ni idi eyi, kaṣe data ni diẹ ninu awọn ojutu pataki.
Aini olupin fun awọn ojutu OLTP
Apeere iṣaaju wo awọn iṣẹ-ṣiṣe OLAP (itupalẹ). Bayi jẹ ki a wo awọn iṣẹ-ṣiṣe OLTP.
Jẹ ki a fojuinu PostgreSQL tabi MySQL ti iwọn. Jẹ ki a gbe apẹẹrẹ iṣakoso deede PostgreSQL tabi MySQL pẹlu awọn orisun to kere julọ. Nigbati apẹẹrẹ ba gba ẹru diẹ sii, a yoo so awọn ẹda afikun pọ si eyiti a yoo pin apakan ti fifuye kika. Ti ko ba si awọn ibeere tabi fifuye, a pa awọn ẹda naa. Apeere akọkọ jẹ oluwa, ati awọn iyokù jẹ awọn ẹda.
A ṣe imuse ero yii ni ibi ipamọ data ti a pe ni Aurora Serverless AWS. Ilana naa rọrun: awọn ibeere lati awọn ohun elo ita jẹ itẹwọgba nipasẹ ọkọ oju-omi titobi aṣoju. Ri ilosoke fifuye, o pin awọn orisun iširo lati awọn iṣẹlẹ ti o kere ju ti o gbona ṣaaju - asopọ naa ni yarayara bi o ti ṣee. Disabling awọn iṣẹlẹ waye ni ọna kanna.
Laarin Aurora ero wa ti Aurora Capacity Unit, ACU. Eyi jẹ (ni ipo) apẹẹrẹ (olupin). ACU kọọkan pato le jẹ oluwa tabi ẹrú. Kọọkan Agbara Unit ni o ni awọn oniwe-ara Ramu, isise ati pọọku disk. Nitorinaa, ọkan jẹ oluwa, awọn iyokù ni a ka awọn ẹda nikan.
Nọmba awọn iwọn Agbara Aurora wọnyi ti nṣiṣẹ jẹ paramita atunto kan. Iwọn to kere julọ le jẹ ọkan tabi odo (ni idi eyi, data data ko ṣiṣẹ ti ko ba si awọn ibeere).
Nigbati ipilẹ ba gba awọn ibeere, ọkọ oju-omi titobi aṣoju gbe Aurora CapacityUnits soke, jijẹ awọn orisun iṣẹ ṣiṣe ti eto naa. Agbara lati pọ si ati dinku awọn orisun ngbanilaaye eto lati “juggle” awọn orisun: ṣafihan ACU kọọkan laifọwọyi (fidipo wọn pẹlu awọn tuntun) ati yi gbogbo awọn imudojuiwọn lọwọlọwọ jade si awọn orisun ti o yọkuro.
Ipilẹ Aurora Serverless le ṣe iwọn fifuye kika. Ṣugbọn awọn iwe ko sọ eyi taara. O le lero bi wọn ṣe le gbe ọga-ọpọlọpọ soke. Ko si idan.
Ibi ipamọ data yii jẹ ibamu daradara lati yago fun lilo owo pupọ lori awọn eto pẹlu iraye si airotẹlẹ. Fun apẹẹrẹ, nigba ṣiṣẹda MVP tabi awọn aaye kaadi iṣowo tita, a nigbagbogbo ko nireti fifuye iduroṣinṣin. Gẹgẹ bẹ, ti ko ba si iwọle, a ko sanwo fun awọn iṣẹlẹ. Nigbati ẹru airotẹlẹ ba waye, fun apẹẹrẹ lẹhin apejọ apejọ kan tabi ipolongo ipolowo, ọpọlọpọ eniyan ṣabẹwo si aaye naa ati fifuye pọsi pupọ, Aurora Serverless gba ẹru yii laifọwọyi ati yarayara sopọ awọn orisun ti o padanu (ACU). Lẹhinna apejọ naa kọja, gbogbo eniyan gbagbe nipa apẹrẹ, awọn olupin (ACU) dudu, ati pe awọn idiyele lọ silẹ si odo - rọrun.
Ojutu yii ko dara fun iwuwo giga iduroṣinṣin nitori ko ṣe iwọn fifuye kikọ. Gbogbo awọn asopọ wọnyi ati awọn asopọ ti awọn orisun waye ni eyiti a pe ni “ojuami iwọn” - aaye kan ni akoko nigbati data data ko ni atilẹyin nipasẹ idunadura tabi awọn tabili igba diẹ. Fun apẹẹrẹ, laarin ọsẹ kan ojuami iwọn le ma ṣẹlẹ, ati pe ipilẹ n ṣiṣẹ lori awọn orisun kanna ati pe ko le faagun tabi ṣe adehun.
Ko si idan - o jẹ deede PostgreSQL. Ṣugbọn ilana ti fifi awọn ẹrọ kun ati ge asopọ wọn jẹ adaṣe ni apakan.
Serverless nipa oniru
Aurora Serverless jẹ ipilẹ data atijọ ti a kọwe fun awọsanma lati lo anfani diẹ ninu awọn anfani ti Serverless. Ati nisisiyi Emi yoo sọ fun ọ nipa ipilẹ, eyiti a kọ ni akọkọ fun awọsanma, fun ọna ti ko ni olupin - Serverless-by-design. O ti ni idagbasoke lẹsẹkẹsẹ laisi ero pe yoo ṣiṣẹ lori awọn olupin ti ara.
Ipilẹ yii ni a npe ni Snowflake. O ni awọn bulọọki bọtini mẹta.
Ohun akọkọ jẹ Àkọsílẹ metadata. Eyi jẹ iṣẹ iranti ni iyara ti o yanju awọn ọran pẹlu aabo, metadata, awọn iṣowo, ati iṣapeye ibeere (ti o han ninu apejuwe ni apa osi).
Bulọọki keji jẹ eto awọn iṣupọ iširo foju fun awọn iṣiro (ninu apejuwe ti ṣeto ti awọn iyika buluu).
Àkọsílẹ kẹta jẹ eto ipamọ data ti o da lori S3. S3 jẹ ibi ipamọ ohun ti ko ni iwọn ni AWS, iru bii Dropbox ti ko ni iwọn fun iṣowo.
Jẹ ki a wo bii Snowflake ṣe n ṣiṣẹ, ni ro pe ibẹrẹ tutu kan. Iyẹn ni, data data wa, data ti kojọpọ sinu rẹ, ko si awọn ibeere ṣiṣe. Nitorinaa, ti ko ba si awọn ibeere si ibi ipamọ data, lẹhinna a ti gbe iṣẹ Metadata iranti ni iyara dide (bulọọki akọkọ). Ati pe a ni ibi ipamọ S3, nibiti data tabili ti wa ni ipamọ, pin si awọn ohun ti a pe ni micropartitions. Fun ayedero: ti tabili ba ni awọn iṣowo, lẹhinna micropartitions jẹ awọn ọjọ ti awọn iṣowo. Ni gbogbo ọjọ jẹ micropartition lọtọ, faili lọtọ. Ati nigbati data ba ṣiṣẹ ni ipo yii, iwọ nikan sanwo fun aaye ti o gba nipasẹ data naa. Jubẹlọ, awọn oṣuwọn fun ijoko jẹ gidigidi kekere (paapa mu sinu iroyin awọn pataki funmorawon). Iṣẹ metadata tun n ṣiṣẹ nigbagbogbo, ṣugbọn iwọ ko nilo ọpọlọpọ awọn orisun lati mu awọn ibeere pọ si, ati pe iṣẹ naa le jẹ ipinpinpin.
Bayi jẹ ki a fojuinu pe olumulo kan wa si ibi ipamọ data wa o firanṣẹ ibeere SQL kan. Ibeere SQL naa ni a firanṣẹ lẹsẹkẹsẹ si iṣẹ Metadata fun sisẹ. Nitorinaa, nigba gbigba ibeere kan, iṣẹ yii ṣe itupalẹ ibeere naa, data ti o wa, awọn igbanilaaye olumulo ati, ti gbogbo rẹ ba dara, ṣe agbekalẹ ero kan fun sisẹ ibeere naa.
Nigbamii ti, iṣẹ naa bẹrẹ ifilọlẹ ti iṣupọ iširo. Iṣiro-iṣiro jẹ iṣupọ awọn olupin ti o ṣe iṣiro. Iyẹn ni, eyi jẹ iṣupọ ti o le ni olupin 1 ninu, olupin 2, 4, 8, 16, 32 - bi o ṣe fẹ. O jabọ ibeere kan ati ifilọlẹ iṣupọ yii bẹrẹ lẹsẹkẹsẹ. O gba to iṣẹju-aaya.
Nigbamii, lẹhin iṣupọ naa ti bẹrẹ, awọn micropartitions nilo lati ṣe ilana ibeere rẹ bẹrẹ lati daakọ sinu iṣupọ lati S3. Iyẹn ni, jẹ ki a fojuinu pe lati ṣiṣẹ ibeere SQL o nilo awọn ipin meji lati tabili kan ati ọkan lati keji. Ni ọran yii, awọn ipin pataki mẹta nikan ni yoo daakọ si iṣupọ, kii ṣe gbogbo awọn tabili patapata. Ti o ni idi ti, ati gbọgán nitori ohun gbogbo ti wa ni be laarin ọkan data aarin ati ki o ti sopọ nipasẹ awọn ọna iyara pupọ, gbogbo ilana gbigbe waye ni iyara: ni iṣẹju-aaya, ṣọwọn pupọ ni awọn iṣẹju, ayafi ti a ba n sọrọ nipa diẹ ninu awọn ibeere ibanilẹru. Nitorinaa, a daakọ awọn micropartitions si iṣupọ iširo, ati pe, ni ipari, ibeere SQL ti wa ni ṣiṣe lori iṣupọ iširo yii. Abajade ibeere yii le jẹ laini kan, awọn laini pupọ tabi tabili kan - wọn firanṣẹ ni ita si olumulo ki o le ṣe igbasilẹ rẹ, ṣafihan ni irinṣẹ BI rẹ, tabi lo ni ọna miiran.
Ibeere SQL kọọkan ko le ka awọn akojọpọ nikan lati awọn data ti a ti kojọpọ tẹlẹ, ṣugbọn tun gbe / ṣẹda data tuntun ninu aaye data. Iyẹn ni, o le jẹ ibeere ti, fun apẹẹrẹ, fi awọn igbasilẹ titun sinu tabili miiran, eyiti o yorisi ifarahan ti ipin tuntun lori iṣupọ iširo, eyiti, ni ọna, ti wa ni fipamọ laifọwọyi ni ibi ipamọ S3 kan.
Oju iṣẹlẹ ti a ṣalaye loke, lati dide ti olumulo si igbega iṣupọ, ikojọpọ data, ṣiṣe awọn ibeere, gbigba awọn abajade, ni isanwo ni iwọn fun awọn iṣẹju ti lilo iṣupọ iširo foju dide, ile itaja foju. Iwọn naa yatọ da lori agbegbe AWS ati iwọn iṣupọ, ṣugbọn ni apapọ o jẹ awọn dọla diẹ fun wakati kan. Ìdìpọ̀ ẹ̀rọ mẹ́rin jẹ́ ìlọ́po méjì bí ìdìpọ̀ ẹ̀rọ méjì, ìdìpọ̀ ẹ̀rọ mẹ́jọ sì tún jẹ́ ìlọ́po méjì. Awọn aṣayan ti awọn ẹrọ 16, 32 wa, da lori idiju ti awọn ibeere naa. Ṣugbọn o sanwo fun awọn iṣẹju yẹn nikan nigbati iṣupọ n ṣiṣẹ gangan, nitori nigbati ko ba si awọn ibeere, o jẹ ki o mu ọwọ rẹ kuro, ati lẹhin awọn iṣẹju 5-10 ti idaduro (paramita atunto kan) yoo lọ funrararẹ, laaye soke oro ati ki o di free.
Oju iṣẹlẹ ti o daju patapata ni nigbati o ba fi ibeere ranṣẹ, iṣupọ naa yoo jade, ni sisọ ni sisọ, ni iṣẹju kan, o ka iṣẹju miiran, lẹhinna iṣẹju marun lati ku, ati pe o pari lati sanwo fun iṣẹju meje ti iṣiṣẹ ti iṣupọ yii, ati kii ṣe fun awọn oṣu ati ọdun.
Oju iṣẹlẹ akọkọ ti ṣe apejuwe nipa lilo Snowflake ni eto olumulo kan. Bayi jẹ ki a fojuinu pe ọpọlọpọ awọn olumulo lo wa, eyiti o sunmọ si oju iṣẹlẹ gidi.
Jẹ ki a sọ pe a ni ọpọlọpọ awọn atunnkanka ati awọn ijabọ Tableau ti nigbagbogbo bombard database wa pẹlu nọmba nla ti awọn ibeere SQL itupalẹ ti o rọrun.
Ni afikun, jẹ ki a sọ pe a ni Awọn onimọ-jinlẹ Data inventive ti o ngbiyanju lati ṣe awọn ohun ibanilẹru pẹlu data, ṣiṣẹ pẹlu awọn mewa ti Terabytes, ṣe itupalẹ awọn ọkẹ àìmọye ati awọn aimọye ti awọn ori ila data.
Fun awọn oriṣi iṣẹ ṣiṣe meji ti a ṣalaye loke, Snowflake gba ọ laaye lati gbe ọpọlọpọ awọn iṣupọ iširo ominira ti awọn agbara oriṣiriṣi pọ si. Pẹlupẹlu, awọn iṣupọ iširo wọnyi ṣiṣẹ ni ominira, ṣugbọn pẹlu data deede deede.
Fun nọmba nla ti awọn ibeere ina, o le gbe awọn iṣupọ kekere 2-3 soke, ni aijọju awọn ẹrọ 2 kọọkan. Iwa yii le ṣe imuse, laarin awọn ohun miiran, ni lilo awọn eto aifọwọyi. Nitorina o sọ pe, “Ere-ododo, gbe iṣupọ kekere kan soke. Ti fifuye lori rẹ ba pọ si loke paramita kan, gbe iru keji, kẹta soke. Nigbati ẹru ba bẹrẹ lati lọ silẹ, pa ajẹkù naa.” Nitorinaa bii iye awọn atunnkanka wa ti o bẹrẹ si wo awọn ijabọ, gbogbo eniyan ni awọn ohun elo to.
Ni akoko kanna, ti awọn atunnkanka ba sùn ati pe ko si ẹnikan ti o wo awọn ijabọ, awọn iṣupọ le ṣokunkun patapata, ati pe o dawọ sanwo fun wọn.
Ni akoko kanna, fun awọn ibeere ti o wuwo (lati ọdọ Awọn onimọ-jinlẹ Data), o le gbe iṣupọ nla kan ga fun awọn ẹrọ 32. iṣupọ yii yoo tun san fun awọn iṣẹju ati awọn wakati wọnyẹn nigbati ibeere nla rẹ nṣiṣẹ nibẹ.
Anfani ti a ṣalaye loke gba ọ laaye lati pin kii ṣe 2 nikan, ṣugbọn awọn iru iṣẹ ṣiṣe diẹ sii si awọn iṣupọ (ETL, ibojuwo, ohun elo ijabọ,…).
Jẹ ki a ṣe akopọ Snowflake. Awọn mimọ daapọ kan lẹwa agutan ati ki o kan workable imuse. Ni ManyChat, a lo Snowflake lati ṣe itupalẹ gbogbo data ti a ni. A ko ni awọn iṣupọ mẹta, bi ninu apẹẹrẹ, ṣugbọn lati 5 si 9, ti awọn titobi oriṣiriṣi. A ni mora 16-ẹrọ, 2-ẹrọ, ki o si tun Super-kekere 1-ẹrọ fun diẹ ninu awọn iṣẹ-ṣiṣe. Wọn pin kaakiri ni aṣeyọri ati gba wa laaye lati fipamọ pupọ.
Ipamọ data ni aṣeyọri ṣe iwọn kika ati fifuye kikọ. Eyi jẹ iyatọ nla ati aṣeyọri nla ni akawe si “Aurora” kanna, eyiti o gbe ẹru kika nikan. Snowflake gba ọ laaye lati ṣe iwọn iṣẹ ṣiṣe kikọ rẹ pẹlu awọn iṣupọ iširo wọnyi. Iyẹn ni, gẹgẹ bi mo ti mẹnuba, a lo ọpọlọpọ awọn iṣupọ ni ManyChat, awọn iṣupọ kekere ati kekere-kekere ni a lo fun ETL fun ikojọpọ data. Ati awọn atunnkanka ti gbe tẹlẹ lori awọn iṣupọ alabọde, eyiti ko ni ipa rara nipasẹ ẹru ETL, nitorinaa wọn ṣiṣẹ yarayara.
Nitorinaa, ibi ipamọ data jẹ ibamu daradara fun awọn iṣẹ OLAP. Sibẹsibẹ, laanu, ko tii wulo fun awọn iṣẹ ṣiṣe OLTP. Ni akọkọ, ibi ipamọ data yii jẹ ọwọn, pẹlu gbogbo awọn abajade ti o tẹle. Ni ẹẹkeji, isunmọ funrararẹ, nigbati fun ibeere kọọkan, ti o ba jẹ dandan, o gbe iṣupọ iširo kan ki o si ṣan omi pẹlu data, laanu, ko ti yara to fun awọn ẹru OLTP. Nduro iṣẹju-aaya fun awọn iṣẹ-ṣiṣe OLAP jẹ deede, ṣugbọn fun awọn iṣẹ-ṣiṣe OLTP o jẹ itẹwẹgba; 100 ms yoo dara julọ, tabi 10 ms yoo dara julọ.
Abajade
Ibi ipamọ data ti ko ni olupin ṣee ṣe nipa pinpin ibi ipamọ data si awọn ẹya Alainipin ati Ipinle. O le ti ṣakiyesi pe ninu gbogbo awọn apẹẹrẹ ti o wa loke, apakan Stateful jẹ, sisọ ni ilodisi, titoju awọn ipin micro-ipin ni S3, ati Stateless jẹ oluṣapeye, ṣiṣẹ pẹlu metadata, mimu awọn ọran aabo ti o le dide bi ominira iwuwo fẹẹrẹ ominira awọn iṣẹ Alaipin.
Ṣiṣe awọn ibeere SQL tun le ṣe akiyesi bi awọn iṣẹ ina-ipinlẹ ti o le gbe jade ni ipo olupin, bii awọn iṣupọ iširo Snowflake, ṣe igbasilẹ data pataki nikan, ṣiṣẹ ibeere naa ati “jade lọ.”
Awọn apoti isura infomesonu ipele iṣelọpọ ti ko ni olupin ti wa tẹlẹ fun lilo, wọn n ṣiṣẹ. Awọn apoti isura infomesonu ti ko ni olupin wọnyi ti ṣetan lati mu awọn iṣẹ ṣiṣe OLAP ṣiṣẹ. Laanu, fun awọn iṣẹ-ṣiṣe OLTP wọn lo ... pẹlu awọn nuances, niwon awọn idiwọn wa. Ni apa kan, eyi jẹ iyokuro. Ṣugbọn, ni apa keji, eyi jẹ aye. Boya ọkan ninu awọn oluka yoo wa ọna lati ṣe ibi ipamọ data OLTP patapata laisi olupin, laisi awọn idiwọn ti Aurora.
Mo nireti pe o rii pe o nifẹ. Alaini olupin ni ọjọ iwaju :)
orisun: www.habr.com