Kia ora katoa! Ko Golov Nikolay toku ingoa. I mua, i mahi ahau i Avito me te whakahaere i te Raraunga Raraunga mo nga tau e ono, ara, i mahi ahau i runga i nga papaaarangi katoa: te tātari (Vertica, ClickHouse), te roma me te OLTP (Redis, Tarantool, VoltDB, MongoDB, PostgreSQL). I tenei wa, he maha nga papaa raraunga i mahia e au - he tino rerekee, he rerekee, me nga keehi kore-paerewa o te whakamahi.
Kei te mahi ahau i te ManyChat i tenei wa. Ko te tikanga, he timatanga tenei - he hou, he wawata, he tere te tipu. A, i taku urunga tuatahi ki te kamupene, ka puta ake he patai matarohia: "He aha te mea me tango e te rangatahi whakaoho inaianei mai i te maakete DBMS me te papaa raraunga?"
I roto i tenei tuhinga, i runga i taku ripoata i , Ka whakautu ahau i tenei patai. He putanga ataata o te purongo e waatea ana i .
Nga putunga korero e mohiotia ana 2020
Ko te tau 2020, ka tirotiro ahau, ka kite ahau e toru nga momo putunga raraunga.
Momo tuatahi - putunga OLTP matarohia: PostgreSQL, SQL Server, Oracle, MySQL. I tuhia i mua noa atu, engari e whai kiko tonu ana na te mea kua tino mohio ki te hapori kaiwhakawhanake.
Momo tuarua - turanga mai i te "kore". I ngana ratou ki te neke atu i nga tauira matarohia ma te whakarere i te SQL, i nga hanganga tuku iho me te ACID, ma te taapiri i nga waahanga hanga-i roto me etahi atu ahuatanga ataahua. Hei tauira, ko Cassandra tenei, MongoDB, Redis, Tarantool ranei. Ko enei otinga katoa i hiahia ki te tuku ki te maakete tetahi mea hou me te noho ki o raatau kohanga na te mea he tino watea mo etahi mahi. Ka tohu ahau i enei papaarangi me te kupu marara NOSQL.
Kua mutu nga "kore", kua waia matou ki nga papaa raraunga NOSQL, a ko te ao, mai i taku tirohanga, i whai i nga mahi e whai ake nei - ki pātengi raraunga whakahaere. He rite tonu te uho o enei putunga ki nga papaunga OLTP matarohia, ki nga NoSQL hou ranei. Engari kaore he hiahia mo te DBA me te DevOps me te whakahaere i nga taputapu whakahaere i nga kapua. Mo te kaiwhakawhanake, he "turanga noa" tenei e mahi ana i tetahi waahi, engari kaore tetahi e aro ki te whakauru ki runga i te tūmau, nana i whirihora te tūmau me te whakahou.
Ko nga tauira o aua putunga raraunga:
- Ko te AWS RDS he takai whakahaere mo PostgreSQL/MySQL.
- Ko te DynamoDB he tairitenga AWS o te papaunga raraunga e pa ana ki te tuhinga, he rite ki a Redis me MongoDB.
- Ko te Amazon Redshift he putunga tātaritanga whakahaere.
He putunga korero tawhito enei, engari i whakaarahia i roto i te taiao whakahaere, kaore he hiahia ki te mahi me nga taputapu.
Tuhipoka. Ko nga tauira ka tangohia mo te taiao AWS, engari kei te noho ano o raatau rite ki Microsoft Azure, Google Cloud, Yandex.Cloud ranei.
He aha te mea hou mo tenei? I te 2020, karekau tenei.
Te ariā kore tūmau
He aha nga mea hou i runga i te maakete i te tau 2020 ko nga otinga koreutu, kore utu ranei.
Ka ngana ahau ki te whakamaarama he aha te tikanga o tenei ma te whakamahi i te tauira o te ratonga auau, tono tuara ranei.
Hei whakatakoto i te tono tuara auau, ka hoko, ka reti ranei matou i tetahi tūmau, ka kape i te waehere ki runga, ka whakaputa i te pito mutunga ki waho me te utu i nga wa katoa mo te reti, hiko me nga ratonga pokapū raraunga. Koinei te kaupapa paerewa.
He huarahi ke atu? Ma nga ratonga kore utu ka taea e koe.
He aha te kaupapa o tenei huarahi: karekau he kaimau, karekau he riihi mariko i te kapua. Hei tuku i te ratonga, kape i te waehere (mahi) ki te putunga ka whakaputa ki te pito mutunga. Na ka utu noa matou mo ia piiraa ki tenei mahi, me te kore e aro ki nga taputapu kei te mahia.
Ka ngana ahau ki te whakaatu i tenei huarahi me nga pikitia.
Te whakatakotoranga tawhito. Kei a matou he ratonga me etahi kawenga. E rua nga wa ka whakaarahia e matou: nga kaitoro tinana, nga waahi ranei i AWS. Ka tukuna nga tono o waho ki enei waa ka tuka ki reira.
Kei te kite koe i te pikitia, kaore nga kaimau e tukuna kia rite. Ko tetahi he 100% kua whakamahia, e rua nga tono, ko tetahi ko te 50% anake - he waahi mangere. Mena kaore e toru nga tono ka tae mai, engari ko te 30, ka kore e taea e te punaha katoa te whakatutuki i te kawenga, ka timata ki te puhoi.
Whakamahinga kore tūmau. I roto i te taiao kore-tūmau, karekau he tauira, he tūmau ranei taua ratonga. He puna wai whakamahana - nga ipu Docker iti kua rite me te waehere mahi kua horahia. Ka whakawhiwhia e te punaha nga tono o waho, a, ma ia tangata, ka whakaarahia e te angamahi kore-tumau tetahi ipu iti me te waehere: ka whakahaeretia e ia tenei tono ka patua te ipu.
Kotahi te tono - kotahi ipu i whakaarahia, 1000 tono - 1000 ipu. A ko te tukunga ki runga i nga kaitoro taputapu he mahi na te kaiwhakarato kapua. Kua huna katoatia e te angamahi korekore. I roto i tenei ariā ka utua e matou mo ia waea. Hei tauira, kotahi te waea i tae mai i te ra - i utua e matou mo te waea kotahi, kotahi miriona i tae mai ia meneti - i utua e matou mo te miriona. I te tuarua ranei, ka puta ano tenei.
Ko te kaupapa o te whakaputa i te mahi kore-tumau he pai mo te ratonga kore whenua. A, ki te hiahia koe ki tetahi ratonga tuuturu (statefull), katahi ka taapirihia e matou he papaa raraunga ki te ratonga. I tenei keehi, ka tae mai ki te mahi me te kawanatanga, ka tuhi noa ia mahi statefull me te panui mai i te papaarangi. I tua atu, mai i te papaa raraunga o tetahi o nga momo e toru i whakaahuahia i te timatanga o te tuhinga.
He aha te herenga noa o enei putunga raraunga katoa? Ko nga utu enei mo te kapua e whakamahia ana i nga wa katoa, i nga taputapu taputapu ranei (he maha nga kaitoro). Kare he aha mena ka whakamahia e matou he putunga korero matarohia, whakahaeretia ranei, ahakoa he Devops me tetahi kaiwhakahaere, kaore ranei, ka utu tonu matou mo nga taputapu, hiko me te riihi pokapū raraunga 24/7. Mena he turanga matarohia ta matou, ka utua e matou te rangatira me te pononga. Mēnā he pātengi raraunga kua tino utaina, ka utua e matou mo nga kaitoro 10, 20, 30 ranei, ka utu tonu matou.
Ko te noho o nga kaitoro kua rahuitia i roto i te hanganga utu i kiia i mua he kino e tika ana. He raruraru ano hoki nga paaunga tikanga, penei i te tepe o te maha o nga hononga, te aukati i te tauine, te whakaaetanga toha-a-whenua - ka taea te whakatau i roto i etahi putunga, engari kaore i te wa kotahi, kaore i te pai.
Putunga raraunga kore - te ariā
Uiui mo te 2020: ka taea ano hoki te hanga i tetahi papaaarangi kia kore he kaimau? Kua rongo nga tangata katoa mo te tuara-kore-kore... me ngana tatou ki te hanga i te papaunga raraunga kia kore ai he tūmau?
He ahua ke tenei, na te mea he ratonga tuuturu te papaunga raraunga, kaore i te tino pai mo nga hanganga kore. I te wa ano, he tino nui te ahua o te paataka: gigabytes, terabytes, i roto i nga papaaata tātari tae noa ki nga petabytes. Ehara i te mea ngawari ki te whakaara i roto i nga ipu Docker mama.
I tetahi atu taha, tata katoa nga papaa raraunga hou kei roto i te nui o te arorau me nga waahanga: nga whakawhitiwhitinga, te ruruku pono, nga tikanga, nga hononga whanaungatanga me te maha o nga arorau. Mo te maha o nga arorau papaa raraunga, he iti noa te ahua. Ko nga Gigabytes me nga Terabytes e whakamahia tika ana e tetahi waahanga iti noa o te arorau papaa raraunga e uru ana ki te whakahaere tika i nga patai.
Na reira, ko te whakaaro: mena ka taea e tetahi waahanga o te arorau te mahi kore whenua, he aha te take e kore ai e wehewehea te turanga ki nga wahanga Stateful me Stateless.
Tūmau kore mo nga rongoā OLAP
Kia kite tatou he aha te ahua o te tapahi i te papaa raraunga ki nga waahanga Stateful me te Stateless ma te whakamahi i nga tauira whaihua.
Hei tauira, he pātengi raraunga tātari tā mātou: nga raraunga o waho (he porotaka whero kei te taha maui), he tukanga ETL e utaina ana nga raraunga ki roto i te papaaarangi, me tetahi kaitätari e tuku ana i nga paatai SQL ki te papaarangi. He kaupapa whakahaere whare putunga raraunga matarohia tenei.
I roto i tenei kaupapa, ka mahia te ETL kotahi. Na me utu tonu koe mo nga kaitoro e rere ana te paataka raraunga me nga raraunga kua whakakiia ki te ETL, kia whai waahi ai nga patai.
Me titiro ki tetahi huarahi rereke kua whakatinanahia i roto i te AWS Athena Serverless. Karekau he taputapu i whakatapua tuturu hei penapena raraunga kua tangohia. Engari i tenei:
- Ka tukuna e te kaiwhakamahi he patai SQL ki a Athena. Ka tātarihia e te Athena optimizer te patai SQL me te rapu i te toa metadata (Metadata) mo nga raraunga motuhake e hiahiatia ana hei whakatutuki i te patai.
- Ko te kaihoroi, i runga i nga raraunga kua kohia, ka tango i nga raraunga e tika ana mai i nga puna o waho ki te rokiroki rangitahi (patengi raraunga rangitahi).
- Ka mahia he patai SQL mai i te kaiwhakamahi i roto i te rokiroki rangitahi ka whakahokia te hua ki te kaiwhakamahi.
- Ka whakawāteahia te rokiroki rangitahi, ka tukuna ngā rauemi.
I roto i tenei hoahoanga, ka utu noa matou mo te tukanga o te whakatinana i te tono. Kaore he tono - kaore he utu.
He huarahi mahi tenei, ka whakatinanahia ehara i te Athena Serverless anake, engari ano hoki i Redshift Spectrum (i AWS).
Ko te tauira Athena e whakaatu ana kei te mahi te papaunga raraunga Korekau i runga i nga patai pono me nga tekau me nga rau Terabytes o nga raraunga. E hia rau Terabytes e hiahia ana kia hia rau nga kaitoro, engari kaore matou e utu mo ratou - ka utua e matou nga tono. Ko te tere o ia tono he iti (tino) ka whakaritea ki nga papaaarangi tātaritanga motuhake penei i a Vertica, engari kaore matou e utu mo nga wa heke.
Ko taua putunga raraunga e tika ana mo nga patai ad-hoc onge. Hei tauira, ina whakatau noa tatou ki te whakamatautau i tetahi whakapae mo etahi raraunga nui. He tino pai a Athena mo enei keehi. Mo nga tono auau, he utu nui taua punaha. I tenei keehi, keteroki nga raraunga ki etahi otinga motuhake.
Tūmau kore mo nga otinga OLTP
Ko te tauira o mua i titiro ki nga mahi OLAP (analytical). Inaianei me titiro ki nga mahi OLTP.
Whakaarohia te PostgreSQL, MySQL ranei. Me whakaara ake he tauira whakahaere i ia wa ko PostgreSQL, MySQL ranei he iti rawa nga rauemi. Ka nui ake te utaina o te tauira, ka honoa e matou etahi atu tauira ka tohatohahia e matou tetahi waahanga o te kawenga panui. Mena kaore he tono, he utaina ranei, ka whakawetohia e matou nga tauira. Ko te tauira tuatahi ko te rangatira, ko te toenga he tauira.
Ka whakatinanahia tenei whakaaro i roto i te putunga korero ko Aurora Serverless AWS. He maamaa te kaupapa: ko nga tono mai i nga tono o waho ka whakaaetia e te waka takawaenga. Ka kite i te pikinga o te kawenga, ka tohatohahia e ia nga rauemi rorohiko mai i nga wa iti kua whakamahana - ka tere te hono. He rite ano te ahua o te whakakorenga.
Kei roto i te Aurora te kaupapa o Aurora Capacity Unit, ACU. He tauira (tumau) tenei. Ka taea e ia ACU he rangatira, he pononga ranei. Kei ia Waeine Raukaha tana ake RAM, te tukatuka me te kōpae iti. No reira, ko tetahi te rangatira, ko te toenga he panui anake.
Ko te maha o enei Aurora Capacity Units e rere ana he tawhā whirihora. Ko te rahinga iti ka taea te kotahi, te kore ranei (i tenei keehi, kaore e mahi te papaaarangi ki te kore he tono).
Ina whiwhi tono te turanga, ka whakaarahia e te waka takawaenga te Aurora CapacityUnits, ka piki ake nga rauemi mahi a te punaha. Ko te kaha ki te whakanui me te whakaheke i nga rauemi ka taea e te punaha te "hurihuri" i nga rauemi: ka whakaatu aunoa i nga ACU takitahi (whakakapihia ki nga mea hou) me te whakaputa i nga whakahoutanga o naianei ki nga rauemi kua tangohia.
Ka taea e te turanga Aurora Serverless te whakarahi i te kawenga panui. Engari kaore nga tuhinga e korero tika i tenei. Ko te ahua ka taea e ratou te hiki i te rangatira maha. Karekau he makutu.
He pai rawa atu tenei patengi raraunga ki te karo i te whakapau moni nui ki runga i nga punaha me te uru ohorere. Hei tauira, i te wa e hanga ana i te MVP, i te hokohoko ranei i nga waahi kaari pakihi, kaore matou i te tumanako he kawenga pumau. No reira, ki te kore he urunga, kaore matou e utu mo nga wa. Ka puta mai he kawenga ohorere, hei tauira i muri i te huihuinga huihuinga, panui panui ranei, ka toro atu te tini o nga tangata ki te papaanga ka tino piki haere te uta, ka tango aunoa a Aurora Serverless i tenei kawenga ka hono tere i nga rauemi ngaro (ACU). Na ka pahemo te huihuinga, ka wareware te katoa mo te tauira, ka pouri nga kaitoro (ACU), ka heke nga utu ki te kore - he watea.
Ko tenei otinga kaore i te pai mo te uta teitei pumau na te mea kaore e whakatauhia te uta tuhituhi. Ko enei hononga katoa me te momotuhanga o nga rauemi ka puta ki te mea e kiia nei ko te "waahi tauine" - he waahi i te waa kaore e tautokona te papaaarangi e tetahi tauwhitinga, nga ripanga rangitahi ranei. Hei tauira, i roto i te wiki kaore pea te tohu tauine e puta, ka mahi te turanga i runga i nga rauemi kotahi, kaore e taea te whakawhānui, te kirimana ranei.
Karekau he makutu - he PostgreSQL noa. Engari ko te mahi taapiri miihini me te momotu he waahanga aunoa.
Tūmau kore na te hoahoa
Ko Aurora Serverless he putunga raraunga tawhito kua tuhia ano mo te kapua hei tango i etahi o nga painga o Serverless. Na inaianei ka korero atu ahau ki a koe mo te turanga, i tuhia tuatahi mo te kapua, mo te huarahi kore - Serverless-by-design. I whakawhanakehia tonu me te kore whakaaro ka rere i runga i nga kaitoro tinana.
Ko tenei turanga ka kiia ko Snowflake. E toru ona poraka matua.
Ko te tuatahi he paraka metadata. He ratonga mahara tere tenei e whakaoti ana i nga take e pa ana ki te haumarutanga, metadata, whakawhitinga, me te arotautanga patai (e whakaatuhia ana i te whakaahua kei te taha maui).
Ko te poraka tuarua he huinga huinga rorohiko mariko mo nga tatauranga (kei te whakaahua he huinga porowhita puru).
Ko te poraka tuatoru he punaha rokiroki raraunga i runga i te S3. Ko te S3 he rokiroki ahanoa kore i roto i te AWS, he rite te ahua o te Dropbox ahuakore mo te pakihi.
Kia kite tatou me pehea te mahi a Snowflake, me whakaaro he timatanga makariri. Arā, he pātengi raraunga, ka utaina ngā raraunga ki roto, karekau he uiui e rere ana. No reira, mena karekau he tono ki te putunga korero, kua whakaarahia e matou te ratonga Metadata mahara-roa (paraka tuatahi). Na kei a matou te rokiroki S3, kei te rongoa nga raraunga ripanga, ka wehewehea ki nga waahanga e kiia nei ko nga micropartitions. Mo te ngawari: mena kei te ripanga nga whakawhitiwhitinga, ko nga waahanga miihini nga ra o nga whakawhitinga. Ia ra he wehewehenga moroiti motuhake, he konae motuhake. A, i te wa e mahi ana te papaaarangi i tenei ahuatanga, ka utu noa koe mo te waahi e nohoia ana e nga raraunga. I tua atu, he iti rawa te reeti mo ia nohoanga (ina koa me te whakaaro nui ki te paheketanga). Ka mahi tonu te ratonga metadata, engari kaore koe e hiahia ki te maha o nga rauemi hei arotau i nga patai, ka taea te whakaaro ko te ratonga he shareware.
Inaianei me whakaaro kua tae mai tetahi kaiwhakamahi ki ta maatau papaa raraunga ka tukuna he patai SQL. Ka tukuna tonu te patai SQL ki te ratonga Metadata mo te tukatuka. No reira, i te wa i tae mai he tono, ka tātarihia e tenei ratonga te tono, nga raraunga e waatea ana, nga whakaaetanga a nga kaiwhakamahi, a, ki te pai nga mea katoa, ka tuhia he mahere mo te tukatuka i te tono.
I muri mai, ka timata te ratonga i te whakarewatanga o te roopu rorohiko. Ko te kahui rorohiko he kahui o nga tūmau e mahi ana i nga tatauranga. Arā, he kāhui tēnei ka taea te 1 tūmau, 2 tūmau, 4, 8, 16, 32 - te maha e hiahia ana koe. Ka tukuna e koe he tono ka timata tonu te whakarewatanga o tenei roopu. He hēkona te roa.
I muri mai, i muri i te tiimata o te roopu, ka tiimata nga waahanga moroiti hei tukatuka i to tono ka tiimata ki te kape ki te roopu mai i te S3. Arā, me whakaaro koe ki te mahi i tetahi patai SQL ka hiahia koe kia rua nga waahanga mai i tetahi tepu me tetahi mai i te tuarua. I tenei keehi, ko nga waahanga e toru e tika ana ka kapehia ki te tautau, kaua nga ripanga katoa. Koinei te take, a na te mea kei roto nga mea katoa i roto i te pokapū raraunga kotahi me te hono i nga waahana tere rawa, ka tino tere te tukanga whakawhiti katoa: i roto i nga hēkona, he iti rawa i roto i nga meneti, mena ka korero tatou mo etahi tono nui. Na reira, ka kapehia nga wehewehenga moroiti ki te kahui rorohiko, a, ka oti, ka mahia te patai SQL ki tenei roopu rorohiko. Ko te hua o tenei tono ka kotahi rarangi, he maha nga rarangi, he ripanga ranei - ka tukuna ki waho ki te kaiwhakamahi kia taea ai e ia te tango, te whakaatu ki tana taputapu BI, ki te whakamahi ranei i etahi atu huarahi.
E kore e taea e ia patai SQL te panui i nga whakahiato mai i nga raraunga kua utaina i mua, engari ka utaina/whakaputa raraunga hou ki te papaunga raraunga. Arā, ka taea te uiui, hei tauira, ka whakauru i nga rekoata hou ki tetahi atu tepu, ka puta mai he wehewehenga hou i runga i te roopu rorohiko, na, ka tiakina aunoa i roto i te rokiroki S3 kotahi.
Ko te ahuatanga i whakaahuahia i runga ake nei, mai i te taenga mai o te kaiwhakamahi ki te whakaarahanga o te roopu, te utaina o nga raraunga, te whakahaere i nga paatai, te whiwhi hua, ka utua i te reiti mo nga meneti o te whakamahi i te roopu rorohiko mariko kua whakaarahia, te whare putunga mariko. He rereke te reiti i runga i te rohe AWS me te rahi o te tautau, engari i te toharite he iti taara ia haora. Ko te tautau o nga miihini e wha he rua ake te utu ki te roopu o nga miihini e rua, a, ko te roopu o nga miihini e waru he rua ake te utu. Ko nga whiringa o nga miihini 16, 32 e waatea ana, i runga i te uaua o nga tono. Engari ka utu noa koe mo aua meneti ka rere tonu te tautau, na te mea karekau he tono, ka tangohia e koe o ringaringa, a, i muri i te 5-10 meneti e tatari ana (he tawhā whirihora) ka puta i a ia ano, whakawāteahia ngā rauemi ka noho noa.
Ko tetahi ahuatanga tino pono ka tukuna e koe he tono, ka puta ake te tautau, me te ahua korero, i roto i te meneti, ka tatauhia he meneti ano, ka rima meneti ka kati, ka mutu ka utua e koe mo nga meneti e whitu mo te mahi o tenei roopu, a kaua mo nga marama me nga tau.
Ko te ahuatanga tuatahi i whakaahuahia ma te whakamahi i te Snowflake i roto i te tautuhinga kaiwhakamahi kotahi. Inaianei me whakaaro he maha nga kaiwhakamahi, he tata ki te ahuatanga pono.
Me kii he maha a matou kaitätari me nga purongo a Tableau e pupuhi tonu ana i ta tatou paparangi raraunga me te maha o nga uiuinga SQL ngawari.
Hei taapiri, me kii kei a maatau nga Kairangataiao Raraunga whakaaro e ngana ana ki te mahi i nga mea whakamataku me nga raraunga, ka mahi me nga Terabyte tekau, ka tātarihia nga piriona me nga piriona o nga rarangi raraunga.
Mo nga momo mahi e rua kua whakaahuatia i runga ake nei, ka taea e Snowflake koe ki te whakaara ake i etahi kahui rorohiko motuhake he rereke te kaha. I tua atu, ko enei huinga rorohiko e mahi takitahi ana, engari me nga raraunga rite tonu.
Mo te maha o nga patai marama, ka taea e koe te whakaara 2-3 tautau iti, tata ki te 2 miihini ia. Ka taea te whakatinana i tenei whanonga, me era atu mea, ma te whakamahi i nga tautuhinga aunoa. No reira ka mea koe, “E te Hukarere, whakaarahia he tautau iti. Mena ka piki ake te kawenga ki runga ake i tetahi tawhā, whakaarahia he rite tuarua, tuatoru. Ka timata te taumahatanga ki te heke, tineia te taikaha.” No reira ahakoa te tokomaha o nga kaitätari ka haere mai ka timata ki te titiro ki nga purongo, he nui nga rauemi a te katoa.
I te wa ano, mena kei te moe nga kaitirotiro kaore he tangata e titiro ki nga purongo, ka pouri tonu nga tautau, ka mutu te utu mo ratou.
I te wa ano, mo nga patai taumaha (mai i nga Kairangataiao Raraunga), ka taea e koe te whakaara i tetahi tautau tino nui mo nga miihini 32. Ka utua ano tenei roopu mo nga meneti me nga haora e rere ana to tono nui ki reira.
Ko te whai waahi i whakaahuahia i runga ake nei ka taea e koe te wehewehe i te 2 anake, engari ano hoki nga momo momo mahi ki roto i nga tautau (ETL, te aro turuki, te hanga purongo,...).
Kia whakarāpopotohia te Snowflake. Ko te turanga e whakakotahi ana i te whakaaro ataahua me te whakatinanatanga mahi. I ManyChat, ka whakamahia e matou a Snowflake ki te tātari i nga raraunga katoa kei a matou. Kaore matou e toru nga tautau, penei i te tauira, engari mai i te 5 ki te 9, he rereke nga rahi. Kei a matou nga miihini 16-miihini, 2-miihini, me nga miihini 1-iti rawa atu mo etahi mahi. He pai ta ratou tohatoha i te kawenga me te tuku i a maatau ki te penapena nui.
I angitu te paanui i te paanui i te utaina panui me te tuhi. He rereketanga nui tenei me te tino pakaruhanga i whakaritea ki te "Aurora" ano, nana i kawe te panui panui. Ko te Hukarere ka taea e koe te whakarahi i to kawenga mahi tuhituhi me enei tautau rorohiko. Arā, pera i taku korero, ka whakamahia e matou etahi tautau i roto i te ManyChat, ko nga tautau iti me te tino-iti te nuinga e whakamahia ana mo te ETL, mo te uta i nga raraunga. Na kei te noho tonu nga kaitätari i runga i nga tautau reo, kaore e pa ana ki te kawenga ETL, na reira ka tere te mahi.
No reira, he pai rawa te paataka korero mo nga mahi OLAP. Heoi ano, kaore ano kia tika mo nga kawenga mahi OLTP. Ko te tuatahi, he pourangi tenei putunga korero, me nga hua katoa o muri mai. Tuarua, ko te huarahi ake, ina mo ia tono, mehemea e tika ana, ka whakaarahia e koe he kahui rorohiko ka whakakiia ki nga raraunga, engari, kaore ano kia tere mo nga kawenga OLTP. Ko te tatari hekona mo nga mahi OLAP he mea noa, engari mo nga mahi OLTP kaore e whakaaetia; 100 ms pai ake, 10 ms pai ake ranei.
Ko te hua
Ka taea te putunga raraunga kore tūmau ma te wehewehe i te pātengi raraunga ki ngā wāhanga Stateless me Stateful. Kua kite pea koe i roto i nga tauira katoa i runga ake nei, ko te waahanga Stateful, he ahua korero, ko te penapena i nga wehewehenga moroiti ki te S3, ko Stateless te tino arotau, e mahi ana me te metadata, te whakahaere i nga take haumarutanga ka taea te whakaara ake hei ratonga Stateless mama.
Ko te whakahaere i nga patai SQL ka kiia he ratonga-marama ka puta ake i roto i te aratau korekore, penei i nga tautau rorohiko Snowflake, tango i nga raraunga e tika ana, mahia te patai me te "haere ki waho."
Kei te watea kee nga papaa raraunga taumata whakaputa korepu mo te whakamahi, kei te mahi. Kua reri kē enei papaa raraunga kore tūmau ki te hapai i nga mahi OLAP. Kia aroha mai, mo nga mahi OLTP ka whakamahia ... me nga ahuatanga, na te mea he herenga. I tetahi taha, he iti tenei. Engari, i tetahi atu taha, he waahi tenei. Tena pea ka kitea e tetahi o nga kaipanui he huarahi ki te hanga i te papaaarangi OLTP kia kore rawa he tūmau, me te kore o Aurora.
Te ti'aturi nei au i kitea e koe he ahuareka. Ko te kore tūmau te heke mai :)
Source: will.com