Talofa, tagata o Khabrovsk. E pei ona masani ai, matou te faʻaauau pea ona faʻasoa mea manaia aʻo leʻi amataina vasega fou. I aso nei, aemaise lava mo oe, ua matou lolomiina se tala e uiga i Google Cloud Spanner e o gatasi ma le faʻalauiloaina o le vasega .
Muamua lomia i .
I le avea ai o se kamupani e ofoina atu le tele o fofo POS faʻavae i le ao i faleoloa, faleoloa, ma tagata faʻatau i luga o le initaneti i le salafa o le lalolagi, e faʻaaogaina e Lightspeed le tele o ituaiga o faʻamaumauga faʻamaumauga mo le tele o fefaʻatauaiga, auʻiliʻili, ma suʻesuʻega faʻaoga mataupu. O nei fa'amaumauga tu'ufa'atasiga e iai ona lava malosi ma vaivaiga.O lea, ina ua fa'ailoa e Google le Cloud Spanner i le maketi - fa'amoemoega fa'aaliga e le o va'aia i le lalolagi o fa'amaumauga fa'amaumauga, e pei ole fa'ata'ita'iga e le fa'atapula'aina fa'alava fa'ata'atia ma le 99,999% service level agreement (SLA), — matou te le misia le avanoa e maua ai o matou lima i luga!
Ina ia tuʻuina atu se faʻamatalaga lautele o lo matou poto masani i le Cloud Spanner, faʻapea foʻi ma faʻataʻitaʻiga o iloiloga na matou faʻaaogaina, o le a matou aofia ai autu nei:
- O matou ta'iala o iloiloga
- Cloud Spanner i se faapuupuuga
- O la matou iloiloga
- O a matou sailiga
1. O matou fa'atonuga o iloiloga
Aʻo leʻi suʻesuʻeina faʻamatalaga patino a Cloud Spanner, ona tutusa ma eseesega ma isi fofo i luga o le maketi, seʻi o tatou talanoa muamua e uiga i mataupu faʻaoga autu na tatou mafaufau i ai pe a mafaufau i le mea e faʻapipiʻi ai Cloud Spanner i totonu oa tatou atinaʻe:
- I le avea ai ma sui mo le (tele) masani masani SQL database solution
- Fa'afefea le OLTP fofo ma le lagolago OLAP
Manatua: Mo le faigofie ma le faigofie o le faʻatusatusaga, o lenei tusiga e faʻatusatusa le Cloud Spanner ma le MySQL variants o le GCP Cloud SQL ma Amazon AWS RDS solution family.
Fa'aaogaina o le Cloud Spanner e fai ma sui mo se fa'amaumauga tu'ufa'atasi masani a SQL
I le siosiomaga masani fa'amaumauga, pe a o'o mai le taimi e tali atu ai fesili fa'amaumauga tu'ufa'atasi po'o le sili atu fo'i i le fa'atonuga o le fa'atonuga o fa'atonuga (fa'atatau i le si'itia o le aofa'i o tagata fa'aoga ma/po'o talosaga), e tele auala e fa'aitiitia ai le taimi tali i tulaga talia. Ae ui i lea, o le tele o nei fofo e aofia ai le faʻaogaina o le lima.
Mo se faʻataʻitaʻiga, o le laasaga muamua e fai o le vaʻavaʻai i faʻasologa o faʻamaumauga faʻamaumauga eseese e fesoʻotaʻi ma faʻatinoga ma faʻafetaui i latou e fetaui lelei ma mamanu faʻaoga faʻaoga. Afai e le lava lea, e mafai ona e filifili e fua le fa'amaumauga tu'usa'o pe fa'alava.
O le fa'asa'o sa'o o se talosaga e mana'omia ai le fa'aleleia o le fa'ata'ita'iga o le 'au'aunaga, e masani lava i le fa'aopoopoina o le tele o processors/cores, sili atu le RAM, fa'aputu vave, ma isi. Fa'aopoopoina o le tele o mea faigaluega e maua ai le fa'atuputeleina o fa'amaumauga, fua fa'atatau i fefa'ataua'iga i le lua, ma le fa'aogaina o fefa'atauaiga mo faiga OLTP. Faiga fa'amaumauga feso'ota'iga (lea e fa'aogaina ai le tele o filo) e pei ole fua ole MySQL ile tu'u sa'o.
E tele mea le lelei i lenei auala, ae o le mea sili ona manino o le maualuga o le server tele i luga o le maketi. A o'o loa i le tapula'a o le fa'ata'ita'iga sili ona tele, e na'o le tasi le filifiliga e totoe: fa'alava fa'ata'atia.
Ole fa'ata'atiaga fa'asaga ose auala e fa'aopoopoina ai le tele o 'au'aunaga i se fuifu'i, fa'atupuina lelei le fa'atupuina o fa'agaioiga fa'atasi pe a fa'aopoopo le numera o sa'u. Tele masani O faiga fa'amaumauga e le fa'alava lelei pe leai fo'i se fua. Mo se faʻataʻitaʻiga, e mafai e MySQL ona fua faʻalava mo galuega faitau e ala i le faʻaopoopoina o le au faitau pologa, ae le mafai ona fua faʻalava mo tusitusiga.
I le isi itu, ona o lona natura, Cloud Spanner e faigofie ona fua fa'alava ma sina fa'alavelave.
Fa'aalia atoatoa DBMS o se auaunaga e tatau ona iloiloina mai itu eseese. I le avea ai ma faavae, na matou ave le DBMS sili ona lauiloa i le ao - mo Google, GCP Cloud SQL ma mo Amazon, AWS RDS. I la matou iloiloga sa matou taulai atu i vaega nei:
- Fa'afanua fa'atusa: lautele SQL, DDL, DML; feso'ota'iga faletusi / feso'ota'iga, lagolago tau fefa'ataua'iga, ma isi.
- Lagolago atinae: atinaʻe faigofie ma suʻega.
- Lagolago tau pulega: pulega fa'ata'ita'iga - mo se fa'ata'ita'iga, fa'asili i luga/lalo ma fa'afou fa'asologa; SLA, faʻamaumauga ma toe faʻaleleia; saogalemu/pulea avanoa.
Fa'aaogaina o le Cloud Spanner e fai ma fofo OLTP e mafai e le OLAP
E ui e le o taʻua manino e Google o Cloud Spanner ua mamanuina mo suʻesuʻega faʻataʻitaʻiga, e faʻasoa nisi o uiga ma isi masini e pei o Apache Impala & Kudu ma YugaByte, lea ua mamanuina mo OLAP galuega mamafa.
E tusa lava pe na o sina avanoa itiiti na aofia ai le Cloud Spanner se faʻasologa faifaipea HTAP (hybrid transactional/analytics processing) afi faʻatasi ma se (sili atu pe itiiti) faʻaogaina OLAP faʻaoga seti, matou te manatu e tatau ona matou gauai atu i ai.
Faatasi ai ma lenei mea i le mafaufau, na matou tilotilo i vaega nei:
- Faʻamaumauga o faʻamaumauga, faʻasino igoa ma le vaeluaga lagolago
- Fa'atinoga o Fesili ma le DML
2. Cloud Spanner i se faapuupuuga
Google Spanner ose fa'apipi'i feso'ota'iga feso'ota'iga pulega fa'amaumauga (RDBMS) lea e fa'aogaina e Google mo le tele o ana lava auaunaga. Google na fa'aavanoaina lautele i Google Cloud Platform tagata fa'aoga ile amataga ole 2017.
O nisi nei o uiga o Cloud Spanner:
- Fa'atosina maualuga RDBMS Cluster: Fa'aoga taimi fa'aoga taimi e fa'amautinoa ai le tutusa o fa'amaumauga.
- Lagolago tau fefa'ataua'iga i luga ole laulau: O fefa'atauaiga e mafai ona tele laulau - e le fa'atapula'aina ile laulau e tasi (e le pei o Apache HBase po'o Apache Kudu).
- Laulau fa'avae autu autu: O laulau uma e tatau ona i ai se fa'amatalaga autu (PC), lea e mafai ona aofia ai le tele o koluma i le laulau. O faʻamaumauga faʻamaumauga o loʻo teuina i le faʻatonuga a le PC, ma faʻaleleia lelei ma vave mo suʻega PC. E pei o isi faiga faʻavae PC, o le faʻatinoga e tatau ona faʻataʻitaʻiina ma faʻataʻitaʻiga faʻaoga mataupu i le mafaufau e ausia .
- Lau'ele'ele: O laulau e mafai ona fa'alagolago le tasi i le isi. O laina i le laulau a tamaiti e mafai ona fa'afetaui i laina i le laulau a matua. O lenei faiga e faatelevaveina ai le sailiga mo mafutaga e mafai ona iloa i le taimi o le faʻataʻitaʻiga o faʻamaumauga, e pei o le faʻapipiʻiina o tagata faʻatau ma a latou pili.
- Fa'asinomaga: E lagolagoina e Cloud Spanner fa'ailoga lona lua. O le faasino igoa e aofia ai koluma faasinoupu ma koluma uma PC. Afai e mana'omia, e mafai fo'i e le fa'asinomaga ona iai isi koluma e le fa'asinoina. E mafai ona fa'afeso'ota'i le fa'asino i le laulau matua e fa'avave ai fesili. E tele tapula'a e fa'atatau i fa'asino igoa, e pei ole maualuga ole numera o koluma fa'aopoopo o lo'o teuina i totonu ole fa'asinomaga. E le gata i lea, o fesili e ala i fa'asinomaga atonu e le faigofie pei o isi RDBMS.
“E otometi lava ona filifilia e Cloud Spanner se faasino igoa i ni tulaga e seasea tupu. Aemaise lava, e le otometi ona filifilia e le Cloud Spanner se fa'ailoga lona lua pe a mana'omia e se fesili so'o se koluma e le o teuina i totonu. ".
- Maliega Tulaga Au'aunaga (SLA): Fa'asoa ile tasi itulagi ma le SLA ole 99,99%; fa'ato'aga fa'aitulagi fa'atasi ma le 99,999% SLA. E ui o le SLA lava ia ua na o se maliliega ae le o se faʻamaoniga o soʻo se ituaiga, ou te talitonu o tagata i Google e iai ni faʻamatalaga faigata e fai ai se tagi malosi. (Mo faʻamatalaga, 99,999% o lona uiga o le 26,3 sekone o le le maua o le tautua ile masina.)
- Faʻatele:
Manatua: O le poloketi a Apache Tephra ua faʻaopoopoina le faʻalauteleina o fesoʻotaʻiga lagolago i Apache HBase (ua faʻatinoina nei i Apache Phoenix e pei o le beta).
3. La matou iloiloga
O lea la, ua matou faitau uma i faʻamatalaga a Google e uiga i faʻamanuiaga o le Cloud Spanner - toetoe lava leai se faʻatapulaʻaina faʻataʻitaʻiga faʻataʻitaʻiga aʻo tumau pea le maualuga ma le maualuga SLA. E ui lava o nei manaoga, i soo se tulaga, e matua faigata lava ona ausia, o la matou sini e le o le teenaina. Nai lo lena, se'i o tatou taula'i atu i isi mea o lo'o popole i ai le to'atele o tagata fa'aoga fa'amaumauga: tutusa ma le fa'aaogaina.
Na matou iloiloina le Cloud Spanner e fai ma sui mo Sharded MySQL
Google Cloud SQL ma Amazon AWS RDS, lua o OLTP DBMS sili ona lauiloa i le maketi ao, o loʻo i ai se seti tele o foliga. Peita'i, ina ia fa'atupuina nei fa'amaumauga i tua atu o le lapo'a e tasi, e mana'omia ona e fa'atinoina le vaeluaga o talosaga. O lenei faiga e fa'atupu ai le lavelave fa'aopoopo mo le fa'aogaina ma le pulega. Na matou vaʻavaʻai pe faʻafefea ona fetaui Spanner i le faʻataʻitaʻiga o le tuʻufaʻatasia o le tele o shards i se faʻataʻitaʻiga e tasi ma o a foliga (pe a iai) atonu e manaʻomia ona ositaulagaina.
SQL, DML ma DDL lagolago, faʻapea foʻi ma fesoʻotaʻiga ma faletusi?
Muamua, pe a amata i soʻo se faʻamaumauga, e tatau ona e fatuina se faʻataʻitaʻiga faʻamatalaga. Afai e te manatu e mafai ona e faʻafesoʻotaʻi le JDBC Spanner i lau mea faigaluega SQL e sili ona e fiafia i ai, o le a e iloa e mafai ona e fesiligia au faʻamatalaga i ai, ae e le mafai ona e faʻaogaina e fai ai se laulau pe sui (DDL) poʻo soʻo se faʻaofi / faʻafouina / tape. galuega (DML). E le lagolagoina e le JDBC aloaia a Google se tasi o nei mea.
"E le lagolagoina e avetaʻavale faʻamatalaga DML poʻo DDL i le taimi nei."
Fa'amaumauga a le Spanner
E le sili atu le tulaga i le GCP console - e mafai ona e auina atu fesili FILIFILI. O le mea e laki ai o loʻo i ai se avetaʻavale JDBC ma le lagolago mo le DML ma le DDL mai le nuʻu, e aofia ai fefaʻatauaiga . E ui ina aoga tele lenei aveta'avale, ae o le leai o se aveta'avale JDBC a Google e ofo ai. O le mea e lelei ai, Google o loʻo ofoina atu le lagolago lautele mo faletusi o tagata faʻatau (faʻavae i luga o le gRPC): C#, Go, Java, node.js, PHP, Python, ma Ruby.
Ole toetoe lava fa'atulafonoina ole fa'aogaina ole Cloud Spanner custom APIs (ona o le leai o se DDL ma DML ile JDBC) e i'u ai i ni tapula'a mo vaega fa'asinoala e feso'ota'i e pei ole vaita'ele feso'ota'iga po'o fa'amaumauga tu'ufa'atasiga (eg Spring MVC). E masani lava, pe a faʻaaogaina le JDBC, e te saoloto e filifili lau vaitaele fesoʻotaʻiga e sili ona e fiafia i ai (eg HikariCP, DBCP, C3PO, ma isi) e faʻataʻitaʻiina ma galue lelei. I le tulaga o Spanner APIs masani, e tatau ona tatou faʻalagolago i auivi / vaitaele faʻapipiʻi / sauniga na tatou faia e i tatou lava.
O le mamanu autu autu (PC) e mafai ai e le Cloud Spanner ona vave tele pe a maua faʻamatalaga e ala i le PC, ae faʻaalia ai foi nisi o faʻamatalaga.
- E le mafai ona e fa'afou le tau autu autu; E tatau ona e tape muamua le tusi mai le uluai PC ma toe fa'aofi i le tau fou. (E tutusa lea ma isi masini komepiuta e fa'atatau ile PC/teu.)
- So'o se fa'amatalaga FA'ATAU ma TAPUE tatau ona fa'amaonia PC ile WHERE, o le mea lea e le mafai ona gaogao TA'E uma fa'amatalaga - e tatau lava ona i ai se fa'amatalaga, mo se fa'ata'ita'iga: UPDATE xxx WHERE id IN (FILIFILI ID MAI table1)
- Leai o le auto-increment filifiliga poʻo soʻo se mea faapena e seti ai le faʻasologa mo le PC fanua. Mo lenei mea e galue, e tatau ona faia le tau tutusa i le itu o le talosaga.
Fa'ailoga lona lua?
Google Cloud Spanner o lo'o iai le lagolago mo fa'ailoga lona lua. O se mea manaia tele lea e le o iai i taimi uma i isi tekinolosi. E le o lagolagoina e Apache Kudu i le taimi nei fa'ailoga lona lua, ma e le lagolagoina sa'o e Apache HBase fa'asino igoa, ae mafai ona fa'aopoopoina e ala i Apache Phoenix.
Fa'asinomaga i Kudu ma le HBase e mafai ona fa'ata'ita'iina e pei o se laulau tu'ufa'atasi ma se tu'ufa'atasiga o ki fa'amuamua, ae o le atomicity o fa'agaioiga o lo'o faia i luga o le laulau matua ma laulau fa'asino e tatau ona faia i le tulaga o le talosaga ma e le o se mea faatauvaa le fa'atinoina sa'o.
E pei ona taʻua i le Cloud Spanner iloiloga, o ona faʻasinomaga atonu e ese mai MySQL faʻasino igoa. O le mea lea, e tatau ona faʻaeteete faʻapitoa pe a fausia ni faʻamatalaga ma faʻamatalaga e faʻamautinoa ai o loʻo faʻaogaina le faʻailoga talafeagai i mea e manaʻomia.
Sui?
O se mea e sili ona lauiloa ma aoga i totonu o se faʻamaumauga o faʻamatalaga. E mafai ona aoga mo se numera tele o faʻaoga faʻaoga; o la'u mea e lua e fiafia i ai o le fa'aputuga fa'atatau talafeagai ma le fa'amalumaluga. Ae paga lea, e LE lagolagoina e Cloud Spanner manatu. Peita'i, e na'o se vaega e fa'atapula'aina ai i matou ona e leai se fa'amatalaga auiliili mo fa'atagaga avanoa i le tulaga o le koluma lea e ono avea ai fa'aaliga ma fofo talafeagai.
Va'ai le fa'amaumauga a le Cloud Spanner mo se vaega o lo'o fa'amatala au'ili'ili ai le aofa'i ma tapula'a (), o lo'o i ai se tasi fa'apitoa e mafai ona fa'afitauli mo nisi o talosaga: Cloud Spanner i fafo o le atigipusa ei ai le tapula'a o le maualuga o 100 fa'amaumauga i le fa'ata'ita'iga. E manino lava, e mafai ona avea lenei mea ma se faʻamaufaʻailoga tele mo se faʻamaumauga ua fuafuaina e fua i luga ole 100 faʻamaumauga. O le mea e laki ai, ina ua uma ona talanoa ma le matou sui faʻapitoa Google, na matou iloa ai o lenei tapulaʻa e mafai ona faʻateleina i toetoe lava o soʻo se tau e ala i le Google Support.
Lagolago atinae?
O le Cloud Spanner e ofoina atu le lagolago lelei o le gagana polokalame mo le galue ma lana API. O faletusi lagolago aloaia o loʻo i vaega o C #, Go, Java, node.js, PHP, Python ma Ruby. O faʻamaumauga e fai si auʻiliʻili, ae pei o isi tekinolosi faʻatekonolosi, e laʻititi le nuʻu pe a faʻatusatusa i tekinolosi faʻamaumauga sili ona lauiloa, lea e mafai ona oʻo atu ai i le tele o taimi e faʻaalu e foia ai mataupu faʻaoga masani poʻo faʻafitauli.
Ae faapefea la le lagolagoina o atinae a le atunuu?
Matou te le'i mauaina se auala e fai ai se fa'ata'ita'iga Cloud Spanner i luga ole fale. O le mea pito sili ona lata mai na matou maua o se ata Docker. , lea e tutusa i le mataupu faavae, ae matua ese lava i le faatinoga. Mo se faʻataʻitaʻiga, e mafai e CockroachDB ona faʻaoga PostgreSQL JDBC. Talu ai o le siosiomaga atinaʻe e tatau ona latalata i le gaosiga o le siosiomaga e mafai, Cloud Spanner e le lelei ona e tatau ona faʻalagolago i se faʻataʻitaʻiga Spanner atoa. Ina ia sefe tau, e mafai ona e filifilia se fa'aitulagi e tasi.
Lagolago tau pulega?
Fausia se fa'ata'ita'iga Cloud Spanner e matua faigofie lava. Na'o lou mana'o e filifili i le va o le fa'atupuina o se fa'atupu tele-itulagi po'o le tasi-itulagi fa'ata'ita'iga, fa'ailoa le itulagi (s) ma le numera o nodes. E le'i atoa se minute, o le a fa'agasolo lau fa'ata'ita'iga.
Ole tele o fua fa'atatau e mafai ona maua sa'o mai le itulau Spanner ile Google Console. E maua nisi fa'amatalaga auiliili e ala i le Stackdriver, lea e mafai ai fo'i ona e seti metric thresholds ma mataala faiga fa'avae.
Avanoa i punaoa?
MySQL e ofoina atu le tele ma sili ona manino tulaga mo faʻatagaga / matafaioi a tagata. E faigofie ona e fa'atulagaina avanoa i se laulau fa'apitoa, po'o se vaega fo'i o ona koluma. Cloud Spanner e fa'aogaina le Google's Identity & Access Management (IAM) meafaigaluega, lea e na'o oe e fa'atagaina ai oe e seti faiga fa'avae ma fa'atagaga i se tulaga maualuga. O le filifiliga pito sili ona taua o le fa'amaumauga tu'ufa'atasiga, lea e le fetaui i le tele o fa'aoga fa'aoga. O lenei tapula'a e fa'amalosia ai oe e fa'aopoopo nisi fa'atonuga mo le saogalemu i lau fa'ailoga, atina'e, po'o mea uma e lua e taofia ai le fa'aogaina e le fa'atagaina o puna'oa Spanner.
Backups?
I se faaupuga faigofie, e leai ni faʻamaumauga i le Cloud Spanner. E ui lava e mafai e Google SLA maualuga manaʻoga ona faʻamautinoa e te le leiloa soʻo se faʻamatalaga ona o masini poʻo faʻamaumauga o faʻamaumauga, mea sese a tagata, faʻaletonu o talosaga, ma isi mea. I le taimi nei, na o le pau lava le auala e toe faʻaleleia ai faʻamaumauga o le faʻapolokalameina o le tafe mai se faʻamaumauga i se isi nofoaga e teu ai.
Fa'atatau le faatinoga?
Na matou faʻaogaina Yahoo! e faʻapipiʻi faʻamaumauga ma suʻega suʻega. Fa'ailoga Fa'atonuga o Auaunaga ao. O le siata o lo'o i lalo o lo'o fa'aalia ai le mamafa o galuega a le YCSB B ma le 95% faitau i le 5% tusitusi fua faatatau.
* Na fa'atino le su'ega o uta i le n1-standard-32 Compute Engine (CE) (32 vCPU, 120 GB manatua), ma o le fa'ata'ita'iga fa'ata'ita'iga e le'i avea ma fa'alavelave i su'ega.
** Ole numera maualuga ole filo ile YCSB se tasi e 400. O le aofa'i o fa'ata'ita'iga tutusa e ono o su'ega YCSB sa tatau ona fa'atino ina ia maua ai le aofa'i o filo e 2400.
A o vaʻavaʻai i faʻaiʻuga faʻailoga, aemaise lava le tuʻufaʻatasia o uta CPU ma le TPS, e mafai ona tatou vaʻaia lelei le fua o Cloud Spanner. O le avega mamafa na faia e le tele o filo e faʻafefe e le tele o nodes i le Cloud Spanner cluster. E ui o le latency e foliga maualuga, aemaise lava pe a tamoʻe ma 2400 filo, toe suʻesuʻe ma 6 faʻataʻitaʻiga laiti ole masini komepiuta atonu e manaʻomia e maua ai numera saʻo. O fa'ata'ita'iga ta'itasi o le a fa'atino se su'ega YCSB e tasi nai lo se fa'ata'ita'iga tele CE fa'atasi ma su'ega tutusa e 6. I lenei auala, o le a faigofie ai ona fa'aeseese i le va o Cloud Spanner talosaga latency ma latency fa'aopoopoina e le feso'ota'iga feso'ota'iga i le va o Cloud Spanner ma le fa'ata'ita'iga CE fa'atino le su'ega.
E fa'afefea ona fai le Cloud Spanner o se OLAP?
Vaeluaga?
O le vaevaeina o fa'amaumauga i vaega fa'aletino ma/po'o fa'apitoa tuto'atasi, e ta'ua o vaeluaga, ose manatu ta'uta'ua e maua i le tele o masini OLAP. E mafai e vaeluaga ona fa'aleleia atili le fa'atinoga o fesili ma le fa'atumauina o fa'amaumauga. O le fa'alolotoina o le vaeluaga o le a avea ma se tala tu'ufa'atasi, se'i na'o le ta'ua o le taua o le faia o se faiga vaeluaga ma le vaeluaga. O le mafai ona talepeina fa'amaumauga i lalo i vaeluaga ma e sili atu i vaega laiti o le ki lea i le fa'atinoga o su'esu'ega au'ili'ili.
E le lagolagoina e le Cloud Spanner ni vaeluaga faapena. E vaevaeina faʻamaumauga i totonu i totonu o le mea e taʻua vaelua-s fa'avae i luga o laina autu autu. O le vaeluaga e faia otometi e faapaleni le uta i totonu o le Cloud Spanner cluster. O se vaega sili ona aoga o Cloud Spanner o le vaeluaina o le uta autu a le laulau matua (se laulau e le fa'afefe ma le isi). E otometi lava ona iloa e Spanner pe o iai vaelua fa'amaumauga e faitau fa'atele nai lo fa'amaumauga i isi vaelua-ah, ma e mafai ona filifili i se isi valavala. I lenei auala, e mafai ona aofia ai le tele o nodes i se talosaga, lea e faʻaleleia atili ai le gaosiga.
Tu'uina fa'amaumauga?
Ole auala ole Cloud Spanner mo fa'amaumauga tele e tutusa ma le uta masani. Ina ia ausia le maualuga o le faatinoga, e tatau ona e mulimuli i nisi o taʻiala, e aofia ai:
- Fa'avasega au fa'amaumauga i le ki autu.
- Vaevae i latou i le 10*numera o nodes vaega eseese.
- Fausia se seti o galuega galue e faʻapipiʻi faʻamaumauga faʻatasi.
O lenei fa'apipi'iina o fa'amaumauga e fa'aogaina uma nodes Cloud Spanner.
Na matou fa'aogaina le YCSB workload A e fa'atupu ai se fa'amaumauga e 10M laina.
* O le su'ega o uta na fa'atino i luga o le n1-standard-32 compute engine (32 vCPU, 120 GB manatua), ma o le su'ega fa'ata'ita'iga e le'i avea lava ma fa'alavelave i su'ega.
**E le fautuaina le setiina o le node tasi mo so'o se galuega faufale.
E pei ona taʻua i luga, o le Cloud Spanner e otometi lava ona faʻagasolo vaeluaga e faʻatatau i la latou uta, o lea e faʻaleleia atili ai iʻuga pe a maeʻa ni suʻega sosoo o suʻega. O fa'ai'uga o lo'o tu'uina atu iinei o fa'ai'uga sili ia na matou maua. A va'ai i fuainumera o lo'o i luga, e mafai ona tatou va'ai pe fa'afefea ona fua le Cloud Spanner (lelei) a'o fa'atupula'ia le numera o nodes i le fuifui. O numera e tu'u mai o le laititi maualalo maualalo, e fa'atusatusa i fa'ai'uga mo galuega fefiloi (95% faitau ma le 5% tusitusi) e pei ona fa'amatala i le vaega o lo'o i luga.
Fua?
Faʻateleina ma faʻaititia le numera o Cloud Spanner nodes o se galuega e tasi-kiliki. Afai e te manaʻo e faʻapipiʻi vave faʻamatalaga, atonu e te mafaufau e faʻateleina lau faʻataʻitaʻiga i le maualuga (i le matou tulaga o le 25 nodes i le US-EAST itulagi) ona faʻaititia lea o le numera o nodes e agavaa mo lau uta masani pe a uma faʻamaumauga i totonu. le faʻamaumauga, faʻasino ile 2TB/node limit.
Na faamanatu mai ia i matou lenei tapulaʻa e tusa lava pe i ai se faʻamaumauga laʻititi. A maeʻa le tele o faʻataʻitaʻiga o suʻega uta, o la matou faʻamaumauga e tusa ma le 155 GB i le lapopoa, ma pe a faʻaititia i le 1 node faʻataʻitaʻiga, matou te maua le mea sese:
Na mafai ona matou faʻaititia i lalo mai le 25 i le 2 faʻataʻitaʻiga, ae na matou pipii i pona e lua.
Faʻateleina ma faʻaitiitia le numera o nodes i totonu o le Cloud Spanner cluster e mafai ona faʻaaogaina le REST API. E mafai ona aoga tele lenei mea mo le fa'aitiitia o le fa'atuputeleina o le uta o le system i taimi pisi faigaluega.
Fa'atinoga o fesili a le OLAP?
Na matou fuafua muamua e faʻaalu se taimi tele i la matou iloiloga o Spanner i lenei vaega. A maeʻa le tele o FILIFILI, na vave ona matou iloa o le suʻega o le a puupuu ma o le Spanner e le o se afi talafeagai mo OLAP. Po o le a lava le numera o nodes i le fuifui, na o le filifilia o le numera o laina i le 10M laina laulau e alu i le va o le 55 ma le 60 sekone. E le gata i lea, o so'o se fesili e mana'omia ai le tele o le manatua e teu ai fa'ai'uga vaeluaga na le manuia i se mea sese OOM.
SELECT COUNT(DISTINCT(field0)) FROM usertable; — (10M distinct values)-> SpoolingHashAggregateIterator ran out of memory during new row.
O nisi numera mo fesili TPC-H e mafai ona maua i le tusiga a Todd Lipcon , fa'ase'e 42 ma le 43. O nei fuainumera e ogatasi ma a tatou lava fa'ai'uga (fa'anoanoa).
4. O a tatou faaiuga
Ona o le tulaga o iai nei o foliga o Cloud Spanner, e faigata ona mafaufauina o se suiga faigofie mo lau fofo OLTP oi ai nei, aemaise lava pe a sili atu ou manaʻoga. Ole tele ole taimi ole a fa'aalu ile fausiaina o se fofo ile fa'aletonu ole Cloud Spanner.
Ina ua amata ona matou iloiloina le Cloud Spanner, na matou faʻamoemoe o ana pulega faʻapitoa e tutusa ma, poʻo le le mamao tele mai isi fofo Google SQL. Ae na faateia i matou i le leai o ni faʻamaumauga ma faʻatapulaʻaina le puleaina o avanoa i punaoa. E le taʻua le leai o ni manatu, leai se siosiomaga faʻale-lotoifale, faʻasologa e le lagolagoina, JDBC e aunoa ma le DML ma le DDL lagolago, ma isi.
O fea la e alu i ai se tasi e manaʻomia le fuaina o se faʻamaumauga o fefaʻatauaiga? E foliga mai e leai se fofo se tasi i luga o le maketi e fetaui ma faʻaoga uma. E tele vaifofo tapuni ma tatala (o nisi o loʻo taʻua i lenei tusiga), e taʻitasi ma o latou lava malosi ma vaivaiga, ae leai se tasi oi latou e ofoina atu le SaaS ma le 99,999% SLA ma le maualuga maualuga. Afai o se SLA maualuga o lau sini autu lea ma e te le manaʻo e fausia se faʻasalalauga faʻaputu- ao, Cloud Spanner atonu o le fofo o loʻo e sailia. Ae e tatau ona e nofouta i ona tapulaa uma.
Ina ia saʻo, Cloud Spanner na naʻo le tatalaina i tagata lautele i le tautotogo o le 2017, o lea e talafeagai ai le faʻamoemoe o nisi o ona faaletonu o loʻo i ai nei e ono alu ese (faʻamoemoe), ma a latou faia, e mafai ona avea ma se suiga o taaloga. A uma mea uma, o le Cloud Spanner e le naʻo se itu galuega mo Google. Google fa'aaogaina e fai ma fa'avae mo isi oloa a Google. Ma ina ua suia talu ai nei e Google le Megastore i le Google Cloud Storage ma le Cloud Spanner, na mafai ai e le Google Cloud Storage ona matua faʻamautu mo lisi o mea faitino i luga o le lalolagi atoa (lea e le o le tulaga mo ).
O lea, o loʻo i ai pea le faʻamoemoe ... matou te faʻamoemoe.
Pau lava lena. E pei o le tusitala o le tusiga, matou te faʻaauau pea ona faʻamoemoe, ae o le a sou manatu i lenei mea? Tusi i fa'amatalaga
Matou te valaaulia tagata uma e asiasi i la matou i totonu o le a matou taʻuina atu ia te oe auiliiliga e uiga i le kosi mai OTUS.
puna: www.habr.com