Awọn awọsanma dabi apoti idan - o beere ohun ti o nilo, ati pe awọn orisun kan han ni ibikibi. Awọn ẹrọ foju, awọn apoti isura infomesonu, nẹtiwọọki - gbogbo eyi jẹ tirẹ nikan. Awọn ayalegbe awọsanma miiran wa, ṣugbọn ni Agbaye rẹ iwọ ni oludari nikan. O da ọ loju pe iwọ yoo gba awọn orisun ti o nilo nigbagbogbo, iwọ ko ṣe akiyesi ẹnikẹni ati pe o pinnu ni ominira bi nẹtiwọọki yoo dabi. Bawo ni idan yii ṣe n ṣiṣẹ ti o jẹ ki awọsanma pin awọn orisun ni rirọ ati ya sọtọ awọn ayalegbe patapata si ara wọn?
Awọsanma AWS jẹ eto idiju mega-super ti o ti n dagbasoke ni itankalẹ lati ọdun 2006. Apa kan ti idagbasoke yii waye Vasily Pantyukhin - Amazon Web Services ayaworan. Gẹgẹbi ayaworan, o gba iwo inu kii ṣe ni abajade ipari nikan, ṣugbọn tun ni awọn italaya AWS bori. Ti o tobi oye ti bi eto naa ṣe n ṣiṣẹ, ti o pọju igbẹkẹle naa. Nitorinaa, Vasily yoo pin awọn aṣiri ti awọn iṣẹ awọsanma AWS. Ni isalẹ ni apẹrẹ ti awọn olupin AWS ti ara, scalability database rirọ, ibi ipamọ data Amazon aṣa ati awọn ọna fun jijẹ iṣẹ ti awọn ẹrọ foju lakoko nigbakanna dinku idiyele wọn. Imọ ti awọn isunmọ ayaworan ti Amazon yoo ṣe iranlọwọ fun ọ lati lo awọn iṣẹ AWS ni imunadoko ati pe o le fun ọ ni awọn imọran tuntun fun kikọ awọn ojutu tirẹ.
Nipa agbọrọsọ: Vasily Pantyukhin () bẹrẹ bi olutọju Unix ni awọn ile-iṣẹ .ru, ṣiṣẹ lori ohun elo Sun Microsystem nla fun ọdun 6, o si waasu aye-centric data ni EMC fun ọdun 11. O wa nipa ti ara si awọn awọsanma ikọkọ, ati ni ọdun 2017 gbe lọ si awọn ti gbogbo eniyan. Bayi o pese imọran imọ-ẹrọ lati ṣe iranlọwọ laaye ati idagbasoke ninu awọsanma AWS.
AlAIgBA: ohun gbogbo ti o wa ni isalẹ jẹ ero ti ara ẹni Vasily ati pe o le ma ṣe deede pẹlu ipo Awọn iṣẹ Ayelujara ti Amazon. Ijabọ lori eyiti nkan naa da lori wa lori ikanni YouTube wa.
Kini idi ti MO n sọrọ nipa ẹrọ Amazon?
Ọkọ ayọkẹlẹ akọkọ mi ni gbigbe afọwọṣe kan. O jẹ nla nitori rilara pe MO le wa ọkọ ayọkẹlẹ ati ni iṣakoso pipe lori rẹ. Mo feran tun ti mo ti ni o kere aijọju ye awọn opo ti awọn oniwe-isẹ. Nipa ti ara, Mo ro pe eto ti apoti naa jẹ ohun atijo - nkan bi apoti jia lori kẹkẹ keke kan.
Ohun gbogbo jẹ nla, ayafi fun ohun kan - di ni ijabọ jams. O dabi ẹni pe o joko ati pe o ko ṣe nkankan, ṣugbọn o n yipada awọn jia nigbagbogbo, titẹ idimu, gaasi, idaduro - o jẹ ki o rẹrẹ gaan. Iṣoro jamba ọkọ oju-irin ni a yanju ni apakan nigbati idile ni ọkọ ayọkẹlẹ aladaaṣe kan. Lakoko iwakọ, Mo ni akoko lati ronu nipa nkan kan ati tẹtisi iwe ohun.
Miiran ohun ijinlẹ han ninu aye mi, nitori ti mo patapata da agbọye bi ọkọ ayọkẹlẹ mi ṣiṣẹ. Ọkọ ayọkẹlẹ igbalode jẹ ẹrọ ti o ni idiwọn. Ọkọ ayọkẹlẹ naa ṣe adaṣe ni nigbakannaa si awọn dosinni ti awọn aye oriṣiriṣi: titẹ gaasi, idaduro, ara awakọ, didara opopona. Emi ko loye bi o ṣe n ṣiṣẹ mọ.
Nigbati mo bẹrẹ si ṣiṣẹ lori awọsanma Amazon, o tun jẹ ohun ijinlẹ fun mi. Nikan ohun ijinlẹ yii jẹ aṣẹ ti titobi nla, nitori pe awakọ kan wa ninu ọkọ ayọkẹlẹ, ati ni AWS awọn miliọnu wọn wa. Gbogbo awọn olumulo nigbakanna da ori, tẹ gaasi ati idaduro. O jẹ iyanu pe wọn lọ si ibi ti wọn fẹ - o jẹ iyanu fun mi! Awọn eto laifọwọyi adapts, irẹjẹ ati elastically ṣatunṣe si kọọkan olumulo ki o dabi fun u pe o jẹ nikan ni yi Agbaye.
Idan ti wọ diẹ diẹ nigbati mo nigbamii wa lati ṣiṣẹ bi ayaworan ni Amazon. Mo ti rii iru awọn iṣoro ti a koju, bawo ni a ṣe yanju wọn, ati bii a ṣe dagbasoke awọn iṣẹ. Pẹlu oye ti o pọ si ti bii eto naa ṣe n ṣiṣẹ, igbẹkẹle diẹ sii ninu iṣẹ naa han. Nitorinaa Mo fẹ pin aworan kan ti ohun ti o wa labẹ hood ti awọsanma AWS.
Kini a yoo sọrọ nipa
Mo yan ọna ti o yatọ - Mo yan awọn iṣẹ ti o nifẹ mẹrin ti o tọ lati sọrọ nipa.
Imudara olupin. Awọn awọsanma Ephemeral pẹlu irisi ti ara: awọn ile-iṣẹ data ti ara nibiti awọn olupin ti ara wa ti o hum, ooru ati ki o seju pẹlu awọn ina.
Awọn iṣẹ alailowaya (Lambda) ṣee ṣe iṣẹ ti iwọn julọ ninu awọsanma.
Igbekale aaye data. Emi yoo sọ fun ọ nipa bii a ṣe kọ awọn apoti isura infomesonu iwọnwọn tiwa.
Wiwọn nẹtiwọki. Apakan ikẹhin ninu eyiti Emi yoo ṣii ẹrọ ti nẹtiwọọki wa. Eyi jẹ ohun iyanu - gbogbo olumulo awọsanma gbagbọ pe oun nikan wa ninu awọsanma ati pe ko ri awọn ayalegbe miiran rara.
Akiyesi. Nkan yii yoo jiroro iṣapeye olupin ati igbelosoke data data. A yoo ṣe ayẹwo igbelowọn nẹtiwọọki ni nkan atẹle. Nibo ni awọn iṣẹ ti ko ni olupin wa? Tiransikiripiti lọtọ ni a tẹjade nipa wọn “" O sọrọ nipa ọpọlọpọ awọn ọna wiwọn oriṣiriṣi, ati jiroro ni alaye ni alaye ojutu Firecracker - symbiosis ti awọn agbara ti o dara julọ ti ẹrọ foju ati awọn apoti.
Awọn olupin
Awọsanma jẹ ephemeral. Ṣugbọn ephemerality yii tun ni irisi ti ara - awọn olupin. Ni ibere, wọn faaji wà kilasika. Standard x86 chipset, awọn kaadi nẹtiwọki, Linux, Xen hypervisor lori eyiti a ti ṣiṣẹ awọn ẹrọ foju.
Ni ọdun 2012, faaji yii farada pẹlu awọn iṣẹ ṣiṣe rẹ daradara. Xen jẹ hypervisor nla, ṣugbọn o ni ọkan pataki drawback. O ti to ga lori fun emulation ẹrọ. Bii tuntun, awọn kaadi nẹtiwọọki yiyara tabi awọn awakọ SSD ti wa, oke yii yoo ga ju. Bawo ni lati koju iṣoro yii? A pinnu lati ṣiṣẹ ni awọn iwaju meji ni ẹẹkan - je ki awọn mejeeji hardware ati hypervisor. Iṣẹ naa ṣe pataki pupọ.
Ti o dara ju hardware ati hypervisor
Ṣiṣe ohun gbogbo ni ẹẹkan ati ṣiṣe daradara kii yoo ṣiṣẹ. Ohun ti "dara" jẹ tun koyewa lakoko.
A pinnu lati mu ọna itiranya - a yipada ipin pataki kan ti faaji ati jabọ sinu iṣelọpọ.
A tẹ lori gbogbo àwárí, tẹtisi awọn ẹdun ọkan ati awọn didaba. Lẹhinna a yipada paati miiran. Nitorinaa, ni awọn afikun kekere, a yipada ni ipilẹṣẹ gbogbo faaji ti o da lori esi lati ọdọ awọn olumulo ati atilẹyin.
Iyipada naa bẹrẹ ni ọdun 2013 pẹlu nkan ti o nira julọ - nẹtiwọọki naa. IN C3 instances, a pataki Network ohun imuyara kaadi ti a fi kun si boṣewa nẹtiwọki kaadi. O ti sopọ ni itumọ ọrọ gangan pẹlu okun loopback kukuru lori nronu iwaju. Ko lẹwa, ṣugbọn ko han ninu awọsanma. Ṣugbọn ibaraenisepo taara pẹlu ohun elo ti o ni ilọsiwaju jitter ati iṣelọpọ nẹtiwọọki.
Nigbamii ti a pinnu lati ni ilọsiwaju iraye si dinamọ ibi ipamọ data EBS - Ibi ipamọ Dina Elastic. O jẹ apapo nẹtiwọki ati ibi ipamọ. Iṣoro naa ni pe lakoko ti awọn kaadi imuyara Nẹtiwọọki wa lori ọja, ko si aṣayan lati ra ohun elo imuyara Ibi ipamọ nirọrun. Nitorinaa a yipada si ibẹrẹ kan Annapurna Labs, ti o ni idagbasoke awọn eerun ASIC pataki fun wa. Wọn gba laaye awọn iwọn EBS latọna jijin lati gbe soke bi awọn ẹrọ NVMe.
Ni awọn apẹẹrẹ C4 a yanju awọn iṣoro meji. Ni akọkọ ni pe a ṣe imuse ipilẹ kan fun ọjọ iwaju ti awọn ileri, ṣugbọn tuntun ni akoko yẹn, imọ-ẹrọ NVMe. Ẹlẹẹkeji, a ṣe pataki ni ṣiṣi silẹ ero isise aarin nipa gbigbe sisẹ awọn ibeere si EBS si kaadi tuntun kan. O wa daradara, nitorinaa Annapurna Labs jẹ apakan ti Amazon.
Ni Oṣu kọkanla ọdun 2017, a rii pe o to akoko lati yi hypervisor funrararẹ.
A ṣe idagbasoke hypervisor tuntun ti o da lori awọn modulu ekuro KVM ti a ti yipada.
O jẹ ki o ṣee ṣe lati dinku iṣaju ti iṣapẹẹrẹ ẹrọ ati ṣiṣẹ taara pẹlu awọn ASIC tuntun. Awọn apẹẹrẹ C5 wà ni akọkọ foju ero pẹlu titun kan hypervisor nṣiṣẹ labẹ awọn Hood. A dárúkọ rẹ̀ Nitro.
Itankalẹ ti instances lori Ago.
Gbogbo awọn oriṣi tuntun ti awọn ẹrọ foju ti o han lati Oṣu kọkanla ọdun 2017 ṣiṣẹ lori hypervisor yii. Igboro Irin instances ko ni a hypervisor, ṣugbọn wọn tun pe ni Nitro, nitori wọn lo awọn kaadi Nitro pataki.
Ni ọdun meji to nbọ, nọmba awọn oriṣi ti awọn iṣẹlẹ Nitro kọja mejila mejila: A1, C5, M5, T3 ati awọn miiran.
Awọn iru apẹẹrẹ.
Bawo ni awọn ẹrọ Nitro igbalode ṣiṣẹ
Wọn ni awọn paati akọkọ mẹta: Nitro hypervisor (ti a jiroro loke), ërún aabo ati awọn kaadi Nitro.
Chip aabo ese taara sinu modaboudu. O nṣakoso ọpọlọpọ awọn iṣẹ pataki, gẹgẹbi iṣakoso ikojọpọ ti OS agbalejo.
Awọn kaadi Nitro - Awọn oriṣi mẹrin lo wa. Gbogbo wọn ni idagbasoke nipasẹ Annapurna Labs ati pe o da lori awọn ASIC ti o wọpọ. Diẹ ninu famuwia wọn tun wọpọ.
Mẹrin orisi ti Nitro awọn kaadi.
Ọkan ninu awọn kaadi ti a ṣe lati ṣiṣẹ pẹlu awọn nẹtiwọkiVPC. Eyi ni ohun ti o han ni awọn ẹrọ foju bi kaadi nẹtiwọki kan ENA - Rirọ Network Adapter. O tun ṣe ifilọlẹ ijabọ nigbati o ba n gbejade nipasẹ nẹtiwọọki ti ara (a yoo sọrọ nipa eyi ni apakan keji ti nkan naa), ṣakoso ogiriina Awọn ẹgbẹ Aabo, ati pe o jẹ iduro fun ipa-ọna ati awọn nkan nẹtiwọọki miiran.
Yan awọn kaadi ṣiṣẹ pẹlu ibi ipamọ Àkọsílẹ EBS ati awọn disiki ti a ṣe sinu olupin naa. Wọn han si ẹrọ foju alejo bi NVMe alamuuṣẹ. Wọn tun jẹ iduro fun fifi ẹnọ kọ nkan data ati ibojuwo disk.
Eto ti awọn kaadi Nitro, hypervisor ati chirún aabo ti ṣepọ sinu nẹtiwọọki SDN tabi Software telẹ Network. Lodidi fun iṣakoso nẹtiwọọki yii (Ọkọ ofurufu Iṣakoso) kaadi oludari.
Nitoribẹẹ, a tẹsiwaju lati dagbasoke awọn ASICs tuntun. Fun apẹẹrẹ, ni opin 2018 wọn tu Chip Inferentia silẹ, eyiti o fun ọ laaye lati ṣiṣẹ daradara diẹ sii pẹlu awọn iṣẹ ṣiṣe ikẹkọ ẹrọ.
Inferentia Machine Learning Processor Chip.
Aaye data ti iwọn
Ibi-ipamọ data ti ibilẹ ni eto siwa. Lati rọrun pupọ, awọn ipele atẹle jẹ iyatọ.
- SQL - onibara ati beere awọn olupin ṣiṣẹ lori rẹ.
- Awọn ipese lẹkọ - ohun gbogbo jẹ kedere nibi, ACID ati gbogbo awọn ti o.
- caching, eyi ti o ti pese nipasẹ awọn adagun idaduro.
- Wọle - pese iṣẹ pẹlu redo àkọọlẹ. Ni MySQL wọn pe wọn ni Awọn Logi Bin, ni PosgreSQL - Kọ Awọn Akọsilẹ iwaju (WAL).
- Ibi ipamọ - gbigbasilẹ taara si disk.
Siwa database be.
Awọn ọna oriṣiriṣi lo wa lati ṣe iwọn awọn apoti isura infomesonu: sharding, Pipin Ko si ohunkan faaji, awọn disiki pinpin.
Sibẹsibẹ, gbogbo awọn ọna wọnyi ṣetọju igbekalẹ data monolithic kanna. Eyi ṣe idiwọ iwọnwọn ni pataki. Lati yanju iṣoro yii, a ṣe agbekalẹ data ti ara wa - Amazon Aurora. O ni ibamu pẹlu MySQL ati PostgreSQL.
Amazon Aurora
Ero ti ayaworan akọkọ ni lati yapa ibi ipamọ ati awọn ipele gedu lati ibi ipamọ data akọkọ.
Wiwa iwaju, Emi yoo sọ pe a tun ṣe ipele caching ni ominira. Awọn faaji da duro lati jẹ monolith, ati pe a ni awọn iwọn afikun ti ominira ni iwọn awọn bulọọki kọọkan.
Awọn ipele gedu ati ibi ipamọ jẹ lọtọ lati ibi ipamọ data.
DBMS ibile kan kọ data si eto ipamọ ni irisi awọn bulọọki. Ni Amazon Aurora, a ṣẹda ibi ipamọ ọlọgbọn ti o le sọ ede redo-àkọọlẹ. Ninu inu, ibi ipamọ naa yi awọn iforukọsilẹ sinu awọn bulọọki data, ṣe abojuto iduroṣinṣin wọn ati ṣe afẹyinti laifọwọyi.
Ọna yii ngbanilaaye lati ṣe awọn nkan ti o nifẹ si bii ti ẹda oniye. O ṣiṣẹ ni kiakia ati ni ọrọ-aje diẹ sii nitori otitọ pe ko nilo ṣiṣẹda ẹda pipe ti gbogbo data.
Layer ipamọ ti wa ni imuse bi eto pinpin. O ni nọmba ti o tobi pupọ ti awọn olupin ti ara. Atunwo atunṣe kọọkan ti ni ilọsiwaju ati fipamọ ni igbakanna koko mefa. Eyi ṣe idaniloju aabo data ati iwọntunwọnsi fifuye.
Kika igbelosoke le ṣee waye nipa lilo awọn ẹda ti o yẹ. Ibi ipamọ ti a pin pin kuro ni iwulo fun imuṣiṣẹpọ laarin apẹẹrẹ aaye data akọkọ, nipasẹ eyiti a kọ data, ati awọn ẹda ti o ku. Awọn data imudojuiwọn-si-ọjọ jẹ iṣeduro lati wa fun gbogbo awọn ẹda.
Iṣoro nikan ni fifipamọ data atijọ lori awọn ẹda kika. Ṣugbọn iṣoro yii ti wa ni ojutu gbigbe ti gbogbo redo àkọọlẹ si awọn ẹda lori nẹtiwọki inu. Ti akọọlẹ ba wa ninu kaṣe, o ti samisi bi aṣiṣe ati kọ. Ti ko ba si ninu kaṣe, o jẹ asonu nirọrun.
A ti ṣeto ibi ipamọ naa.
Bii o ṣe le ṣe iwọn awọn ipele DBMS
Nibi, wiwọn petele jẹ nira pupọ sii. Nitorinaa jẹ ki a lọ si ọna ti o lu Ayebaye inaro igbelosoke.
Jẹ ká ro pe a ni ohun elo ti o ibasọrọ pẹlu awọn DBMS nipasẹ a titunto si ipade.
Nigba ti igbelosoke ni inaro, a allocate titun kan ipade ti yoo ni diẹ nse ati iranti.
Nigbamii, a yipada ohun elo lati oju ipade titunto si tuntun. Awọn iṣoro dide.
- Eyi yoo nilo akoko idaduro ohun elo pataki.
- Awọn titun titunto si ipade yoo ni tutu kaṣe. Išẹ data yoo pọju nikan lẹhin ti kaṣe ti gbona.
Bawo ni lati mu ipo naa dara? Ṣeto aṣoju kan laarin ohun elo ati ipade titunto si.
Kini eyi yoo fun wa? Bayi gbogbo awọn ohun elo ko nilo lati darí pẹlu ọwọ si ipade tuntun. Yipada le ṣee ṣe labẹ aṣoju ati pe o yarayara ni ipilẹ.
O dabi pe a ti yanju iṣoro naa. Ṣugbọn rara, a tun jiya lati iwulo lati gbona kaṣe naa. Ni afikun, iṣoro tuntun ti han - bayi aṣoju jẹ aaye ti o pọju ti ikuna.
Ipari ojutu pẹlu Amazon Aurora serverless
Bawo ni a ṣe yanju awọn iṣoro wọnyi?
Fi aṣoju silẹ. Eyi kii ṣe apẹẹrẹ ọtọtọ, ṣugbọn gbogbo ọkọ oju-omi titobi ti a pin kaakiri nipasẹ eyiti awọn ohun elo sopọ si ibi ipamọ data. Ni ọran ikuna, eyikeyi awọn apa le paarọ rẹ fẹrẹẹ lesekese.
Fi kun adagun ti awọn apa igbona ti awọn titobi oriṣiriṣi. Nitorina, ti o ba jẹ dandan lati pin aaye tuntun ti o tobi tabi kere ju, o wa lẹsẹkẹsẹ. Ko si ye lati duro fun o lati fifuye.
Gbogbo ilana igbelosoke jẹ iṣakoso nipasẹ eto ibojuwo pataki kan. Abojuto nigbagbogbo n ṣe abojuto ipo ti ipade titunto si lọwọlọwọ. Ti o ba ṣe iwari, fun apẹẹrẹ, pe fifuye ero isise ti de iye to ṣe pataki, o sọ fun adagun-odo ti awọn igba gbona nipa iwulo lati pin oju ipade tuntun kan.
Awọn aṣoju pinpin, awọn iṣẹlẹ gbona ati ibojuwo.
Ipade pẹlu agbara ti a beere wa. Awọn adagun-odo ifipamọ ti daakọ si rẹ, ati pe eto naa bẹrẹ lati duro fun akoko ailewu lati yipada.
Nigbagbogbo akoko lati yipada wa ni iyara pupọ. Lẹhinna ibaraẹnisọrọ laarin aṣoju ati oju ipade titunto si atijọ ti daduro, gbogbo awọn akoko ti wa ni yi pada si ipade tuntun.
Ṣiṣẹ pẹlu database tun bẹrẹ.
Aworan naa fihan pe idaduro naa kuru nitootọ. Aworan buluu fihan fifuye, ati awọn igbesẹ pupa fihan awọn akoko igbelosoke. Awọn ifibọ igba kukuru ni aworan buluu jẹ deede idaduro kukuru yẹn.
Nipa ọna, Amazon Aurora ngbanilaaye lati fi owo pamọ patapata ati pa ibi ipamọ data nigbati ko ba wa ni lilo, fun apẹẹrẹ, ni awọn ipari ose. Lẹhin idaduro fifuye naa, DB maa dinku agbara rẹ o si wa ni pipa fun igba diẹ. Nigbati ẹru ba pada, yoo dide ni irọrun lẹẹkansi.
Ni apakan atẹle ti itan naa nipa ẹrọ Amazon, a yoo sọrọ nipa wiwọn nẹtiwọọki. Alabapin ki o si duro aifwy ki o ko padanu awọn article.
Ni Vasily Pantyukhin yoo fun ijabọ kan "" Kini awọn ilana apẹrẹ fun awọn eto pinpin ni lilo nipasẹ awọn olupilẹṣẹ Amazon, kini awọn idi fun awọn ikuna iṣẹ, kini faaji ti o da lori sẹẹli, Iṣẹ Ibakan, Shuffle Sharding - yoo jẹ iyanilenu. Kere ju oṣu kan titi apejọ naa - . October 24 ik owo ilosoke.
orisun: www.habr.com